GOD동하님의 블로그

[텍스트 마이닝] PoS (Part of Speech) - Markov Model . 각 feature에서 다음 feature로 전이 될 확률 모델 . 근데 단어가 똑같은 개수로 들어오면 똑같은 확률로 나옴 - Hidden Markov Model . lexical generation probability 사용 => 관사, 명사 등 별로 현재 단어가 나올 확률을 계산 . 요거도 supervised learning WSD - 단어가 ambiguous 할 수 있음 - 두 의미 중 뭐를 골라야해? context를 보고 판단 [Term Feature 추출] 검색에서 Term Feature - bag of words (단어들을 다 bag에 집어 넣는다) - doc, term 간의 matrix를 정의하면 vector..

[Big Data Analysis] EDA - Garbage In Garbage Out 으로 쓰레기 데이터가 들어가면 쓰레기 데이터가 나옴 자료를 활용하기 전에 주요 통계량 요약하고 그래프를 통해 시각적으로 파악해본다. 이게 젤 중요 EDA 방법 - 기술통계, 시각화 [기술통계] Measures of Central Tendency (중심경향값, 대표값) - 분포의 중심을 찾음 - Mean, Median, Mode, Quartile Dispersion (산포도) - 분포의 퍼짐 정도 - Variance, Min, Max, Range, Standard Deviation, Standard Error, Coefficient... Distribution (분포도) - 분포의 모양 - Kurtosis (첨도) . ..

데이터 - Training Set - Validation Set - Test Set 모델 평가 - Squared Error - 정확도 - 우도 - 정밀도와 재현율 - Entropy 모델 표현 - 의사결정 트리 . 기호주의, 귀납적추론, 철학과 심리학, 논리학 등에서 아이디어를 얻어옴 - 신경망 기반 . 연결주의, 실제 두뇌를 모방하여 신경과학 물리학에서 영감을 얻어옴 . 세포간의 연결 강도를 학습하면서 출력 결과를 얻어내는 방법 . 대표적으로 딥러닝 - KNN, SVM . 유추주의, 유사성을 근거로 추정하면서 학습하는 방법 - 베이지안모델 . 학습이 확률 추론의 한 형태임을 베이스로 하며 통계학에 뿌리를 둔 모델 - 유전알고리즘 . 진화주의, 유전학과 진화생물학에 근거를 둠 - 모델 앙상블

Machine Learning 이란? 명시적으로 프로그래밍 하지 않고 컴퓨터가 학습할 수 있는 능력을 갖게 하는 기술 Machine Learning을 위해서는 아래 데이터들이 필요하다. - Training Data : Model 학습을 위한 입력 데이터 - Validation Data : Validation을 위한 데이터 . 전체 Data에서 Training Set과 Validation Set을 보통 60:40 / 70:30 / 80:20 정도로 나눔 - Test Data : 테스트를 위한 실제 Data Machine Learning 예시 Netflix 에서 영화 추천할 때 - colcollaborative filtering 을 이용하여 사용자들의 Data Frame의 패턴을 분석하여 영화를 추천 데이터..