GOD동하님의 블로그

[텍스트 마이닝] PoS (Part of Speech) - Markov Model . 각 feature에서 다음 feature로 전이 될 확률 모델 . 근데 단어가 똑같은 개수로 들어오면 똑같은 확률로 나옴 - Hidden Markov Model . lexical generation probability 사용 => 관사, 명사 등 별로 현재 단어가 나올 확률을 계산 . 요거도 supervised learning WSD - 단어가 ambiguous 할 수 있음 - 두 의미 중 뭐를 골라야해? context를 보고 판단 [Term Feature 추출] 검색에서 Term Feature - bag of words (단어들을 다 bag에 집어 넣는다) - doc, term 간의 matrix를 정의하면 vector..

[Big Data Analysis] EDA - Garbage In Garbage Out 으로 쓰레기 데이터가 들어가면 쓰레기 데이터가 나옴 자료를 활용하기 전에 주요 통계량 요약하고 그래프를 통해 시각적으로 파악해본다. 이게 젤 중요 EDA 방법 - 기술통계, 시각화 [기술통계] Measures of Central Tendency (중심경향값, 대표값) - 분포의 중심을 찾음 - Mean, Median, Mode, Quartile Dispersion (산포도) - 분포의 퍼짐 정도 - Variance, Min, Max, Range, Standard Deviation, Standard Error, Coefficient... Distribution (분포도) - 분포의 모양 - Kurtosis (첨도) . ..