[ADP] 텍스트 마이닝 정리

[텍스트 마이닝]
PoS (Part of Speech) 
 - Markov Model
  . 각 feature에서 다음 feature로 전이 될 확률 모델
  . 근데 단어가 똑같은 개수로 들어오면 똑같은 확률로 나옴
 - Hidden Markov Model
  . lexical generation probability 사용
    => 관사, 명사 등 별로 현재 단어가 나올 확률을 계산
  . 요거도 supervised learning
WSD
 - 단어가 ambiguous 할 수 있음
 - 두 의미 중 뭐를 골라야해? context를 보고 판단
 
[Term Feature 추출]
검색에서 Term Feature
 - bag of words (단어들을 다 bag에 집어 넣는다)
 - doc, term 간의 matrix를 정의하면 vector로 표현 가능
  => 질의도 vector로 표현 해서 cosine similarity 계산 가능
 - tf-idf (term frequency- inversed document frequency)
  . tf : 용어가 doc에 나오는 빈도수
  . df : 용어가 출현하는 doc의 빈도수
   => idf를 사용하는 이유
      . 검색에서는 doc마다 feature가 발생하면 별로 중요하다고 안여김
   * classification은 feature가 doc(class)을 얼마나 잘 표현하느냐기 때문에 df를 씀
  . 대표적으로 BM25 (Best Matched) 사용
Classification에서 Feature Selection
 - Feature selection할 때 term feature 잘 뽑아야함
  . accuracy 향상
  . space reduce
  . training time reduce
 - 방법 4가지
  . DF
  . Information Gain
=> entropy (불확실성) 을 낮춰야함
   X feature를 뽑아냄으로써 entropy가 얼마나 낮아지느냐를 찾음
  . Mutual Information
  . Chi-squared