검색 엔진2010.03.27 17:29
  •  stemming의 특징

    • 색인전에 용어(term)대신 어간(stem)으로 변환
    • 일반적으로 stemming을 하면, 정확도(precision)를 감소시키는 대신 조회율(recall)을 증가시킴.
    • 장점

      • 색인파일의 크기 감소

        • 색인어 수가 감소하므로
        • 50% 이상 압축비율.
      • 검색속도 향상

        • 이미 stemming되어 있을 경우. 검색시 색인어에 대한 stemming이 불필요
    • 단점

      • 용어 정보 상실 또는 추가적인 정보공간 필요
    • stem(어간)

      • 활용어가 활용할 때에 변하지 않는 부분)

 

  • stemming 방법

    • 접두사, 접미사 제거

      • 단어로 부터 접두/접미사 제거 하거나 어간을 변형

        • 예: Poter 알고리즘

          • 조건(어간, 접미사, 규칙)과 행위 집합으로 구성
    • 후속자 변형(successor variety)

      • 본문내의 글자가 연속적으로 나타나는 빈도
      • 후속자변형의 값이 크게 감소하는 위치를 기준으로 단어 절단(cutoff)
      • 예: 단어집합 able, axle, accident, ape, about, 단어: apple

        • 후속자변형: a에 대하여 4(b,x,c,p), ap에 대하여 1(e)
        • 따라서 apple에 대한 후속자변형은 1
    • 테이블 탐색

      • (색인용어-> 어간 목록) 테이블 이용
      • 계산비용이 클 때 유용
      • 비표준어에 대한 처리 불가
      • 테이블 저장에 따르는 저장공간 오버헤드
    • n-gram

      • 두 단어가 공유하는 글자수로 유사성을 계산
      • 어간이 같은 단어들의 군집화(clustering)에 이용
      • 어간이 생성되지 않음.
      • Dice 상관계수 S

        • S = 2C / (A + B
        • A: 첫째 단어의 ‘유일’이중그램 수, 
        • B: 두째 단어의 ‘유일’이중그램 수,
        • C: A와 B가 공유한 유일 이중 그램 수
      • 예: 두 단어( statistics, statistical)에 대하여

        • A=7, B=8, C=6
        • S= (2*6)/(7+8) = 0.80
      •  

 

  • 탐색 과정에서 사용되는 스테머--------------

    • CATALOG의 경우 질의어 user에 대하여 user, users, used 등을 빈도순으로 제시

 

  • stemming의 압축률

    • Poter의 경우 26~ 28%의 압축
    • 실제 데이터베이스에서는 더 작은 압축률

      • 왜냐하면 숫자, 오자(misspelling), 고유명사(proper name)등이 포함되어 있기 때문

 

Posted by 바게 BAGE