잠재의미분석

의미론
언어학 논리
서브필드 계산 어휘 (Lexis, 어휘학) 통계 구조 토픽 분석. 구성성 컨텍스트(언어 사용) 원형 이론 힘역학 미해결 언어학 문제 기술론
컴퓨팅
종류들 액션. 대수적 자명한 범주형 동시성 비국적 게임 동작중 술어 변환 이론. 추상적 해석 추상 의미 그래프 시멘틱 매칭 분석. 잠재. 기계 학습 적용들 시맨틱 파일 시스템 시멘틱 웹 시멘틱 위키
언어 언어학
v t

잠재의미분석(LSA)은 문서와 용어에 관련된 개념 집합을 만들어 문서 집합과 그들이 포함하는 용어 사이의 관계를 분석하는 자연어 처리, 특히 분포의 의미론 기술이다.LSA는 의미가 가까운 단어가 유사한 텍스트 조각(분포 가설)에서 발생한다고 가정합니다.문서당 단어 수를 포함하는 매트릭스(행은 고유한 단어를 나타내고 열은 각 문서를 나타냄)를 큰 텍스트 조각으로 구성하며, 단수값 분해(SVD)라고 하는 수학적 기법을 사용하여 열 간의 유사성 구조를 유지하면서 행 수를 줄인다.다음으로 문서는 임의의 2개의 열에 의해 형성된 2개의 벡터(또는 2개의 벡터의 정규화 사이의 점곱) 사이의 각도의 코사인 값을 취함으로써 비교된다.1에 가까운 값은 매우 유사한 문서를 나타내며, 0에 가까운 값은 매우 다른 ^[1]문서를 나타냅니다.

잠재의미 구조를 이용한 정보 검색 기술은 1988년 스콧 디어웨스터, 수잔 두미스, 조지 퍼나스, 리처드 하스먼, 토마스 랜다우어, 카렌 록바움 및 린 스트리터에 의해 특허(미국 특허 4,839,853건, 현재 만료됨)되었다.정보 검색에 대한 응용에서는 LSI(^[2]잠재적 의미 색인)라고 불리기도 합니다.

개요

발생행렬

LSA는 문서의 용어 발생을 설명하는 문서 용어 행렬을 사용할 수 있습니다. 행이 용어에 대응하고 열이 문서에 대응하는 희소 행렬입니다.매트릭스 요소의 가중치의 전형적인 예는 tf-idf(항 빈도-역 문서 빈도)입니다.행렬 요소의 가중치는 각 문서에 나타나는 용어의 횟수에 비례하며, 여기서 희귀 용어는 상대적 중요성을 반영하기 위해 가중치 부여됩니다.

행렬의 수학적 특성이 항상 사용되는 것은 아니기 때문에 행렬로서 반드시 명시적으로 표현되는 것은 아니지만, 이 행렬은 표준 의미 모델에도 공통적이다.

등급 강등

발생행렬 구성 후 LSA는 용어 문서행렬에 대한 낮은 순위 근사치를^[4] 구한다.이러한 근사치에는 다양한 이유가 있을 수 있습니다.

• 원래 용어-문서 행렬은 계산 리소스에 비해 너무 큰 것으로 추정됩니다.이 경우, 대략적인 하위 행렬은 근사치(최소한의 필요악)로 해석됩니다.
• 원래의 용어-문서 행렬은 노이즈가 많은 것으로 추정됩니다. 예를 들어, 용어의 일화적인 예는 제거되어야 합니다.이러한 관점에서 근사 행렬은 비논리화 행렬(원래보다 더 나은 행렬)로 해석됩니다.
• 원래 용어-문서 행렬은 "참" 용어-문서 행렬에 비해 지나치게 희박한 것으로 추정됩니다.즉, 원래 매트릭스는 각 문서에 실제로 있는 단어만 나열하지만, 각 문서와 관련된 모든 단어(일반적으로 동의어로 인해 훨씬 더 큰 집합)에 관심이 있을 수 있습니다.

순위 하락의 결과로 일부 차원이 결합되고 두 개 이상의 용어에 의존하게 된다.

{(car), (car), (flower)} --> {(1.3452 * car + 0.2828 * truck), (flower)}

이것은 유사한 의미를 가진 용어와 관련된 차원을 병합할 것으로 예상되기 때문에 동의어를 식별하는 문제를 완화한다.그것은 또한 "올바른" 방향을 가리키는 다의어의 구성 요소가 유사한 의미를 공유하는 단어의 구성 요소에 추가되기 때문에 다의어의 문제를 부분적으로 완화시킨다.반대로, 다른 방향을 가리키는 구성요소는 단순히 상쇄되거나, 최악의 경우 의도한 의미에 대응하는 방향의 구성요소보다 작은 경향이 있다.

파생

X$(\displaystyle$ X$)$를 행렬로 $합니다{\displaystyle }$. 여기서 요소$({\displaystyle }$ ${\displaystyle i}$,$)$는 $문서$ j$($$예$를 들어 빈도)에서 i$(\$displaystyle i$)$의 발생을 나타냅니다.$(디스플레이 스타일$ X$)$는 다음과 같습니다.

${\displaystyle {d}&{\textbf {d}}_{j}\\downarrow\{\textbf {t}_{i}^{T}\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &\dots &\dots &\dots &\x_{1,n}\vdots &\dots &\x_i\dots &\dots,\dots &\dots &\dots &\dots,\dots &\dots &\dots,\dots &\dots &\dots &\dots &\dots &\dots;$

이 행렬의 행은 항에 대응하는 벡터이며, 각 문서와의 관계를 나타냅니다.

${\displaystyle\textbf {t}}_{i}^{T}=begin{bmatrix}x_{i,1}&\dots &x_{i,j}&\dots &x_{i,n}\end{bmatrix}}$

마찬가지로, 이 행렬의 열은 문서에 대응하는 벡터이며, 각 용어에 대한 관계를 제공합니다.

${\displaystyle {textbf {d}_{j}=syslog {bmatrix}x_{1,j}\vdots \x_{i,j}\vdots \\x_{m,j}\end{bmatrix}}}\vdots$

dot $product{\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}{}_{}}$ ${\displaystyle p_{}}${ $displaystyle${ $textbf${ t$}$ $}$ _ { i$$}^{두 개의 용어 벡터 사이의 $T}{\textbf {t}}_{$p$$}}}은 문서 집합에 대한 용어 간의 상관 관계를 제공합니다.매트릭스 $제품{\displaystyle }$ $(\$ XX$^{)$$T}}$에는 이러한 도트 제품이 모두 포함되어 있습니다.요소$({\displaystyle i}$ ,${\displaystyle p}$) {$displaystyle ( i$ ,$p$ )${\displaystyle }$（$$ $요소$( p ,${\displaystyle i}$) { $displaystyle$ ( p , i )$$$}{displaystyle ($p $, i$ )} {$i}^{$ $도트$ $곱$이 ${\displaystyle {}_{}^{}}$되어 있습니다.$T}$ {\$textbf {t}_{p}}$ ( ${\displaystyle }$ ${\displaystyle {}_{}^{}}$ ${\displaystyle t_{}^{}}$ ${\displaystyle T_{}}$ t i$${ $displaystyle$=$textbf {t}_{p}^)$$T}{\textbf {t}}_{i$}}}}.$$$마찬가지$로 행렬 ${\displaystyle X^{}}$ ${\displaystyle {}^{}}$X(\$displaystyle$ X$^{T}X)$는 모든 문서 벡터 간의 점곱을 포함하며, ${\displaystyle {dj}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {dq}_{}}$ $=$ ${\displaystyle {dq}_{}^{}}$ T ${\displaystyle {}_{}^{}{}_{}}$ $(\displaystyle \textbf${d}_${j$}^{}^{}}^{라는 항에 대한 상관 관계를 제공합니다.$T}{\textbf {d}_{q}=textbf {d}_{q}^{T}{\textbf {d}_{j$

선형대수의 이론에 따르면$,$ $X$의 $분해$는 $U$와$V는$$$직교행렬이고,$$δ는 대각행렬이다$.$이를 특이값 분해(SVD)라고 합니다.

${\displaystyle\begin{matrix}X=U\Sigma V^{T}\end {matrix}}$

항과 문서 상관관계를 제공하는 행렬 곱은 다음과 같습니다.

${\displaystyle\begin{matrix}XX^{T}&=(U\Sigma V^{T})(U\Sigma V^{T})^{T}=(U\Sigma V^{T})\Sigma ^{T}=U\Sigma V^{T}V\Sigma ^{T}U^{T}=U\Sigma ^{T}U^{\X^{T}X&=(U\Sigma V^{T})^{T}(U\Sigma V^{T})=(V^{T^{T})\Sigma ^{T}(U\Sigma V^{T})=V\Sigma V^{T}T}=V\Sigma^{T}\Sigma V^{T}\end{matrix}}$

$σ σ$ T$$\ $displaystyle$$$\ $Sigma ^$ { $T$$$} { ${\displaystyle {\sigma }^{}}$ { T$$ displaydisplay $display$ display display display display 、 \ $displaystyle$ ^ { T$$$}$diagonal$$$$$diagonal$ diagonal diagonal since ${\displaystyle {}^{}}$ diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal$$diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal ${\displaystyle {diagonal}^{}}$ diagonal diagonal diagonal diagonal diagonal { { diagonal diagonal diagonal diagonal $diagonal$ diagonal diagonal diagonal diagonal diagonal diagonal { diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal diagonal$T$ $,$ V(\$displaystyle$ V$)$는 ${\displaystyle X^{}}$ T$$(\$displaystyle$ X$^{T$의 고유벡터여야 합니다.두 제품 모두 0이 아닌 고유값이 0이 아닌 경우 ${\displaystyle {\delta }^{}}$ T$(\$의 엔트리에 의해 부여되거나 0이 아닌 엔트리에 의해 부여됩니다.ecomposition은 다음과 같습니다.

$\ display style \ begin { matrix } & X & & U & \ Sigma & V ^ {T}\\&({\textbf {d}}_{j})&&&&&&&({\hat{\textbf{d}}}_{j})\\&, \downarrow&&&&&&&\downarrow \\({\textbf{t}}_{나는}^{T})\rightarrow&{\begin{bmatrix}x_{1,1}&, \dots &, x_{1,j}&, \dots &, x_{1,n}\\\vdots &, \ddots &, \vdots &, \ddots &, \vdots \\x_{i,1}&, \dots &, x_{i,j}&, \dots &, x_{i,n}\\.\vdots, \ddots &, \vdots &, \ddots &, \vdots \\x_{m,1}&, \dots, x_{m,j}& &, \dots &, x_{m,n}\\\end{bmatrix}}&=&.({\hat{\textbf &.{t}}}_{나는}^{T})\rightarrow&{\begin{bmatrix}{\begin{bmatrix}\,\\\,\\{\textbf{너}}_{1}\\\,\\\,\end{bmatrix}}\dots{\begin{bmatrix}\,\\\,\\{\textbf{너}}_{나는}\\\,\\\,\end{bmatrix}}\end{bmatrix}}&\cdot&{\begin{bmatrix}\sigma _{1}&, \dots, 0\\\vdots, \ddots & &, \vdots \\0&, \dots & &, \sigma _{나는}\\\end{bmatrix}}&\cdot&{년.begin{bmatrix}{\begin{bmatrix}&, &,{\textbf{v}_{1}&\end{bmatrix}\\vdots\{\textbf {v}_{l}&\end{bmatrix}\end{bmatrix}\end{bmatrix}}\end{bmatrix}}}\end{bmatrix}}\end{bmatrix}}\end{bmatrix}}}\end{\end}}}}$

${\displaystyle {값\mathrm{}}_{}}$ $1{\displaystyle {}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle l_{}}${\$displaystyle \sigma$ _${1},\$$dots$$,\sigma$_{$l}}$은 단수값으로 $불리며{\displaystyle {}_{}}$, ${\displaystyle {u\mathrm{}}_{}}$1,${\displaystyle \dots ,}$ ${\displaystyle u_{}}$ l$${\$displaystyle$ $u_1$},$$$u_{l$$}$및 $v{\displaystyle {}_{}{1\mathrm{}}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle v_{}}$ ${\$는 단수 벡터 및 왼쪽입니다.U$\displaystyle$U에서$$ $\$ {t$$$}_$$$${i$}} 행에 기여하는 유일한 ${\displaystyle \text{부분}}$은${\displaystyle }$i\$displaystyle$i{\$textrm {'th}}$ $행$입니다.이 행 벡터를 t${\displaystyle {\stackrel{}{}}_{}^{}}$^ i$$ \ $displaystyle$\$hat$\ $textrm${$t}$_ { $i$}^ 라고 ${\displaystyle {합니다}_{}^{}}$.{$T$ 마찬가지로 V$T$에서 $(\displaystyle V$$^{$$T})$에$기여$하는 부분은$$j$(\$$displaystyle$ j${\textrm$$${$th}})$ ${\displaystyle \text{컬럼}}$ $d{\displaystyle {\stackrel{}{}}_{}}$ j$(\displaystyle {d}_j$${\displaystyle {뿐}_{}}$입니다$.$이들은 고유 벡터는 아니지만 모든 고유 벡터에 의존합니다.

$U{\displaystyle }$ {\$displaystyle$ U$}$ $및$ V$${\$displaystyle$ V$\}$에서 k ${\displaystyle$ k$}$의 최대 특이값과 대응하는 특이 벡터를 선택하면 가장 작은 오차$($프로베니우스)로 X {\$displaystyle$ X$}$에 대한 순위 k {\displaystyle k$}$의 근사치를 얻을 수 있습니다.이 근사치에는 최소한의 오차가 있습니다.그러나 더 중요한 것은 용어 및 문서 벡터를 "의미적 공간"으로 취급할 수 있다는 것입니다.행 "항" $벡터{\displaystyle {\stackrel{}{}}_{}^{}}$ t${\displaystyle {\stackrel{}{}}_{}^{}}$^ ${\displaystyle i_{}^{}}$ \ $displaystyle$\ $hat$\ $textbf${$t}$_ { $i$}^{$그런$ 다음 T$}}$은$($는) k개의 \$displaystyle$k 엔트리를$$ $사용$하여 저차원 공간 치수에 매핑합니다.이러한 새로운 차원은 이해할 수 있는 개념과는 관련이 없습니다.그것들은 고차원 공간의 저차원 근사치이다.마찬가지로 문서 $벡터{\displaystyle {\stackrel{}{}}_{}}$ d${\displaystyle {\stackrel{}{}}_{}}$^$$ \ $displaystyle \ hat$ \ $textbf${ $d}$_ { $j$}는$$ 이 저차원 공간의 근사치입니다.우리는 이 근사치를 다음과 같이 쓴다.

${\displaystyle X_{k}=U_{k}\Sigma_{k}V_{k}^{T}}$

이제 다음을 수행할 수 있습니다.

• $벡터{\displaystyle }$ $σ$ k${\displaystyle {}_{}{d}_{}}$ $d{\displaystyle }$$$$^$$$j$$\ $sigma$_ { $k$} \$cdot${$textbf${ $d } _$ { $j$} ${\displaystyle {\stackrel{}{}}_{}}$ ${\displaystyle q_{}}$ k$$ $display$ $style$ \ $Sigma _${ k } { j$$q$$$$ \ textbf$}$ qhathathat qhathat j q ${\displaystyle q_{}}$ j j j{ $display$ style \ $Sigma$ _ k \ $cd cdot$$}$ { $text$ hat 。코사인 유사성).
• $벡터{\displaystyle }$ ${\displaystyle {\sigma }_{}}$ k${\displaystyle {}_{}{t}_{}}$ t${\displaystyle {\stackrel{}{}}_{}}$^$$i$$\ $displaystyle$\ $Sigma$_ { $k$} \$cdot$\$textbf${ $t } _$ { $i$} ${\displaystyle {and}_{}}$ k$$ t p t${\displaystyle {\stackrel{}{}}_{}}$p t ${\displaystyle p_{}}$ t p t p t {\ t$${\ t k ${\displaystyle {}_{}}$ $txisplay$$style$ \ $Sigma _$ { $k } {\$ cd { $p$}$$} } } {\ {\ {\ {\ {\ i {\ {\ {\ {\ {\$${\ $comparing$$$$comparing$ comparing p comparing p comparing comparing $comparing$ i i i$f {t}}}:$ 이제$$ 열 벡터가 되었습니다.
• 문서 및 용어 벡터 표현은 코사인(cosine)과 같은 유사성 측정을 사용하여 k-평균과 같은 기존 클러스터링 알고리즘을 사용하여 군집화할 수 있습니다.
• 질의를 받으면 이 문서를 작은 문서로 보고 저차원 공간의 문서와 비교합니다.

후자를 수행하려면 먼저 쿼리를 저차원 공간으로 변환해야 합니다.그런 다음 문서에서 사용하는 것과 동일한 변환을 사용해야 합니다.

${\displaystyle {textbf {d}_{j}=\Sigma _{k}^{-1}U_{k}^{T}{\textbf {d}_{j}}$

대각행렬 ${\displaystyle {\delta }_{}}$ k$(\$ _${k})$의 역행렬은 행렬 내에서 0이 아닌 각 값을 반전함으로써 구할 수 있습니다.

즉, 쿼리 $({displaystyle$q$\})$가 있는 경우$=$ ${\displaystyle {}_{}^{}}$ k${\displaystyle {}_{}^{}}$- 1 ${\displaystyle {}_{}^{}{}_{}^{}}$ ${\displaystyle T_{}^{}}$ $displaystyle({hat {textbf {q$}})= $Sigma$ _${k}^{T}{\textbf {q}})$를 변환한$$ 후 문서 $벡터$의 저차원 공간과 비교해야 합니다.유사 용어 벡터에 대해서도 동일한 작업을 수행할 수 있습니다.

${\displaystyle\textbf {t}}_{i}^{T}={textbf {t}}_{i}^{T}\Sigma_{k}V_{k}^{T}}$

${\displaystyle\hat{t}_{i}^{T}=textbf {t}}_{i}^{T}V_{k}^{-T}\Sigma _{k}^{-1}=sigmatextbf {t}_{i}^{T}V_{k}\Sigma_{k}^{-1}$

${\displaystyle {t}_{i}=\Sigma _{k}^{-1}V_{k}^{T}{\textbf {t}_{i}}$

적용들

새로운 저차원 공간은 일반적으로 다음과 같은 용도로 사용할 수 있습니다.

• 저차원 공간(데이터 클러스터링, 문서 분류)의 문서를 비교합니다.
• 번역된 문서의 기본 세트를 분석한 후 언어 간에 유사한 문서를 찾습니다(언어 간 정보 검색).
• 용어(의어 및 다의어) 사이의 관계를 찾습니다.
• 용어 조회가 주어지면 저차원 공간으로 변환하여 일치하는 문서를 찾습니다(정보 검색).
• 예를 들어, 객관식 질문 MCQ ^[5]답변 모델에서와 같이 의미론적인 방식으로 작은 용어 그룹 간의 최상의 유사성을 찾는다.
• 머신러닝/텍스트 마이닝 시스템 기능 공간 확대
• 텍스트 코퍼스의 단어 연관성 분석

동의어와 다의어는 자연어 처리의 근본적인 문제입니다.

• 동의어는 다른 단어들이 같은 생각을 묘사하는 현상이다.따라서 검색 엔진의 쿼리는 쿼리에 나타난 단어를 포함하지 않는 관련 문서를 검색하지 못할 수 있습니다.예를 들어, "의사"를 검색하면 "의사"라는 단어가 포함된 문서가 반환되지 않을 수 있습니다. 단어의 의미가 동일하더라도 말입니다.
• 다의어는 같은 단어가 여러 개의 의미를 갖는 현상이다.따라서 검색에서 잘못된 의미의 원하는 단어가 포함된 관련 없는 문서를 검색할 수 있습니다.예를 들어, "나무"라는 단어를 찾는 식물학자와 컴퓨터 과학자는 서로 다른 문서 집합을 원할 것입니다.

상용 어플리케이션

LSA는 ^[8]특허에 대한 선행 기술 검색을 지원하기 위해 사용되어 왔습니다.

인간의 기억 속에 있는 응용 프로그램

잠재 의미 분석의 사용은 인간의 기억 연구, 특히 자유로운 회상 및 기억 검색 분야에서 널리 사용되어 왔다.(LSA에 의해 측정된) 두 단어의 의미 유사성과 무작위 공통 명사의 연구 목록을 사용하여 자유 회수 작업에서 단어가 차례로 회수될 가능성 사이에는 양의 상관관계가 있다.그들은 또한 이러한 상황에서 유사한 단어 간의 상호응답 시간이 다른 단어 간의 상호응답 시간보다 훨씬 빨랐다고 언급했다.이러한 발견을 의미적 근접 ^[9]효과라고 한다.

참가자들이 공부한 항목을 떠올리는 실수를 했을 때, 이러한 실수는 더 의미적으로 원하는 항목과 관련이 있고 이전에 공부한 목록에서 발견된 항목인 경향이 있었다.이러한 우선 순위 침입은 이른바 현재 목록의 항목과 ^[10]리콜 경쟁을 벌이는 것으로 보인다.

WAS(Word Association Spaces)라는 또 다른 모델은 일련의 실험으로부터 자유로운 연관성 데이터를 수집함으로써 기억 연구에서도 사용되며, 여기에는 72,000개 이상의 다른 단어 ^[11]쌍에 대한 단어 관련성 측정이 포함됩니다.

실행

SVD는 일반적으로 대형 매트릭스 방법(예를 들어 Lanczos 방법)을 사용하여 계산되지만, 대규모 풀랭크 매트릭스를 ^[12]메모리에 보유할 필요가 없는 뉴럴 네트워크와 같은 접근방식을 통해 증분 계산될 수도 있습니다.고속 증분 저메모리 대용량 매트릭스 SVD 알고리즘이 최근 ^[13]개발되었습니다.이러한 고속 알고리즘의 MATLAB 및 Python 구현이 가능합니다.Gorrell과 Webb의 확률적 근사(2005)와는 달리 Brand의 알고리즘(2003)은 정확한 해답을 제공한다.최근 몇 년 동안 SVD의 계산 복잡성을 줄이기 위한 진보가 이루어졌습니다. 예를 들어 병렬 고유값 분해를 수행하기 위해 병렬 ARPACK 알고리즘을 사용함으로써 유사한 예측 품질을 ^[14]제공하면서 SVD 계산 비용을 가속화할 수 있습니다.

제한 사항

LSA의 결점에는 다음과 같은 것이 있습니다.

• 결과 치수는 해석하기 어려울 수 있습니다.예를 들어,

{(car), (car), (flower)} { {(1.3452 * car + 0.2828 * truck), (flower)}

(1.3452 * 차량 + 0.2828 * 트럭) 구성 요소는 "차량"으로 해석할 수 있습니다.다만, 케이스가 다음과 같은 경우가 발생할 가능성이 매우 높습니다.

{(car), (car), (flower)} { {(1.3452 * car + 0.2828 * bottle), (flower)}

발생합니다.이것은 수학적인 차원에서 정당화될 수 있는 결과로 이어지지만, 자연어에서는 즉각적으로 명확한 의미를 갖지 않습니다.그러나 (1.3452 * 자동차 + 0.2828 * 병) 구성요소는 병과 자동차 모두 투명하고 불투명한 부품을 가지고 있고, 사람이 만든 것이며, 표면에 로고/문구를 포함할 가능성이 높기 때문에 정당화될 수 있다. 따라서 이 두 가지 개념은 여러 가지 면에서 "의미를 공유한다"고 할 수 있다.즉, 해당 언어 내에서 쉽게 할당할 수 있는 단어가 없을 수 있으며, 설명 가능성은 단순한 단어/클래스/개념 할당 태스크가 아닌 분석 태스크가 된다.

• LSA는 단어의 각 발생이 공간의 단일점으로 표현되기 때문에 동일한 의미를 갖는 것으로 취급되기 때문에 다의어(즉, 단어의 여러 의미)를 부분적으로만 포착할 수 있다.예를 들어, "의장"을 포함하는 문서와 "의장 제조자"를 포함하는 별도의 문서에서 "의장"의 발생은 동일하게 간주된다.그 행동은 벡터 표현이 말뭉치에 있는 모든 단어의 다른 의미들의 평균이 되는 결과를 초래하고,^[15] 이것은 비교를 어렵게 만들 수 있다.그러나 말뭉치 전체에 걸쳐 지배적인 의미를 갖는 단어 때문에 종종 효과가 감소한다(즉, 모든 의미가 동등하게 있을 것 같지는 않다).
• BOW(Back of Words Model)의 제한. 여기서 텍스트는 정렬되지 않은 단어 모음으로 표시됩니다.단어 가방 모델(BOW)의 한계를 해결하기 위해 다중그램 사전을 사용하여 ^[16]용어 간의 고차 공존뿐만 아니라 직접 및 간접 연관성을 찾을 수 있습니다.
• LSA의 확률론적 모델은 관측된 데이터와 일치하지 않는다. LSA는 단어와 문서가 공동 가우스 모델(작동 가설)을 형성한다고 가정하는 반면, 포아송 분포는 관측되었다.따라서, 새로운 대안은 다항식 모델에 기초한 확률론적 잠재 의미 분석이며, 이는 표준 ^[17]LSA보다 더 나은 결과를 제공하는 것으로 보고된다.

대체 방법

시멘틱 해시

시맨틱 해싱에서 문서는 의미적으로 유사한 문서가 가까운 주소에 위치하도록 뉴럴 네트워크를 통해 메모리 주소에 매핑된다.심층 신경 네트워크는 기본적으로 큰 문서 집합에서 얻은 단어 수 벡터의 그래픽 모델을 구축한다.쿼리 문서와 유사한 문서는 쿼리 문서 주소와 몇 비트만 다른 모든 주소에 액세스하는 것만으로 찾을 수 있다.이와 같이 해시 코딩의 효율성을 대략적인 일치로 확장하는 방법은 현재 가장 빠른 방식인 ^{[clarification needed]}로컬에 민감한 해시보다 훨씬 빠릅니다.

잠재적인 의미 색인화

잠재의미색인(LSI)은 문자의 비구조화 컬렉션에 포함된 용어와 개념 사이의 관계에서 패턴을 식별하기 위해 특이값 분해(SVD)라고 하는 수학적 기법을 사용하는 색인화 및 검색 방법입니다.LSI는 같은 맥락에서 사용되는 단어가 유사한 의미를 갖는 경향이 있다는 원리에 기초하고 있습니다.LSI의 주요 특징은 유사한 ^[19]컨텍스트에서 발생하는 용어 간의 연관성을 확립함으로써 텍스트 본문의 개념적인 내용을 추출할 수 있다는 것입니다.

LSI는 1970년대 초 Jean-Paul Benzécri에^[20] 의해 개발된 다변량 통계 기법인 대응 분석을 문서의 단어 수에서 작성한 분할표에 적용하는 것이기도 하다.

텍스트 모음에 잠재되어 있는 의미론적으로 관련된 용어를 상호 연관시키는 기능 때문에 "잠재적 의미 색인"이라고 불리는 이 용어는 1980년대 후반 벨코어의 텍스트에 처음 적용되었습니다.잠재의미분석(LSA)이라고도 불리는 이 방법은 텍스트 본문 내의 단어 사용에 내재된 잠재의미구조와 일반적으로 개념검색이라고 불리는 사용자 쿼리에 대한 응답으로 텍스트의 의미를 추출하는 데 어떻게 사용될 수 있는지를 밝혀낸다.LSI를 거친 문서 집합에 대한 쿼리 또는 개념 검색은 검색 조건이 특정 단어 또는 단어를 공유하지 않더라도 검색 기준과 개념적으로 의미가 유사한 결과를 반환합니다.

LSI의 이점

LSI는 Boolean 키워드 쿼리와 ^[15]벡터 공간 모델의 가장 문제가 많은 제약 조건 중 하나인 리콜을 증가시킴으로써 동의어를 극복하는 데 도움이 됩니다.동의어는 문서 작성자와 정보 검색 시스템 ^[21]사용자에 의해 사용되는 어휘 불일치의 원인이 되는 경우가 많습니다.그 결과 부울 쿼리 또는 키워드 쿼리에서 관련 없는 결과가 반환되고 관련 정보가 누락되는 경우가 많습니다.

LSI는 자동 문서 분류 수행에도 사용됩니다.실제로 여러 실험에서 LSI와 사람 ^[22]사이에 텍스트를 처리하고 분류하는 방법에는 많은 상관관계가 있는 것으로 나타났습니다.문서 분류는 카테고리의 ^[23]개념 내용과의 유사성에 따라 하나 이상의 미리 정의된 카테고리에 문서를 할당하는 것입니다.LSI는 예제 문서를 사용하여 각 카테고리의 개념적 기초를 확립합니다.분류 처리 중에 분류 중인 문서에 포함된 개념을 예제 항목에 포함된 개념과 비교하고, 여기에 포함된 개념과 예제 문서에 포함된 개념 간의 유사성에 따라 문서에 범주(또는 하나 이상의 범주)를 할당합니다.

LSI를 사용하여 문서의 개념적인 내용을 기반으로 한 동적 클러스터링을 수행할 수도 있습니다.클러스터링은 예시 문서를 사용하여 각 클러스터의 개념적 기초를 확립하지 않고 서로 개념적 유사성에 따라 문서를 그룹화하는 방법입니다.이것은 구조화되지 않은 텍스트의 알 수 없는 집합을 처리할 때 매우 유용합니다.

LSI는 엄밀하게 수학적 접근법을 사용하기 때문에 본질적으로 언어와 독립적입니다.이를 통해 LSI는 사전이나 시사우리 등의 보조 구조를 사용하지 않고도 모든 언어로 작성된 정보의 의미적 내용을 도출할 수 있습니다.LSI는 언어 간 개념 검색 및 예제 기반 분류도 수행할 수 있습니다.예를 들어 영어 등 하나의 언어로 쿼리를 작성할 수 있으며 완전히 다른 언어 또는 여러 ^{[citation needed]}언어로 구성된 경우에도 개념적으로 유사한 결과가 반환됩니다.

LSI는 워드로만 동작할 수 있습니다.임의의 문자열을 처리할 수도 있습니다.텍스트로 표현할 수 있는 오브젝트는 LSI 벡터 공간에 표시할 수 있습니다.예를 들어, MEDLINE 추상화를 사용한 테스트에서는 LSI가 MEDLINE ^[24]인용문의 제목과 요약에 포함된 생물학적 정보의 개념적 모델링에 기반하여 효과적으로 유전자를 분류할 수 있는 것으로 나타났습니다.

LSI는 새로운 용어와 변화하는 용어에 자동으로 적응하여 노이즈(철자 오류, 철자 오류, 읽을 수 없는 문자 등)에 매우 강한 것으로 나타났습니다.^[25]이것은, 광학 문자 인식(OCR)과 음성 문자 변환으로부터 파생된 텍스트를 사용하는 애플리케이션에 있어서 특히 중요합니다.LSI는 또한 희박하고 모호하며 모순되는 데이터를 효과적으로 처리합니다.

LSI를 유효하게 하기 위해서, 텍스트가 문장 형식일 필요는 없습니다.목록, 자유 양식 노트, 이메일, 웹 기반 콘텐츠 등과 함께 사용할 수 있습니다.텍스트 모음에 여러 용어가 포함되어 있는 경우 LSI를 사용하여 텍스트에 포함된 중요한 용어와 개념 간의 관계 패턴을 식별할 수 있습니다.

LSI는 다수의 개념적 일치 ^[26][27]문제에 대한 유용한 솔루션임이 입증되었습니다.이 기술은 인과 관계, 목표 지향 및 분류학적 정보를 포함한 핵심 ^[28]관계 정보를 포착하는 것으로 나타났다.

LSI 타임라인

• 1960년대 중반 – 요인 분석 기술이 최초로 설명 및 테스트되었습니다(H. Borko 및 M).버닉)
• 1988년 – LSI 기술에 관한 정석 논문 발표
• 1989년 – 최초 특허 부여
• 1992년 – LSI를 사용하여 리뷰어에게 기사를^[29] 할당
• 1994년 – LSI의 다국어 출원에 대한 특허 부여(Landauer 등)
• 1995 – 에세이 채점에 LSI를 처음 사용(Foltz, et al., Landauer et al.)
• 1999 – 비구조화 텍스트(SAIC) 분석을 위한 인텔리전스 커뮤니티용 LSI 테크놀로지 최초 구현
• 2002년 – LSI 기반 제품을 인텔리전스 기반 정부기관(SAIC)에 제공

LSI 수학

LSI는 공통 선형 대수 기법을 사용하여 텍스트 집합의 개념적 상관 관계를 학습합니다.일반적으로 이 과정은 가중치 용어-문서 행렬의 구성, 행렬에 대한 특이값 분해 수행 및 텍스트에 포함된 개념을 식별하기 위해 행렬을 사용하는 것을 포함한다.

용어-문서 행렬

LSI는 먼저 용어 문서 $(\$$displaystyle$A$)$를 구축하여$$n개의 $문서$ 집합 내에서$m개$의 $고유$ 용어가 발생하는지 확인합니다.용어 문서 매트릭스에서 각 용어는 행으로 표현되며 각 문서는 열로 표현되며, 각 매트릭스 $셀$은 ${\displaystyle i_{}}$j {\$displaystyle a_{ij$입니다.처음에는 관련 용어가 지정된 문서 ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {\mathrm{f}}_{}}$ ${\displaystyle {i\mathrm{}}_{}}$j {$displaystyle \mathrm$ {$tf_{ij$에 나타나는 횟수를 나타냅니다.이 매트릭스는 usuuu입니다.매우 크고 매우 희박합니다.

용어 문서 행렬이 구성되면 로컬 및 전역 가중치 함수를 적용하여 데이터를 조정할 수 있습니다.가중치 함수는 각 셀$(\$$displaystyle$ A$\backslash$$displaystyle{\displaystyle }$ $a_{ij})$을 로컬 용어$$ 가중치, 문서 $내{\displaystyle {}_{}}$ 용어의 상대 빈도를 나타내는 $\$ 및 글로벌 가중치 $\$의 곱으로 변환합니다.전체 문서 모음 내 용어의 활성 빈도.

몇 가지 일반적인 로컬 가중치^[30] 함수는 다음 표에 정의되어 있습니다.

바이너리		${\displaystyle l_{}}$ i ${\displaystyle j_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle 1}${ $displaystyle l$_ { $ij$ } $= 1$ $이거$나$,$ 그렇지 $않으면$ 0 { $displaystyle$ 0 $}$
용어 빈도		${\displaystyle l_{}}$ ${\displaystyle i_{}}$ j ${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ i$$ { $display$ $style$ l$_$ { $ij$ } = \ $mathrm${$tf } _$ { $ij$}, $문서{\displaystyle }$j { \ $displaystyle$i }의$$ $용어{\displaystyle }$i의 발생 횟수
로그.		${displaystyle l_{ij}=\log(\mathrm {tf} _{ij}+1)}$
오거노름		${\displaystyle l_{ij}=bigfrac {\frac {mathrm {tf} _{ij}}{\max _{i}}}{\mathrm {tf} _{ij}}}}}{\Big}}+1}{2}}}$

몇 가지 일반적인 전역 가중치 함수는 다음 표에 정의되어 있습니다.

바이너리		${\displaystyle g_{i}=1}$
보통의		$({displaystyle g_{i}=mathrm {tf}, {ij}^{2}})$
GfIdf		${\displaystyle g_{}}$ i ${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{g}}_{}}$ f${\displaystyle {}_{}}$ / ${\displaystyle d{\mathrm{}}_{}}$ $f$i { \ $displaystyle$ g$_$ { $i } =$ \ $mathrm$${ df$} _ { $i$$$} 。${\displaystyle {\mathrm{여기}}_{}}$서 g f$$ { $displaystyle$ \ $mathrm$$$$${ $df$$$} _ { i}는 전체 컬렉션에서 발생하는 총 $용어{\displaystyle }$i { \$displaystyle$$$i$}$입니다.ch $term{\displaystyle }$ i$(표시 스타일$ i)가$$ 발생합니다$.$
Idf(역방향 문서 빈도)		${\displaystyle g_{i}=\log _{2}{\frac {n}{1+\mathrm {df}_{i}}}}$
엔트로피		${\displaystyle g_{}}$ i ${\displaystyle {}_{}}$ ${\displaystyle 1}$+ ${\displaystyle \underset{}{}}$ ${\displaystyle \underset{}{j}}$ ${\displaystyle \frac{p_{}}{}}$ ${\displaystyle \frac{i_{}}{}}$ ${\displaystyle \frac{j}{}}$ log${\displaystyle \frac{{mathmathp}_{}}{}}$ i ${\displaystyle \frac{j_{}}{}}$ $math$ n$${ $displaystyle$ g$_$$${ i } =$1$+ \ $sum$_ { $j$} { \ $log p _$ { $ij$} { \ $log$ n$\}$ 。${\displaystyle {여기}_{}}$서 ${\displaystyle {\mathrm{pi}}_{}}$ $=$ ${\displaystyle \frac{{}_{}}{}}$ ${\displaystyle \frac{{\mathrm{fi}}_{}}{}}$ g$$ { $display style p_ij$ } $f} frm$ tf { $frm$tf rm tf { f$}$

LSI를 사용한 경험적 연구에 따르면 로그 및 엔트로피 가중치 함수는 실제로 많은 데이터 ^[31]세트에서 잘 작동한다고 합니다.즉$,$ $A의$$각{\displaystyle }$ $엔트리{\displaystyle {}_{}}$ $({$$displaystyle$ $a_{ij})$는 다음과 같이 계산됩니다.

${\displaystyle g_{i}=1+\sum _{j}{\frac {p_{ij}\log p_{ij}}{\log n}}$

$(\displaystyle a_{ij}=g_{i}\log(\mathrm {tf}_{ij}+1)}$

순위 감소 특이값 분해

텍스트에 포함된 용어와 개념 사이의 관계 패턴을 결정하기 위해 매트릭스에서 순위 감소된 특이값 분해를 실시한다.SVD는 ^[32]LSI의 기반이 됩니다.단일 항 빈도 행렬 $(\displaystyle$ A$)$를 m by r 용어 개념 벡터 $행렬{\displaystyle }$T(\$displaystyle$ T$),$ r $by$ r 특이값 $행렬{\displaystyle }$ S$(\displaystyle$ S$)$ 및 n by r 개념 문서 벡터 행렬 $(\displays$)의 세 가지 다른 행렬로 근사하여 항 및 문서 벡터 공간을 계산합니다.$tyle$ D$\},$ 다음 관계를 충족합니다.

${\displaystyle A\approx TSD^{T}}$

${\displaystyle T^{T}T=I_{r}\quad D^{T}D=I_{r}}$

$\displaystyle S_{1,1}\geq S_{2,2}\geq \ldots \geq S_{r,r}>0\quad S_{i,j}=0\;{\text{where}\;i\neq j}$

식 중 A는 텍스트 집합에서 공급되는 m×n 가중치 매트릭스이며, 여기서 m은 고유 용어 수이고, n은 문서 수이다.T는 항 벡터의 m x r 행렬이며, 여기서 r은 A의 등급(독특한 치수 θ min(m,n)의 척도)이다.S는 단수값 감소의 r×r 대각행렬이며, D는 문서 벡터의 n×r 행렬이다.

그런 다음 SVD는 단수값 행렬 S에서 가장 큰 k µ r 대각선 항목만 유지함으로써 순위를 낮추기 위해 잘린다. 여기서 k는 일반적으로 100에서 300의 차원에 있다.이를 통해 항과 문서 벡터 행렬 크기가 각각 m x k 및 n x k로 효과적으로 감소합니다.이러한 감소와 함께 SVD 연산은 A의 원래 공간의 소음 및 기타 바람직하지 않은 아티팩트를 줄이면서 텍스트에서 가장 중요한 의미 정보를 보존하는 효과가 있다.이 축소 행렬 집합은 종종 다음과 같은 수정된 공식으로 표시됩니다.

A a_k A = T_k S_kk^T D

효율적인 LSI 알고리즘에서는 첫 번째 k개의 특이값과 용어 및 문서 벡터만 계산하고 전체 SVD를 계산한 후 잘라내는 것이 아닙니다.

이 순위 감소는 기본적으로 행렬 A에서 주성분 분석(PCA)을 수행하는 것과 동일하지만 PCA가 평균을 차감한다는 점에 유의하십시오.PCA는 A행렬의 희소성을 잃기 때문에 큰 사전에서는 실행할 수 없습니다.

LSI 벡터 공간 쿼리 및 증강

계산된_k T행렬과_k D행렬은 용어 및 문서 벡터 공간을 정의하며, 계산된 단수값_k S는 문서 집합에서 파생된 개념 정보를 구체화한다.이러한 공간 내에서 용어 또는 문서의 유사성은 이러한 공간에서 서로 얼마나 가까운지를 나타내는 요소이며, 일반적으로 대응하는 벡터 사이의 각도의 함수로 계산됩니다.

동일한 단계를 사용하여 기존 LSI 인덱스의 문서 공간 내에서 쿼리 및 새 문서의 텍스트를 나타내는 벡터를 찾습니다.A = T S^T D 방정식을 등가 D = T^T−1 S 방정식으로 간단하게 변환함으로써 A에서 새로운 열을 계산한 후 새로운 열에⁻¹ T S를 곱함으로써 쿼리 또는 새로운 문서에 대한 새로운 벡터 d를 생성할 수 있다.A의 새 열은 원래 도출된 전역 용어 가중치를 사용하여 계산되며 쿼리 또는 새 문서의 용어에 동일한 국소 가중치 함수를 적용한다.

이와 같이 벡터를 계산하는 데 있어서 새로운 검색 가능 문서를 추가할 때, 원래 인덱스에 대한 SVD 단계 동안 알려지지 않았던 용어가 무시된다는 단점이 있다.이러한 용어는 원래 텍스트 집합에서 파생된 전체 가중치 및 학습 상관관계에 영향을 미치지 않는다.그러나 새 텍스트에 대해 계산된 벡터는 다른 모든 문서 벡터와의 유사성 비교에 여전히 매우 관련이 있다.

이와 같이 LSI 인덱스의 문서 벡터 공간을 새로운 문서로 확대하는 프로세스를 폴딩 인이라고 합니다.폴딩인 프로세스는 새로운 텍스트의 새로운 의미 내용을 설명하지는 않지만, 이러한 방식으로 문서를 많이 추가해도 추가되는 용어와 개념이 LSI 인덱스 내에 잘 표현되어 있는 한 쿼리에 대한 좋은 결과를 제공할 수 있습니다.새로운 문서 세트의 용어와 개념을 LSI 인덱스에 포함할 필요가 있는 경우 용어 문서 매트릭스와 SVD를 재계산하거나 증분 업데이트 방법(예: )이 필요합니다.

LSI 추가 사용

일반적으로 의미 기반에서 텍스트로 작업할 수 있는 능력은 현대 정보 검색 시스템에 필수적이라는 것이 인정된다.그 결과, 확장성과 퍼포먼스에 관한 이전의 과제를 극복하면서 LSI의 사용이 최근 몇 년 사이 크게 확대되고 있습니다.

LSI는 개념 검색 및 자동 문서 ^[33]분류에 주로 사용되었지만, 다양한 정보 검색 및 텍스트 처리 애플리케이션에 사용되고 있습니다.LSI를 사용하는 다른 방법은 다음과 같습니다.

• 정보검출^[34](eDiscovery, 정부/인텔리전스 커뮤니티, 출판)
• 문서분류자동화(eDiscovery, 정부/인텔리전스 커뮤니티, 출판)^[35]
• 텍스트 요약^[36](eDiscovery, 출판)
• 관계^[37] 발견(정부기관, 인텔리전스 커뮤니티, 소셜 네트워킹)
• 개인 및 조직의^[38] 링크 차트 자동 생성(정부, 인텔리전스 커뮤니티)
• 검토자와의^[39] 기술서류 및 보조금 매칭(정부)
• 온라인 고객^[40] 지원(고객 관리)
• 문서^[41] 작성자 확인(교육)
• 영상의 자동^[42] 키워드 주석
• 소프트웨어 소스^[43] 코드의 이해(소프트웨어 엔지니어링)
• 스팸^[44] 필터링(시스템 관리)
• 정보 시각화^[45]
• 에세이^[46] 채점(교육)
• 문헌 기반의 검출^[47]
• 주식수익률예측^[6]
• 드림 콘텐츠 분석(심리학)

LSI는 전자 문서 검색(eDiscovery)에 점점 더 많이 사용되어 기업이 소송에 대비할 수 있도록 지원하고 있습니다.eDiscovery에서는 개념적으로 대량의 비정형 텍스트 컬렉션을 클러스터링, 분류 및 검색할 수 있는 기능이 필수적입니다.LSI를 사용한 개념 기반 검색은 2003년 ^[48]초에 주요 공급자에 의해 eDiscovery 프로세스에 적용되었습니다.

LSI의 과제

LSI의 초기 과제는 확장성과 성능에 초점을 맞췄습니다.LSI는 다른 정보 검색 ^[49]기술에 비해 상대적으로 높은 계산 성능과 메모리를 필요로 합니다.그러나 최신 고속 프로세서의 구현과 저렴한 메모리의 가용성으로 이러한 고려사항은 대부분 극복되었습니다.매트릭스와 SVD 연산을 통해 완전히 처리된 3000만 개 이상의 문서가 포함된 실제 애플리케이션은 일부 LSI 애플리케이션에서 일반적입니다.오픈 소스 gensim 소프트웨어 ^[50]패키지에는 LSI의 완전 확장 가능(문서 수 무제한, 온라인 트레이닝) 구현이 포함되어 있습니다.

LSI의 또 다른 과제는 SVD 실행에 사용할 최적의 치수 수를 결정하는 데 어려움이 있다는 것입니다.일반적으로 차원이 작을수록 텍스트 모음에 포함된 개념을 더 폭넓게 비교할 수 있고, 차원이 높을수록 개념의 더 구체적이거나 더 적절한 비교를 할 수 있다.사용할 수 있는 실제 차원 수는 컬렉션의 문서 수에 따라 제한됩니다.연구에 따르면 보통 중간 크기의 문서 모음(수십만 개의 문서 모음)에서 약 300개의 차원이 최상의 결과를 제공하며, 더 큰 문서 모음(수백만 개의 ^[51]문서 모음)에서는 약 400개의 차원이 최상의 결과를 제공합니다.그러나 최근 연구에 따르면 문서 ^[52]수집의 크기와 특성에 따라 50-1000 치수가 적합하다고 합니다.최적의 차원성을 결정하기 위해 PCA 또는 인자 분석과 유사하게 유지된 분산의 비율을 확인하는 것은 LSI에 적합하지 않습니다.동의어 검정 또는 누락된 단어의 예측은 올바른 차원을 ^[53]찾기 위한 두 가지 방법 중 하나입니다.LSI 토픽을 지도 학습 방법의 기능으로 사용하면 예측 오차 측정을 사용하여 이상적인 차원을 찾을 수 있습니다.

「 」를 참조해 주세요.

• Coh-Metrix
• 복합항 처리
• 분포 의미론
• 명시적 의미 분석
• 잠재의미적 매핑
• 잠재적인 의미 구조 색인화
• 주성분 분석
• 확률론적 잠재의미분석
• 스팸 삭제
• 단어 벡터
• 토픽 모델
  • 잠재 디리클레 할당

레퍼런스

추가 정보

• Landauer, Thomas; Foltz, Peter W.; Laham, Darrell (1998). "Introduction to Latent Semantic Analysis" (PDF). Discourse Processes. 25 (2–3): 259–284. CiteSeerX 10.1.1.125.109. doi:10.1080/01638539809545028.
• Deerwester, 스콧, 두메이, 수잔은 T.,.FurnasCentraisElétricasSA, 조지 W. 적용한다는 토마스 K.;.Harshman, 리차드(1990년)."잠열 시맨틱 분석에 의해 인덱싱"(PDF).저널은 미국의 정보 과학을. 41(6):391–407.CiteSeerX 10.1.1.33.2447. doi:10.1002(SICI)1097-4571(199009)41:6<, 391::AID-ASI1>, 3.0.CO, 2-9.2012-07-17에 있는 원본(PDF)에서 Archived.이곳은 최초 모델 노출되었던 원래의 기사이다.
• Berry, Michael; Dumais, Susan T.; O'Brien, Gavin W. (1995). "Using Linear Algebra for Intelligent Information Retrieval". {{cite journal}}: 저널 요구(도움말)를 인용합니다(PDF).문서 검색에 대한 LSA 적용 예시.
• Chicco, D; Masseroli, M (2015). "Software suite for gene and protein annotation prediction and similarity search". IEEE/ACM Transactions on Computational Biology and Bioinformatics. 12 (4): 837–843. doi:10.1109/TCBB.2014.2382127. hdl:11311/959408. PMID 26357324. S2CID 14714823.
• "Latent Semantic Analysis". InfoVis.
• Fridolin Wild (November 23, 2005). "An Open Source LSA Package for R". CRAN. Retrieved November 20, 2006.
• Thomas Landauer, Susan T. Dumais. "A Solution to Plato's Problem: The Latent Semantic Analysis Theory of Acquisition, Induction, and Representation of Knowledge". Retrieved 2007-07-02.

외부 링크

LSA에 관한 기사

• LSA의 창시자 중 한 명인 Tom Landauer가 쓴 LSA에 관한 학술 논문인 잠재 의미 분석.

강연 및 데모

• LSA의 개요, 교수님의 강연.LSA, 정보 검색의 응용 프로그램 및 확률론적 잠재 의미 분석과의 관련성을 설명하는 Thomas Hofmann.
• Windows 의 경우는, C# 에 있는 LSA 샘플 코드를 입력해 주세요.데모 코드에는 텍스트 파일 열거, 중지 단어 필터링, 스팅, 문서 용어 매트릭스 및 SVD가 포함됩니다.

실장

LSA는 정보 검색, 자연 언어 처리(NLP), 인지 과학 및 계산 언어학 분야에서의 교차 도메인 애플리케이션으로 인해 다양한 종류의 애플리케이션을 지원하도록 구현되어 있습니다.

• Sense Clusters(LSA의 정보 검색 지향 perl 구현)
• S-Space 패키지, LSA의 컴퓨터 언어학 및 인지 과학 지향 Java 구현
• 의미 벡터는 Lucene 용어 문서 행렬에 랜덤 투영, LSA 및 반사 랜덤 인덱싱을 적용합니다.
• Infomap Project, LSA의 NLP 지향 C 구현(시맨틱 벡터프로젝트로 대체)
• Text to Matrix Generator, LSA를 지원하는 텍스트 컬렉션에서 용어 문서 행렬을 생성하기 위한 MATLAB 도구 상자
• Gensim에는 RAM보다 큰 매트릭스에 대한 Python LSA 구현이 포함되어 있습니다.