표준화된 Google 거리

Normalized Google Distance(NGD)는 구글 검색엔진이 특정 키워드 집합에 대해 반환한 조회수에서 도출한 의미 유사성 측정치다.^[1]자연어적 의미의 의미가 같거나 비슷한 키워드는 구글 거리 정규화 단위가 '가까운' 경향이 있는 반면, 뜻이 다른 단어들은 더 멀리 떨어져 있는 경향이 있다.

구체적으로, 두 검색어 x와 y 사이의 정규화된 구글 거리(NGD)는

${\displaystyle \operatorname {NGD}(x,y)={\frac {\max\{\log f(x),\log f(y)\}-\log f(y)}{\log N-\min\{\log f(x),\log f(y)\\\\\\\log f(y)\}}}}$

여기서 N은 구글이 검색한 총 웹페이지 수에 페이지에서 발생하는 싱글톤 검색어의 평균 수를 곱한 것이며, f(x)와 f(y)는 각각 검색어 x와 y의 조회수, f(x, y)는 x와 y가 모두 발생하는 웹페이지의 수입니다.

${\displaystyle \mathrm{N}}$ ${\displaystyle G}$ ${\displaystyle D(}$ x${\displaystyle }$, ${\displaystyle y}$)${\displaystyle }$= 0 ${\displaystyle NGD(x,y)=0}$이면 x와 y는 가능한 한 비슷하게 보이지만, ${\displaystyle \mathrm{N}}$ ${\displaystyle G}$ ${\displaystyle D(x,}$ y${\displaystyle }$) ${\displaystyle 1}$ ${\displaystyle NGD(x,y)\geq$ 1$}$이면 x와 y는 매우 다르다.x와 y의 두 검색어가 동일한 웹페이지에서 함께 발생하지 않지만 별도로 발생하는 경우, 두 검색어 사이의 NGD는 무한하다.만약 두 항이 항상 함께 일어난다면, 그들의 NGD는 0이다.

예:2013년 4월 9일 '셰익스피어'의 경우 1억3000만 히트를, '맥베스'의 경우 2600만 히트를, '셰익스피어 맥베스'의 경우 2080만 히트를 기록했다.구글이 인덱싱한 페이지 수는 검색어 '더(the)'의 조회 수(2,527억 건)로 추산됐다.$평균$ 페이지에 약 1,000개의 검색어가 있다고 가정하면,${\displaystyle }이것$은 ${\displaystyle \mathrm{N}}$= $25$,$270$ ${\displaystyle 000,}$ 000, $, 000$을 준다$.$그러므로

${\displaystyle N}$ ${\displaystyle G}$ ${\displaystyle D}$ ${\displaystyle (S}$ ${\displaystyle h}$ ${\displaystyle a}$ ${\displaystyle k}$ ${\displaystyle e}$ ${\displaystyle p}$ ${\displaystyle a}$ r ${\displaystyle e}$, ${\displaystyle M}$ ${\displaystyle a}$ b ${\displaystyle e}$ ${\displaystyle t}$ ${\displaystyle h}$)${\displaystyle }$=${\displaystyle }$( ${\displaystyle 26.95}$- ${\displaystyle 24.31}$)${\displaystyle }$/ ${\displaystyle (44.52}$- ${\displaystyle 24.63)}$=${\displaystyle 0.13}$ ${\displaystyle NGD(셰익스피어, 맥베스)=$ ($26.95-24.31)/(44.52-24.63)=0.13$

'셰익스피어'와 '맥베스'는 구글이 제공하는 상대적 의미론에 따라 매우 비슷하다.

소개

'정상화된 구글 거리'는 이전의 '정상화된 압축 거리'에서 유래한다.^[2][3] 즉, 물체는 쥐의 문자 그대로 4글자 게놈이나 셰익스피어의 문자 그대로 맥베스의 문자처럼 문자 그대로 주어질 수 있다.이러한 물체의 유사성은 NCD에 의해 주어진다.단순성을 위해 우리는 그 물체의 모든 의미는 문자 그대로의 물체 그 자체로 표현된다고 생각한다.물체는 '쥐의 네 글자의 게놈'이나 '세익스피어의 맥베스의 텍스트'와 같은 이름으로도 주어질 수 있다.또한 문자 그대로 주어질 수 없고, 이름만으로 주어질 수 없고, '집'이나 '빨간색'처럼 인류의 배경 상식에 있는 문맥에서 그 의미를 습득하는 사물도 있다.개체 이름 간의 유사성은 NGD에 의해 주어진다.

Google 배포 및 Google 코드

구글이 반환한 페이지 수의 빈도를 구글이 인덱싱한 페이지 수(이 페이지들의 평균 검색어 수로 곱함)로 나눈 것으로 생각되는 구글 검색어의 확률은 실제로 사회에서 사용되는 검색어의 실제 상대적 빈도와 근사하다.이러한 전제에 기초하여, 구글의 표준화된 거리로 대표되는 관계는 검색어를 지배하는 가정된 진정한 의미적 관계를 대략 포착한다.NGD에서는 월드 와이드 웹과 구글이 사용된다.다른 텍스트 기업은 적절한 검색 엔진과 함께 위키백과, 킹 제임스 버전의 성경 또는 옥스포드 영어 사전이 될 수 있다.

특성.

다음과 같은 속성이 증명된다.^[1]

• NGD는 대략 0과 $\infty {\displaystyle \mathrm{}}$ 사이에 있다. ${\displaystyle \infit }.$ 약간 음성이 될 수 있다$.$예를 들어 "빨간빨간색"은 "빨간색"보다 월드 와이드 웹에서 구글의 조회 수를 약 20% 더 준다. (2013년 중반 "빨간색"의 조회 수는 4.26만 건, "빨간색"의 조회 수는 550만 건이었다.)현재 "적색"은 "적색"보다 훨씬 적은 결과를 반환한다.$N{\displaystyle }$ ${\displaystyle G}$ ${\displaystyle D}$( ${\displaystyle x}$, y${\displaystyle }$) ${\displaystyle \ge }$ ${\displaystyle 1}$ ${\displaystyle NGD(x,y)\geq 1}$인 경우$$ x와 y를 매우 다른 것으로 본다.
• NGD는 미터법이 아니다.처음에 우리는 NGD가 x와 y의 경우 0이며 x와 y는 항상 같은 웹페이지에서 함께 발생한다는 것을 알았다.NGD 공식에서 우리는 그것이 대칭적이라는 것을 알 수 있다.삼각형 속성은 NGD에 의해 충족되지 않는다.그러나 이러한 결과는 이론적이다.구글을 이용한 월드 와이드 웹이 삼각형 속성을 침해하는 실질적인 사례를 내놓기는 어렵다.

적용들

색 대 숫자, 프라임 대 비프라임 등에 대한 응용 프로그램이 제공되며 ^[1]워드넷 범주를 사용한 무작위화된 대규모 실험도 제공된다.프라임 대 비프라임 사례 및 WordNet 실험에서 NGD 방법은 Support Vector Machine 분류기로 증강된다.그 실험은 25개의 긍정적인 예와 25개의 부정적인 예들로 구성되어 있다.워드넷 실험은 100개의 랜덤 워드넷 범주로 구성되었다.NGD 방식은 성공률이 87.25%에 달했다.즉, 표준 편차는 0.1169인 반면 평균은 0.8725이다.이 비율은 WordNet 범주와의 합의에 관한 것으로, 이 범주에 들어간 박사학위를 가진 연구자들의 지식을 나타낸다.합의가 75% 미만이 되는 경우는 드물다.

참조

관련 문헌

• 알렌과 Y.Wu, 수집 범위 측정 기준, JASIST, (2005), 55(10), 1243-1249
• M. Li와 P.M.B.비타니, Kolmogorov 복잡성과 그 적용에 대한 소개, Springer, 2019, 제4판
• 구글은 Newscientist.com에서 의미를 찾고 있다.
• J. 폴란드 및 Th. Zeugmann(2006), Eigen벡터 및 Semidefinite 프로그래밍으로 Google 거리 클러스터링
• A. 굽타와 T.Oates(2007), 온톨로지와 웹을 사용하여 어휘 의미론 학습(다른 알고리즘과 NGD 비교 포함)
• Wong, W, 류, W. & Bennamun, M.(2007) 무형의 유사성에 기초한 용어 군집을 위한 Tree-Traversing 개미 알고리즘인: 데이터 마이닝 및 지식 검색, 제15권, 문제 3, 349–381페이지. doi:10.1007/s10618-007-007-y (용어 클러스터링에 NGD 사용)