집프의 법칙

Zipf's law (/zɪf/, 독일어:[ts ͡ɪpf])는 측정값 목록이 감소하는 순서로 정렬될 때 종종 유지되는 경험적 법칙입니다. n번째 항목의 값은 n에 반비례한다고 명시되어 있습니다.

Zipf 법칙의 가장 잘 알려진 예는 자연어의 텍스트 또는 말뭉치의 단어 빈도표에 적용됩니다.

일반적으로 가장 흔한 단어는 그다음 흔한 단어보다 약 두 배, 세 번째로 흔한 단어보다 세 배 정도 자주 발생하는 것으로 나타났습니다. 예를 들어, 미국 영어의 브라운 코퍼스(Brown Corpus of American English Text)에서 "the"라는 단어는 가장 자주 발생하는 단어이며, 그 자체로 전체 단어 발생의 거의 7%(약 100만 개 이상 중 69,971개)를 차지합니다. Zipf의 법칙에 따르면, 2위 단어인 "of"는 단어의 3.5%를 약간 넘는 비율을 차지하고 (36,411건), 그리고 "and" (28,852건)가 그 뒤를 이룹니다.^[2] 흔히 집프-만델브로트 법칙이라고 불리는 다음과 같은 형태로 사용됩니다.$여기$서$,$ b {\$displaystyle a,b}$는 $모수$에 적합되며, ≈ $1${\$displaystyle$ a\approx 1}, b ≈ 2.7 {\displaystyle b\approx 2.7}입니다.

이 "법칙"은 미국의 언어학자 조지 킹슬리 집프의 이름을 따서 지어졌고,^[3][4][5] 여전히 양적 언어학에서 중요한 개념입니다. 이는 물리학 및 사회 과학에서 연구되는 다른 많은 유형의 데이터에 적용되는 것으로 나타났습니다.

수학 통계학에서 이 개념은 순위-주파수 분포가 역제곱 법칙 관계인 관련 이산 확률 분포의 계열인 Zipfian 분포로 공식화되었습니다. 그들은 벤포드 법칙과 파레토 분포와 관련이 있습니다.

일부 시간 의존적인 경험적 데이터 세트는 Zipf의 법칙에서 다소 벗어나 있습니다. 그러한 경험적 분포를 준집피안(quasi-Zipfian)이라고 합니다.

역사

1913년, 독일의 물리학자 펠릭스 아우어바흐는 도시의 인구 규모와 그 변수의 감소하는 순서로 정렬될 때 그 순위 사이에 반비례하는 것을 관찰했습니다.^[6]

Zipf의 법칙은 1916년 프랑스의 속기사인 Jean-Baptiste Estoup' Gammes Stenographiques(^[7]제4판)가 G와 함께 ^[a]Zipf 이전에 발견했습니다. 1923년 듀이,^[8] 1928년 E. 콘돈과 함께.^[9]

1932년 조지 집프(George Zipf)는 자연어 텍스트에서 단어의 빈도에 대한 동일한 관계를 관찰했지만,^[4] 그는 그것이 기원이라고 주장한 적이 없습니다. 사실 Zipf는 수학을 좋아하지 않았습니다. 1932년에 출판된 그의 책에서 ^[10]저자는 언어학에 수학적으로 관여하는 것을 경멸하는 태도로 말하고 있습니다. a. o. ibidem, p. 21: (…) 제 생각에, 어떤 수학자든, 다음의 데이터를 보다 정확하게 공식화할 계획을 갖고 있는 사람을 위해 여기서 말씀드리겠습니다. 매우 강렬한 긍정이 매우 강렬한 부정이 될 수 있는 능력입니다. 악마를 √(-i)의 형태로 공식에 도입합니다. 집프가 사용한 유일한 수학적 표현은 알프레드 J. 로트카의 1926년 출판물에서 "borrowed"한 a.b = 상수처럼 보입니다.

빈도 외에 다른 많은 맥락과 다른 변수에서도 동일한 관계가 발생하는 것으로 나타났습니다.^[1] 예를 들어, 기업의 규모가 감소하여 순위가 매겨질 때 기업의 규모는 순위에 반비례하는 것으로 나타났습니다.^[12] 개인 소득(파레토 원리라고^[13] 함), 동일한 TV 채널을 시청하는 사람의 수,^[14] 음악의 노트,^[15] 세포 전사체^[16][17] 등에서도 동일한 관계가 발견됩니다.

1992년 생물정보학자 웬티안 리(Wentian Li)는 무작위로 생성된 텍스트에서도 Zipf의 법칙이 나타난다는 짧은^[18] 논문을 발표했습니다. 집프의 법칙의 거듭제곱 법칙 형태가 계급별로 단어를 순서화한 부산물이라는 증거가 포함되어 있었습니다.

형식적 정의

집프의 법칙

확률질량함수 로그-로그 스케일에서 N = 10에 대한 Zipf PMF. 가로축은 인덱스 k입니다.(함수는 k의 정수 값에서만 정의됩니다. 연결선은 연속성을 나타내지 않습니다.)
누적분포함수 Zipf CDF for N = 10. 가로축은 인덱스 k입니다.(함수는 k의 정수 값에서만 정의됩니다. 연결선은 연속성을 나타내지 않습니다.)
매개변수	$s ≥$ 0 ${\displaystyles\$geq 0\,} (실제) ${\displaystyle \mathrm{N}}$ ${\displaystyle \in }${${\displaystyle 1}$,2$,3$ …} ${\displaystyle N\in$\{1,2,3$\$ldots \}} (정수)
지지하다	${\displaystyle k\in \{1,2,\ldots,N\}$
PMF	${\$$H_{N,s}}}}$ 여기서$$ H는N,s N번째 일반화 고조파 수이다.
CDF	${\displaystyle {\frac {H_{k,s}}{H_{N,s}}}}$
의미하다	${\displaystyle {\frac {H_{N,s-1}}{H_{N,s}}}}$
모드	${\displaystyle 1\,}$
분산	${\displaystyle {\frac {H_{N,s-2}}{H_{N,s}}}-{\frac {H_{N,s-1}^{2}}{H_{N,s}^{2}}}$
엔트로피	${\displaystyle {\frac {s}{H_{N,s}}}\sum \limits _{k=1}^{N}{\frac {\ln(k)}{k^{s}}}+\ln(H_{N,s})}$
MGF	${\displaystyle {\frac {1}{H_{N,s}}}\sum \limits _{n=1}^{N}{\frac {e^{nt}}{n^{s}}}}$
CF	${\displaystyle {\frac {1}{H_{N,s}}}\sum \limits _{n=1}^{N}{\frac {e^{int}}{n^{s}}}}$

공식적으로, N개의 원소에 대한 Zipf 분포는 (1부터 계산) 순위 k의 원소에 확률을 할당합니다.

${\displaystyle f(k;N)={\frac {1}{H_{N}}\,{\frac {1}{k}}$

여기서 H는_N 정규화 상수, N차 고조파 수:

${\displaystyle H_{N}=\sum_{k=1}^{N}{\frac {1}{k}}\.}$

분포는 1이 아닌 지수를 갖는 역제곱 법칙으로 일반화되기도 합니다.^[19] 즉,

${\displaystyle f(k;N,s)={\frac {1}{H_{N,s}}}\,{\frac {1}{k^{s}}}}$

여기서 H는_N,s 일반화된 조화수

${\displaystyle H_{N,s}=\sum _{k=1}^{N}{\frac {1}{k^{s}}}\ .}$

일반화된 Zipf 분포는 지수가 1을 초과하는 경우에만 무한히 많은 항목(N = ∞)으로 확장될 수 있습니다. 이 경우, 정규화 상수_N,s H는 리만의 제타 함수가 되며,

${\displaystyle \zeta(s)=\sum _{k=1}^{\infty}{\frac {1}{k^{s}}<\infty \.}$

지수 s가 1 이하이면 N이 무한대로 갈수록 정규화 상수 H가_N,s 발산합니다.

경험적 테스트

경험적으로, 콜모고로프-스미르노프 검정으로 가설된 멱법칙 분포에 대한 경험적 분포의 적합도를 확인함으로써 Zipf의 법칙이 적용되는지 여부를 확인하기 위해 데이터 세트를 검정할 수 있습니다. 그런 다음 지수 분포 또는 로그 정규 분포와 같은 대체 분포에 대한 거듭제곱 법칙 분포의 (로그) 우도비를 비교합니다.^[20]

Zipf의 법칙은 항목 빈도 데이터를 로그-로그 그래프에 표시하여 시각화할 수 있으며, 축은 순위 순서의 로그이고 빈도의 로그입니다. 데이터는 그림이 기울기 -s를 갖는 선형(더 정확하게는 아핀) 함수와 근사하는 정도까지 지수를 갖는 Zipf의 법칙을 따릅니다. 지수 s = 1의 경우, 순위에 대한 빈도(mean 단어 간 간격)의 역수 또는 빈도에 대한 순위의 역수를 표시하고 기울기 1이 있는 원점을 통한 선과 결과를 비교할 수도 있습니다.

통계설명

비록 집프의 법칙이 에스페란토와 같이 자연어가 아닌 언어들도 대부분 포함하고 있지만, ^[21]그 이유는 여전히 잘 이해되지 않고 있습니다.^[22] Zipf의 법칙에 대한 생성 과정에 대한 최근의 리뷰는 다음과 같습니다.^[23][24]

다만 무작위로 생성된 텍스트에 대한 통계 분석으로 일부 설명될 수 있습니다. Wentian Li는 각 문자가 모든 문자(게다가 공백 문자)의 균일한 분포에서 무작위로 선택된 문서에서 길이가 다른 "단어"는 Zipf의 법칙의 거시적 추세를 따른다는 것을 보여주었습니다(가능성이 높은 단어일수록 동일한 확률로 가장 짧습니다).^[25] 1959년, 비톨드 벨레비치(Vitold Bellevitch)는 잘 행동하는 통계 분포의 큰 클래스 중 하나(정규 분포뿐만 아니라)가 순위로 표현되고 테일러 급수로 확장되면 급수의 1차 절단이 집프의 법칙으로 귀결된다는 것을 관찰했습니다. 게다가 테일러 급수의 2차 절단은 만델브로의 법칙으로 이어졌습니다.^[26][27]

최소 노력의 원리는 또 다른 가능한 설명입니다. Zipf 자신은 주어진 언어를 사용하는 화자나 청자가 이해에 도달하기 위해 필요 이상으로 열심히 일하고 싶어하지 않는다고 제안했으며, 거의 동일한 노력의 분배를 초래하는 프로세스는 관찰된 Zipf 분포로 이어집니다.^[5][28]

최소한의 설명은 원숭이가 무작위로 타자를 쳐서 단어가 생성된다고 가정합니다. 한 마리의 원숭이가 무작위로 입력하여 각 글자 키나 흰 칸을 칠 확률이 고정되고 0이 아닌 언어가 생성되면 원숭이가 생성하는 단어(흰 칸으로 구분된 글자 문자열)는 집프의 법칙을 따릅니다.^[29]

Zipf 분포의 또 다른 가능한 원인은 항목의 값 x가 x에 비례하는 비율로 증가하는 경향이 있는 우선 첨부 프로세스(직관적으로 "부자가 더 부자가 된다" 또는 "성공이 성공을 낳는다")입니다. 이러한 성장 과정은 Yule-Simon 분포를 초래하며, Zipf의 법칙보다 언어^[30] 및 인구 및 도시 순위에서^[31] 단어 빈도 대 순위에 더 잘 맞는 것으로 나타났습니다. 이는 원래 Yule에 의해 개체수 대 종 순위를 설명하기 위해 파생되었으며, Simon에 의해 도시에 적용되었습니다.

유사한 설명은 공정 순위에만 의존하는 드리프트 및 분산 매개변수가 있는 교환 가능한 양의 값 확산 공정 시스템인 아틀라스 모델을 기반으로 합니다. Zipf의 법칙은 특정한 자연 규칙성 조건을 만족하는 Atlas 모델에 대해 성립한다는 것을 수학적으로 보여주었습니다.^[32][33] 준-집피안 분포는 준-아틀라스 모델에서 비롯될 수 있습니다.^{[citation needed]}

관련법

집프의 법칙을 일반화한 것은 베누아 만델브로가 제안한 집프-만델브로 법칙이며, 그 빈도는 다음과 같습니다.

${\displaystyle f(k;N,q,s)={\frac {1}{C}}\,{\frac {1}{(k+q)^{s}}}.\,}$^{[clar화 필요]}

상수 C는 s에서 평가된 후르비츠 제타 함수입니다.

Zipfian 분포는 변수 교환을 통해 Pareto 분포에서 얻을 수 있습니다.^[19]

Zipf 분포는 이산 균일 분포가 연속 균일 분포와 유사한 것과 같은 방식으로 연속형 파레토 분포와 유사하기 때문에 이산형 파레토^[34] 분포라고 불리기도 합니다.

Yule-Simon 분포의 꼬리 주파수는 대략적으로

${\displaystyle f(k;\rho )\approx {\frac {{\text{constant}}}{k^{\rho +1}}}$

ρ > 0 중 어느 하나를 선택할 수 있습니다.

포물선 프랙탈 분포에서 빈도의 로그는 순위의 로그의 2차 다항식입니다. 이것은 단순한 멱법칙 관계보다 적합도를 현저하게 향상시킬 수 있습니다.^[35] 프랙탈 차원과 마찬가지로 텍스트 분석에 유용한 파라미터인 Zipf 차원을 계산할 수 있습니다.^[36]

벤포드 법칙은 통계 물리학과 임계 현상에서 비롯된 규모 불변 함수 관계에서 비롯된 이 두 법칙 사이의 연관성으로 설명되는 ^[35]Zipf 법칙의 특별한 경계 사례라고 주장되었습니다.^[37] 벤포드 법칙의 확률 비율은 일정하지 않습니다. s = 1로 Zipf의 법칙을 만족하는 데이터의 선두 숫자는 Benford의 법칙을 만족합니다.

${\displaystyle n}$	벤포드 법칙: $P{\displaystyle (n)}$ = ${\displaystyle$ P(n) =} ${\displaystyle \log _{10}(n+1)-\log _{10}(n)}$	${\displaystyle {\frac {\log(P(n)/P(n-1))}{\log(n/(n-1))}}}$
1	0.30103000
2	0.17609126	−0.7735840
3	0.12493874	−0.8463832
4	0.09691001	−0.8830605
5	0.07918125	−0.9054412
6	0.06694679	−0.9205788
7	0.05799195	−0.9315169
8	0.05115252	−0.9397966
9	0.04575749	−0.9462848

발생사항

도시규모

1913년 아우어바흐의 관찰에 따라 도시 크기에 대한 집프의 법칙에 대한 실질적인 검토가 있었습니다.^[38] 그러나 보다 최근의^[39][40] 실증적이고^[41] 이론적인 연구들은 도시에 대한 Zipf의 법칙의 관련성에 이의를 제기했습니다.

자연어의 단어 빈도수

인간 언어의 많은 텍스트에서 단어 빈도는 지수가 1에 가까운 Zipf 분포를 따릅니다. 즉, 가장 일반적인 단어는 n번째로 가장 일반적인 단어의 약 n배입니다.

자연어 텍스트의 실제 순위 빈도 그림은 특히 범위의 두 끝에서 이상적인 Zipf 분포에서 어느 정도 벗어납니다. 편차는 언어, 텍스트 주제, 저자, 텍스트가 다른 언어에서 번역되었는지 여부 및 사용된 철자 규칙에 따라 달라질 수 있습니다.^{[citation needed]} 표본오차 때문에 어느 정도의 편차는 불가피합니다.

순위가 N에 접근하는 저주파 끝에서는 각 단어가 정수 번만 발생할 수 있기 때문에 그림이 계단 모양을 취합니다.

• 여러 언어에 대한 Zipf의 법칙도
• 
  독일어(1669), 러시아어(1972), 프랑스어(1865), 이탈리아어(1840), 중세 영어(1460)로 된 텍스트.
• 
  세르반테스의 돈키호테 1부(스페인어, 1605)와 아시스의 돔 카스무로(포르투갈어, 1899).
• 
  Ge'ez (14세기), 아랍어 (~650 CE), 히브리어 (500-800 CE), 모두 모음이 있습니다.
• 
  라싸 티베트어, 중국어, 베트남어, 모두 음절이 분리되어 있습니다.
• 
  성경 본문: 라틴어 벌게이트와 러시아어 시노달 성경의 오순절, 비잔티움 그리스어 다수판의 4복음서.
• 
  세르반테스의 돈키호테, 1부(1605)와 2부(1615).
• 
  히브리어로 된 구약성경(토라)의 첫 다섯 권, 모음.
• 
  라틴어 벌게이트 버전으로 구약성서(오순절)의 첫 다섯 권.
• 
  라틴어 벌게이트 버전으로 된 신약성서(복음서)의 첫 네 권.

일부 로망스 언어에서는 십여 개의 가장 빈번한 단어의 빈도가 이상적인 Zipf 분포에서 크게 벗어나는데, 이러한 단어들은 문법적 성별과 수에 따라 굴절된 기사를 포함하기 때문입니다.^{[citation needed]}

중국어, 라싸 티베트어, 베트남어와 같은 많은 동아시아 언어에서 각 "단어"는 하나의 음절로 구성되어 있습니다; 영어 단어는 종종 그러한 두 음절의 합성어로 번역됩니다. 이러한 "단어"에 대한 순위 빈도표는 범위의 양쪽 끝에 있는 이상적인 Zipflaw에서 크게 벗어납니다.^{[citation needed]}

영어에서도 많은 양의 텍스트 모음을 조사할수록 이상적인 집프의 법칙으로부터의 편차가 더욱 분명해집니다. 30,000개의 영어 텍스트 코퍼스를 분석한 결과, 그 안에 있는 텍스트의 약 15%만이 집프의 법칙에 적합한 것으로 나타났습니다. Zipf 법칙의 정의에 약간의 변화가 있으면 이 비율이 50%^[42] 가까이까지 증가할 수 있습니다.

이러한 경우 관찰된 빈도-순위 관계는 다른 하위 집합 또는 하위 유형의 단어에 대한 별도의 Zipf-Mandelbrot 법칙 분포에 의해 보다 정확하게 모델링될 수 있습니다. 이것은 영어 위키백과의 첫 1천만 단어의 빈도 순위 도표의 경우입니다. 특히, 영어에서 기능 단어의 폐쇄 클래스의 빈도는 1보다 낮게 더 잘 설명되는 반면, 문서 크기와 말뭉치 크기를 가진 개방형 어휘 증가는 Generalized Harmonic Series의 수렴을 위해 1보다 큰 것이 필요합니다.^[3]

각각의 고유한 평문 단어의 모든 발생이 항상 동일한 암호화된 단어에 매핑되도록 텍스트가 암호화되는 경우(예를 들어 시저 암호나 단순 코드북 암호의 경우와 같이), 빈도 순위 분포는 영향을 받지 않습니다. 반면, 동일한 단어의 개별적인 발생이 두 개 이상의 다른 단어에 매핑될 수 있는 경우(Vigenère 암호에서 발생하는 것처럼), Zipf 분포는 일반적으로 고주파수 끝에 평평한 부분을 갖게 됩니다.^{[citation needed]}

적용들

Zipf의 법칙은 유사한 corpora에서 병렬 텍스트 조각을 추출하는 데 사용되었습니다.^[43] Laurance Doyle과 다른 사람들은 외계 지능을 찾는 데 있어 외계어를 탐지하기 위해 Zipf의 법칙을 적용할 것을 제안했습니다.^[44][45]

빈도 순위 단어 분포는 종종 저자의 특징이며 시간이 지남에 따라 거의 변하지 않습니다. 이 기능은 저자 귀속 텍스트 분석에 사용되었습니다.^[46][47]

15세기 코덱스 보이니치 원고의 단어와 같은 기호 그룹은 집프의 법칙을 만족하는 것으로 밝혀졌으며, 이는 텍스트가 거짓말이 아니라 모호한 언어나 암호로 작성되었을 가능성이 높다는 것을 암시합니다.^[48][49]

참고 항목

• 1% 규칙(인터넷 문화) – 가상 커뮤니티에 더 많은 사람이 숨어있을 것이라는 가설 리디렉션 대상에 대한 짧은 설명이 표시되는 페이지
• Benford의 법칙 – 많은 실제 데이터 세트에서 선두 자리가 작을 가능성이 높다는 관측
• Bradford의 법칙 – 과학 저널의 참조 패턴
• 간결성 법칙 – 언어학 법칙
• 인구학적 인력
• 빈도 목록 – 말뭉치 언어학에서 언어 단어의 맨 위 목록 리디렉션 대상에 대한 짧은 설명을 표시하는 페이지
• 기브라트의 법칙 – 경제 원리
• Hapax legomenon – 주어진 텍스트 또는 레코드에서 한 번만 나타나는 단어
• Heaps' law – 문서에서 구별되는 단어에 대한 휴리스틱
• King effect – 가장 높은 순위의 데이터 점이 특이치인 통계량에서 나타나는 현상
• 긴 꼬리 – 일부 통계 분포의 특징
• 로렌츠 곡선 – 소득 또는 부의 분포를 그래프로 표시
• Lotka's law – 주어진 분야에서 저자의 출판 빈도를 기술하는 Zipf's law의 적용
• 멘제라스의 법칙 – 언어 법칙
• 파레토 분포 – 확률 분포
• 파레토 원리 – 원인에 대한 효과 비율에 대한 통계적 원리, 예를 들어 "80–20 규칙"
• 가격의 법칙 – 리다이렉트 대상에 대한 짧은 설명을 표시하는 과학 페이지의 역사가
• 최소 노력의 원칙 – 에이전트가 가장 쉬운 작업을 선호하는 아이디어
• 순위 크기 분포 – 순위별 크기 분포 위키데이터 설명을 폴백으로 표시하는 페이지
• 스티글러의 시문 법칙 – 어떠한 과학적 발견도 발견자의 이름을 따서 명명되지 않는 것을 관찰
• 문자빈도
• 영어에서 가장 흔한 단어는

메모들

참고문헌

더보기

• Alexander Gelbukh and Grigori Sidorov (2001) "Zipf and Heaps Laws' 계수는 언어에 의존합니다." 프록. CICLing-2001, 지능형 텍스트 처리 및 컴퓨터 언어학 회의, 2001년 2월 18일-24일, 멕시코시티. 컴퓨터 과학 N 2004, ISSN 0302-9743, ISBN 3-540-41687-0, Springer-Verlag: 332–335.
• Kali R. (2003) "거대한 구성요소로서의 도시: Zipf의 법칙에 대한 임의의 그래프 접근", 응용경제학 편지 10: 717–720(4)
• Shyklo A. (2017); 순위 프로세스의 조합론에서 도출된 새로운 순위-점유율 분포를 통한 Zipf의 미스터리에 대한 간단한 설명은 SSRN: https://ssrn.com/abstract=2918642 에서 확인할 수 있습니다.

외부 링크

라이브러리 리소스 정보 집프의 법칙

라이브러리의 리소스 다른 라이브러리의 리소스

• Strogatz, Steven (2009-05-29). "Guest Column: Math and the City". The New York Times. Archived from the original on 2015-09-27. Retrieved 2009-05-29.—도시인구에 적용되는 Zipf의 법칙에 관한 기사
• 구석구석 보기(인공 사회에서 Zipf의 법칙이 나타남)
• 집프의 법칙에 관한 행성수학 기사
• 배포 유형 "fractal parabolique" dansla Nature (프랑스어, 영문 요약 포함) Wayback Machine에서 아카이브된 2004-10-24
• 소득분포 분석
• Wayback Machine에서 보관된 프랑스어 단어 Zipf 목록 2007-06-23
• Gutenberg Project의 영어, 프랑스어, 스페인어, 이탈리아어, 스웨덴어, 아이슬란드어, 라틴어, 포르투갈어 및 핀란드어에 대한 Zipf 목록과 Wayback Machine에서 보관된 텍스트의 단어 순위를 매기는 온라인 계산기 2011-04-08
• 인용과 집프-만델브로의 법칙
• Zipf's Law 사례와 모델링 (1985)
• 복잡한 시스템: Zipf's law (2011)
• 벤포드 법칙, 집프 법칙, 테렌스 타오의 파레토 분포.
• "Zipf law", Encyclopedia of Mathematics, EMS Press, 2001 [1994]