아날로그 모델링

Analogical modeling

아날로그 모델링(AM)은 유타주 프로보 소재 브리검대학의 언어학 및 영어 교수인 Royal Skousen이 제안예시 기반의 아날로그 추론의 공식 이론입니다.언어 모델링 및 기타 분류 작업에 적용할 수 있습니다.아날로그 모델링은 추상화 기반이 아닌 데이터 기반이라는 점에서 연결주의가장 가까운 근접 접근 방식과 관련이 있지만, 불완전한 데이터셋(예: 시뮬레이션된 단기 메모리 제한)에 대처하고 데이터셋의 모든 관련 세그먼트에 대한 예측에 근거하는 능력으로 구분됩니다.언어 모델링에서 AM은 이론적인 설명이 알려지지 않은 경험적으로 유효한 형태를 성공적으로 예측했다(Skousen 등 2002의 핀란드 형태학 논의 참조).

실행

개요

예시 기반 모델은 범용 모델링 엔진과 문제별 데이터 세트로 구성됩니다.데이터 세트 내에서 각 예시(추리해야 할 사례 또는 유익한 과거 경험)는 문제를 정의하는 파라미터 세트의 값 행인 특징 벡터로 나타납니다.예를 들어, 철자 대 음성 태스크에서 특징 벡터는 단어의 문자로 구성될 수 있습니다.데이터 집합의 각 예는 생성되는 음소 또는 전화와 같은 결과와 함께 저장됩니다.모델에 새로운 상황(결과 없는 특징 벡터의 형태)이 제시되면 엔진은 알고리즘으로 데이터 세트를 정렬하여 유용한 유사 예제를 찾고 결과를 모델의 예측으로 하는 하나를 선택합니다.알고리즘의 세부 사항은 하나의 예시 기반 모델링 시스템을 다른 것과 구별합니다.

AM 에서는, 특징치는 콘텍스트를 특징짓는 것으로 간주해, 그 결과는 콘텍스트내에서 발생하는 동작이라고 간주합니다.따라서 새로운 상황은 주어진 맥락으로 알려져 있다.컨텍스트의 알려진 특징에 따라 AM 엔진은 이를 포함하는 모든 컨텍스트(모든 상위 텍스트)를 체계적으로 생성하고 데이터 집합에서 각각에 속하는 예를 추출합니다.그런 다음 엔진은 결과가 일관되지 않은 상위 텍스트를 폐기하고(이 일관성의 측정은 아래에서 더 자세히 논의될 것이다), 상위 텍스트의 아날로그 세트를 남기고, 큰 상위 텍스트에 대한 편향을 가진 아날로그 집합에서 예시어를 확률적으로 선택한다.이 다단계 검색은 특히 주어진 컨텍스트와 유사한 설정에서 안정적으로 수행되므로 동작이 예측될 가능성을 기하급수적으로 확대합니다.

상세 아날로그 모델링

AM은 평가를 요구하는 각 사례에 대해 동일한 프로세스를 수행합니다.n개의 변수로 구성된 특정 컨텍스트는 2개의 서브프라콘텍스트를 하기 위한 템플릿으로 사용됩니다.각 서브프라콘텍스트는 1개 이상의 변수가 주어진 컨텍스트에서와 동일한 값을 가지며 다른 변수는 무시되는 일련의 예시입니다.사실상, 각각은 주어진 문맥과의 유사성 기준에 대해 필터링을 통해 생성된 데이터의 보기이며, 상위 텍스트의 총 집합은 이러한 보기를 모두 소진한다.대안으로, 각 상위 텍스트는 예측 능력을 평가할 필요가 있는 과제 이론 또는 제안된 규칙이다.

서브프라콘 텍스트는 서로 동등한 피어가 아니라는 점에 주의해 주십시오.이것들은 주어진 컨텍스트로부터의 거리에 따라 배열되어 계층을 형성합니다.서브콘텍스트가 다른 변수가 수행하는 모든 변수와 그 이상의 변수를 지정하는 경우 해당 변수는 다른 변수의 서브콘텍스트이며 지정된 컨텍스트에 더 가깝습니다.(계층은 엄밀하게 분기되어 있지 않습니다.각 서브콘텍스트는 다른 서브콘텍스트의 서브콘텍스트가 될 수도 있고 여러 서브콘텍스트가 있을 수도 있습니다).이 계층은 알고리즘의 다음 단계에서 중요합니다.

이제 엔진은 상위 텍스트 중에서 아날로그 세트를 선택합니다.상위 텍스트에는 하나의 동작만을 나타내는 예가 포함될 수 있습니다.결정적으로 균질하고 포함되어 있습니다.규칙성을 나타내는 데이터 또는 아직 반증되지 않은 관련 이론의 관점입니다.서브프라콘텍스트는 몇 가지 동작을 나타낼 수 있지만, 보다 구체적인 서브프라콘텍스트(즉, 서브 컨텍스트 중 하나)에서 발생하는 예를 포함하지 않습니다.이 경우, 비결정적으로 균질하며 포함됩니다.여기에서는 조직적인 행동이 일어난다는 훌륭한 증거는 없지만 반론도 없다.마지막으로, 서브 콘텍스트는 이종일 수 있습니다.즉, 서브 콘텍스트(특정 콘텍스트에 가까운 것)에서 발견되는 동작과 그렇지 않은 동작을 나타냅니다.결정론적으로 동질적이지 않은 초문헌의 모호한 행동이 받아들여진 경우, 이는 방해되는 하위 문맥이 더 나은 이론이 발견되어야 한다는 것을 보여주기 때문에 거부된다.따라서 이질적인 상위 텍스트는 제외됩니다.이것에 의해, 주어진 콘텍스트에 가까워짐에 따라, 아날로그 세트내에서 의미 있는 일관성이 있는 동작이 증가하는 것을 확인할 수 있습니다.

아날로그 세트를 선택했을 경우, 샘플의 각 외관(특정 샘플은 복수의 아날로그 서브프라콘텍스트에 출현할 수 있다)은, 그 서브프라콘텍스트내의 샘플의 다른 모든 외관에 대한 포인터가 주어진다.이 포인터들 중 하나는 랜덤으로 선택되고, 그 포인터가 가리키는 예가 결과를 제공한다.이는 각 상위 텍스트에 그 크기의 제곱에 비례하는 중요성을 부여하고, 각 예가 나타나는 모든 아날로그적으로 일관된 상위 텍스트의 크기 합계에 정비례하여 선택되도록 한다.물론, 특정 결과를 예측할 확률은 그것을 뒷받침하는 모든 예시들의 합산 확률에 비례한다.

(Skousen 2002, Skousen et al. 2002, 페이지 11-25 및 Skousen 2003에서 모두 passim)

수식

n개의 (\ n 컨텍스트 지정:

페어링 수: n
결과 i: 에 대한 동의 수
결과 i에 대한 불일치 횟수: ( - i) {
계약 총수: 2(\
불일치 합계 수: n ( - i - 2 ( \ { n } ( n - n _ { } )

이 용어는 예를 통해 가장 잘 이해할 수 있습니다.Skousen(1989)의 두 번째 장에서 사용된 예에서 각 컨텍스트는 0-3의 잠재적 값을 가진 세 개의 변수로 구성됩니다.

변수 1: 0,1,2,3
변수 2: 0,1,2,3
변수 3: 0, 1, 2, 3

데이터 집합의 두 가지 결과e와 r입니다. 예는 다음과 같습니다.

3 1 0 e 0 3 2 r 2 1 0 r 2 1 2 2 r 3 1 r

다음과 같은 포인터 네트워크를 정의합니다.

Pointer network for example problem

실선은 일치하는 결과를 가진 예시들 사이의 포인터를 나타냅니다. 점선은 일치하지 않는 결과를 가진 예시들 사이의 포인터를 나타냅니다.

이 예의 통계 정보는 다음과 같습니다.

페어링 수: n} =}
결과 r에 대한 합의 수: 2 ({n_}^{2}=
결과 e에 대한 합의 수: 2 {\}
결과 r에 대한 불일치 횟수: ( - ) { })=
결과 e에 대한 불일치 횟수: e ( - e ) { })=}
총 계약 수: r + 2 {\}=
총 불일치 수: ( - ) + e ( - ) 2- ( 2 + e ) { {er})^})
불확실성 또는 불일치 부분: . 8=.

동작은 특정 컨텍스트에서만 예측할 수 있습니다.이 예에서는 컨텍스트 "3 1 2"의 결과를 예측합니다.이를 위해서는 먼저 특정 콘텍스트를 포함하는 모든 콘텍스트를 찾습니다.이 콘텍스트를 슈퍼콘텍스트라고 부릅니다.주어진 컨텍스트에서 변수를 체계적으로 제거하여 상위 텍스트를 찾습니다. m 변수에는 일반적으로 2 상위 텍스트가 .다음 표는 각 하위 및 하위 텍스트를 나열한 입니다. x는 "x가 아님"을 의미하며 -는 "임의"를 의미합니다.

서브프라콘텍스트 서브 콘텍스트
3 1 2 3 1 2
3 1 - 3 1 2 、 3 1 2
3 - 2 3 1 2 、 3 1 2
- 1 2 3 1 2 、 3 1 2
3 - - 3 1 2 、 3 1 2 、 3 1 2 、 3 1 2
- 1 - 3 1 2 、 3 1 2 、 3 1 2 、 3 1 2
- - 2 3 1 2 、 3 1 2 、 3 1 2 、 3 1 2
- - - 3 1 2 , 3 1 2 , 3 1 2 , 3 1 2 , 3 1 2 , 3 1 2 , 3 1 2

이러한 콘텍스트는 다음 벤 다이어그램에 나타나 있습니다.

Illustration of sub- and supracontexts

다음 단계는 어떤 콘텍스트가 균질한지 판단하기 위해 어떤 샘플이 어떤 콘텍스트에 속하는지 결정하는 것입니다.다음 표는 각 서브 콘텍스트, 주어진 예에 따른 동작 및 동작 내 불일치 수를 보여 줍니다.

서브콘텍스트 행동 불일치
3 1 2 (공백) 0
3 1 2 3 1 0 e, 3 1 r 2
3 1 2 (공백) 0
3 1 2 2 1 2 r 0
3 1 2 (공백) 0
3 1 2 2 10 r 0
3 1 2 0 3 2 r 0
3 1 2 (공백) 0

위 표의 하위 콘텍스트를 분석하면 불일치가 있는 하위 콘텍스트는 "3 1 2"뿐입니다. "3 1 2"는 데이터 집합에서 "3 1 0 e"와 "3 1 1 r"로 구성됩니다.이 서브 콘텍스트에는, 2개의 불일치가 있습니다.즉, 각 예에서 다른 예를 가리킵니다(위의 포인터 네트워크 참조).따라서 이 하위 컨텍스트를 포함하는 상위 텍스트에만 불일치가 포함됩니다.동종 서브프라콘 텍스트를 식별하기 위해 간단한 규칙을 사용합니다.

상위 문맥의 불일치가 포함된 하위 문맥의 불일치 수보다 클 경우, 우리는 그것이 이질적이라고 말하고, 그렇지 않을 경우 동질적이라고 말한다.

동종의 서브프라콘텍스트를 생성하는 상황은 다음 3가지입니다.

  1. 상위 텍스트가 비어 있습니다.이것은 데이터 포인트가 없는 "3 - 2"의 경우입니다.의견 불일치의 수는 증가할 수 없으며, 초강문은 3가지로 동질적이다.
  2. 초강문은 결정론적인 것으로, 그 안에서 한 가지 유형의 결과만 발생한다는 것을 의미한다.이는 결과가 r인 데이터만 포함하는 "-1 2" 및 "-2"의 경우입니다.
  3. 데이터가 포함된 서브콘텍스트는 1개뿐입니다.하위 콘텍스트가 동일하기 위해 결정론적일 필요는 없다.예를 들어, "3 1 -" 및 "-1 2"는 결정론적이고 비어 있지 않은 하위 컨텍스트를 하나만 포함하는 반면, "3 -"는 하위 컨텍스트 "3 1 2"만 포함합니다.이 하위 컨텍스트는 "3 1 0 e" 및 "3 1 1 r"를 포함하므로 비결정론적입니다.우리는 이런 종류의 초강문은 방해받지 않고 결정적이지 않다고 말한다.

이기종 서브프라콘 텍스트는 "-1 -"과 "--"뿐입니다.둘 다 비결정론적 "3 1 2"와 r 결과를 포함하는 다른 하위 컨텍스트의 조합으로 이질성을 일으킨다.

실제로 네 번째 유형의 동종 초문헌이 있습니다.그것은 비어 있지 않은 여러 개의 하위문헌을 포함하고 있고 결정적이지 않지만, 각 하위문헌의 결과의 빈도는 정확히 동일합니다.그러나 아날로그 모델링에서는 다음 두 가지 이유로 이 상황을 고려하지 않습니다.

  1. 이 4가지 상황이 발생했는지 여부를 판단하려면 § ^{ 필요합니다.이것은 산술이 필요한 유일한 균질성 테스트이며, 이를 무시하면 균질성 테스트가 통계적으로 자유로워져 AM이 인간의 추론을 모델링하는 데 더 유리해집니다.
  2. 극히 드문 상황이기 때문에 무시해도 예측 결과에 큰 영향은 없을 것으로 예상됩니다.

다음으로, 우리는 동종의 상위 텍스트로부터의 모든 포인터와 결과로 구성된 아날로그 집합을 구성한다.다음 그림은 균일한 콘텍스트가 강조 표시된 포인터 네트워크를 나타내고 있습니다.

Pointer network with homogeneous supracontexts circled

포인터는 다음 표에 요약되어 있습니다.

균질한
상위 텍스트
오카렌즈
포인터
e r
3 1 - "3 1 0 e", "3 1 r"
2 2
- 1 2 "2 1 2 r"
0 1
3 - - "3 1 0 e", "3 1 r"
2 2
- - 2 "2 1 2 r", "0 3 2 r"
0 4
합계:
4 9

아날로그 집합의 포인터 중 4개는 결과 e와 관련지어지고 나머지 9개는 r과 관련지어진다.AM에서는 포인터가 랜덤으로 선택되고 포인터가 가리키는 결과가 예측됩니다.총 13개의 포인터로 결과 e가 예측될 확률은 4/13 또는 30.8%이며 결과 r의 경우 9/13 또는 69.2%이다.동종 서브프라콘 텍스트에 각 오카렌스에 대한 포인터를 나열함으로써 보다 자세한 계정을 만들 수 있습니다.

발생.
균일한
상위 텍스트

포인터
유추적
영향
3 10 e 2 4 30.8%
3 1 1 r 2 4 30.8%
2 1 2 r 2 3 23.1%
0 3 2 r 1 2 15.4%
2 10 r 0 0 0.0%

그런 다음 데이터 세트에 포함된 각 인스턴스의 아날로그 효과를 확인할 수 있습니다.

이력 컨텍스트

유추는 적어도 Saussure 시대부터 언어를 기술하는데 유용한 것으로 여겨져 왔다.노암 촘스키와 다른 사람들은 최근 비유가 너무 모호해서 실제로 유용하지 않다고 비판하고 있다(Bakoko 1991). 이는 데우스마키나의 매력이다.Skousen의 제안은 심리적 타당성을 시험할 수 있는 유추의 명시적 메커니즘을 제안함으로써 그러한 비판에 대처하는 것으로 보인다.

적용들

아날로그 모델링은 음운학 형태학(언어학)에서 맞춤법과 구문학에 이르기까지 다양한 실험에 사용되어 왔습니다.

문제

아날로그 모델링은 언어학자들이 조작한 규칙으로부터 자유로운 모델을 만드는 것을 목표로 하고 있지만, 현재의 형태에서는 연구자들이 고려해야 할 변수를 선택할 필요가 있다.이는 아날로그 모델링을 구현하기 위해 사용되는 컴퓨터 소프트웨어의 처리 능력 요구 사항의 이른바 "지수적 폭발" 때문에 필요합니다.최근의 연구에 따르면 양자 컴퓨팅은 이러한 성능 병목 현상에 대한 해결책을 제공할 수 있습니다(Skousen 등 2002, 페이지 45-47 참조).

「 」를 참조해 주세요.

레퍼런스

  • Royal Skousen (1989). Analogical Modeling of Language (hardcover). Dordrecht: Kluwer Academic Publishers. xii+212pp. ISBN 0-7923-0517-5.
  • Miroslaw Bańko (June 1991). "Review: Analogical Modeling of Language" (PDF). Computational Linguistics. 17 (2): 246–248. Archived from the original (PDF) on 2003-08-02.
  • Royal Skousen (1992). Analogy and Structure. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-1935-4.
  • Royal Skousen; Deryle Lonsdale; Dilworth B. Parkinson, eds. (2002). Analogical Modeling: An exemplar-based approach to language (Human Cognitive Processing vol. 10). Amsterdam/Philadelphia: John Benjamins Publishing Company. p. x+417pp. ISBN 1-58811-302-7.
  • 스쿠센, 로얄(2003).아날로그 모델링: 예시, 규칙 양자 컴퓨팅.버클리 언어학 학회에서 발표되었습니다.

외부 링크