자연어 처리

Natural language processing
페이지에서 고객 서비스를 제공하는 자동 온라인 어시스턴트. 자연어 처리가 주요 [1]컴포넌트인 애플리케이션의 예입니다.

자연어 처리(NLP)는 컴퓨터와 인간의 언어, 특히 대량의 자연어 데이터를 처리 및 분석하도록 컴퓨터를 프로그래밍하는 방법과 관련된 언어학, 컴퓨터 과학 및 인공지능의 하위 분야입니다.그 목적은 문서의 내용을 이해할 수 있는 컴퓨터입니다.문서에 포함된 언어의 문맥적 뉘앙스도 포함됩니다.그러면 이 기술은 문서에 포함된 정보와 통찰력을 정확하게 추출할 수 있을 뿐만 아니라 문서 자체를 분류하고 구성할 수 있습니다.

자연어 처리의 과제는 음성 인식, 자연어 이해자연어 생성관련된 경우가 많습니다.

역사

자연어 처리는 1950년대에 그 뿌리를 두고 있다.1950년에 이미 앨런 튜링은 "컴퓨팅 기계와 지능"이라는 제목의 기사를 발표했는데, 이 기사는 현재 튜링 테스트라고 불리는 것을 지능의 기준으로 제안했지만, 당시에는 인공지능과 분리된 문제로 명확하게 표현되지 않았다.제안된 테스트에는 자연어 자동 해석 및 생성과 관련된 작업이 포함됩니다.

심볼릭 NLP(1950년대 ~ 1990년대 초반)

기호적 NLP의 전제는 John Searle의 중국어실 실험으로 잘 요약되어 있습니다.예를 들어, 규칙 모음(질문과 일치하는 답변이 있는 중국어 어구집 등)이 주어지면 컴퓨터는 이러한 규칙을 직면한 데이터에 적용하여 자연어 이해(또는 기타 NLP 태스크)를 에뮬레이트합니다.

  • 1950년대: 1954년 조지타운 실험은 60개 이상의 러시아어 문장을 영어로 완전 자동 번역하는 것을 포함했습니다.저자들은 3년 또는 5년 안에 기계 번역이 [2]해결된 문제가 될 것이라고 주장했다.그러나 실질적인 진전은 훨씬 더 느렸고, 1966년 ALPAC 보고서가 발표된 이후 10년간의 연구가 기대에 미치지 못했다는 것을 알게 되면서 기계 번역에 대한 자금 지원이 극적으로 감소하였다.최초의 통계 기계 번역 시스템이 개발된 1980년대 후반까지는 기계 번역에 관한 추가 연구가 거의 이루어지지 않았다.
  • 1960년대: 1960년대에 개발된 자연어 처리 시스템은 제한된 어휘가 있는 제한된 "블록 월드"에서 작동하는 자연어 시스템인 SHRDLU와 1964년부터 1966년 사이에 조지프 와이젠바움이 로게리아 심리치료사의 시뮬레이션인 ELIZA가 있었다.ELIZA는 인간의 생각이나 감정에 대한 정보를 거의 사용하지 않고, 때때로 놀라울 정도로 인간과 같은 상호작용을 제공하기도 했다."환자"가 매우 작은 지식 기반을 초과했을 때, ELIZA는 예를 들어 "내 머리가 아프다"에 "왜 머리가 아프다고 말하는가?"로 응답하는 일반적인 응답을 제공할 수 있습니다.
  • 1970년대: 1970년대에 많은 프로그래머들이 "개념적 온톨로지"를 쓰기 시작했습니다. 이 온톨로지에서는 실제 정보를 컴퓨터로 이해할 수 있는 데이터로 구성했습니다.예로는 MARGIE(Schank, 1975), SAM(Cullingford, 1978), PAM(Wilensky, 1978), TaleSpin(Meehan, 1976), QualM(Lehnert, 1977), Politics(Carbonell, 1979), Plot Units(Les(Le, 1971) 등이 있다.이 기간 동안 첫 번째 채팅봇이 작성되었습니다(: PARRY).
  • 1980년대: 1980년대와 1990년대 초는 NLP에서 상징적 방법의 전성기를 맞는다.시간의 포커스 지역 규칙 기반 구문 분석(예:HPSG의 생성 문법의 컴퓨터를 이용한 조작화. 개발을), 형태학(예:2단계 morphology[3]), 의미론(예:Lesk 알고리즘), 참조(Centering Theory[4]내에 예를 들어,)과 Rhetor에서 자연 언어 이해(예: 다른 분야에 연구도 포함하고 있다.ical 구조 이론).Racter 및 Jabberwacky와의 chatterbot 개발 등 다른 연구 라인은 계속되었다.중요한 발전(결국 1990년대 통계 전환으로 이어짐)은 이 [5]기간에 양적 평가의 중요성이 높아진 것이다.

통계적 NLP(1990~2010년대)

1980년대까지, 대부분의 자연어 처리 시스템은 손으로 쓴 복잡한 규칙들을 기반으로 했습니다.그러나 1980년대 후반부터 언어처리를 위한 기계학습 알고리즘의 도입으로 자연어 처리에 일대혁명이 일어났다.이는 계산능력의 꾸준한 증가(무어의 법칙 참조)와 언어학의 촘스키 이론의 지배력(: 변환문법)의 점진적인 감소에 기인하며, 이들의 이론적 기초는 [6]언어처리에 대한 기계학습 접근방식의 기초가 되는 말뭉치 언어학의 종류를 방해했다.

  • 1990년대: NLP의 통계적 방법에 대한 주목할 만한 초기 성공은 기계 번역 분야, 특히 IBM Research에서 일한 덕분입니다.이러한 시스템은 모든 정부 절차를 대응하는 정부 시스템의 모든 공식 언어로 번역할 것을 요구하는 법률의 결과로 캐나다 의회유럽연합에 의해 작성된 기존의 다국어 텍스트 코퍼스를 활용할 수 있었다.그러나 대부분의 다른 시스템은 이러한 시스템에 의해 구현된 작업을 위해 특별히 개발된 코퍼스에 의존했으며, 이는 이러한 시스템의 성공에 있어 (그리고 종종 계속적으로) 큰 제한사항이었다.그 결과, 한정된 데이터로부터 보다 효과적으로 학습하는 방법에 대한 많은 연구가 이루어졌습니다.
  • 2000년대: 웹의 성장에 따라 1990년대 중반부터 원시(주석 없음) 언어 데이터를 사용할 수 있게 되었습니다.따라서 연구는 비지도 및 반지도 학습 알고리즘에 점점 더 초점을 맞추고 있다.이러한 알고리즘은 원하는 답변으로 직접 주석을 달지 않은 데이터 또는 주석이 달린 데이터와 주석이 없는 데이터의 조합을 사용하여 학습할 수 있다.일반적으로 이 작업은 지도 학습보다 훨씬 어려우며, 일반적으로 주어진 양의 입력 데이터에 대해 정확도가 낮은 결과를 생성한다.그러나 주석 없이 이용할 수 있는 방대한 양의 데이터(특히 World Wide Web의 전체 콘텐츠 포함)가 있으며, 사용된 알고리즘이 실행하기에 충분히 시간이 복잡하지 않으면 종종 열등한 결과를 보충할 수 있습니다.

Neural NLP(현행)

2010년대 들어 자연어 처리에서는 표현학습과 심층신경망 방식의 기계학습 방법이 널리 보급되었다.이러한 인기는 부분적으로 이러한 기술이[7][8] 언어 모델링[9] 및 구문 [10][11]분석과 같은 많은 자연 언어 작업에서 최첨단 결과를 달성할 수 있다는 것을 보여주는 다양한 결과 덕분입니다.이는 의료와 의료에서 점점중요해지고 있으며, NLP는 치료 [12]개선을 모색할 때 연구할 수 없는 전자 건강 기록의 메모와 텍스트를 분석하는 데 도움을 준다.

방법: 규칙, 통계, 뉴럴 네트워크

초기에는 많은 언어 처리 시스템이 심볼적 방법, 즉 일련의 규칙들의 수동 코딩과 사전 [13][14]검색과 결합되어 설계되었다. 예를 들어, 문법 작성이나 스템을 위한 휴리스틱 규칙을 고안하는 것이다.

머신러닝 알고리즘에 기반한 최신 시스템은 수작업 규칙에 비해 다음과 같은 많은 이점이 있습니다.

  • 기계 학습 중에 사용되는 학습 절차는 가장 일반적인 사례에 자동으로 초점을 맞춥니다. 반면 손으로 규칙을 작성할 때는 종종 노력이 어디로 향해야 하는지 전혀 알 수 없습니다.
  • 자동 학습 절차는 통계 추론 알고리즘을 사용하여 익숙하지 않은 입력(예: 이전에 볼 수 없었던 단어 또는 구조를 포함) 및 잘못된 입력(예: 철자가 틀린 단어 또는 단어를 실수로 누락)에 강력한 모델을 생성할 수 있다.일반적으로 이러한 입력을 손으로 쓴 규칙으로 우아하게 처리하거나, 보다 일반적으로 소프트한 결정을 내리는 손으로 쓴 규칙의 시스템을 만드는 것은 매우 어렵고, 오류가 발생하기 쉽고, 시간이 많이 소요됩니다.
  • 규칙을 자동으로 학습하는 시스템은 입력 데이터를 더 많이 제공하는 것만으로 보다 정확하게 만들 수 있습니다.그러나 손으로 쓴 규칙에 기반한 시스템은 규칙의 복잡성을 높여야만 더 정확하게 만들 수 있으며, 이는 훨씬 더 어려운 작업입니다.특히, 손으로 쓴 규칙에 근거한 시스템의 복잡성에는 한계가 있으며, 그 한계를 넘어서는 시스템은 점점 더 관리하기 어려워집니다.그러나 기계 학습 시스템에 입력할 데이터를 더 많이 생성하는 것은 단순히 작업 공수의 증가를 필요로 하며, 일반적으로 주석 프로세스의 복잡성은 크게 증가하지 않습니다.

NLP 연구에서 기계 학습의 인기에도 불구하고 상징적 방법은 여전히 일반적으로 사용됩니다(2020년).

  • 훈련 데이터의 양이 기계 학습 방법을 성공적으로 적용하기에 충분하지 않은 경우(: 아퍼티움 시스템에서 제공하는 것과 같은 저자원 언어의 기계 번역을 위해),
  • 토큰화 등 NLP 파이프라인에서의 전처리를 위해, 또는
  • 예를 들어 구문 구문 분석에서 지식 추출을 위해 NLP 파이프라인의 후처리 및 출력을 변환한다.

통계적 방법

1980년대 후반과 1990년대 중반의 이른바 "통계 혁명"[15][16] 이후, 많은 자연어 처리 연구는 기계 학습에 크게 의존해 왔다.기계학습 패러다임은 대신 통계적 추론을 사용하여 전형적인 실제 사례의 대규모 코퍼스분석을 통해 그러한 규칙을 자동으로 학습할 것을 요구한다(여러 형태의 말뭉치는 아마도 인간 또는 컴퓨터 주석을 포함하는 문서 세트이다).

자연어 처리 태스크에는 많은 다른 종류의 기계학습 알고리즘이 적용되어 왔습니다.이러한 알고리즘은 입력 데이터로부터 생성되는 대량의 「기능」을 입력으로서 받아들입니다.그러나 점점 더 연구는 각 입력 특징에 실제 값 가중치를 부가하는 것에 기초해 유연하고 확률론적 결정을 내리는 통계 모델에 초점을 맞추고 있다. (복소값 [17]임베딩과 일반적으로[18] 음성을 위한 신경 네트워크도 제안되었다.)이러한 모델은 하나의 모델보다는 여러 가지 가능한 답변의 상대적 확실성을 표현할 수 있다는 장점이 있으며, 이러한 모델이 더 큰 시스템의 구성요소로 포함되었을 때 보다 신뢰할 수 있는 결과를 얻을 수 있습니다.

의사결정 트리와 같이 가장 먼저 사용된 기계 학습 알고리즘 중 일부는 기존의 손으로 쓴 규칙과 유사한 if-then 규칙의 시스템을 생성했다.그러나, 음성 부분 태그 부착은 자연 언어 처리에 숨겨진 마르코프 모델의 사용을 도입했고, 점점 더 많은 연구가 입력 데이터를 구성하는 특징에 실제 값 가중치를 부가하는 것에 기초하여 부드럽고 확률적인 결정을 내리는 통계 모델에 초점을 맞추고 있다.현재 많은 음성 인식 시스템이 의존하는 캐시 언어 모델은 그러한 통계 모델의 예이다.이러한 모델은 일반적으로 익숙하지 않은 입력, 특히 오류가 포함된 입력(실제 데이터에 매우 일반적이듯이)이 주어질 때 더 강력하며, 여러 하위 작업으로 구성된 더 큰 시스템에 통합될 때 더 신뢰할 수 있는 결과를 생성한다.

신경 전환 이후, NLP 연구의 통계적 방법은 대부분 신경 네트워크로 대체되었다.단, 통계 해석성과 투명성이 요구되는 상황에는 계속 관련성이 있다.

뉴럴 네트워크

통계적 방법의 주요 단점은 정교한 기능 엔지니어링이 필요하다는 것입니다.2015년 [19]이후, 이 분야는 통계 방법을 대부분 포기하고 기계 학습을 위해 신경 네트워크로 전환했다.인기 있는 기술에는 단어의 의미 특성을 포착하기 위한 단어 임베딩의 사용과 별도의 중간 작업(예: 일부 음성 태그 부착 및 종속성 구문 분석)의 파이프라인에 의존하는 대신 고급 작업(예: 질문 답변)의 엔드 투 엔드 학습이 포함된다.일부 영역에서, 이러한 변화는 NLP 시스템의 설계 방법에 상당한 변화를 수반하여 심층 신경 네트워크 기반 접근방식이 통계적 자연 언어 처리와 구별되는 새로운 패러다임으로 간주될 수 있다.를 들어, 신경기계번역(NMT)이라는 용어는 기계번역에 대한 딥러닝 기반 접근법이 시퀀스 시퀀스 변환을 직접 학습한다는 사실을 강조하여 통계기계번역(SMT)에 사용된 단어 정렬 및 언어 모델링과 같은 중간 단계의 필요성을 배제한다.

일반적인 NLP 태스크

다음은 자연어 처리에서 가장 일반적으로 조사되는 작업 목록입니다.이러한 태스크 중 일부는 실제 응용 프로그램을 직접 사용하는 반면, 다른 태스크는 일반적으로 더 큰 태스크를 해결하는 데 사용되는 하위 태스크로 사용됩니다.

자연어 처리 작업은 밀접하게 얽혀 있지만, 편의상 세분화할 수 있습니다.아래에 대략적인 구분이 제시되어 있다.

텍스트 및 음성 처리

광학 문자 인식(OCR)
인쇄된 텍스트를 나타내는 이미지를 지정하면 해당 텍스트를 결정합니다.
음성 인식
말하는 사람 또는 사람의 사운드 클립이 주어지면 연설의 텍스트 표현을 결정합니다.이것은 텍스트 투 스피치의 반대이며, 구어적으로 「AI-complete」라고 불리는 매우 어려운 문제의 하나입니다(위 참조).자연어법에서는 연속어 사이에 정지음이 거의 없기 때문에 음성 분할은 음성 인식의 필수 하위 작업이다(아래 참조).대부분의 구어에서는 연속된 문자를 나타내는 소리가 코아티큘레이션이라고 하는 프로세스에서 서로 섞이기 때문에 아날로그 신호를 이산 문자로 변환하는 것은 매우 어려운 프로세스일 수 있다.또, 같은 언어의 단어가 다른 억양을 가지는 사람에 의해서 사용되고 있는 것을 고려하면, 음성 인식 소프트웨어는, 텍스트 등가 면에서, 다양한 입력이 서로 동일하다고 인식할 수 있을 필요가 있다.
음성 분할
사람 또는 사람이 말하는 소리 클립이 있으면 그것을 단어로 구분합니다.음성 인식의 하위 작업이며 일반적으로 이와 함께 그룹화됩니다.
텍스트/스피치
텍스트가 주어지면 해당 단위를 변환하여 음성 표현을 생성합니다.텍스트/스피치를 사용하여 [20]시각장애인을 지원할 수 있습니다.
단어 분할(토큰화)
연속 텍스트의 청크를 다른 단어로 구분합니다.단어들은 보통 공백으로 나누어져 있기 때문에 영어와 같은 언어에게 이것은 꽤 사소한 것이다.그러나 중국어, 일본어, 태국어일부 문어는 이러한 방식으로 단어의 경계를 표시하지 않으며, 이러한 언어에서 텍스트 분할은 해당 언어의 어휘단어의 형태에 대한 지식을 필요로 하는 중요한 작업이다.이 프로세스는 데이터 마이닝에서 BOW(Back of Words) 작성과 같은 경우에도 사용될 수 있습니다.

형태학적 분석

렘마타이즈
굴절 어미만 제거하고 보조어라고도 하는 단어의 기본 사전 형식을 반환하는 작업입니다.Lematization은 단어들을 정규화된 형태로 줄이는 또 다른 기술이다.그러나 이 경우 변환은 실제로 사전을 사용하여 단어를 실제 [21]형태에 매핑합니다.
형태학적 분할
단어를 개별 형태소로 구분하고 형태소의 종류를 식별합니다.이 작업의 어려움은 고려 중인 언어의 형태학(즉, 단어의 구조)의 복잡성에 크게 좌우된다.영어는 상당히 단순한 형태학, 특히 굴절 형태학을 가지고 있기 때문에, 이 과제를 완전히 무시하고 단어(예: "open, open, open, open, open, open")의 모든 가능한 형태를 별도의 단어로 단순하게 모델링하는 것이 종종 가능하다.그러나 터키어나 Meitei[22]같은 언어에서는 그러한 접근이 가능하지 않다. 왜냐하면 각 사전 항목은 수천 개의 가능한 단어 형태를 가지고 있기 때문이다.
음성 부분 태그 부착
문장이 주어지면 각 단어의 음성 부분(POS)을 결정합니다.많은 단어들, 특히 흔한 단어들은 여러 개의 언어 부분으로 사용될 수 있다.예를 들어, "book"은 명사("테이블 위의 책") 또는 동사("비행 예약")일 수 있으며, "set"은 명사, 동사 또는 형용사일 수 있으며, "out"은 적어도 5개의 다른 언어 부분 중 하나일 수 있습니다.
막힘
굴절어(또는 때때로 파생된)를 기본 형식으로 줄이는 프로세스(예: "닫기", "닫기", "닫기", "닫기", "닫기" 등의 어근이 됩니다.줄임말은 Lematization과 비슷한 결과를 낳지만 사전이 아닌 규칙에 따라 이루어진다.

구문 분석

문법 유도[23]
언어의 구문을 설명하는 정식 문법을 생성합니다.
문장 구분('문장 경계 명확화'라고도 함)
텍스트 청크를 지정하면 문장의 경계를 찾습니다.문장 경계는 종종 마침표나 다른 구두점으로 표시되지만, 이러한 동일한 문자는 다른 목적(예: 약어 표시)에 사용될 수 있습니다.
해석
주어진 문장의 해석 트리(문법 분석)를 결정합니다.자연어에 대한 문법은 모호하고 전형적인 문장은 여러 분석이 가능하다: 아마도 놀랍게도, 전형적인 문장의 경우 수천 개의 잠재적인 구문 분석들이 있을 수 있다.해석에는 의존관계 해석과 구성 해석의 두 가지 주요 유형이 있습니다.의존관계 해석은 문장 내의 단어들 사이의 관계(프라이머리 오브젝트나 술어 등의 마크)에 초점을 맞춘 반면, 구성 해석은 확률론적 문맥 자유 문법(PCFG)을 사용하여 해석 트리를 구축하는 데 초점을 맞춥니다(확률적 문법 참조).

어휘적 의미론(문맥상 개별 단어의 의미론)

어휘 의미론
문맥에서 개별 단어의 계산적 의미는 무엇입니까?
분포 의미론
데이터로부터 의미 표현을 어떻게 배울 수 있을까요?
명명된 엔티티 인식(NER)
텍스트 스트림을 지정하면 텍스트 내의 어떤 항목이 사람 또는 장소와 같은 고유 이름에 매핑되는지, 그리고 이러한 이름의 유형(예: 사람, 위치, 조직)을 결정합니다.대문자로 표기하면 영어 등의 언어로 명명된 엔티티를 인식하는 데 도움이 되지만, 이 정보는 명명된 엔티티의 유형을 결정하는 데 도움이 되지 않으며, 어떤 경우에도 부정확하거나 불충분한 경우가 많습니다.예를 들어, 문장의 첫 글자도 대문자로 표시되며, 명명된 엔티티는 종종 여러 단어에 걸쳐 있으며, 그 중 일부만 대문자로 표시된다.게다가 다른 많은 언어(예: 중국어 또는 아랍어)에는 대문자가 전혀 없고 대문자가 있는 언어에서도 이름을 구별하기 위해 대문자가 일관되게 사용되지 않을 수 있습니다.예를 들어, 독일어는 이름이든 상관없이 모든 명사를 대문자로 쓰고, 프랑스어와 스페인어는 형용사 역할을 하는 이름을 대문자로 쓰지 않는다.
감정분석(다모달 감정분석 참조)
일반적으로 일련의 문서에서 주관적인 정보를 추출하며, 온라인 리뷰를 사용하여 특정 개체에 대한 "극성"을 결정합니다.이것은 소셜 미디어에서 여론의 동향을 파악하거나 마케팅에 특히 유용합니다.
용어 추출
용어 추출의 목적은 주어진 말뭉치에서 관련 용어를 자동으로 추출하는 것이다.
WSD(Word-Sense Dismarkization)
많은 단어들이 둘 이상의 의미를 가지고 있다; 우리는 문맥에서 가장 이치에 맞는 의미를 선택해야 한다.이 문제에 대해 사전 또는 WordNet과 같은 온라인 리소스에서 일반적으로 단어 및 관련 단어 감각 목록이 제공됩니다.
엔티티 링크
많은 단어(일반적으로 적절한 이름)는 명명된 엔티티를 나타냅니다.여기에서는 컨텍스트에서 참조되는 엔티티(유명한 개인, 장소, 회사 등)를 선택해야 합니다.

관계적 의미론(개별 문장의 의미론)

관계 추출
텍스트 청크가 지정되면 명명된 엔티티 간의 관계를 식별합니다(예: 누가 누구와 결혼했는지).
시멘틱 해석
텍스트(일반적으로 문장)가 주어지면 그래프(를 들어 AMR 구문 분석) 또는 논리 형식주의(를 들어 DRT 구문 분석)에 따라 의미론의 공식적인 표현을 생성한다.이 과제에는 일반적으로 의미론에서 몇 가지 더 기본적인 NLP 과제(예: 의미론 역할 라벨링, 단어 감각 모호성 해소)의 측면이 포함되며, 본격적인 담화 분석(예: 담화 분석, 상호 선호, 아래 자연어 이해 참조)을 포함하도록 확장할 수 있다.
시멘틱 역할 라벨링(아래 암묵적인 시멘틱 역할 라벨링
하나의 문장이 주어졌을 때, 의미 술어(예: 언어 프레임)를 식별하고 모호성을 제거한 다음, 프레임 요소(의미적 역할)를 식별하고 분류한다.

담화(개별 문장을 넘어선 의미론)

상호 참조 해결
문장 이상의 텍스트 청크를 지정하면 동일한 객체("엔티티")를 나타내는 단어("멘션")를 결정합니다.아나포라 해결은 이 과제의 구체적인 예이며, 특히 대명사를 그들이 참조하는 명사 또는 이름과 일치시키는 것과 관련이 있다.상호 참조 해결의 보다 일반적인 작업에는 참조 표현을 포함하는 소위 "브리징 관계"의 식별도 포함된다.예를 들어, "그는 현관문을 통해 존의 집에 들어갔다"와 같은 문장에서 "현관문"은 참조 표현이며, 식별해야 할 가교 관계는 (또한 참조될 수 있는 다른 구조물이 아닌) 존의 집 현관문이라는 사실이다.
담화 분석
이 루브릭에는 몇 가지 관련 태스크가 포함되어 있습니다.한 가지 과제는 담화 구문 분석이다. 즉, 연결된 텍스트의 담화 구조, 즉 문장 간의 담화 관계의 특성(예: 상세, 설명, 대조)을 식별하는 것이다.또 다른 가능한 작업은 텍스트(예: 예-아니오 질문, 내용 질문, 진술, 주장 등)에서 음성 행위를 인식하고 분류하는 것이다.
암묵적인 의미 역할 라벨링
하나의 문장이 주어졌을 때, 의미 술어(예: 언어 프레임)와 현재 문장에서 그 명시적인 의미적 역할을 식별하고 모호성을 제거한다(위의 의미적 역할 라벨링 참조).그런 다음, 현재 문장에서 명시적으로 실현되지 않은 의미적 역할을 식별하고, 텍스트의 다른 곳에서 명시적으로 실현되는 인수와 지정되지 않은 인수로 분류하고, 로컬 텍스트에 대해 전자를 해결합니다.밀접하게 관련된 작업은 제로 아나포라 해상도, 즉 상호 참조 해상도를 프로 드롭 언어로 확장하는 것이다.
텍스트 포함 인식
두 개의 텍스트 조각을 지정하면 하나의 텍스트가 다른 텍스트의 참인지, 다른 텍스트의 부정을 수반하는지, 또는 다른 텍스트가 참인지 [24]거짓인지를 판단합니다.
토픽의 세분화와 인식
텍스트 청크가 지정되면 각 토픽에 할당된 세그먼트로 구분하고 세그먼트의 토픽을 식별합니다.
인수 마이닝
인수 마이닝의 목적은 컴퓨터 [25]프로그램의 도움을 받아 자연어 텍스트에서 논의 구조를 자동으로 추출하고 식별하는 것입니다.그러한 논쟁적 구조에는 전제, 결론, 주장 체계와 주요 주장과 보조 주장 사이의 관계 또는 [26][27]담론 내의 주요 주장과 반론이 포함된다.

고급 NLP 애플리케이션

자동 요약(텍스트 요약)
텍스트 청크의 읽기 쉬운 요약을 생성합니다.연구 논문, 신문 재무 섹션의 기사 등 알려진 유형의 텍스트 요약을 제공하는 데 자주 사용됩니다.
서적 생성
적절한 NLP 태스크가 아니라 자연어 생성 및 기타 NLP 태스크의 확장이 본격적인 서적 제작이다.최초의 기계 제작 책은 1984년에 규칙 기반 시스템에 의해 만들어졌습니다(박터, 경찰관의 수염은 반쯤 구성되었다.[28]뉴럴 네트워크(neural network)에 의해 최초로 출판된 작품은 2018년에 출판되었으며, 소설로 판매되는 1 The Road에는 6천만 단어가 수록되어 있다.두 시스템 모두 기본적으로 정교하지만 감각적이지 않은(의미가 없는) 언어 모델입니다.최초의 기계 생성 과학 책은 2019년에 출판되었습니다(베타 라이터, 리튬 이온 배터리, 스프링거, 참).[29]RacterOne the Road와는 달리, 이것은 사실적 지식과 텍스트 요약에 기초하고 있습니다.
대화 관리
인간과 대화하기 위한 컴퓨터 시스템입니다.
문서 AI
문서 AI 플랫폼은 NLP 테크놀로지 위에 탑재되어 인공지능, 머신러닝 또는 NLP 경험이 없는 사용자는 다양한 문서 유형에서 필요한 특정 데이터를 추출하기 위해 컴퓨터를 신속하게 훈련할 수 있습니다.NLP 기반의 Document AI를 사용하면 비기술 팀이 변호사, 비즈니스 분석가, 회계사 [30]등 문서에 숨겨진 정보에 신속하게 액세스할 수 있습니다.
문법 오류 수정
문법적 오류 검출 및 수정은 언어 분석의 모든 수준(음성/정통학, 형태학, 구문, 의미론, 실용학)에서 광범위한 문제를 수반합니다.문법적 오류 수정은 영어를 제2외국어로 사용하거나 습득하는 수억 명의 사람들에게 영향을 미치기 때문에 영향을 미친다.따라서 2011년부터 [31][32][33]여러 가지 공유 태스크의 대상이 되고 있습니다.맞춤법, 형태학, 구문 및 의미론의 특정 측면에 관한 한, 그리고 GPT-2와 같은 강력한 신경 언어 모델의 개발로 인해, 이것은 현재(2019) 크게 해결된 문제로 간주될 수 있으며 다양한 상업적 애플리케이션에서 판매되고 있다.
기계 번역
한 인간의 언어에서 다른 언어로 텍스트를 자동으로 번역합니다.이것은 가장 어려운 문제 중 하나이며, 인간이 가지고 있는 모든 종류의 지식(문법, 의미론, 현실 세계에 대한 사실 등)을 적절히 풀어야 하는 구어체적으로 "AI-완전"이라고 불리는 문제의 일종이다.
자연어 생성(NLG):
컴퓨터 데이터베이스 또는 의미론에서 정보를 읽을 수 있는 인간 언어로 변환합니다.
자연언어 이해(NLU)
텍스트 청크를 컴퓨터 프로그램이 조작하기 쉬운 1차 논리 구조와 같은 보다 형식적인 표현으로 변환합니다.자연어 이해는 자연어 개념의 체계화된 표기 형태를 취하는 자연어 표현으로부터 도출될 수 있는 여러 가능한 의미론으로부터 의도된 의미론의 식별을 포함한다.언어 메타모델과 온톨로지의 도입과 작성은 효율적이지만 경험적 해결방법은 효과적이다.의미론 공식화의 [34]기초 구축을 위해 폐쇄 세계 가정(CWA) 대 개방 세계 가정 또는 주관적 예/아니오 대 객관적 참/거짓과 같은 암묵적 가정과의 혼동을 수반하지 않는 자연 언어 의미론의 명시적 공식화가 예상된다.
질문에 대한 답변
인간의 언어로 된 질문을 받으면 답을 결정합니다.전형적인 질문에는 특정 정답이 있다(예: "캐나다의 수도는?") 그러나 때로는 자유형 질문도 고려된다(예: "삶의 의미").
텍스트에서 이미지로의 생성
이미지에 대한 설명을 지정하면 해당 [35]설명과 일치하는 이미지를 생성합니다.
텍스트에서 장면으로 생성
씬(scene)에 대한 설명을 제공하면 씬(scene)[36][37]3D 모델을 생성합니다.

일반적인 경향과 (가능성이 있는) 장래의 방향

이 분야의 오랜 동향을 바탕으로 NLP의 향후 방향을 추정할 수 있다.2020년 현재 CoNLL 공유 태스크의 오랜 연속 주제 중 세 가지 동향을 [38]관찰할 수 있다.

  • 자연어의 점점 추상적이고 "인지적인" 측면에 대한 관심(1999-2001: 얕은 구문 분석, 2002-03: 명명된 개체 인식, 2006-09/2017-18: 종속성 구문, 2004-05/2008-09: 의미 역할 레이블링, 2011-12 상호 참조, 2015-16: 담론 구문 분석, 2019: 의미 구문 분석)
  • 다국어에 대한 관심이 높아지고 있으며, 잠재적으로 다국어(영어 1999년 이후, 스페인어, 네덜란드어, 2002년 이후, 독일어, 불가리아어, 덴마크어, 일본어, 포르투갈어, 슬로베니아어, 스웨덴어, 터키어, 2006년 이후 2006년 이후, 바스크어, 카탈로니아어, 중국어, 그리스어, 헝가리어, 이탈리아어, 터키어, 2007년 이후, 2009년 이후, 2012년 이후 아랍어)에 대한 관심이 높아지고 있습니다.2018년: 60개/100개 이상의 언어)
  • 기호 표현 제거(약하게 감독되는 방법, 표현 학습 및 엔드 투 엔드 시스템에 대한 규칙 기반 감독)

인식 및 NLP

대부분의 상위 수준의 NLP 애플리케이션은 지적 행동과 자연 언어의 명백한 이해를 에뮬레이트하는 측면을 포함한다.보다 광범위하게 말하면, 인지 행동의 점점 더 발전하는 측면의 기술적 운영화는 NLP의 발전 궤적 중 하나를 나타낸다(위의 CoNLL 공유 과제 동향 참조).

인지란 "생각, 경험, [39]감각을 통해 지식과 이해를 얻는 정신적 행동 또는 과정"을 말한다.인지과학은 정신과 [40]그 과정에 대한 학문적이고 과학적인 학문이다.인지언어학은 심리학 및 언어학 [41]양쪽의 지식과 연구를 결합한 언어학 분야이다.특히 상징적 NLP의 시대 동안, 컴퓨터 언어학 분야는 인지 연구와 강한 유대를 유지했다.

를 들어, George Lakoff는 인지과학의 관점에서 자연언어처리(NLP) 알고리즘을 구축하기 위한 방법론[42]인지언어학 연구 결과를 다음 두 가지 정의 측면에서 제공합니다.

  1. Lakoff가 "한 아이디어의 이해, 다른 아이디어에 대한 이해"[43]라고 설명한 개념적 은유 이론을 적용하여 저자의 의도에 대한 아이디어를 제공합니다.예를 들어, 영어 단어 "big"를 생각해 보세요.비교에 사용할 때("그것은 큰 나무입니다") 작성자의 의도는 트리가 다른 트리 또는 작성자의 경험에 비해 "물리적으로 크다"는 것을 암시하는 것입니다.은유적으로 "내일은 중요한 날"이라고 표현했을 때 작가의 의도는 "중요함"을 암시하는 것이다."She are big person"과 같은 다른 사용법 뒤에 있는 의도는 추가 정보 없이 개인과 인지 NLP 알고리즘에 다소 모호하게 남을 것이다.
  2. 예를 들어, 확률론적 문맥 자유 문법(PCFG)을 사용하여 분석되는 텍스트의 전후에 제시된 정보를 기반으로 단어, 구, 문장 또는 텍스트에 의미에 대한 상대적 척도를 할당합니다.이러한 알고리즘에 대한 수학 방정식은 다음과 같습니다.미국 특허 9269353:
어디에,
RMM은 의미에 대한 상대적인 척도입니다.
토큰은 텍스트, 문장, 구 또는 단어의 블록입니다.
N은 분석 중인 토큰의 수입니다.
PMM은 말뭉치에 기초한 의미 측정법이다.
d는 N-1 토큰의 시퀀스에 따른 토큰의 위치입니다.
PF는 언어에 고유한 확률 함수입니까?

인지 언어학과의 연계는 NLP의 역사적 유산의 일부이지만, 1990년대 통계 전환 이후 자주 다루어지지 않았다.그럼에도 불구하고, 기술적으로operationalizable 체계 다양한 구조, 예를 들어 맥락에서 추구해 왔다에 대한 인지 모델을 개발하는데, 인지 grammar,[44]기능 grammar,[45]건설 하지만, 수도관에서 제한적인 흡수를 계산 언어 심리학 및 인지 신경 과학(예:ACT-R)grammar,[46]를 찾아갑니다.스트림 도달(ACL의 메이저회의에서의[47] 존재에 의해서 측정됩니다).최근 인지적 NLP의 아이디어는 예를 들어 "인지적 AI"[48]라는 개념 하에 설명 가능성을 달성하기 위한 접근법으로 부활했다.마찬가지로, 인지 NLP의 아이디어는 신경 모델 멀티모달 NLP에 고유하다(명시적이지는 않지만).[49]

「 」를 참조해 주세요.

레퍼런스

  1. ^ Kongthon, Alisa; Sangkeettrakarn, Chatchawal; Kongyoung, Sarawoot; Haruechaiyasak, Choochart (October 27–30, 2009). "Implementing an online help desk system based on conversational agent". Proceedings of the International Conference on Management of Emergent Digital Eco Systems - MEDES '09. MEDES '09: The International Conference on Management of Emergent Digital EcoSystems. France: ACM. p. 450. doi:10.1145/1643823.1643908. ISBN 9781605588292.
  2. ^ Hutchins, J. (2005). "The history of machine translation in a nutshell" (PDF).[자체 확인 소스]
  3. ^ Koskenniemi, Kimmo (1983), Two-level morphology: A general computational model of word-form recognition and production (PDF), Department of General Linguistics, University of Helsinki
  4. ^ Joshi, A. K., & Weinstein, S.(1981년, 8월).추론의 제어: 담화 구조 중심화의 일부 측면의 역할.IJCAI에서 (385-387페이지)
  5. ^ Guida, G.; Mauri, G. (July 1986). "Evaluation of natural language processing systems: Issues and approaches". Proceedings of the IEEE. 74 (7): 1026–1035. doi:10.1109/PROC.1986.13580. ISSN 1558-2256. S2CID 30688575.
  6. ^ 촘스키 언어학은 말뭉치 언어학에서와 같이 실제 데이터에서 발생하는 전형적인 현상에 대한 체계적인 조사보다는 전형적으로 사고 실험을 사용하여 만들어진 이론 모델의 한계를 강조하는 "코너 사례"의 조사를 장려한다.실제 데이터의 이러한 말뭉치를 만들고 사용하는 것은 자연어 처리를 위한 기계학습 알고리즘의 기본 부분입니다.또한 이른바 "부양책의 빈곤" 주장과 같은 촘스키 언어학의 이론적 기반은 일반적으로 기계 학습에서 사용되는 일반적인 학습 알고리즘은 언어 처리에서 성공할 수 없다는 것을 수반한다.그 결과, 촘스키어 패러다임은 이러한 모델을 언어 처리에 적용하는 것을 막았다.
  7. ^ Goldberg, Yoav (2016). "A Primer on Neural Network Models for Natural Language Processing". Journal of Artificial Intelligence Research. 57: 345–420. arXiv:1807.10854. doi:10.1613/jair.4992. S2CID 8273530.
  8. ^ Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning. MIT Press.
  9. ^ Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). Exploring the Limits of Language Modeling. arXiv:1602.02410. Bibcode:2016arXiv160202410J.
  10. ^ Choe, Do Kook; Charniak, Eugene. "Parsing as Language Modeling". Emnlp 2016. Archived from the original on 2018-10-23. Retrieved 2018-10-22.
  11. ^ Vinyals, Oriol; et al. (2014). "Grammar as a Foreign Language" (PDF). Nips2015. arXiv:1412.7449. Bibcode:2014arXiv1412.7449V.
  12. ^ Turchin, Alexander; Florez Builes, Luisa F. (2021-03-19). "Using Natural Language Processing to Measure and Improve Quality of Diabetes Care: A Systematic Review". Journal of Diabetes Science and Technology. 15 (3): 553–560. doi:10.1177/19322968211000831. ISSN 1932-2968. PMC 8120048. PMID 33736486.
  13. ^ Winograd, Terry (1971). Procedures as a Representation for Data in a Computer Program for Understanding Natural Language (Thesis).
  14. ^ Schank, Roger C.; Abelson, Robert P. (1977). Scripts, Plans, Goals, and Understanding: An Inquiry Into Human Knowledge Structures. Hillsdale: Erlbaum. ISBN 0-470-99033-3.
  15. ^ 마크 존슨. 통계 혁명이 (컴퓨팅) 언어학을 어떻게 변화시키는지.언어학과 컴퓨터 언어학의 상호작용에 관한 EACL 2009 워크숍의 진행.
  16. ^ 필립 레스닉. 4회전.언어 일지, 2011년 2월 5일
  17. ^ "Investigating complex-valued representation in NLP" (PDF).{{cite web}}: CS1 maint :url-status (링크)
  18. ^ Trabelsi, Chiheb; Bilaniuk, Olexa; Zhang, Ying; Serdyuk, Dmitriy; Subramanian, Sandeep; Santos, João Felipe; Mehri, Soroush; Rostamzadeh, Negar; Bengio, Yoshua; Pal, Christopher J. (2018-02-25). "Deep Complex Networks". arXiv:1705.09792 [cs.NE].
  19. ^ Socher, Richard. "Deep Learning For NLP-ACL 2012 Tutorial". www.socher.org. Retrieved 2020-08-17. 이것은 ACL 2012의 초기 딥 러닝 튜토리얼이었고, 대부분의 참가자들의 관심과 (당시) 회의론에 부딪혔다.그때까지, 신경 학습은 통계적 해석성의 결여 때문에 기본적으로 거부되었다.2015년까지 딥 러닝은 NLP의 주요 프레임워크로 발전했다.
  20. ^ Yi, Chucai; Tian, Yingli (2012), "Assistive Text Reading from Complex Background for Blind Persons", Camera-Based Document Analysis and Recognition, Springer Berlin Heidelberg, pp. 15–28, CiteSeerX 10.1.1.668.869, doi:10.1007/978-3-642-29364-1_2, ISBN 9783642293634
  21. ^ "What is Natural Language Processing? Intro to NLP in Machine Learning". GyanSetu!. 2020-12-06. Retrieved 2021-01-09.
  22. ^ Kishorjit, N.; Vidya, Raj RK.; Nirmal, Y.; Sivaji, B. (2012). "Manipuri Morpheme Identification" (PDF). Proceedings of the 3rd Workshop on South and Southeast Asian Natural Language Processing (SANLP). COLING 2012, Mumbai, December 2012: 95–108.{{cite journal}}: CS1 유지보수: 위치(링크)
  23. ^ Klein, Dan; Manning, Christopher D. (2002). "Natural language grammar induction using a constituent-context model" (PDF). Advances in Neural Information Processing Systems.
  24. ^ PASCAL 인식 텍스트 수반 과제(RTE-7) https://tac.nist.gov//2011/RTE/
  25. ^ Lippi, Marco; Torroni, Paolo (2016-04-20). "Argumentation Mining: State of the Art and Emerging Trends". ACM Transactions on Internet Technology. 16 (2): 1–25. doi:10.1145/2850417. hdl:11585/523460. ISSN 1533-5399. S2CID 9561587.
  26. ^ "Argument Mining - IJCAI2016 Tutorial". www.i3s.unice.fr. Retrieved 2021-03-09.
  27. ^ "NLP Approaches to Computational Argumentation – ACL 2016, Berlin". Retrieved 2021-03-09.
  28. ^ "U B U W E B :: Racter". www.ubu.com. Retrieved 2020-08-17.
  29. ^ Writer, Beta (2019). Lithium-Ion Batteries. doi:10.1007/978-3-030-16800-1. ISBN 978-3-030-16799-8. S2CID 155818532.
  30. ^ "Document Understanding AI on Google Cloud (Cloud Next '19) - YouTube". www.youtube.com. Archived from the original on 2021-10-30. Retrieved 2021-01-11.
  31. ^ Administration. "Centre for Language Technology (CLT)". Macquarie University. Retrieved 2021-01-11.
  32. ^ "Shared Task: Grammatical Error Correction". www.comp.nus.edu.sg. Retrieved 2021-01-11.
  33. ^ "Shared Task: Grammatical Error Correction". www.comp.nus.edu.sg. Retrieved 2021-01-11.
  34. ^ Duan, Yucong; Cruz, Christophe (2011). "Formalizing Semantic of Natural Language through Conceptualization from Existence". International Journal of Innovation, Management and Technology. 2 (1): 37–42. Archived from the original on 2011-10-09.
  35. ^ Robertson, Adi (2022-04-06). "OpenAI's DALL-E AI image generator can now edit pictures, too". The Verge. Retrieved 2022-06-07.
  36. ^ "The Stanford Natural Language Processing Group". nlp.stanford.edu. Retrieved 2022-06-07.
  37. ^ Coyne, Bob; Sproat, Richard (2001-08-01). "WordsEye: an automatic text-to-scene conversion system". Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. SIGGRAPH '01. New York, NY, USA: Association for Computing Machinery: 487–496. doi:10.1145/383259.383316. ISBN 978-1-58113-374-5. S2CID 3842372.
  38. ^ "Previous shared tasks CoNLL". www.conll.org. Retrieved 2021-01-11.
  39. ^ "Cognition". Lexico. Oxford University Press and Dictionary.com. Retrieved 6 May 2020.
  40. ^ "Ask the Cognitive Scientist". American Federation of Teachers. 8 August 2014. Cognitive science is an interdisciplinary field of researchers from Linguistics, psychology, neuroscience, philosophy, computer science, and anthropology that seek to understand the mind.
  41. ^ Robinson, Peter (2008). Handbook of Cognitive Linguistics and Second Language Acquisition. Routledge. pp. 3–8. ISBN 978-0-805-85352-0.
  42. ^ Lakoff, George (1999). Philosophy in the Flesh: The Embodied Mind and Its Challenge to Western Philosophy; Appendix: The Neural Theory of Language Paradigm. New York Basic Books. pp. 569–583. ISBN 978-0-465-05674-3.
  43. ^ Strauss, Claudia (1999). A Cognitive Theory of Cultural Meaning. Cambridge University Press. pp. 156–164. ISBN 978-0-521-59541-4.
  44. ^ "Universal Conceptual Cognitive Annotation (UCCA)". Universal Conceptual Cognitive Annotation (UCCA). Retrieved 2021-01-11.
  45. ^ 로드리게스, FC, & 마이랄우손, R. (2016년)RRG 계산 문법의 구축.오노마제인, (34), 86-117
  46. ^ "Fluid Construction Grammar – A fully operational processing system for construction grammars". Retrieved 2021-01-11.
  47. ^ "ACL Member Portal The Association for Computational Linguistics Member Portal". www.aclweb.org. Retrieved 2021-01-11.
  48. ^ "Chunks and Rules". www.w3.org. Retrieved 2021-01-11.
  49. ^ Socher, Richard; Karpathy, Andrej; Le, Quoc V.; Manning, Christopher D.; Ng, Andrew Y. (2014). "Grounded Compositional Semantics for Finding and Describing Images with Sentences". Transactions of the Association for Computational Linguistics. 2: 207–218. doi:10.1162/tacl_a_00177. S2CID 2317858.

추가 정보

외부 링크