자연어 생성

Natural language generation

자연어 생성(NLG)은 자연어 출력을 생성하는 소프트웨어 프로세스입니다.가장 널리 인용되고 있는 NLG 방법의 조사 중 하나에서 NLG는 "정보의 기초적인 비언어적 표현으로부터 영어 또는 기타 인간 언어로 이해 가능한 텍스트를 생성할 수 있는 컴퓨터 시스템 구축과 관련된 인공지능과 컴퓨터 언어학의 하위 분야"로 특징지어진다."[1]

모든 NLG 프로세스의 출력이 텍스트라는 점은 널리 동의하지만, NLG 시스템의 입력이 [2]비언어적이어야 하는지에 대해서는 일부 의견이 분분하다.NLG 방법의 일반적인 적용에는 날씨 및 환자 보고서,[4] 이미지 [5]캡션 및 챗봇과 같은 다양한 보고서 생성이 포함됩니다.

자동화된 NLG는 인간이 아이디어를 쓰기 또는 말로 바꿀 때 사용하는 프로세스와 비교할 수 있습니다.심리언어학자들은 이 과정을 위해 언어 생산이라는 용어를 선호하는데, 이것은 수학적인 용어로 묘사되거나 심리학적 연구를 위해 컴퓨터로 모델링될 수도 있다.또한 NLG 시스템은 디컴파일러나 트랜스필러와 같은 인공 컴퓨터 언어의 번역자와 비교될 수 있으며, 중간 표현에서 생성된 사람이 읽을 수 있는 코드를 생성합니다.인간의 언어는 프로그래밍 언어보다 훨씬 더 복잡하고 모호성과 다양한 표현을 허용하는 경향이 있으며, 이는 NLG를 더 어렵게 만듭니다.

NLG는 자연언어 이해(NLU)를 보완하는 것으로 간주될 수 있다.자연언어 이해에서는 입력문을 명확하게 하여 기계 표현 언어를 생성해야 하며, NLG에서는 어떻게 표현을 말로 표현할지에 대한 결정을 내려야 한다.NLU를 구축할 때의 실제 고려사항과NLG 시스템은 대칭적이지 않습니다.NLU는 모호하거나 잘못된 사용자 입력을 처리해야 하지만, 시스템이 NLG를 통해 표현하고자 하는 아이디어는 일반적으로 정확하게 알려져 있습니다.NLG는 많은 잠재적 표현에서 구체적이고 일관성 있는 텍스트 표현을 선택해야 하는 반면, NLU는 일반적으로 [6]표현된 아이디어의 정규화된 단일 표현을 생성하려고 한다.

NLG는 1960년대 중반 ELIZA가 개발된 이래 존재해 왔지만, 이 방법은 1990년대에 [7]처음으로 상업적으로 사용되었다.NLG 기술은 양식 문자를 생성하는 메일 병합과 같은 단순한 템플릿 기반 시스템에서 인간 문법을 복잡하게 이해하는 시스템까지 다양합니다.NLG는 기계 학습을 사용하여 통계 모델을 교육함으로써 달성될 수 있으며, 일반적으로 사람이 작성한 [8]텍스트의 대규모 말뭉치에 대해 학습할 수 있다.

예

스코틀랜드의[9] 꽃가루 예측 시스템은 기본적으로 템플릿이 될 수 있는 단순한 NLG 시스템의 단순한 예입니다.이 시스템은 6개의 숫자를 입력해서 스코틀랜드의 다른 지역에서 예측된 꽃가루 수치를 제공합니다.이 수치로부터 시스템은 꽃가루 수준에 대한 짧은 텍스트 요약을 출력으로 생성합니다.

예를 들어, 2005년 7월 1일의 이력 데이터를 사용하면, 소프트웨어는 다음을 생성합니다.

금요일 풀 꽃가루 수치는 어제의 중간에서 높은 수치로 증가하여 전국 대부분 지역에서 6에서 7의 수치를 보이고 있습니다.그러나 북부지방에서는 꽃가루 수치가 4로 중간 정도 되겠습니다.

이와는 대조적으로, 이 데이터에서 실제 예측(인간 기상학자가 작성)은 다음과 같다.

꽃가루 수치는 스코틀랜드 대부분에서 6단계, 남동부에서는 7단계까지 높게 유지될 것으로 예상됩니다.유일한 안도는 북부 군도와 스코틀랜드 본토 북동쪽 먼 곳에 있으며 꽃가루 수치는 중간 수준입니다.

이 두 가지를 비교하면 NLG 시스템이 선택해야 하는 몇 가지 선택사항이 제시됩니다.이러한 선택사항은 아래에서 자세히 설명합니다.

스테이지

텍스트를 생성하는 프로세스는 복사 및 붙여넣기된 캔 텍스트 목록을 유지하는 것만으로 간단하며, 일부 접착 텍스트와 링크될 수 있습니다.결과는 별자리 기계나 개인화된 비즈니스 서신 생성기와 같은 간단한 영역에서 만족스러울 수 있습니다.그러나 정교한 NLG 시스템은 자연스러운 것처럼 보이고 반복되지 않는 텍스트를 생성할 수 있도록 정보의 계획 및 병합 단계를 포함해야 합니다.Dale과 [6]Leather가 제안한 자연어 생성의 전형적인 단계는 다음과 같다.

내용 결정:텍스트에서 언급할 정보를 결정합니다.예를 들어, 위의 꽃가루의 예에서는 남동쪽의 꽃가루 수준이 7이라고 명시적으로 언급할지 여부를 결정합니다.

문서 구조화:전달할 정보의 전체적인 구성.예를 들어, 꽃가루 수준이 낮은 지역이 아니라 꽃가루 수준이 높은 지역을 먼저 기술하기로 결정하는 것입니다.

집약:가독성과 자연스러움을 향상시키기 위해 유사한 문장들을 병합합니다.예를 들어, 다음 두 문장을 병합합니다.

  • 금요일 풀 꽃가루 수치가 어제의 보통에서 높은 수치로 증가했습니다.
  • 풀 꽃가루 농도는 전국 대부분 지역에서 6에서 7정도 되겠습니다.

다음 단일 문장으로 변환합니다.

  • 금요일 풀 꽃가루 수치는 어제의 중간에서 높은 수치로 증가하여 전국 대부분 지역에서 6에서 7의 수치를 보이고 있습니다.

어휘 선택:개념에 단어를 넣는 것.예를 들어 꽃가루 수준을 4로 설명할 때 중간을 사용할지 아니면 중간을 사용할지 결정하는 것입니다.

참조식 생성:개체와 영역을 식별하는 참조 표현식을 만듭니다.예를 들어, 북방 섬과 스코틀랜드 본토 북동쪽 먼 곳에서 스코틀랜드의 특정 지역을 가리키기 위해 사용하기로 결정하는 경우입니다.이 작업은 대명사와 다른 유형의 아나포라에 대한 결정도 포함합니다.

실현:구문, 형태학 및 맞춤법 규칙에 따라 올바른 실제 텍스트 작성예를 들어, 사용법은 미래의 시제에 사용됩니다.

NLG에 대한 다른 접근법은 [10]위와 같이 별도의 단계를 두지 않고 "엔드 투 엔드" 기계 학습을 사용하여 시스템을 구축하는 것입니다.즉, 입력 데이터 및 대응하는 (사람이 작성한) 출력 텍스트의 대규모 데이터 세트에 대해 머신 러닝 알고리즘(종종 LSTM)을 훈련함으로써 NLG 시스템을 구축한다.엔드 투 엔드의 어프로치는, 이미지의 텍스트 캡션을 자동적으로 생성하는 이미지 캡션에 [11]가장 성공했을 가능성이 있습니다.

적용들

보고서 자동 생성

상업적 관점에서 가장 성공적인 NLG 애플리케이션은 데이터베이스와 데이터 세트의 텍스트 요약을 생성하는 데이터 간 시스템입니다. 이러한 시스템은 일반적으로 텍스트 생성과 데이터 분석을 수행합니다.연구에 따르면 텍스트 요약은 의사결정 지원을 [12][13][14]위한 그래프 및 기타 시각 자료보다 효과적일 수 있으며, 컴퓨터 생성 텍스트는 (독자의 관점에서) 사람이 작성한 [15]텍스트보다 우수할 수 있다.

최초의 상용 데이터-텍스트 시스템은 일기 데이터로부터 일기 예보를 생성했다.이러한 시스템을 최초로 도입한 것은 캐나다 환경부가 1990년대 초 불어 및 영어로 일기예보를 생성하는 데 사용한 [3]FoG였다.FoG의 성공은 연구와 상업적인 다른 작업을 촉발시켰다.최근 응용 프로그램에는 영국 기상청의 텍스트 강화 [16]예측 기능이 포함되어 있습니다.

이후 데이터-텍스트 시스템은 다양한 설정으로 적용되어 왔습니다.2014년 3월 17일 캘리포니아 베벌리힐스 부근에서 발생한 작은 지진에 이어 로스앤젤레스 타임즈는 사건 발생 3분 만에 지진의 시간, 장소, 강도에 대한 자세한 내용을 보도했다.이 보고서는 '로보 저널리스트'에 의해 자동으로 생성되었으며, 이 리포트는 미리 설정된 [17][18]템플릿을 통해 수신 데이터를 텍스트로 변환합니다.현재 재무 및 비즈니스 데이터를 요약하기 위해 NLG를 사용하는 데 상당한 상업적 관심이 있습니다.실제로 Gartner는 NLG가 현대 BI [19]및 분석 플랫폼의 90%가 되는 표준 기능이 될 것이라고 말했습니다.또한 NLG는 자동화된 저널리즘, 챗봇, 전자상거래 사이트용 제품 설명 생성,[20][4] 의료 기록 요약 및 접근성 향상(예: 시각장애인을[21] 위한 그래프 및 데이터 세트 설명)에도 상업적으로 사용되고 있습니다.

NLG의 대화형 사용의 예로는 WYSIWYM 프레임워크가 있습니다.이는 사용자가 의미하는 바를 나타내며 사용자가 기본 공식 언어 문서(NLG 입력)의 연속 렌더링 보기(NLG 출력)를 보고 조작할 수 있도록 하여 이를 학습하지 않고도 공식 언어를 편집할 수 있도록 합니다.

미래를 내다보면, 데이터-텍스트 생성의 현재 진전은 특정 독자에게 텍스트를 맞춤 제작할 수 있는 길을 열어준다.예를 들어, 신생아 치료 중 아기의 데이터는 임상 환경에서 텍스트의 의도된 수신자(의사, 간호사, 환자)에 따라 기술적 세부사항과 설명 언어의 수준이 달라 텍스트로 다르게 변환될 수 있다.스포츠 환경에서도 동일한 아이디어를 적용할 수 있으며, 특정 [22]팀의 팬을 위해 서로 다른 보고서가 생성됩니다.

이미지 캡션

지난 몇 년 동안 시각과 언어 사이의 인터페이스를 조사하기 위한 광범위한 노력의 일환으로 이미지에 대한 캡션을 자동으로 생성하는 것에 대한 관심이 높아졌습니다.데이터 투 텍스트 생성의 경우 이미지 캡션(또는 자동 이미지 설명) 알고리즘은 이미지를 촬영하고 시각적 내용을 분석하여 이미지의 가장 중요한 측면을 언어화하는 텍스트 설명(일반적으로 문장)을 생성하는 것을 포함합니다.

이미지 캡션 시스템은 2개의 서브태스크를 포함한다.이미지 분석에서는 이러한 출력을 언어 구조에 매핑하기 전에 이미지의 특징과 속성이 탐지되고 레이블이 지정됩니다.최근의 연구에서는, AlexNet, VGG, 또는 Caffe등의 사전 트레이닝된 컨볼루션 뉴럴 네트워크의 기능을 통해서, 딥 러닝 어프로치를 이용하고 있습니다.이러한 어프로치는 캡션 생성자가 사전 트레이닝된 네트워크의 액티베이션 레이어를 사용합니다.두 번째 작업인 텍스트 생성은 광범위한 기술을 사용하여 수행됩니다.예를 들어 Midge 시스템에서 입력 화상은 물체/물건 검출, 동작/포즈 검출 및 공간 관계로 이루어진 3중으로 표현된다.이것들은 이어서 <명사, 동사, 전치사> 3배로 매핑되어 트리 치환 [22]문법을 사용하여 실현됩니다.

진보에도 불구하고 이미지 캡처 연구는 여전히 과제와 기회가 있습니다.최근 Flickr30K, MS COCO 및 기타 대규모 데이터셋의 도입에도 불구하고, 이미지 캡션 연구는 더 크고 다양한 데이터셋의 이점을 얻을 수 있다는 주장이 제기되어 왔다.이미지 설명의 적합성을 평가할 때 인간의 판단을 모방할 수 있는 자동 측정을 설계하는 것도 이 분야의 또 다른 요구 사항이다.기타 미해결 과제로는 시각적 질의응답(VQA),[23] 이미지 기술용 [22]다국어 저장소 구축 및 평가 등이 있습니다.

챗봇

NLG가 널리 적용된 또 다른 영역은 자동 대화 시스템이며, 자주 챗봇 형태로 사용됩니다.챗봇(chatterbot) 또는 채터봇(chatterbot)은 실시간 휴먼 에이전트와 직접 접촉하는 대신 텍스트 또는 텍스트 투 스피치를 통해 온라인 채팅 대화를 수행하는 데 사용되는 소프트웨어 애플리케이션입니다.NLP(자연 언어 처리) 기법이 인간의 입력을 해독하는 데 적용되는 반면, NLG는 실시간 대화를 용이하게 하는 챗봇 알고리즘의 출력 부분에 정보를 제공합니다.

1988년 Rollo Carpenter가 만들고 1997년에 발행한 CleverBot을 포함한 초기 Chatbot 시스템은 정보 검색(IR) 접근 방식을 통해 대화 데이터베이스에서 인간이 동일한 질문에 어떻게 반응하는지 식별함으로써 질문에 답합니다.현대의 챗봇 시스템은 주로 인간 언어 출력을 생성할 때 시퀀스 투 시퀀스 학습 및 강화 학습과 같은 머신 러닝(ML) 모델에 의존한다.하이브리드 모델도 개발되었습니다.예를 들어, Alibaba 쇼핑 어시스턴트는 ML 기반의 seq2seq 모델을 사용하여 후보 순위를 재지정하고 답변을 [24]생성하기 전에 IR 방식을 사용하여 기술 자료에서 최상의 후보를 검색합니다.

창의적인 글쓰기 및 컴퓨터 유머

NLG에 의한 창조적 언어 생성은 이 분야의 기원부터 가설화되어 왔다.이 분야의 최근 선구자는 필립 파커로, 그는 제본부터 [25]백내장까지 다양한 주제에 대한 교과서, 크로스워드 퍼즐, 시와 책을 자동으로 생성할 수 있는 알고리즘의 무기고를 개발했다.GPT-3와 같은 사전 교육을 받은 대형 변압기 기반 언어 모델의 출현은 또한 획기적인 발전을 가능하게 했으며, 이러한 모델은 작성 [26]태스크에 대한 인식 가능한 능력을 입증했습니다.

NLG 어플리케이션의 관련 분야는 컴퓨터 유머 제작이다.JAPE(Joke Analysis and Production Engine)는 손으로 코딩한 템플릿 기반 접근 방식을 사용하여 어린이를 위한 펀닝 수수께끼를 만드는 최초의 대형 자동 유머 제작 시스템 중 하나입니다.HAHCronym은 어떤 약어도 유머러스하게 재해석하여 키워드를 [27]부여한 새로운 맞춤 약어를 제안합니다.

진보에도 불구하고, 인간의 출력에 필적하는 자동화된 창의적이고 유머러스한 콘텐츠를 제작하는 데는 많은 과제가 남아 있습니다.풍자 헤드라인을 생성하기 위한 실험에서 BERT 기반 모델의 출력은 9.4%로 인식되었으며(반면 실제 Opion 헤드라인은 38.4%) 풍자 헤드라인을 미세 조정한 GPT-2 모델은 6.9%[28]를 달성했다.유머 생성 시스템의 두 가지 주요 문제는 주석이 달린 데이터 세트의 부족과 다른 창작 콘텐츠 생성에 적용될 수 있는 공식적인 평가 [27]방법의 부족이라고 지적되어 왔다.일부에서는 다른 어플리케이션과 비교하여 NLG 내에서 언어 생산의 창조적인 측면에 대한 관심이 부족하다고 주장합니다.NLG 연구자들은 창조적인 언어 생산의 구성 요소에 대한 통찰력 및 데이터 투 텍스트에서도 NLG 출력을 향상시킬 수 있는 내러티브의 구조적 특징으로부터 이익을 얻고 있습니다.시스템입니다.[22]

평가하기

다른 과학 분야와 마찬가지로 NLG 연구자들은 시스템, 모듈 및 알고리즘이 얼마나 잘 작동하는지 테스트해야 합니다.이것을 평가라고 합니다.NLG 시스템을 평가하기 위한 세 가지 기본 기술이 있습니다.

  • 태스크 기반(초기적) 평가: 생성된 텍스트를 개인에게 제공하고, 작업 수행에 얼마나 도움이 되는지 평가합니다(또는 커뮤니케이션 목표 달성).예를 들어, 의료 데이터의 요약을 생성하는 시스템은 이러한 요약을 의사에게 제공하고 요약이 의사가 더 나은 [4]결정을 내리는 데 도움이 되는지 평가함으로써 평가될 수 있습니다.
  • 인간 평가: 생성된 텍스트를 사람에게 주고 텍스트의 품질과 유용성을 평가하도록 요청합니다.
  • 측정기준: BLEU, METOR, ROUZE, LEPOR 등의 자동측정지표를 사용하여 생성된 텍스트와 동일한 입력데이터에서 작성된 텍스트를 비교합니다.

궁극적인 목표는 NLG 시스템이 사람들을 돕는 데 얼마나 유용한가 하는 것입니다. 이는 위의 기술 중 첫 번째입니다.그러나 과제 기반 평가는 시간이 많이 걸리고 비용이 많이 들며 수행하기가 어려울 수 있다(특히 의사와 같은 전문 지식을 가진 과목이 필요한 경우).따라서 (NLP의 다른 영역과 마찬가지로) 작업 기반 평가는 표준이 아닌 예외이다.

최근 연구자들은 인간의 등급과 지표가 작업 기반 평가와 얼마나 잘 관련되어 있는지를 평가하고 있다.작업은 Generation[29] Challenges 공유 태스크 이벤트와 관련하여 수행되고 있습니다.초기 결과는 이 점에서 인간의 등급이 지표보다 훨씬 낫다는 것을 시사한다.즉, 일반적으로 인간 등급은 최소한 어느 정도(예외는 있지만) 과제 효과를 예측하지만, 지표에 의해 생성된 등급은 과제 효과를 잘 예측하지 못하는 경우가 많다.이 결과는 예비 결과입니다.어느 경우든, 인간 등급은 NLG에서 가장 인기 있는 평가 기법입니다. 이는 측정기준이 널리 사용되는 기계 번역과는 대조적입니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Reiter, Ehud; Dale, Robert (March 1997). "Building applied natural language generation systems". Natural Language Engineering. 3 (1): 57–87. doi:10.1017/S1351324997001502. ISSN 1469-8110. S2CID 8460470.
  2. ^ Gatt A, Krahmer E (2018). "Survey of the state of the art in natural language generation: Core tasks, applications and evaluation". Journal of Artificial Intelligence Research. 61 (61): 65–170. arXiv:1703.09902. doi:10.1613/jair.5477. S2CID 16946362.
  3. ^ a b Goldberg E, Driedger N, Kittredge R (1994). "Using Natural-Language Processing to Produce Weather Forecasts". IEEE Expert. 9 (2): 45–53. doi:10.1109/64.294135. S2CID 9709337.
  4. ^ a b c Portet F, Reiter E, Gatt A, Hunter J, Sripada S, Freer Y, Sykes C (2009). "Automatic Generation of Textual Summaries from Neonatal Intensive Care Data" (PDF). Artificial Intelligence. 173 (7–8): 789–816. doi:10.1016/j.artint.2008.12.002.
  5. ^ Farhadi A, Hejrati M, Sadeghi MA, Young P, Rashtchian C, Hockenmaier J, Forsyth D (2010-09-05). Every picture tells a story: Generating sentences from images (PDF). European conference on computer vision. Berlin, Heidelberg: Springer. pp. 15–29. doi:10.1007/978-3-642-15561-1_2.
  6. ^ a b Dale, Robert; Reiter, Ehud (2000). Building natural language generation systems. Cambridge, U.K.: Cambridge University Press. ISBN 978-0-521-02451-8.
  7. ^ Ehud Reiter (2021-03-21). History of NLG. Archived from the original on 2021-12-12.
  8. ^ Perera R, Nand P (2017). "Recent Advances in Natural Language Generation: A Survey and Classification of the Empirical Literature". Computing and Informatics. 36 (1): 1–32. doi:10.4149/cai_2017_1_1. hdl:10292/10691.
  9. ^ R Turner, S Sripada, E Repeat, I Davy(2006).꽃가루 예측에서 시공간적 기술 생성EACL06의 절차
  10. ^ "E2E NLG Challenge".
  11. ^ "DataLabCup: Image Caption".
  12. ^ Law A, Freer Y, Hunter J, Logie R, McIntosh N, Quinn J (2005). "A Comparison of Graphical and Textual Presentations of Time Series Data to Support Medical Decision Making in the Neonatal Intensive Care Unit". Journal of Clinical Monitoring and Computing. 19 (3): 183–94. doi:10.1007/s10877-005-0879-3. PMID 16244840. S2CID 5569544.
  13. ^ Gkatzia D, Lemon O, Reiser V (2017). "Data-to-Text Generation Improves Decision-Making Under Uncertainty" (PDF). IEEE Computational Intelligence Magazine. 12 (3): 10–17. doi:10.1109/MCI.2017.2708998. S2CID 9544295.
  14. ^ "Text or Graphics?". 2016-12-26.
  15. ^ Reiter E, Sripada S, Hunter J, Yu J, Davy I (2005). "Choosing Words in Computer-Generated Weather Forecasts". Artificial Intelligence. 167 (1–2): 137–69. doi:10.1016/j.artint.2005.06.006.
  16. ^ S S Sripada, N Burnett, R Turner, J Mastin, D Evans(2014).도입 사례 작성: NLG는 날씨 업계의 날씨 예측 품질 및 양에 대한 수요를 충족시킵니다.INLG 2014의 진행 상황
  17. ^ Schwencke, Ken Schwencke Ken; Journalist, A.; Programmer, Computer; in 2014, left the Los Angeles Times (2014-03-17). "Earthquake aftershock: 2.7 quake strikes near Westwood". Los Angeles Times. Retrieved 2022-06-03.
  18. ^ Levenson, Eric (2014-03-17). "L.A. Times Journalist Explains How a Bot Wrote His Earthquake Story for Him". The Atlantic. Retrieved 2022-06-03.
  19. ^ "Neural Networks and Modern BI Platforms Will Evolve Data and Analytics".
  20. ^ Harris MD (2008). "Building a Large-Scale Commercial NLG System for an EMR" (PDF). Proceedings of the Fifth International Natural Language Generation Conference. pp. 157–60.
  21. ^ "Welcome to the iGraph-Lite page". www.inf.udec.cl. Archived from the original on 2010-03-16.
  22. ^ a b c d Gatt, Albert; Krahmer, Emiel (2018-01-29). "Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation". arXiv:1703.09902 [cs.CL].
  23. ^ Kodali, Venkat; Berleant, Daniel (2022). "Recent, Rapid Advancement in Visual Question Answering Architecture: a Review". Proceedings of the 22nd IEEE International Conference on EIT. pp. 133–146.
  24. ^ Mnasri, Maali (2019-03-21). "Recent advances in conversational NLP : Towards the standardization of Chatbot building". arXiv:1903.09025 [cs.CL].
  25. ^ "How To Author Over 1 Million Books". HuffPost. 2013-02-11. Retrieved 2022-06-03.
  26. ^ "Exploring GPT-3: A New Breakthrough in Language Generation". KDnuggets. Retrieved 2022-06-03.
  27. ^ a b Winters, Thomas (2021-04-30). "Computers Learning Humor Is No Joke". Harvard Data Science Review. 3 (2). doi:10.1162/99608f92.f13a2337. S2CID 235589737.
  28. ^ Horvitz, Zachary; Do, Nam; Littman, Michael L. (July 2020). "Context-Driven Satirical News Generation". Proceedings of the Second Workshop on Figurative Language Processing. Online: Association for Computational Linguistics: 40–50. doi:10.18653/v1/2020.figlang-1.5. S2CID 220330989.
  29. ^ 세대 과제 2009

추가 정보

외부 링크