GPT-3

GPT-3
GPT-3(Generative Pre-trained Transformer 3)
원본 작성자오픈AI[1]
초기출시2020년 6월 11일 (베타)
저장소
선대GPT-2
후계자GPT-3.5 GPT-4
유형
웹사이트openai.com/blog/openai-api

GPT-3(Generative Pre-trained Transformer 3)은 오픈이 발표한 대형 언어 모델입니다.2020년 AI.이전 GPT-2와 마찬가지로, 그것은 이전의 재발 및 컨볼루션 기반 아키텍처 대신 주의를 사용하는 심층 신경망의 디코더 전용 변압기 모델입니다.[2]주의 메커니즘을 통해 모델은 가장 관련성이 높을 것으로 예측되는 입력 텍스트의 세그먼트에 선택적으로 초점을 맞출 수 있습니다.[3]2048 토큰 길이의 컨텍스트와 1750억 의 파라미터를 사용하므로 800GB를 저장해야 합니다.이 모델은 많은 작업에서 강력한 제로샷퓨샷 학습을 시연했습니다.[4]

2020년 9월 22일, 마이크로소프트는 GPT-3의 "독점적" 사용을 허가했다고 발표했습니다. 다른 사람들은 여전히 공개 API를 사용하여 출력을 받을 수 있지만, 오직 마이크로소프트만이 GPT-3의 기본 모델에 접근할 수 있습니다.[5]

배경

The Economist에 따르면, 2010년대에 새로운 기술이 언어를 조작하는 것을 포함한 "작업의 빠른 개선"이라는 결과를 낳으면서, 개선된 알고리즘, 강력한 컴퓨터, 그리고 디지털화된 데이터의 증가가 기계 학습의 혁명을 부채질했다고 합니다.[6]소프트웨어 모델은 "구조..."에서 수천 또는 수백만 개의 예를 사용하여 학습하도록 교육 받습니다.뇌의 신경 구조에 느슨하게 기반을 두고 있습니다."[6]자연어 처리(NLP)에 사용되는 하나의 아키텍처는 2017년에 처음 소개된 딥 러닝 모델에 기반한 신경망(transformer architecture)[7]입니다.텍스트 입력을 처리, 마이닝, 정리, 연결 및 대조할 수 있는 NLP 시스템과 질문에 정확하게 대답할 수 있습니다.[8]

2018년 6월 11일 오픈AI 연구원과 엔지니어는 데이터 세트를 통해 방대하고 다양한 텍스트 말뭉치로 사전 학습된 후 특정 작업에 집중하기 위해 차별적 미세 조정을 수행하는 생성 대형 언어 모델의 한 유형인 최초의 생성 사전 학습 트랜스포머(GPT)를 소개하는 원본 논문을 게시했습니다.GPT 모델은 트랜스포머 기반 딥러닝 신경망 아키텍처입니다.그 당시까지 가장 성능이 좋은 신경 NLP 모델은 일반적으로 많은 양의 수동 레이블이 지정된 데이터에서 지도 학습을 채택했으며,[4] 이로 인해 매우 큰 언어 모델을 훈련하는 데 엄청나게 비싸고 시간이 많이 소요되었습니다.이 첫 번째 GPT 모델은 "GPT-1"로 알려져 있으며, 2019년 2월에 "GPT-2"로 이어졌습니다. GPT-2는 GPT-1의 직접 스케일업으로 만들어졌으며, 매개 변수 수와 데이터 세트 크기가 모두 10배 증가했습니다.그것은 15억 개의 매개 변수를 가지고 있었고, 800만 개의 웹 페이지 데이터 세트에 대해 훈련되었습니다.[9]

2020년 2월, 마이크로소프트는 튜링 자연 언어 생성(T-NLG)을 선보였는데, 이는 "170억 개의 매개 변수로 발표된 언어 모델 중 가장 큰 모델"이라고 일컬었습니다.[10]텍스트 요약, 질문 답변 등 다양한 업무에서 다른 언어 모델보다 우수한 성과를 보였습니다.

교육 및 역량

GPT-3가 작성한 교육학 관련 학생 에세이 예시

"학습 스타일"의 구성은 학습 스타일이 형성되는 과정을 설명하지 못하기 때문에 문제가 됩니다.어떤 학생들은 특별한 경험을 했기 때문에 특별한 학습 스타일을 개발할 수 있습니다.다른 사람들은 그들의 학습 요구에 잘 맞지 않는 학습 환경에 적응하려고 노력함으로써 특정한 학습 스타일을 개발할 수 있습니다.궁극적으로, 우리는 학습 스타일과 환경적 요인과 개인적 요인 사이의 상호 작용, 그리고 이것들이 우리가 어떻게 학습을 형성하고 우리가 경험하는 학습의 종류를 이해할 필요가 있습니다.

– Text generated by Mike Sharples[11]

2020년 5월 28일, 오픈에서 엔지니어 및 연구원 31명으로 구성된 arXiv 사전 인쇄인공지능은 3세대 '최첨단 언어 모델'인 GPT-3의 성과와 발전을 설명했습니다.[1][12]이 연구팀은 GPT-3의 용량을 이전의 GPT-2보다 2배 이상 크게 늘려 [13]GPT-3를 지금까지 가장 큰 비희귀 언어 모델로 만들었습니다.[1]: 14 [14]GPT-3은 구조적으로 이전 모델들과 유사하기 때문에,[1] 그것의 더 큰 정확도는 그것의 증가된 용량과 더 많은 파라미터에 기인합니다.[15] GPT-3의 용량은 그 당시에 알려진 다음으로 큰 NLP 모델인 마이크로소프트의 Turing NLG의 용량보다 10배 더 큽니다.[12]

Lambdalabs는 2020년에 GPT-3를 단일 GPU에서 훈련하는 데 약 460만 달러, 355년의 가상 비용이 소요될 것으로 추정했으며,[16] 더 많은 GPU를 병렬로 사용함으로써 실제 훈련 시간을 단축했습니다.

GPT-3에 대한 가중 사전 훈련 데이터 세트의 60%는 4100억 바이트 쌍 인코딩 토큰으로 구성된 커먼 크롤의 필터링된 버전에서 비롯됩니다.[1]: 9 그 외 가중치가 부여된 총합의 22%를 나타내는 WebText2의 190억 토큰, 8%를 나타내는 Books1의 120억 토큰, 8%를 나타내는 Books2의 550억 토큰, 3%를 나타내는 Wikipedia의 30억 토큰 등이 출처입니다.[1]: 9 GPT-3는 수천억 개의 단어에 대해 훈련을 받았으며 CSS, JSX, Python 등에서도 코딩이 가능하며,[17]중에서도

GPT-3 교육자료[1]: 9
데이터 집합 # 토큰들 비율
훈련 범위 내에서
커먼 크롤 4100억 60%
웹 텍스트2 190억 22%
북스1 120억 8%
2권 550억 8%
위키백과 30억 3%

GPT-3의 교육 데이터는 모두 포괄적이었기 때문에, 별개의 언어 작업을 위한 추가 교육이 필요하지 않습니다.[17]훈련 데이터에는 때때로 독성 언어가 포함되며 GPT-3는 훈련 데이터를 모방한 결과 때때로 독성 언어가 생성됩니다.Washington 대학의 한 연구는 GPT-3가 GPT-2와 CTRL의 유사한 자연어 처리 모델에 필적하는 독성 수준으로 독성 언어를 생성한다는 것을 발견했습니다.OpenAI는 GPT-3에 의해 생성되는 유해한 언어의 양을 제한하기 위해 몇 가지 전략을 시행했습니다. 그 결과, GPT-3는 이전 모델인 GPT-1에 비해 덜 유해한 언어를 생성했지만, 전적으로 위키피디아 데이터를 기반으로 훈련된 언어 모델인 CTRL Wiki에 비해 더 많은 세대와 더 높은 독성 언어를 생성했습니다.[18]

2020년 6월 11일, 오픈AI는 오픈을 돕기 위해 사용자 친화적인 GPT-3 API("머신 러닝 도구 세트")에 대한 액세스를 요청할 수 있다고 발표했습니다.인공지능은 이 새로운 기술의 장점과 한계를 "탐구"합니다.[19][20]초대장에는 이 API가 일반적인 단일 사용 사례가 아닌 거의 "모든 영어 작업"을 완료할 수 있는 범용 "text in, text out" 인터페이스를 어떻게 가지고 있는지 설명했습니다.[19]한 사용자의 말에 따르면, 오픈의 개인적인 초기 릴리스에 접근할 수 있었다고 합니다.AI GPT-3 API, GPT-3는 간단한 프롬프트 몇 개만으로 "놀라울 정도로 일관성 있는 텍스트"를 작성하는 데 "놀라울 정도로 능숙했습니다.[21]초기 실험에서 80명의 미국 피실험자들은 짧은 ~200개의 단어 기사가 인간에 의해 작성되었는지 GPT-3에 의해 작성되었는지 판단하도록 요청 받았습니다.참가자들은 52%의 경우 정확하게 판단하여 무작위 추측보다 약간만 더 잘했습니다.[1]

2021년 11월 18일, OpenAI는 API에 대한 접근이 제한되지 않을 만큼 충분한 안전 장치가 구현되었다고 발표했습니다.[22]OpenAI는 개발자들에게 Open을 준수할 수 있도록 도와주는 컨텐츠 조정 도구를 제공했습니다.AI의 콘텐츠 정책.[23]2022년 1월 27일, OpenAI는 최신 GPT-3 언어 모델(통칭 Instruct GPT)이 API에 사용되는 기본 언어 모델이라고 발표했습니다.오픈에 의하면AI, Instruct GPT는 지시를 더 잘 따르고, 조작된 사실을 덜 생성하며, 독성이 약간 적은 콘텐츠를 생성함으로써 사용자 의도에 더 잘 부합하는 콘텐츠를 제작했습니다.[24]

GPT-3는 "인간 평가자가 인간이 쓴 기사와 구별하기 어려운 뉴스 기사를 생성"할 수 있기 때문에,[12] GPT-3은 "언어 모델의 유익한 적용과 유해한 적용을 모두 발전시킬 수 있는 가능성"을 가지고 있습니다.[1]: 34 2020년 5월 28일자 논문에서 연구자들은 "잘못된 정보, 스팸, 피싱, 법 및 정부 프로세스 남용, 사기 학술 에세이 작성 및 사회 공학적 핑계"를 포함하는 잠재적인 "GPT-3의 폐해"[12]에 대해 자세히 설명했습니다.[1]저자들은 이러한 위험에 주목하여 위험 완화에 대한 연구를 촉구합니다.[1]: 34

GPT-3는 제로샷과 퓨샷 학습(원샷 포함)이 가능합니다.[1]

2022년 6월, 알미라 오스마노비치 툰스트롬(Almira Osmanovic Thunström)은 GPT-3가 자신에 대한 기사의 주요 저자이며, 출판을 위해 제출했으며,[25] 검토가 완료되기를 기다리는 동안 미리 출판되었다고 썼습니다.[26]

GPT 지시

인스트럭트GPT는 GPT-3의 미세 조정 버전입니다.그것은 사람이 작성한 지침의 데이터 세트에 대해 훈련되었습니다.이 교육을 통해 InstructionGPT는 요청되는 내용을 보다 잘 이해하고 보다 정확하고 관련성 있는 출력을 생성할 수 있습니다.

  • Instruct GPT를 사용하여 자연어로 제공되는 지침을 따를 수 있습니다.
  • InstructGPT는 자연어로 질문하는 질문에 대답하는 데 사용될 수 있습니다.
  • 명령 GPT는 명령을 따르고 질문에 답할 때 GPT-3보다 더 정확하고 적절합니다.
  • InstructGPT는 고객 서비스, 교육, 자동화 등 다양한 용도로 사용할 수 있습니다.

GPT-3 기종

GPT-3 제품군에는 여러 가지 모델이 있으며, 일부 모델은 다른 모델들과는 다른 용도로 사용됩니다.오픈에서 발표한 초기 연구 논문에서인공지능, 그들은 GPT-3의 주요 모델의 8가지 다른 크기를 언급했습니다.

모델명 매개변수 API명
GPT-3 소형 125M n/a
GPT-3 중 350M 에이다
GPT-3 대 760M n/a
GPT-3 XL 1.3 B 배춧돌
GPT-32.7B 2.7 B n/a
GPT-36.7B 6.7 B 퀴리
GPT-313B 13B n/a
GPT-3 175B 175B 다빈치

모델의 절반은 API, 즉 GPT-3-medium, GPT-3-xl, GPT-3-6.7B 및 GPT-3-175b를 통해 액세스할 수 있으며, 이는 각각 아다, 배비지, 퀴리 및 다빈치로 지칭됩니다.

모델 매개변수 묘사 시리즈
에이다 350M 일반적으로 GPT-3 시리즈에서 가장 빠른 모델인 매우 간단한 작업이 가능하고 비용도 저렴합니다. 베이스 GPT-3
배춧돌

배비지-002

1.3 B 매우 빠르고 저렴한 간단한 작업이 가능합니다. 베이스 GPT-3
퀴리 6.7B 매우 유능하지만 다빈치보다 빠르고 비용도 저렴합니다. 베이스 GPT-3
다빈치

다빈치-002

175 B 가장 유능한 GPT-3 모델입니다.다른 모델이 할 수 있는 모든 작업을 고품질로 수행할 수 있습니다. 베이스 GPT-3
text-ada-001 350M 일반적으로 GPT-3 시리즈에서 가장 빠른 모델인 매우 간단한 작업이 가능하고 비용도 저렴합니다. GPT 지시
텍스트-배지-001 175B 매우 빠르고 저렴한 간단한 작업이 가능합니다. GPT 지시
텍스트-퀴리-001 6.7B 다빈치보다 성능이 뛰어나고 빠르고 비용도 저렴합니다. GPT 지시
텍스트-다빈치-001 175B GPT-3 시리즈에서 가장 성능이 뛰어난 모델의 이전 버전입니다.다른 GPT-3 모델이 할 수 있는 모든 작업을 수행할 수 있으며, 종종 더 적은 컨텍스트로 수행할 수 있습니다. GPT 지시
text-davinci-002

코드-다빈치-002

175B 다음과 유사한 기능text-davinci-003강화 학습 대신 감독된 미세 조정으로 훈련을 받았습니다. GPT-3.5
text-davinci-003 175B 퀴리, 배비지 또는 에이다 모델보다 더 나은 품질, 더 긴 출력, 일관된 명령어를 사용하여 모든 언어 작업을 수행할 수 있습니다.텍스트 내에 완료를 삽입할 수도 있습니다. GPT-3.5
gpt-3.5-

gpt-3.5- turbo- instruct gpt-3.5- turbo-16k

20B

(175B가 아님?)

가장 유능하고 비용 효율적인(가장 빠른) GPT-3.5 모델로 채팅에 최적화되어 1/10의 비용으로 대화 가능text-davinci-003. GPT-3.5

GPT-3.5

GPT-3.5(Generative Pre-trained Transformer 3.5)
원본 작성자오픈AI[1]
초기출시2022년 3월 15일; 19개월 전 (2022-03-15)
저장소n/a
선대GPT-3
후계자GPT-4
유형
면허증.사유지
웹사이트n/a

GPT-3.5(Generative Pre-trained Transformer 3.5)는 오픈이 만든 GPT-3 모델의 하위 클래스입니다.2022년 AI.

2022년 3월 15일, 오픈AI는 GPT-3와 코덱스의 새로운 버전을 API에서 "text-davinci-002"와 "code-davinci-002"라는 이름으로 편집 및 삽입 기능을 제공했습니다.[27]이러한 모델은 이전 버전보다 성능이 뛰어난 것으로 설명되었으며 2021년 6월까지 데이터에 대해 교육을 받았습니다.[28]2022년 11월 28일 오픈AI,[29] text-davinci-003 도입2022년 11월 30일, 오픈AI는 GPT-3.5 시리즈에 해당하는 모델을 언급하기 시작했고,[28] GPT-3.5 시리즈의 모델에서 미세 조정ChatGPT를 출시했습니다.[30]OpenAI는 GPT-3에 GPT-3.5를 포함하지 않습니다.[31]

모델들

4가지 모델이 있습니다.[32]

  • 채팅
    • gpt-3.5-
  • 텍스트완료
    • text-davinci-003
    • text-davinci-002

탐색 기능이 있는 GPT-3.5

2023년 4월 10일 오픈AI는 GPT-3.5 시리즈 모델의 새로운 변형인 GPT-3.5 with 브라우징(ALPHA)을 선보였습니다.[33]이 업데이트된 모델은 이전 모델인 "text-davinci-002"와 "code-davinci-002"의 기능을 기반으로 하는 것으로 설명되었습니다.[34]GPT-3.5 with 브라우징(ALPHA) 모델은 온라인 정보에 접근하고 검색할 수 있는 기능을 포함했습니다.이를 통해 사용자 쿼리에 대한 보다 정확하고 최신의 응답이 가능해졌습니다.[33]

GPT-3.5 with 브라우징(ALPHA) 모델은 2021년 9월까지 데이터에 대해 교육되었으며 2021년 6월까지 데이터에 대해 교육된 이전 GPT-3.5 모델에 비해 더 많은 정보를 제공합니다.이 모델은 온라인 정보를 효과적으로 검색하고 합성할 수 있는 고급 자연어 처리 도구를 개발자와 사용자에게 제공하고자 했습니다.[33]

브라우징 기능을 사용하려면 열기AI는 GPT-3.5 with 브라우징(ALPHA) 모델이 운영 중 선택한 온라인 자원에 접근할 수 있는 새로운 API를 구현했습니다.[35]이 기능을 통해 사용자는 모델이 사용 가능한 최신 온라인 소스를 기반으로 업데이트되고 정확하며 관련성 있는 답변을 제공할 것이라는 기대 하에 질문을 하거나 정보를 요청할 수 있습니다.

2023년 4월 27일, 오픈AI는 GPT-3.5 with 브라우징(ALPHA) 모델을 GPT 플러스 사용자에게 공개했습니다.이를 통해 더 많은 사람들이 새로운 기능에 접근할 수 있었습니다.[35]

접수처

적용들

  • GPT-3, 특히 Codex 모델은 다양한 코드 편집기와 IDE에서 사용할 수 있는 코드 완성 및 생성 소프트웨어인 GitHub Copilot의 기초입니다.[36][37]
  • GPT-3은 일부 마이크로소프트 제품에서 기존 언어를 공식 컴퓨터 코드로 변환하는 데 사용됩니다.[38][39]
  • GPT-3은 CodexDB에서[40] SQL 처리를 위한 쿼리별 코드를 생성하는 데 사용되었습니다.
  • 제이슨 로러(Jason Rohrer)는 GPT-3를 레트로 테마의 챗봇 프로젝트인 "Project December"에서 사용했으며, 온라인에서 접근할 수 있으며 GPT-3 기술을 사용하여 여러 AI와 대화할 수 있습니다.[41]
  • GPT-3는 가디언지가 인공지능이 인간에게 무해하다는 기사를 쓰는 데 사용되었습니다.그것은 몇몇 아이디어를 제공받았고 8개의 다른 에세이를 만들어 냈고, 그것들은 결국 하나의 기사로 합쳐졌습니다.[42]
  • GPT-3는 텍스트 기반 어드벤처 게임을 만드는 AI 던전에 사용됐습니다.이후 오픈 이후 경쟁 모델로 대체되었습니다.인공지능은 생성된 콘텐츠에 대한 정책을 변경했습니다.[43][44]
  • GPT-3은 카피 및 기타 마케팅 자료를 작성하는 데 사용됩니다.[45]
  • 드렉셀 대학의 2022년 연구는 GPT-3 기반 시스템이 알츠하이머병의 초기 징후를 선별하는 데 사용될 수 있다고 제안했습니다.[46][47]

리뷰

  • 2020년 7월 뉴욕 타임즈의 리뷰에서 파하드 만주는 GPT-3의 컴퓨터 코드, 시, 산문을 생성하는 능력이 "놀랍다", "멍청하다", "겸손하다" 뿐만 아니라 "약간 무서운 것 이상"이라고 말했습니다.[48]
  • 데일리 누스(Daily Nous)는 GPT-3에 대한 9명의 철학자의 일련의 기사를 발표했습니다.[49] 호주 철학자 데이비드 찰머스(David Chalmers)는 GPT-3을 "지금까지 생산된 AI 시스템 중 가장 흥미롭고 중요한 시스템 중 하나"라고 설명했습니다.[50]
  • Wired의 리뷰는 GPT-3가 "실리콘 밸리 전역에서 오한을 유발하고 있다"고 말했습니다.[51]
  • National Law Review는 GPT-3가 오픈과 함께 "더 큰 프로세스에서 인상적인 단계"라고 말했습니다.인공지능과 다른 사람들은 "보다 일반적인 지능을 향해 노력"을 계속하면서 "이 모든 힘을 위한 유용한 응용 프로그램"을 찾고 있습니다.[52]
  • 딥 러닝 비평가 게리 마커스가 공동 집필한 MIT 테크놀로지 리뷰의 한 기사는 GPT-3의 "세상에 대한 이해는 종종 심각하게 어긋나는데, 이것은 당신이 그것이 말하는 것을 절대 믿을 수 없다는 것을 의미합니다."[54]라고 말했습니다.[53]저자들에 따르면, GPT-3는 각 단어 뒤에 숨겨진 의미에 대한 이해 없이 단어들 간의 관계를 모델링합니다.
  • 페이스북 AI 연구소의 책임자인 제롬 페센티는 GPT-3가 유대인, 여성, 흑인, 홀로코스트에 대해 논의하도록 요청받았을 때 시스템에 의해 생성된 성차별, 인종차별 및 기타 편향되고 부정적인 언어를 가리키며 "안전하지 않다"고 말했습니다.[55]
  • 프랑스의 의료 기술 전문 스타트업인 나블라(Nabla)는 GPT-3를 의료용 챗봇으로 테스트했지만, 오픈인공지능 자체가 그러한 사용에 대해 경고했습니다.예상대로 GPT-3는 몇 가지 한계를 보였습니다.예를 들어, 정신 건강 문제에 대한 GPT-3 반응을 테스트하는 동안, 인공지능은 모의 환자에게 자살을 권고했습니다.[56]
  • Noam Chomsky는 GPT-3의 과학적 가치에 대해 회의적인 견해를 나타냈습니다: "언어 모델이 아닙니다.실제 언어보다 불가능한 언어에도 효과가 있습니다.따라서 언어 모델로 의도된 경우 일반적인 과학적 기준에 의해 반박됩니다. [...] 아마도 어떤 목적에서는 유용할지 모르지만, 일반적으로 언어나 인지에 대해서는 아무 것도 알려주지 않는 것 같습니다."[57]
  • 루치아노 플로리디마시모 키리아티는 "착하고 의미 있는 예술품의 저렴한 생산"의 위험성을 강조했습니다.[58]
  • OpenAI의 Sam Altman 자신은 GPT-3가 "심각한 약점을 가지고 있고 때때로 매우 어리석은 실수를 한다"고 인정하면서, 그가 "GPT-3 과대광고"라고 부르는 것을 비판했습니다.인공지능은 세상을 바꾸겠지만 GPT-3는 아주 초기 단계일 뿐입니다."[59]

비평

GPT-3의 구축업체인 OpenAI는 2015년 비영리 단체로 처음 설립되었습니다.[60]2019년 오픈AI는 GPT-3의 이전 모델이 가짜뉴스 전파를 용이하게 할 수 있다는 우려를 이유로 공개하지 않음으로써 통상적인 오픈소스 표준에서 벗어났습니다.오픈AI는 결국 원래 모델 크기의 8%인 GPT-2 버전을 출시했습니다.[61]같은 해, 오픈AI가 영리기업으로 재구조화했습니다.[62]2020년, 마이크로소프트는 오픈에 수십억 달러를 투자한 후 마이크로소프트 제품 및 서비스에 대한 GPT-3 독점 라이선스를 보유했다고 발표했습니다.AI. 협정에 따라 오픈이 허용됩니다.AI는 사용자가 GPT-3에 문자를 보내 모델의 출력을 받을 수 있도록 공개용 API를 제공하지만, GPT-3의 소스 코드는 마이크로소프트만이 접근할 수 있게 됩니다.[5]

GPT-3과 같은 대형 언어 모델은 2021년 Timnit GebruEmily M. Bender가 공동 저자한 논문에 자세히 설명된 모델을 훈련하고 저장하는 것의 환경적 영향에 대해 Google의 AI 윤리 연구원 중 일부로부터 비판을 받았습니다.[63]

GPT-3와 다른 언어 생성기를 기반으로 한 자동화된 쓰기 기술의 사용이[when?] 증가함에 따라, 학문적[64] 진실성에 대한 우려가 커졌으며 대학과 학교가 표절과 같은 학문적 위법 행위를 어떻게 판단할 것인지에 대한 이해관계가 높아졌습니다.[65]

OpenAI의 GPT 시리즈는 저작권이 있는 기사, 인터넷 게시물, 웹 페이지 및 6천만 개 도메인에서 스크랩된 책의 집합체인 [66]Common Crow 데이터 세트의 데이터로 12년 동안 구축되었습니다.TechCrunch는 이 교육 데이터에 BBC, 뉴욕 타임즈, 레딧, 온라인 책 전문 등의 저작권 보호 자료가 포함되어 있다고 보고했습니다.[67]오픈AI는 2019년 미국 특허상표청(USPTO)의 인공지능 혁신을 위한 지적재산권 보호 의견 요청에 대한 답변에서 "현행법상 [GPT 모델 등] AI 시스템을 훈련하는 것은 공정한 사용에 해당한다"면서도 "현장 판례법이 없는 점을 고려할 때,오픈 AI와 우리와 같은 다른 AI 개발자들은 상당한 법적 불확실성과 규정 준수 비용에 직면해 있습니다."[68]

참고 항목

참고문헌

  1. ^ a b c d e f g h i j k l m Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (May 28, 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165.
  2. ^ Polosukhin, Illia; Kaiser, Lukasz; Gomez, Aidan N.; Jones, Llion; Uszkoreit, Jakob; Parmar, Niki; Shazeer, Noam; Vaswani, Ashish (June 12, 2017). "Attention Is All You Need". arXiv:1706.03762 [cs.CL].
  3. ^ Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (September 1, 2014). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv:1409.0473 [cs.CL].
  4. ^ a b Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (June 11, 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). p. 12. Archived (PDF) from the original on January 26, 2021. Retrieved July 31, 2020.
  5. ^ a b Hao, Karen (September 23, 2020). "OpenAI is giving Microsoft exclusive access to its GPT-3 language model". MIT Technology Review. Archived from the original on February 5, 2021. Retrieved September 25, 2020. The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI's other models and receive its output. Only Microsoft, however, will have access to GPT-3's underlying code, allowing it to embed, repurpose, and modify the model as it pleases.
  6. ^ a b "An understanding of AI's limitations is starting to sink in". The Economist. June 11, 2020. ISSN 0013-0613. Archived from the original on July 31, 2020. Retrieved July 31, 2020.
  7. ^ Polosukhin, Illia; Kaiser, Lukasz; Gomez, Aidan N.; Jones, Llion; Uszkoreit, Jakob; Parmar, Niki; Shazeer, Noam; Vaswani, Ashish (June 12, 2017). "Attention Is All You Need". arXiv:1706.03762 [cs.CL].
  8. ^ "Natural Language Processing". Archived from the original on August 22, 2020. Retrieved July 31, 2020.
  9. ^ "Archived copy" (PDF). Archived (PDF) from the original on February 6, 2021. Retrieved April 28, 2023.{{cite web}}: CS1 maint: 제목 그대로 보관된 복사본(링크)
  10. ^ Sterling, Bruce (February 13, 2020). "Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG)". Wired. ISSN 1059-1028. Archived from the original on November 4, 2020. Retrieved July 31, 2020.
  11. ^ Marche, Stephen (December 6, 2022). "The College Essay Is Dead". The Atlantic. Archived from the original on January 24, 2023. Retrieved December 8, 2022.
  12. ^ a b c d Sagar, Ram (June 3, 2020). "OpenAI Releases GPT-3, The Largest Model So Far". Analytics India Magazine. Archived from the original on August 4, 2020. Retrieved July 31, 2020.
  13. ^ "Language Models are Unsupervised Multitask Learners" (PDF). openai.com. Archived (PDF) from the original on December 12, 2019. Retrieved December 4, 2019. GPT-2, is a 1.5B parameter Transformer
  14. ^ Shead, Sam (July 23, 2020). "Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab". CNBC. Archived from the original on July 30, 2020. Retrieved July 31, 2020. 2020년 5월 28일부터 7월 22일 사이에 네 개의 지문이 공개되었습니다.
  15. ^ Ray, Tiernan (June 1, 2020). "OpenAI's gigantic GPT-3 hints at the limits of language models for AI". ZDNet. Archived from the original on June 1, 2020. Retrieved July 31, 2020.
  16. ^ Li, Chuan (June 3, 2020), OpenAI's GPT-3 Language Model: A Technical Overview, archived from the original on March 27, 2023, retrieved March 27, 2023
  17. ^ a b Bussler, Frederik (July 21, 2020). "Will GPT-3 Kill Coding?". Towards Data Science. Archived from the original on August 19, 2020. Retrieved August 1, 2020.
  18. ^ Gehman, Samuel; Gururangan, Suchin; Sap, Maarten; Choi, Yejin; Smith, Noah A. (November 16–20, 2020), REALTOXICITYPROMPTS: Evaluating Neural Toxic Degeneration in Language Models, Association for Computational Linguistics, pp. 3356–3369, arXiv:2009.11462
  19. ^ a b "OpenAI API". OpenAI. June 11, 2020. Archived from the original on June 11, 2020. Retrieved July 31, 2020.
  20. ^ Coldewey, Devin (June 11, 2020). "OpenAI makes an all-purpose API for its text-based AI capabilities". TechCrunch. Archived from the original on October 27, 2021. Retrieved July 31, 2020. If you've ever wanted to try out OpenAI's vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on "virtually any English language task."
  21. ^ Arram (July 9, 2020). "GPT-3: An AI that's eerily good at writing almost anything". Arram Sabeti. Archived from the original on July 20, 2020. Retrieved July 31, 2020.
  22. ^ "OpenAI's API Now Available with No Waitlist". OpenAI. November 18, 2021. Archived from the original on November 5, 2022. Retrieved November 5, 2022.
  23. ^ "OpenAI API". beta.openai.com. Archived from the original on December 23, 2022. Retrieved November 5, 2022.
  24. ^ "Aligning Language Models to Follow Instructions". OpenAI. January 27, 2022. Archived from the original on November 5, 2022. Retrieved November 5, 2022.
  25. ^ Thunström, Almira Osmanovic (June 30, 2022). "We Asked GPT-3 to Write an Academic Paper about Itself – Then We Tried to Get It Published". Scientific American. Archived from the original on June 30, 2022. Retrieved June 30, 2022.
  26. ^ Transformer, Gpt Generative Pretrained; Thunström, Almira Osmanovic; Steingrimsson, Steinn (June 21, 2022). "Can GPT-3 write an academic paper on itself, with minimal human input?". Archive ouverte HAL (in French). Archived from the original on June 30, 2022. Retrieved June 30, 2022.
  27. ^ "New GPT-3 Capabilities: Edit & Insert". OpenAI. March 15, 2022. Archived from the original on January 13, 2023. Retrieved January 13, 2023.
  28. ^ a b "OpenAI API". platform.openai.com. Archived from the original on March 20, 2023. Retrieved March 15, 2023.
  29. ^ "Check out OpenAI's new text-davinci-003! Same underlying model as text-davinci-002 but more aligned. Would love to hear feedback about it! / Twitter". Retrieved May 6, 2023.
  30. ^ "ChatGPT: Optimizing Language Models for Dialogue". OpenAI. November 30, 2022. Archived from the original on November 30, 2022. Retrieved January 13, 2023.
  31. ^ "OpenAI API". Retrieved May 6, 2023.
  32. ^ "OpenAI API". Retrieved May 6, 2023.
  33. ^ a b c tingetici (April 10, 2023). "Default (GPT-3.5) with browsing ALPHA -- NEW Model showed up just now". r/OpenAI. Archived from the original on April 27, 2023. Retrieved April 27, 2023.
  34. ^ "Introducing GPT-3.5 Series: text-davinci-002 and code-davinci-002 Models". OPEN AI. March 15, 2022. Archived from the original on March 20, 2023. Retrieved April 27, 2023.
  35. ^ a b "GPT-3.5 with Browsing (ALPHA) Now Available for GPT Plus Users". OPEN AI. April 27, 2023. Archived from the original on March 20, 2023. Retrieved April 27, 2023.
  36. ^ "OpenAI Codex". OpenAI. August 10, 2021. Archived from the original on February 3, 2023. Retrieved December 23, 2022.
  37. ^ Thompson, Clive (March 15, 2022). "How an AI Became My Code-Writing Genie". Wired. Archived from the original on December 23, 2022. Retrieved December 23, 2022.
  38. ^ "Microsoft announced its first customer product features powered by GPT-3 and @Azure". The AI Blog. May 25, 2021. Archived from the original on May 26, 2021. Retrieved May 26, 2021.
  39. ^ Vincent, James (May 25, 2021). "Microsoft has built an AI-powered autocomplete for code using GPT-3". The Verge. Archived from the original on December 23, 2022. Retrieved December 23, 2022.
  40. ^ "CodexDB - SQL Processing Powered by GPT-3". CodexDB - SQL Processing Powered by GPT-3. Archived from the original on December 7, 2022. Retrieved December 7, 2022.
  41. ^ Fagone, Jason (July 23, 2021). "The Jessica Simulation: Love and loss in the age of A.I." San Francisco Chronicle. Archived from the original on July 28, 2021. Retrieved July 29, 2021.
  42. ^ GPT-3 (September 8, 2020). "A robot wrote this entire article. Are you scared yet, human? GPT-3". The Guardian. ISSN 0261-3077. Archived from the original on September 8, 2020. Retrieved September 15, 2020.
  43. ^ "Update: Language Models and Dragon". Latitude blog. December 8, 2021. Archived from the original on April 25, 2022. Retrieved March 22, 2022.
  44. ^ "This Mystical Book Was Co-Authored by a Disturbingly Realistic AI". www.vice.com. 2022. Archived from the original on December 23, 2022. Retrieved December 23, 2022.
  45. ^ GPT-3 (February 24, 2023). "38 Prompt Examples in 10 Different Categories GPT-3". GiPiTi Chat. Archived from the original on April 8, 2023. Retrieved February 24, 2023.
  46. ^ "Can ChatGPT AI chatbot spot early stages of Alzheimer's? - study". The Jerusalem Post. 2022. Archived from the original on February 10, 2023. Retrieved February 10, 2023.
  47. ^ Agbavor, Felix; Liang, Hualou (December 22, 2022). "Predicting dementia from spontaneous speech using large language models". PLOS Digital Health. 1 (12): e0000168. doi:10.1371/journal.pdig.0000168. PMC 9931366. PMID 36812634. S2CID 255029590.
  48. ^ Manjoo, Farhad (July 29, 2020). "How Do You Know a Human Wrote This?". The New York Times. ISSN 0362-4331. Archived from the original on October 29, 2020. Retrieved August 4, 2020.
  49. ^ Weinberg, Justin, ed. (July 30, 2020). "Philosophers On GPT-3 (updated with replies by GPT-3)". Daily Nous. Archived from the original on October 30, 2020. Retrieved July 31, 2020.
  50. ^ Chalmers, David (July 30, 2020). Weinberg, Justin (ed.). "GPT-3 and General Intelligence". Daily Nous. Philosophers On GPT-3 (updated with replies by GPT-3). Archived from the original on August 4, 2020. Retrieved August 4, 2020.
  51. ^ Simonite, Tom (July 22, 2020). "Did a Person Write This Headline, or a Machine?". Wired. ISSN 1059-1028. Archived from the original on November 1, 2020. Retrieved July 31, 2020.
  52. ^ Claypoole, Theodore (July 30, 2020). "New AI Tool GPT-3 Ascends to New Peaks, But Proves How Far We Still Need to Travel". The National Law Review. Archived from the original on October 30, 2020. Retrieved August 4, 2020.
  53. ^ Marcus, Gary (December 1, 2018). "The deepest problem with deep learning". Medium. Archived from the original on August 1, 2019. Retrieved September 29, 2020.
  54. ^ Marcus, Gary; Davis, Ernest (August 22, 2020). "GPT-3, Bloviator: OpenAI's language generator has no idea what it's talking about". MIT Technology Review. Archived from the original on August 23, 2020. Retrieved August 23, 2020.
  55. ^ Metz, Cade (November 24, 2020). "Meet GPT-3. It Has Learned to Code (and Blog and Argue)". The New York Times. ISSN 0362-4331. Archived from the original on December 6, 2020. Retrieved November 24, 2020.
  56. ^ "Medical chatbot using OpenAI's GPT-3 told a fake patient to kill themselves". AI News. October 28, 2020. Archived from the original on January 10, 2021. Retrieved January 8, 2021.
  57. ^ Chomsky on Terence McKenna, Sam Harris, GPT3, Cryptocurrencies, Kierkegaard, Neuralink, & Hofstadter. March 24, 2021. Event occurs at 1:11:44. Archived from the original on April 29, 2021. Retrieved April 29, 2021.
  58. ^ Floridi, Luciano; Chiriatti, Massimo (November 1, 2020). "GPT‑3: Its Nature, Scope, Limits, and Consequences". Minds and Machines. 30 (4): 681–694. doi:10.1007/s11023-020-09548-1. S2CID 228954221.
  59. ^ Vincent, James (July 30, 2020). "OpenAI's latest breakthrough is astonishingly powerful, but still fighting its flaws". The Verge. Archived from the original on July 30, 2020. Retrieved November 9, 2022.
  60. ^ Olanoff, Drew (December 11, 2015). "Artificial Intelligence Nonprofit OpenAI Launches With Backing From Elon Musk And Sam Altman". Tech Crunch. Archived from the original on October 20, 2022. Retrieved May 31, 2021.
  61. ^ Hao, Karen (August 29, 2019). "OpenAI has released the largest version yet of its fake-news-spewing AI". MIT Technology Review. Archived from the original on May 9, 2021. Retrieved May 31, 2021.
  62. ^ Coldewey, Devin (March 11, 2019). "OpenAI shifts from nonprofit to 'capped-profit' to attract capital". Tech Crunch. Archived from the original on January 4, 2023. Retrieved May 31, 2021.
  63. ^ Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Shmitchell, Shmargaret (March 3, 2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. pp. 610–623. doi:10.1145/3442188.3445922.
  64. ^ Mindzak, Michael; Eaton, Sarah Elaine. "Artificial intelligence is getting better at writing, and universities should worry about plagiarism". The Conversation. Archived from the original on November 7, 2021. Retrieved November 6, 2021.
  65. ^ Rogerson, Ann M.; McCarthy, Grace (December 2017). "Using Internet based paraphrasing tools: Original work, patchwriting or facilitated plagiarism?". International Journal for Educational Integrity. 13 (1): 1–15. doi:10.1007/s40979-016-0013-y. ISSN 1833-2595. S2CID 9473217.
  66. ^ Ver Meer, Dave. "ChatGPT Statistics". NamePepper. Retrieved June 21, 2023.
  67. ^ Here are a few ways GPT-3 can go wrong. TechCrunch. Archived from the original on November 26, 2021. Retrieved November 26, 2021.
  68. ^ Comment Regarding Request for Comments on Intellectual Property Protection for Artificial Intelligence Innovation (PDF). USPTO. Archived (PDF) from the original on October 16, 2021. Retrieved November 30, 2021.