미스트랄 AI
Mistral AI| 유형 | 사적인 |
|---|---|
| 산업 | 인공지능 |
| 설립 | 2023년4월28일 |
| 창업자 | 아더 멘쉬 |
| 본부 | , 프랑스 |
| 상품들 |
|
| 웹사이트 | mistral.ai |
| 시리즈의 일부 |
| 기계학습 및 데이터 마이닝 |
|---|
미스트랄 AI는 인공지능 분야의 프랑스 기업입니다. 메타와 구글이 이전에 고용한 연구원들에 의해 2023년 4월에 설립되었습니다. 아서 멘쉬, 티모티 라크루아, 기욤 램플.[1] 2023년 10월에 3억 8500만 유로, 약 4억 1500만 달러를 모금했습니다.[2] 2023년 12월 20억 달러 이상의 가치를 달성했습니다.[3][4][5]
오픈 소스 소프트웨어의 근본적인 중요성과 독점 모델에 대한 대응으로 [6]오픈 대규모 언어 모델을 생산합니다.[7]
2023년 12월 기준으로 두 가지 모델이 출시되었으며, 가중치로 제공됩니다.[8] 또 다른 프로토타입 모델은 API를 통해서만 제공됩니다.[9]
역사
미스트랄 AI는 2023년 4월 Arthur Mensch, Guillaume Lample, Timothée Lacroix에 의해 공동 설립되었습니다. Arthur Mensch는 Mistral AI를 공동 설립하기 전에 구글의 인공지능 연구소인 DeepMind에서 일했고, Guillaume Lample과 Timothée Lacroix는 Meta에서 일했습니다.[10]
2023년 6월, 이 스타트업은 미국 펀드인 라이트스피드 벤처 파트너스(Lightspeed Venture Partners), 에릭 슈미트(Eric Schmidt), 자비에 닐(Xavier Niel), 제이씨데코(JCDecaux) 등의 투자자들과 함께 1억 500만 유로(1억 1,700만 달러)의 첫 번째 모금을 진행했습니다. 그 후 파이낸셜 타임즈는 평가액을 2억 4천만 유로(2억 6천 7백만 US$)로 추정했습니다.
2023년 9월 27일, 동사는 언어 처리 모델인 "미스트랄 7B"를 무료 아파치 2.0 라이선스로 이용할 수 있게 했습니다. 이 모델은 70억 개의 파라미터를 가지고 있어 경쟁사에 비해 작은 크기입니다.
2023년 12월 10일, 미스트랄 AI는 두 번째 모금의 일환으로 3억 8500만 유로(4억 2800만 달러)를 모금했다고 발표했습니다. 이번 자금 조달 라운드에는 특히 캘리포니아 펀드 Andreessen Horowitz, BNP Paribas 및 소프트웨어 출판사 Salesforce가 참여하고 있습니다.[11]
2023년 12월 11일, 이 회사는 467억 개의 파라미터를 가진 "Mixtral 8x7B" 모델을 출시했지만 전문가 아키텍처가 혼합된 덕분에 토큰당 129억 개만 사용했습니다. 개발자들의 테스트에 따르면 이 모델은 5개 언어(프랑스어, 스페인어, 이탈리아어, 영어 및 독일어)를 마스터하고 메타의 "LAMA 270B" 모델보다 성능이 뛰어납니다. 지침을 따르도록 훈련되고 "Mixtral 8x7B Instruction"이라는 버전도 제공됩니다.[12]
모델들
미스트랄7B
Mistral 7B는 트랜스포머 아키텍처를 사용하는 7.3B 파라미터 언어 모델입니다. 2023년 9월 27일 비트토렌트 자석 링크와 [13]허깅 페이스를 통해 공식 출시되었습니다.[14] 이 모델은 아파치 2.0 라이선스로 출시되었습니다. 릴리스 블로그 게시물은 이 모델이 테스트한 모든 벤치마크에서 LLaMA 213B를 능가하며 테스트한 많은 벤치마크에서 LLaMA 34B와 동등하다고 주장했습니다.[15]
Mistral 7B는 LLaMA와 유사한 아키텍처를 사용하지만 주의 메커니즘을 일부 변경합니다. 특히 더 빠른 추론을 위한 GQA(Grouped-query attention)와 더 긴 시퀀스를 처리하기 위한 슬라이딩 윈도우 어텐션(SWA)을 사용합니다.
SWA(Sliding Window Attention)는 더 긴 시퀀스에 대한 계산 비용과 메모리 요구 사항을 줄입니다. 슬라이딩 윈도우 어텐션에서 각 토큰은 4096개 토큰의 "슬라이딩 윈도우"에 있는 이전 계층의 고정된 개수의 토큰에만 참석할 수 있으며, 총 컨텍스트 길이는 32768개 토큰입니다. 추론 시간에 캐시 가용성이 감소하여 지연 시간이 증가하고 처리량이 줄어듭니다. 이 문제를 완화하기 위해 Mistral 7B는 롤링 버퍼 캐시를 사용합니다.
Mistral 7B는 표준 주의 메커니즘의 변형인 GQA(Grouped-Query Attention)를 사용합니다. 모든 숨겨진 상태에 대한 주의를 계산하는 대신 숨겨진 상태 그룹에 대한 주의를 계산합니다.[16]
기본 모델과 "지시" 모델 모두 나중에 채팅 스타일 프롬프트를 따르도록 추가 튜닝을 받아 출시되었습니다. 미세 조정 모델은 시연용으로만 사용되며 가드레일이나 중간 조정 장치가 내장되어 있지 않습니다.[15]
Mixtral 8x7B
Mistral의 첫 번째 모델과 마찬가지로 Mixtral 8x7B는 2023년 12월 9일 비트토렌트를 통해 출시되었으며 이후 [6]허깅 페이스와 블로그 게시물이 이틀 후에 공개되었습니다.[12]
이전 Mistral 모델과 달리 Mixtral 8x7B는 전문가 아키텍처의 희박한 혼합을 사용합니다. 이 모델에는 8개의 서로 다른 "전문가" 그룹이 있으므로 총 46.7B의 사용 가능한 파라미터가 제공됩니다.[17][18] 각 토큰은 12개만 사용할 수 있습니다.9B 매개변수, 따라서 속도와 비용을 12로 제공합니다.9B 파라미터 모델이 발생합니다.[12]
미스트랄 AI의 테스트는 이 모델이 대부분의 벤치마크에서 LLaMa 70B와 GPT-3.5를 모두 능가한다는 것을 보여줍니다.[19]
참고문헌
- ^ "France's unicorn start-up Mistral AI embodies its artificial intelligence hopes". Le Monde.fr. 2023-12-12. Retrieved 2023-12-16.
- ^ "Mistral, French A.I. Start-Up, Is Valued at $2 Billion in Funding Round". TNYT.
- ^ Fink, Charlie. "This Week In XR: Epic Triumphs Over Google, Mistral AI Raises $415 Million, $56.5 Million For Essential AI". Forbes. Retrieved 2023-12-16.
- ^ "A French AI start-up may have commenced an AI revolution, silently". Hindustan Times. December 12, 2023.
- ^ "French AI start-up Mistral secures €2bn valuation". www.ft.com.
- ^ a b "Buzzy Startup Just Dumps AI Model That Beats GPT-3.5 Into a Torrent Link". Gizmodo. 2023-12-12. Retrieved 2023-12-16.
- ^ "Bringing open AI models to the frontier". mistral.ai. Mistral AI. 27 September 2023. Retrieved 4 January 2024.
- ^ "Open-weight models Mistral AI Large Language Models". docs.mistral.ai. Retrieved 2024-01-04.
- ^ "Endpoints Mistral AI Large Language Models". docs.mistral.ai.
- ^ https://www.lemonde.fr/en/economy/article/2023/12/12/french-unicorn-start-up-mistral-ai-embodies-its-artificial-intelligence-hopes_6337125_19.html
- ^ https://www.lemondeinformatique.fr/actualites/lire-mistral-leve-385-meteuro-et-devient-une-licorne-francaise-92392.html
- ^ a b c "Mixtral of experts". mistral.ai. 2023-12-11. Retrieved 2024-01-04.
- ^ Goldman, Sharon (2023-12-08). "Mistral AI bucks release trend by dropping torrent link to new open source LLM". VentureBeat. Retrieved 2024-01-04.
- ^ Coldewey, Devin (27 September 2023). "Mistral AI makes its first large language model free for everyone". TechCrunch. Retrieved 4 January 2024.
- ^ a b "Mistral 7B". mistral.ai. Mistral AI. 27 September 2023. Retrieved 4 January 2024.
- ^ Jiang, Albert Q.; Sablayrolles, Alexandre; Mensch, Arthur; Bamford, Chris; Chaplot, Devendra Singh; Casas, Diego de las; Bressand, Florian; Lengyel, Gianna; Lample, Guillaume (2023-10-10). "Mistral 7B". arXiv.org. Retrieved 2024-01-04.
- ^ "Mixture of Experts Explained". huggingface.co. Retrieved 2024-01-04.
- ^ Marie, Benjamin (2023-12-15). "Mixtral-8x7B: Understanding and Running the Sparse Mixture of Experts". Medium. Retrieved 2024-01-04.
- ^ Franzen, Carl (2023-12-11). "Mistral shocks AI community as latest open source model eclipses GPT-3.5 performance". VentureBeat. Retrieved 2024-01-04.
