AIㆍML / 오픈소스

메타, 최신 LLM ‘라마3’ 오픈소스 공개…“기술ㆍ코딩ㆍ역사 등 다양한 데이터 학습”

편집부 | ITWorld 2024.04.19
19일 메타가 자사의 최신 대규모 언어 모델(LLM) ‘라마3(Llama 3)’을 오픈소스로 공개했다.

공개된 라마3은 사전훈련과 미세조정을 마친 80억 개와 700억 개 매개변수 모델 2가지다. 업체에 따르면, 이 모델은 15조 이상의 토큰으로 훈련됐다. 라마2 대비 토큰은 7배 이상, 코드양은 4배 더 많다. 또한 일상적인 질문부터 과학, 기술, 공학, 수학(STEM), 코딩, 역사 등 다양한 분야의 데이터셋이 사용됐다.
 
ⓒ Meta

업체는 안전하고 책임감 있는 개발과 사용을 위한 안전장치도 추가했다고 설명했다. 전문가와 자동화된 도구를 활용한 레드팀 훈련을 통해 부적절한 답변을 내놓을 가능성을 줄이고, ‘라마 가드2(Llama Guard 2)’, ‘코드 쉴드(Code Shield)’, ‘사이버 보안 평가 기준2(CyberSec Eval 2)’ 등 새로운 안전 도구를 도입했다.

메타는 이번에 공개한 2개 모델에 대해 사용자 피드백을 받아 지속해서 개선할 예정이다. 현재 훈련 중인 더 큰 규모의 모델 역시 추후 오픈소스로 공개할 계획이다. 라마3 모델은 홈페이지에서 다운로드할 수 있다.
editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.