19일 메타가 자사의 최신 대규모 언어 모델(LLM) ‘라마3(Llama 3)’을 오픈소스로 공개했다.
공개된 라마3은 사전훈련과 미세조정을 마친 80억 개와 700억 개 매개변수 모델 2가지다. 업체에 따르면, 이 모델은 15조 이상의 토큰으로 훈련됐다. 라마2 대비 토큰은 7배 이상, 코드양은 4배 더 많다. 또한 일상적인 질문부터 과학, 기술, 공학, 수학(STEM), 코딩, 역사 등 다양한 분야의 데이터셋이 사용됐다. ⓒ Meta
업체는 안전하고 책임감 있는 개발과 사용을 위한 안전장치도 추가했다고 설명했다. 전문가와 자동화된 도구를 활용한 레드팀 훈련을 통해 부적절한 답변을 내놓을 가능성을 줄이고, ‘라마 가드2(Llama Guard 2)’, ‘코드 쉴드(Code Shield)’, ‘사이버 보안 평가 기준2(CyberSec Eval 2)’ 등 새로운 안전 도구를 도입했다.
메타는 이번에 공개한 2개 모델에 대해 사용자 피드백을 받아 지속해서 개선할 예정이다. 현재 훈련 중인 더 큰 규모의 모델 역시 추후 오픈소스로 공개할 계획이다. 라마3 모델은 홈페이지에서 다운로드할 수 있다.
editor@itworld.co.kr
넘버스
넘버스
Tags
추천기사
