넘버스
넘버스
LLM
메타, 최신 LLM ‘라마3’ 오픈소스 공개…“기술ㆍ코딩ㆍ역사 등 다양한 데이터 학습”
19일 메타가 자사의 최신 대규모 언어 모델(LLM) ‘라마3(Llama 3)’을 오픈소스로 공개했다. 공개된 라마3은 사전훈련과 미세조정을 마친 80억 개와 700억 개 매개변수 모델 2가지다. 업체에 따르면, 이 모델은 15조 이상의 토...
블로그 | 클라우드 플랫폼에 LLM을 효과적으로 배포하는 3가지 비결
10년 전과 같은 실수를 반복하지 말자. 클라우드에 대규모 언어 모델을 보다 비용 효율적이고 적은 위험으로 배포할 수 있다. 지난 2년 동안 필자는 기존 시스템 프로젝트보다 대규모 언어 모델(LLM)을 사용하는 생성형 AI 프로젝트에 더 많이 참여했...
단계별로 알아보는 완전 로컬 검색 증강 생성(RAG)
로컬 임베딩 모델과 로컬 LLM을 사용해 검색 증강 생성 시스템의 완전한 로컬 버전을 구축해 본다. 이전 기사와 마찬가지로 랭체인(LangChain)을 사용해 애플리케이션의 다양한 구성요소를 연결한다. FAISS(페이스북 AI 유사성 검색) 대신 SQ...
“앱 구축하는 것보다 어렵다” LLM을 테스트하는 4가지 전략
AI 코파일럿을 사용한 수작업 감소, 코드 생성기를 사용한 소프트웨어 개발자 생산성 향상 등 생성형 AI를 통한 혁신에 많은 관심과 기대가 집중되고 있다. 비즈니스 기회를 본 많은 개발팀이 벡터 데이터베이스로 지식 기반을 구축하고 애플리케이션에 LLM...
생성형 AI 구축의 최대 난제와 모범 사례에 대한 조언들
생산성과 효율성을 높이기 위해 빠르게 생성형 AI를 도입하는 기업이 늘었지만, 전략적으로 구현에 접근하는 곳은 많지 않다. 많은 생성형 AI 프로젝트가 실패하거나 ROI가 낮고 예상보다 훨씬 많은 비용이 소요되기도 한다. IT 경영진도 인재 부족, ...
격동의 AI 전성시대, CPU로 도약하는 AI
하이브리드 AI의 성장 AI를 위한 확장 가능한 시스템 5세대 인텔® 제온® 프로세서 제온의 AI 활용 고객 사례 차세대 : 인텔® 가우디® 3 AI 가속기 홍승표 이사, DCAI, Intel DCAI Techn...
블로그 | 생성형 AI 시스템이 바보가 되는 이유
생성형 AI에 대한 내부 고발이 이어지고 있지만, 대부분은 우리가 이미 알고 있는 내용이다. 많은 생성형 AI 시스템에서 사용자가 요청한 것과 다르거나 명백히 잘못된 응답이 나온다는 것이다. 공개적으로 문제가 된 것은 마이크로소프트의 소프트웨어 엔지니...
“LLM 앱을 개발하는 빠르고 쉬운 방법” 개발자를 위한 랭체인 입문서 - ITWorld HowTo
LLM(Large Language Model)을 사용하는 방법은 의외로 간단하다. 효과적인 프롬프트만 있으면 된다. 반면 언어 모델을 기반으로 한 애플리케이션 개발은 어려울 수 있다. 오픈AI 같은 업체에서 제공하는 API를 사용하든, 오픈소스 모델을...
글로벌 칼럼 | 자체 LLM 구축, 적합한 선택인지 알아보는 5가지 질문
비즈니스 리더는 기업과 주주를 위한 최상의 성과를 도출하기 위해 비즈니스 전략에 생성형 AI를 도입할 최선의 방법을 찾느라 분주하다. 가트너에 따르면, 비즈니스 리더 38%는 고객 경험과 유지가 생성형 AI에 투자하는 가장 큰 목적이라고 답했다. 생성...
LLM
글로벌 칼럼 | 클라우드에서 찾는 AI 관련 잡음을 차단하는 방법
일단 클라우드에 정착했다면, 혁신이 필요한 부분을 파악하고 AI를 간단하고 효과적으로 만들 수 있는 유니콘 솔루션 업체를 찾아야 한다. 인공지능은 바퀴 이후의 가장 위대한 발명품으로 선전되지만, 인공지능이 무엇을 의미하는지, 무엇을 해야 하는지 전혀...
글로벌 칼럼 | PC 산업 부흥, 로컬 AI에 달렸다
로컬 LLM, 생성형 AI를 지원하는 AI 하드웨어를 그저 말로만 지지하는 것만으로는 충분하지 않다. 하드웨어 공급업체는 로컬 AI 앱의 직접 개발자가 아니더라도 최소한 중개자 역할을 자임해야 한다. 퀄컴이 그런 역할을 하고 있다. 세계 최대 모바일...
“다음 단어 예측 엔진” LLM 알고리즘의 이해
2022년 11월, 챗GPT(ChatGPT)가 등장하면서 기업과 소비자가 생성형 인공 지능(AI)을 사용해 작업을 자동화하고 창의적인 아이디어를 얻을 뿐만 아니라 소프트웨어 코딩도 할 수 있다는 생각이 보편화됐다. 예를 들어 이메일 또는 채팅 스레드를...
LLM 도입 전 고려해야 할 5가지 질문
챗GPT 출시 후 대규모 언어 모델(LLM)에 대한 열광만큼이나 반발도 커지고 있다. 실제로 이 기술을 잘못 적용한 사례도 있고, 기능이 과대 포장된 경우도 많기 때문이다. LLM의 사용처는 분면 많지만, 본격 사용하기 전에 먼저 기업은 몇 가지 중요...
글로벌 칼럼 | “퍼블릭이냐 프라이빗이냐” 점점 중요해지는 LLM 선택
챗GPT가 전 세계의 상상력을 사로잡고 생성형 AI가 가장 널리 논의되는 기술이 되면서 대규모 언어 모델(LLM)이 계속 주목 받고 있다. 챗GPT는 퍼블릭 LLM을 무대로 끌어올렸으며, 생성형 AI는 몇 가지 프롬프트만으로 콘텐츠나 코드를 만들 수 ...
MS, 원드라이브 코파일럿 5월 출시 "원드라이브 파일 쿼리 및 질문 가능"
마이크로소프트가 원드라이브에 저장된 파일에 쿼리하고 질문할 수 있는 원드라이브 코파일럿을 출시할 예정이다. 로컬 PC에서 사용하려면 엄청난 자원이 필요한 생성형 AI 기능을 원드라이브에서 실행해 주기 때문에 매우 강력한 도구라고 할 수 있다. &nbs...
단 몇 분 만에 뚝딱… ‘나만의 AI 챗봇’ 만드는 법
개인 PC에서 대규모 언어 모델(LLM) 또는 챗봇을 실행하면 원하는 모든 질문을 완전히 비공개로 할 수 있다. 하지만 LLM은 설정과 구성이 어렵다. 해결책이 있다. ‘GPT4올(GPT4ALL)’이라는 애플리케이션이다. 현시점에서 사용 편의성과 유...
“챗GPT가 스스로 운전한다?” 자율주행과 LLM의 결합 현주소
AI가 부상하면서 AI 모델의 크기도 커졌다. 이제는 100억 개의 매개변수를 사용하는 하나의 범용 모델이 다수의 작업을 해결하는 데 있어 탁월한 성능을 보여주면서 5,000만 개 매개변수를 사용하는 특정 작업용 모델을 압도하고 있다. 또한 AI 모델...
“나쁜 태도를 버리지 않는 AI” 앤트로픽 연구팀, 나쁜 AI 학습 및 복구 실험
AI가 나쁜 짓을 하도록 훈련시킬 수 있을까? AI 전문업체 앤트로픽의 연구팀은 ‘그렇다’고 말한다. 만약 자식이 무례하게 행동하고 나쁜 태도를 보인다면, 어른들은 어떻게 하면 이런 행동과 태도를 고쳐줄 것인지 저녁 내내 이야기할 것이다. 구글이 지...
추천기사
