엔비디아, 신규 네모 리트리버 마이크로서비스 4종 발표 "LLM 정확도·처리량 향상 지원"

엔비디아가 새로운 엔비디아 네모 리트리버 NIM(NVIDIA NeMo Retriever NIM) 추론 마이크로서비스 4가지를 발표했다. 엔비디아는 개발자가 최상의 맞춤형 데이터를 효율적으로 가져와 AI 애플리케이션에 대한 지식이 풍부한 응답을 생성할 수 있도록 지원한다고 설명했다.
 
엔비디아에 따르면, 생성형 AI 애플리케이션의 정확성이 떨어지면 그 가치는 낮아진다. 그리고 그 정확성은 데이터에 기반을 둔다.

최근 발표된 라마 3.1(Llama 3.1) 모델을 위한 엔비디아 NIM 추론 마이크로서비스와 결합해, 네모 리트리버 NIM 마이크로서비스는 기업이 에이전틱 AI(agentic AI) 워크플로우로 확장할 수 있도록 지원한다. 이를 통해 AI 애플리케이션은 최소한의 개입이나 감독으로도 정확하게 작동할 수 있으며, 가장 높은 정확도의 RAG(retrieval-augmented generation)을 제공한다.

엔비디아에 따르면, 기업은 네모 리트리버를 통해 맞춤형 모델을 다양한 비즈니스 데이터에 원활하게 연결하고 RAG를 사용해 AI 애플리케이션에 정확한 응답을 제공할 수 있다. 기본적으로 프로덕션 지원 마이크로서비스는 매우 정밀한 정보 검색이 가능해 정확도가 높은 AI 애플리케이션을 구축할 수 있다. 예를 들어, 네모 리트리버는 AI 에이전트와 고객 서비스 챗봇을 만들거나 보안 취약점을 분석하고 복잡한 공급망 정보에서 인사이트를 추출하는 개발자를 위해 모델 정확도와 처리량을 향상시킬 수 있다.

NIM 추론 마이크로서비스는 사용하기 쉬운 고성능 엔터프라이즈급 추론을 지원한다. 또한 네모 리트리버 NIM 마이크로서비스를 통해 개발자는 데이터를 기반으로 이런 혜택을 활용할 수 있다.

새로운 네모 리트리버 임베딩(embedding)과 리랭킹(reranking) NIM 마이크로서비스는 다음과 같다. 이들 모델은 엔비디아 API 카탈로그를 통해 쉽게 접근할 수 있는 NIM 마이크로서비스 컬렉션에 합류한다.
 

• NV-임베드QA-E5-v5(NV-EmbedQA-E5-v5): 텍스트 질의응답 검색에 최적화된 인기 커뮤니티 기반 임베딩 모델
• NV-임베드QA-미스트랄7B-v2(NV-EmbedQA-Mistral7B-v2): 정확한 질문 답변을 위해 텍스트 임베딩에 맞게 미세 조정된 인기 있는 다국어 커뮤니티 기본 모델 
• 스노우플레이크-아크틱-임베드-L(Snowflake-Arctic-Embed-L): 최적화된 커뮤니티 모델
• NV-리랭크QA-미스트랄4B-v3(NV-RerankQA-Mistral4B-v3): 정확한 질문 답변을 위한 텍스트 리랭킹을 위해 정밀하게 조정된 인기 커뮤니티 기본 모델

네모 리트리버 NIM 마이크로서비스는 임베딩과 리랭킹의 2가지 모델 유형으로 구성되며, 투명성과 신뢰성을 보장하는 개방형과 상용 제품으로 제공된다.
 

임베딩 모델은 텍스트, 이미지, 차트, 동영상 등 다양한 데이터를 숫자 벡터로 전환해 벡터 데이터베이스에 저장하는 동시에 의미와 문맥까지 포착한다. 임베딩 모델은 기존의 거대 언어 모델(large language model, LLM)에 비해 빠르고 계산 비용이 저렴하다.

리랭킹 모델은 데이터와 쿼리를 수집한 다음 쿼리와의 관련성에 따라 데이터의 점수를 매긴다. 이러한 모델은 임베딩 모델에 비해 계산이 복잡하고 속도가 느리지만 정확도가 크게 향상된다.

엔비디아는 네모 리트리버가 2가지 장점을 모두 제공한다고 밝혔다. 임베딩 NIM으로 검색할 데이터를 광범위하게 캐스팅한 다음, 리랭킹 NIM을 사용해 관련성을 기반으로 결과를 선별한다. 이로써 네모 리트리버를 활용하는 개발자는 기업에 가장 유용하고 정확한 결과를 보장하는 파이프라인을 구축할 수 있다.

네모 리트리버를 통해 개발자는 최상의 정확도를 제공하는 텍스트 응답 검색 파이프라인을 구축할 수 있는 최첨단 개방형 상용 모델을 이용할 수 있다. 대체 모델과 비교했을 때, 네모 리트리버 NIM 마이크로서비스는 기업 질의응답에 부정확한 답변을 30% 더 적게 제공했다.

엔비디아 NIM 마이크로서비스는 모두 함께 또는 개별적으로 사용할 수 있어 개발자에게 AI 애플리케이션 구축에 대한 모듈식 접근 방식을 제공한다. 마이크로서비스는 클라우드, 온프레미스 또는 하이브리드 환경에서 커뮤니티 모델, 엔비디아 모델 또는 사용자의 맞춤형 모델과 통합할 수 있어 개발자에게 더 큰 유연성을 제공한다.

기업은 엔비디아 AI 엔터프라이즈(AI Enterprise)  소프트웨어 플랫폼으로 NIM을 사용해 프로덕션 환경에서 AI 애플리케이션을 배포할 수 있다.

또한 AWS, 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트럭처의 클라우드 인스턴스와 시스코, 델 테크놀로지스, 휴렛팩커드 엔터프라이즈, 레노버, 슈퍼마이크로 등 글로벌 서버 제조 파트너의 엔비디아 인증 시스템(Certified System) 등 고객이 선호하는 가속화된 인프라에서 실행할 수 있다.

엔비디아 개발자 프로그램(Developer Program) 회원은 선호하는 인프라에서 연구, 개발, 테스트를 위해 NIM에 무료로 액세스할 수 있게 된다. 
editor@itworld.co.kr