AIㆍML

“문서에서 AI 학습 데이터 추출”…한글과컴퓨터, ‘한컴 데이터 로더’ 출시

편집부 | ITWorld 2024.04.18
한글과컴퓨터가 PDF 문서에서 AI 데이터를 추출하는 SDK ‘한컴 데이터 로더’를 출시했다고 18일 밝혔다.
 

한컴에 따르면, 최근 전 세계 AI 업계에서는 LLM에서 ‘환각 현상’을 최소화하는 해결책으로 RAG(Retrieval-Augmented Generation) 기술이 떠오르고 있다. RAG는 특정 데이터베이스나 문서 집합으로부터 관련 정보를 검색한 뒤 그 정보를 LLM에 적용해 적절한 답변으로 텍스트를 생성하기 때문에 실시간으로 정보가 업데이트되며, 정보의 정확도가 높다. 그 때문에 많은 글로벌 기업과 기관이 RAG의 도입을 원하지만, 구조화되지 않은 문서에서는 데이터 추출이 어려운 상황이다. 따라서 기업들의 방대한 문서를 AI가 학습하기 좋은 형태로 데이터화하는 전처리 기술이 매우 중요해졌다.

이에 한컴은 문서 기술을 바탕으로 문서의 AI 데이터화를 위한 전처리 기술을 모듈화해 SDK 제품인 ‘한컴 데이터 로더’를 선보였다. 대표적인 전자 문서 형식인 PDF에서 텍스트를 추출, AI가 학습하기 쉬운 여러 포맷(JSON·CSV·TXT·XML 등)으로 변환해 주는 도구다. PDF뿐만 아니라 오피스 문서에서도 텍스트 외 다양한 객체를 AI 학습용 데이터로 추출해 제공한다. 

한컴 데이터 로더는 국내 대기업을 대상으로 테스트를 마쳤다. 5월부터 국내를 비롯해 최근 투자한 스페인 AI 보안 설루션 기업 페이스피의 네트워크와 글로벌 고객사를 연계해 유럽 시장을 우선 공략한다. 한컴은 최근 해외 고객을 대상으로 한컴 데이터 로더뿐만 아니라 한컴의 AI 기술과 SDK 기술을 소개하는 다국어(영어·독일어·스페인어·일어) 사이트도 열고, 본격적인 글로벌 출시를 알렸다. 

한컴은 AI 사업을 크게 두 축으로 나누어 추진한다는 전략이다. 한컴독스 AI, 한컴 어시스턴트, 한컴 도큐먼트 QA와 같이 AI를 활용한 서비스 분야와 한컴 데이터 로더나 한컴 OCR 등 AI에 필요한 데이터 추출 분야다. 한컴은 올해 데이터 시각화 기술을 보유한 한컴이노스트림(구 클립소프트)을 인수하고, 생체 데이터를 추출하고 분석하는 페이스피에 전략적으로 투자하는 등 AI 관련 데이터 사업을 발 빠르게 확장하고 있다. 

김연수 한컴 대표는 “한컴은 올해를 글로벌 빅테크 기업으로 나아가는 원년으로 삼고, 인수·투자·협력을 여러 방면으로 진행하며 AI 사업을 본격화하고 있다. 한컴 데이터 로더로 글로벌 AI 시장에 빠르게 침투하여 AI 기업으로서 의미 있는 성과를 분명하게 만들어 나가겠다”라고 강조했다.
editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.