미래기술

패스트북, '개발 문턱 낮춘' 오픈소스 머신러닝 프로젝트 패스트텍스트 공개

Blair Hanley Frank | IDG News Service 2017.05.04
페이스북이 화요일 모바일 앱이 텍스트를 이해하는 오픈소스 프로젝트를 개발자들에게 공개했다. 페이스북 AI 리서치 그룹은 개발자들이 텍스트 중심의 머신러닝 시스템을 더욱 쉽게 배포할 수 있는 프로그래밍 라이브러리 스트텍스트(FastText) 새 버전을 출시했다.

연구자들이 FastText.zip이라고 부르는 이 기술은 비압축 모델에서 얻을 수 있는 정확성을 그대로 유지하면서 언어인식 모델을 압축하고 메모리 크기를 두 배 이상 줄이는 기술이다. 스마트폰과 라즈베리 파이 등 가벼운 기기에 이런 압축 모델을 배포하면 더욱 다양한 애플리케이션에서 유용하게 사용할 수 있다.

또, 페이스북은 개발자가 패스트텍스트를 사용할 때 참고할 수 있는 튜토리얼을 발간헀다. 문제를 단순화하기 위해 사전에 훈련된 약 300개의 언어 집합을 발표하기도 했다.

패스트텍스트의 목표는 프로그래밍 배경 지식이 얕은 사람들도 더 쉽게 텍스트 분류(단어 집합을 범주로 지정하는 과정)와 텍스트 표현(구조화되지 않은 텍스트를 연산용 숫자로 변환하는 과정)을 할 수 있도록 지원하는 것이다.

페이스북 리서치 과학자인 아르망 줄린은 “패스트텍스트 기술은 텍스트 라이브러리와 관련된 머신러닝 기술의 문제를 해결할 때 쉽게 접근할 수 있는 라이브러리”라고 정의했다.

패스트텍스트는 페이스북의 패스트텍스트 부서가 맡아 기존 기술을 활용하고 일상적인 업무를 하는 개발자도 쉽게 액세스하는 데에 초점을 두었다. 따라서 데이터 과학 분야 학위가 없는 비전문가라도 앱에서 머신러닝 기술을 구현하기가 더욱 편리해진 것이 특징이다.

예를 들어 패스트텍스트는 해시태그 자동 완성 등의 기능을 강화할 수 있어 사용자가 소셜미디어 게시물에 관련 태그를 더 빨리 추가할 수 있다. 또, 정서 분석을 지원해 프로그램 사용자들의 태도가 긍정적인지 부정적인지도 파악할 수 있다.

페이스북 포스트닥터 과정의 에두아르 그레이브에 따르면, 패스트텍스트는 다양한 언어를 처리할 수 있도록 설계되었다. 그레이브는 특히 패스트텍스트가 다른 시스템과 충돌할 수 있는 독일어, 프랑스어 같은 언어도 처리한다고 덧붙였다. editor@itworld.co.kr 
 Tags
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.