각축전 중인 AI 시장, ‘일본어 특화 모델’ 앞세운 라쿠텐도 출사표

미키타니 CEO “양질 데이터 대량 보유 중”
복잡한 문법·발음 구조 학습이 관건
AI 개발 늦은 만큼 서두르는 日정부·기업

일본 전자상거래(이커머스) 기업 라쿠텐이 글로벌 미래 산업의 주축으로 떠오른 인공지능(AI) 시장에 출사표를 던졌다. 내년 초 독자적 AI 모델을 출시할 계획을 밝히면서다. 시장에서는 일본어가 영어나 중국어 등에 비해 발음과 문법이 어려운 만큼 기술 완성도를 갖추기까지 쉽지 않지만, 일본 정부와 기업의 적극적 투자와 개발이 하나둘 성과를 보이는 만큼 세계 시장에서 일본어 특화 AI 모델이 독보적 경쟁력을 갖출 것이란 전망이 팽배하다.

“수개월 내 LLM 모델 관련 발표 있을 것”

미키타니 히로시 라쿠텐 최고경영자(CEO)는 11일(현지 시각) 미국 CNBC와의 인터뷰에서 “향후 몇 개월 안에 자체 개발한 AI 모델을 선보일 것”이라고 밝히며 AI 시장 진출 계획을 공식화했다. 미키타니 CEO는 “우리는 은행부터 이커머스, 통신에 이르기까지 매우 다양한 사업을 전개하고 있기 때문에 대규모 언어모델(LLM)을 교육할 수 있는 양질의 데이터를 대량으로 확보하고 있다”며 강한 자신감을 드러냈다.

라쿠텐은 독자적으로 개발한 AI 모델을 가장 먼저 내부에서 활용할 계획이다. 이를 통해 사업 운영의 효율성과 마케팅 효과를 20% 상향하는 것이 목표다. 또 아마존이나 마이크로소프트(MS) 등 글로벌 빅테크들과 같이 협력사들의 비즈니스에 활용될 수 있도록 해 거대한 ‘라쿠텐 생태계’를 구축하는 방안도 추진한다.

미키타니 CEO는 AI에 대한 투자가 라쿠텐의 수익성 성장을 이끌 것이라 자신하며 “우리는 협력사들에 쉽게 가르치고, 쉽게 패키징하고, 다방면 비즈니스에 활용할 수 있는 플랫폼을 제공할 것”이라고 강조했다. 이와 관련해 라쿠텐 대변인은 미키타니 CEO가 설명한 AI 모델에 대한 확답은 피하면서도 “향후 수개월 내에 LLM 모델 관련 발표가 있을 수 있다”고 귀띔했다.

내부 검증 마친 일본어 특화 AI, 하나둘 시장으로

라쿠텐의 AI 시장 출사표로 일본 기업들의 AI 경쟁에도 속도가 붙게 됐다. 지금까지 일본 기업들은 미국과 중국 등의 빅테크에 비해 AI 기술 개발에서 다소 뒤처져 있다는 평가를 받았지만, 일본어 특화 모델 개발 가능성이 대두되며 잠재적 우위를 점할 수 있다는 분석이 나온다.

일본어는 영어나 중국어에 비해 문법 및 발음구조가 복잡해 AI 모델의 학습이 어려워 개발이 늦춰졌지만, 일본 기업의 경우 일본어를 전문적으로 사용하는 인력과 방대한 데이터를 보유하고 있어 기술 개발에 성공한다면 전 세계 시장에서 높은 점유율을 가져올 수 있기 때문이다.

이 때문에 그간 일본 내에서는 일본어 특화 AI 모델의 필요성이 꾸준히 제기돼 왔다. 일본 도호쿠대학의 사카구치 케이스케 연구원은 “지금까지 출시된 LLM 모델들은 영어에서는 뛰어난 성능을 보이지만, 문자 체계의 차이와 제한된 데이터 등 여러 요인으로 인해 일본어에서는 아쉬운 성능을 보인다”고 평가했다.

올해 초부터는 기업들이 본격적인 AI 모델 개발에 돌입했다. 라쿠텐 외에도 NEC, 후지쯔, 소프트뱅크 등이 연이어 LLM 모델 개발에 착수했고, 일본 정부도 일본어 사용 AI 시스템 구축의 필요성에 목소리를 높였다. 슈퍼컴퓨터 제조업체 NEC는 올해 5월부터 일본어 기반 생성형 AI를 사용했으며, 이를 통해 내부 보고서 작성 시간은 50%, 내부 소프트웨어 소스 코드 작성 시간은 80% 단축했다고 주장했다. 이어 7월부터는 고객들을 대상으로도 생성형 AI 서비스를 시작했다.

생성형 AI 분야에 약 200억 엔(약 1,812억원)을 투자한 소프트뱅크는 2024년 자체 LLM 출시를 목표로 개발에 박차를 가하고 있다. 오픈AI의 투자자이기도 한 MS와 파트너십을 맺고 있는 소프트뱅크는 해당 기술을 통해 협력 기업의 비즈니스 디지털화 및 생산성 향상을 지원하겠다는 목표를 제시했다. 대학을 비롯한 각종 연구 기관에서 자사의 LLM이 널리 활용될 것이라는 설명이다.

일본어 특화 LLM 개발과 관련해 도쿄 게이오대학교 의과대학의 키노시타 쇼타로 연구원은 “일본어판 챗GPT의 정확도를 높인다면 일본어를 학습하거나 연구하는 전 세계의 사람들에게 더 나은 연구 환경을 제공할 수 있을 것”이라며 “결과적으로 국제 공동 연구에도 긍정적인 영향을 가져올 것으로 본다”고 말했다.

적극 투자 아끼지 않은 정부·기업, 성과 가시화

일본 정부도 대규모 지원을 아끼지 않았다. 2014년 슈퍼컴퓨터 후가쿠 개발에 1,100억 엔(약 9,965억원)을 투자한 일본 정부는 올해 68억 엔(약 616억원)을 추가 투입해 내년 중 홋카이도에 새 슈퍼컴퓨터를 설치할 방침이다. 기존 슈퍼컴퓨터 후가쿠가 암호 해독, 기후변화 모델링, 신형 무기 및 항공기 설계 등 과학 연구 전 분야에 활용됐다면, 홋카이도에 설치되는 새 슈퍼컴퓨터는 LLM 훈련에 특화됐다는 차별점이 있다.

일본 정부와 기업들의 노력은 올해 조금씩 성과를 보이기 시작했다. 후지츠, 도쿄공업대학, 이화학연구소, 도쿄기술연구소 등이 협력한 일본어 기반 LLM 모델이 출시를 앞두고 있으며, 통신사업자 NTT는 지난달 14일부터 17일까지 열린 ‘NTT R&D 포럼 2023’에서 LLM 모델 츠즈미(Tsuzumi)를 일반에 공개했다. 이 자리에서 NTT는 “오랜 시간 전화나 통신으로 축적한 일본어 자연어를 기반으로 개발한 모델”이라고 츠즈미를 소개하며 “장래에는 그래픽 처리 장치(GPU)를 거치지 않고도 태블릿이나 스마트폰에서 활용할 수 있을 것”이라며 높은 활용도를 시사했다.