[해외 DS] 스탠퍼드대 ‘AI 인덱스 2024’ 발표, 대규모 기반 모델의 개발 열풍으로 2023년 8배나 급증한 생성형 AI 투자

지난해 생성형 AI 252억 달러 유치, 기존과는 차원이 다른 투자 규모 기록해  
주로 기반 모델 학습 비용 증가와 고성능 컴퓨팅 자원에 대한 수요 증가에 대응하기 위해 사용돼
미국 주요 분야에서 압도적인 우위를 점하고 있지만, 중국 일부 영역에서 빠르게 추격하고 있어

미국 스탠퍼드대학의 인간중심 인공지능연구소(HAI) 2024 AI 인덱스 보고서에 의하면, 지난해 생성형 AI 기업들의 펀딩이 8배 증가하여, 총 252억 달러에 달했다고 한다. 오픈AI와 코히어 등 주요 AI 기업들이 대규모 투자 유치에 성공한 까닭이다.

작년의 주요 투자 사례로는 마이크로소프트의 100억 달러 규모의 오픈AI 계약, 코히어의 2억 7천만 달러 투자 유치, 미스트랄의 4억 1천5백만 달러 투자 유치 등이 있다. 또한 이 보고서에 따르면 2023년 전체 AI 관련 민간 투자의 4분의 1 이상을 생성형 AI가 차지한 것으로 나타났다.

그러나 AI에 대한 기업들의 지출이 지난해 20% 감소한 1,892억 달러였다고 보고서는 지적했다. 2022년 대비 31.2% 줄어든 인수합병 감소가 그 원인으로 꼽혔는데, 이러한 감소에도 불구하고 포춘 500대 기업의 실적발표 중 80%가 AI를 언급한 바 있다.

미국 AI 투자 우위 확실, 반도체는 중국 추격 속도 빨라져

투자는 미국 기업들이 주도했다. 중국이 78억 달러를 투자한 것과 비교할 때, 미국은 거의 9배 많은 672억 달러를 투자하였다. 아울러 2022년 대비 2023년에는 중국과 EU의 AI에 대한 민간 투자는 감소한 반면, 미국은 22.1% 증가했다.

안면 인식을 제외한 모든 AI 기술 부문에서 가장 많은 지출을 한 국가 역시 미국이었지만, 중국은 안면 인식 분야에 1억 3천만 달러를 투자해 미국의 9천만 달러를 크게 앞서며 압도적인 1위를 차지했다.

반도체 부문 지출 또한 미국이 7억 9,000만 달러를 기록하면서 1위를 차지했지만, 중국이 6억 3,000만 달러로 미국 뒤를 바짝 쫓고 있다. 특히 중국은 미국의 대중 반도체 수출 통제 규제 강화에 맞서 반도체 지출을 크게 늘리고 있는 것으로 보인다.

미국의 AI 투자는 급여에도 영향을 미쳤다. HAI의 보고서는 개발자 전용 질의응답 사이트 ‘스택오버플로'(Stack Overflow)의 설문조사 수치를 인용했는데, 이 조사에 따르면 AI 직무의 연봉이 다른 나라에 비해 미국에서 상당히 높은 것으로 나타났다.

예를 들어 지난해 미국 하드웨어 엔지니어의 평균 연봉은 14만 달러지만, 전 세계 평균 연봉은 8만 6,000달러였다. 클라우드 인프라 엔지니어의 글로벌 평균은 10만 5,000달러인 반면, 미국에서는 18만 5,000달러를 기록했다.

한편 글로벌 관점에서 2023년에 가장 많은 투자를 유치한 분야는 AI 인프라, 연구 및 거버넌스로 183억 달러였다. 이 중 상당액은 오픈AI와 엔트로픽과 같은 기업들이 ‘GPT-4 터보’와 ‘클로드 3’ 같은 대규모 애플리케이션을 개발하는 데 사용됐다고 한다.

자연어 처리와 고객 지원에 81억 달러를 지출한 것이 두 번째로 큰 비용 분야로, 많은 기업들이 고객 센터 자동화와 같은 반복적인 작업을 효율적으로 관리할 수 있는 솔루션에 관심을 기울이고 있다.

자금의 주 사용처, 대규모 기반 모델 구축

AI 인덱스 보고서에 따르면 오픈AI와 같은 회사가 수백만 달러의 자금을 조달해 새로운 모델을 훈련하는 데 막대한 비용을 지출하고 있다고 한다.

특히 고급 AI 모델 학습 비용이 지난해부터 많이 증가했는데, 스탠퍼드의 연구원들은 이 증가가 대규모 기반 모델(foundation model) 구축에 대한 투자 때문이라고 밝혔다.

예를 들어 오픈AI는 GPT-4 모델을 훈련하는 데 약 7,800만 달러, 구글의 주력 모델인 제미나이는 약 1억 9,100만 달러가 필요했다.

이전 모델들의 개발 비용과 비교하면 충격적인 수치다. 2017년에 출시된 트랜스포머 모델은 훈련 비용이 약 900달러, 2019년 출시된 페이스북의 RoBERTa 대형 시스템은 약 160,000달러였다.

물론 모델 개발자는 모델 훈련 비용에 대한 구체적인 수치를 거의 공개하지 않는다. 이에 따라 HAI는 미국 AI 연구기관 에포크(Epoch)와의 협력을 통해 훈련 비용의 추정치를 산출했으며, 이는 관련 기술 문서와 보도 자료에 나타난 정보를 기반으로 훈련 기간, 사용된 하드웨어의 종류, 품질 및 사용 정도를 분석하여 얻은 결과라고 전했다.

학습 비용이 증가했을 뿐만 아니라, 컴퓨팅 자원에 대한 수요도 덩달아 상승했다. 2017년 구글의 트랜스포머 모델은 훈련에 약 7,400페타플롭이 필요했지만, 7년 후 제미나이 울트라는 500억 페타플롭이 필요했다.

이렇게 자본과 전력 집약적인 시스템의 발전은 학계에 새로운 문제를 야기하고 있다. 제미나이 울트라와 같은 시스템을 운영하는 데 드는 막대한 비용으로 인해 학계에서 접근이 점점 더 어려워지고 있기 때문이다.

“선도적인 AI 모델에 대한 산업 지배력 증가는 작년 AI 지수 보고서에서 처음 강조됐다. 올해에는 그 격차가 다소 좁혀지긴 했지만, 이러한 추세는 여전히 지속되고 있다”고 보고서는 명시했다.

텍스트 넘어 이미지·동영상까지, 멀티모달 AI 시대 도래

구글은 2019년부터 40개의 모델을 발표해 가장 많은 기반 모델을 공개한 기업이 되었다. 오픈AI는 20개로 2위를 차지했고, 비서구권 기관 중에서는 중국의 칭화대학교가 7개의 AI 모델을 공개하며 가장 많았다.

또한 지난해 공개된 대규모 AI 시스템의 대부분은 미국에서 109개로 가장 많았다. 중국 기관이 2위를 차지했지만 20개에 불과했다. 스탠퍼드대 보고서는 2019년을 기점으로 미국이 AI 모델 생산을 선도하고 있다고 한다.

마지막으로 보고서에서 강조된 한 가지 중요한 성장 추세는 텍스트뿐만 아니라 이미지나 동영상을 처리할 수 있는 멀티모달 AI 모델·시스템의 수가 증가하고 있다는 점이다.

이에 HAI의 연구 프로그램 책임자 바네사 팔리(Vanessa Parli)는 “올해에는 다양한 분야에서 활약할 수 있는 모델들이 더욱 많아질 것으로 예상된다”고 말했다. “이 모델들은 텍스트를 입력받아 오디오를 생성하거나, 이미지에 대한 설명을 만들어낼 수 있다. 개인적으로 가장 흥미로운 AI 연구 분야는 이러한 대규모 언어 모델을 로봇이나 자율 에이전트와 결합해, 로봇이 현실 세계에서 더욱 효율적으로 작동하도록 하는 데 있어 중대한 발전을 이루는 것이다”고 그녀는 덧붙였다.