[해외 DS] AI 안전 연구, 초지능의 폭주를 막을 수 있을까

인공지능의 급속한 발전으로 인한 위험성 증가
AI 안전을 위한 노력이 필요하지만, 충분하지 않아
ASI가 등장하기 전에 프론티어 AI 개발 잠정 중단 필요

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

AI_safety_research_dangers_ScientificAmerican_20240111 — 사진=Scientific American

수십 년 동안 미진했던 인공지능이 갑자기 무섭게 발전하고 있다. 구글에서 오랫동안 근무하며 ‘AI의 대부’로 불리는 제프리 힌튼(Geoffrey Hinton)은 인공지능으로 인한 위협이 단순한 공상 과학 소설이 아니라고 거듭 경고했다. “악의적으로 나쁜 일에 [AI]를 사용하는 것을 막기 어렵다”고 그는 말했다.

백악관, 세계 지도자들, 많은 AI 기업이 이런 일이 일어나지 않도록 노력하고 있지만, 이들의 노력만으로는 충분하지 않다. AI가 돌이킬 수 없는 해를 끼치지 않도록 하려면 AI 안전에 대한 적절한 논의가 이루어질 때까지 AI 모델 개발을 잠시 중단해야 한다.

인공 초지능, 기하급수적인 발전과 잠재적 위험

하지만 과도해 보이는 AI에 관한 우려는 많은 사람들이 접하는 ChatGPT, Bard, Claude 2와 같은 챗봇과 괴리가 있어 보인다. 아직 ‘환각’ 증세나 ‘탈옥’ 유도에서 벗어나지 못한 챗봇이 인류에게 어떤 위협을 가할 수 있다는 것인지 이해하기 어려울지도 모른다. 그러나 여기서 핵심은 AI의 기하급수적인 발전이며, 머지않아 인간보다 더 나은 지능의 문턱에 도달할 가능성이 높은 AI의 잠재력이다. 인공 일반지능(AGI)이 출현하면 언어·문제해결·수학·추론·창의성 등 인간의 인지적 작업 대부분 또는 전부를 동등하거나 더 잘하는 AI가 등장할 것이다. AGI 시대가 도래하면 인간보다 훨씬 빠른 속도로 더 똑똑한 AI가 구축될 수 있다. 이렇게 되면 우리는 아마도 AI를 인공 초지능(ASI)이라고 부르는 단계에 도달하게 될 것이다.

ASI는 신과 같은 힘을 가진 인공지능으로 생각할 수 있다. 지금까지 살았던 가장 똑똑한 인간의 IQ가 200 정도라면, ASI는 100만 이상의 IQ를 가질 수도 있다. 물론 인간이 만든 어떤 척도도 이 정도의 지능을 가진 존재에게는 의미가 없을 것이다. 높은 지능으로 AGI와 ASI는 자기 몸이 될 로봇도 만들 수 있다. 이러한 로봇이 AI에 의해 제어되든 인간이 제어하든, 최소한 인간 사회의 모든 일을 변화시킬 것이며, 최악의 경우 부도덕한 정부와 기업(또는 부도덕한 AI)이 인류를 통제하는 데 이용될 수 있다.

사실 단기적으로 위험성이 더 높은 것은 자율적인 AI의 폭주가 아니라 인간이 악의적인 목적으로 AGI·ASI를 사용하는 경우다. 예를 들어 미국과 중국 간의 경쟁과 이미 시작된 AI 군비 경쟁에서 자율 AI가 전략과 전쟁 수행의 거의 모든 측면을 장악하고 적군의 통제권 마비시키는 지점에 쉽게 도달할 수 있다.

AI 안전을 위한 ‘잠정 개발 중단’

앞서 언급한 바와같이 위험한 악용 사례를 방지하기 위한 노력이 이미 진행 중이다. 백악관은 작년 11월에 연방 정부가 여러 분야에서 AI에 대응할 수 있도록 하는 광범위한 행정 명령을 발표했다. 또한 세계 지도자들이 영국에서 모여 AI 안전에 대해 논의하고 국제적인 규제를 시작하는 블레츨리 선언을 발표했다. OpenAI와 같은 업계 리더들은 슈퍼얼라인먼트 이니셔티브와 프런티어 모델 포럼을 시작했다. OpenAI와 OpenAI의 전직 직원이 설립한 경쟁사 Anthropic은 더 안전한 AI에 집중하기 위해 특별히 설립됐다. 하지만 이러한 노력만으로는 인공지능을 안전하게 만들 수 없다.

컴퓨터 과학 교수인 로만 얌폴스키(Roman Yampolskiy)는 2022년 Journal of Cyber Security and Mobility 논문에서 그 이유를 자세히 설명했다. 그는 AI가 아직 초지능에 훨씬 못 미치는데도 현재 AI가 어떻게 작동하는지 이해하거나 예측 과정을 추적할 수 없다는 점에 주목해야 한다고 지적했다. 결국 AI가 AGI·ASI로 발전함에 따라 인간이 이해할 수 없고, 따라서 통제할 수 없는 상태가 될 것이라고 그는 내다봤다.

한편 인간이 개발할 수 있는 모든 대응책은 확률적일 뿐 완벽하지 않다. 그러나 AGI 시대에 확률론적인 해법을 받아들일 수 없는 이유는 인공지능이 너무 똑똑해져서 아무리 작은 시스템 결함이라도 이를 악용할 것이기 때문이다. 이러한 문제에 대해 OpenAI의 AI 안전 책임자인 얀 라이크(Jan Leike)는 “현실 세계에는 ‘완벽한 것’은 없지만 ‘충분하다’와 ‘충분하지 않다’는 있다”며 “그 기준이 정확히 무엇인지는 기술이 어떻게 발전하느냐에 따라 달라진다”고 답했다.

완벽하진 않지만 충분한 해결책이라도 모색하고 마련하기 위해, AI 안전에 대한 집단적 토론을 하는 동안 전 세계적으로 프런티어 AI 개발, 즉 GPT-5와 같은 새로운 대규모 AI 언어 모델 개발을 잠시 멈춰야 한다. 뾰족한 대책 없이 AI 개발을 내버려두면 행정명령부터 업계 표준에 이르기까지 ‘더 안전한 AI’를 만들기 위한 모든 노력은 누군가가, 어딘가에서, 제때 해결책을 내놓을 것이라는 막연한 믿음 아래 더욱 강력한 AI를 무책임하게 개발하는 것에 불과하기 때문이다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.

김광재 연구원

[email protected] 균형 잡힌 시각으로 인공지능 소식을 전달하겠습니다.