[해외 DS] 오펜하이머가 주장하는 AI 개발의 위험성

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

빅테크 기업 중심 생성형 AI 기반 서비스가 쏟아지고 있는 가운데, AI가 인류에게 미칠 수 있는 해악은 분명한데도 불구하고 현시점에서 AI 규제에 대한 논의는 상대적으로 미비한 형국이다. 80년 전 오펜하이머가 핵 개발에 대해 경고의 목소리를 높였던 것처럼, 이제는 생성형 AI에 대해서도 적절한 규제의 필요성이 대두되는 시점이다.

오펜하이머가 경고한 핵 무기의 위험성과 이를 묵살한 미국 정부

1945년 8월 미국이 제2차 세계대전을 끝내기 위해 일본에 떨어뜨린 두 개의 원자폭탄은 히로시마는 약 16만명, 나가사키는 약 8만명을 희생시켰다. 1944년 2월 당시 35만명의 인구에 달했던 히로시마에 떨어진 첫 번째 원자폭탄 ‘리틀보이’는 상공 570m에서 폭발하면서 중심가 7km 지역 내 모든 것들이 녹아내렸다. 히로시마 원폭에도 일본 제국주의가 항복하지 않자, 미국은 1945년 8월 9일 나가사키에 두 번째 원폭 ‘팻맨’을 투하했고, 당시 4만명에서 7만명에 달하는 시민들이 한순간 사망했다. 원폭에 제2차 세계대전은 끝났지만, 인류는 그 위력에 압도됐다.

세계 최초의 핵무기 개발 프로젝트인 맨해튼 계획의 핵심 인력이자 ‘원자폭탄의 아버지’로 불리는 줄리어스 로버트 오펜하이머는 핵폭탄의 가공할 파괴력을 누구보다도 잘 이해하고 있었으므로 실전 사용엔 소극적이었다. 그러나 당시 군부의 의도대로 상황은 흘러갔고, 히로시마와 나가사키의 참상을 목격한 오펜하이머는 핵무기 회의론자로 돌아서게 된다. 맨해튼 계획 이후 오펜하이머는 미국의 대형 핵무기 개발을 극렬히 반대했으나, 당국은 오펜하이머의 의견을 묵살하는 것을 넘어 그를 공산주의자 혐의를 씌워 사회적으로 고립시킨다.

이후 미국은 소련과의 대규모 군비 경쟁 차원에서 1954년 11월 1일 “캐슬 브라보”라는 코드명의 수소폭탄 개발을 성공적으로 마치게 되고, 이를 통해 미국은 인류 역사상 가장 강력한 핵폭탄을 보유하게 됐다는 평가를 받는다. 이를 두고 일각에선 고도로 발전된 핵무기가 인류에게 ‘공포의 균형(balance of terror)’을 주기 때문에 현대에서 1・2차 세계대전과 같은 파멸적인 전쟁이 더 이상 일어나지 않는 것이라고 주장한다. 그러나 핵 무기를 개발하기 위해 지출된 과도한 국가 예산, 기회비용 및 소외된 지역 사회에 미치는 영향은 헤아릴 수 없다. 예컨대 캐슬 브라보라는 이름의 수소 폭탄을 실험했던 태평양 국가 마셜제도 핵 산업 단지의 뉴 멕시코 거주자, 나바호족 원주민들 사이에선 반 세기 이상이 지난 지금까지도 암 환자가 발생하고 있다.

인공지능 기술, 핵 무기와 맞먹을 수준의 위험성 지녔다

오펜하이머가 경고한 핵 무기의 위험성은 AI에도 똑같이 적용돼야 할 것으로 보인다. 특히 최근 미국 빅테크 기업들이 챗GPT와 같은 대규모 언어 모델(Large Language Model, LLM)을 기반으로 한 새로운 서비스를 경쟁적으로 내놓고 있는 가운데, AI가 인류에게 끼칠 수 있는 해악은 점점 수면 위로 떠오르고 있다.

예컨대 인터넷 상에 퍼져있는 성・인종적 편향을 그대로 학습한 생성형 AI는 해당 표현을 그대로 답변으로 출력하면서, 사회의 기존 편견을 악화시키고 있다. 심지어 AI가 산업 전반에 가지각색으로 활용되면서, 형사 선고, 치안, 의료, 대출, 주택 및 고용에 이르기까지 이같은 성・인종적 편향은 글로벌로 크게 확대되고 있는 모양새다.

아울러 AI로 인해 인간의 일자리는 줄어들고 있다. 실제 세계경제포럼(World Economic Forum)이 발표한 연구보고서 ‘2023 일자리의 미래’에 따르면 2023년부터 2027년까지 전 세계 고용의 2%에 해당하는 1,400만 개의 일자리가 사라질 것으로 나타났다.

또한 AI를 이용하는 비중이 커질수록 막대한 전력 소모로 인해 많은 탄소가 배출돼 환경에 악영향을 주게 된다. 이와 관련, 세계적 반도체 기업 어플라이드머티어리얼즈의 게리 디컨슨은 “만약 현재 기술로 AI 데이터센터를 구축하면 2025년까지 전 세계 전력의 15%를 데이터 센터가 잡아먹게 된다”며 “그만큼 많은 전력을 소비해 이산화탄소 방출량도 늘어나게 될 것”이라고 경계를 당부한 바 있다.

심지어 AI로 인해 수소 폭탄의 뒤를 이을 새로운 화학 무기가 설계될 가능성이 있다. 지난 2020년 제약 회사 콜라보레이션 파마세니컬스의 연구에 따르면 딥 러닝 알고리즘을 통해 단 6시간 만에 약 40,000개의 잠재 위험 독성 물질을 만들어 냈다. 이에 존스홉킨스 대학 암 센터 부국장 엘라나 페르티그는 “AI로 인해 치명적인 화학 무기의 개발 속도가 가속화돼 머지않아 히로시마-나가사키 원폭 사태와는 차원이 다른 규모의 피해가 발생할 수 있다”고 우려를 표명했다.

AI 규제의 필요성은 확실하다

한편 이같은 AI의 오용 가능성은 기업・민간 뿐만 아니라 정부 차원으로 확대되고 있다. 앞서 언급한 핵 무기는 AI 기술과 접목되면서 위험성은 더욱 커지고 있다. 미국을 비롯한 핵 보유국들은 이미 상호확증파괴(핵 보유국이 선제 핵 공격을 감행한다면 상대국 역시 핵 전력을 동원해 적성국을 전멸시키는 보복전략)에 입각한 핵 발사 시스템을 보유하고 있다. 그런데 최근 이러한 핵 발사 시스템이 AI 기반으로 자동화되면서 기존 개념과 판도가 완전히 뒤엎어질 것으로 전망된다.

실제 미국 뉴욕타임스는 미국, 러시아 등 주요국들의 일부 무기가 이미 AI에 의해 ‘자율조종(autopilot)’되고 있다고 전했다. 실례로 미국의 패트리엇 미사일은 적국의 공격에 빠르게 대응하기 위해 사람의 개입 없이 발사하는 기능을 예전부터 탑재해오고 있었다. 또한 러시아의 핵 추진 수중 무인 드론 ‘포세이돈’은 심해를 이동하면서 기존 미사일 방어망을 피해 자동으로 핵 공격을 추진할 수 있다.

AI가 무기에 적용되면 전투에서의 의사결정 속도는 높아지겠지만, 만약 사람의 부재로 인해 허위 결정이 내려지게 되면 그 피해는 돌이킬 수 없게 된다. 그런데 문제는 이같은 AI 기반의 자율조종 무기가 현실로 나와 활용되고 있음에도 불구하고 이를 다루는 국제 조약은 아예 없다는 것이다. 이러한 상황을 고려하면, 오펜하이머가 주장하는 ‘핵 무기 규제론’은 AI에도 똑같이 적용돼야 한다.

따라서 미국 의회는 AI 기술을 선두하고 있는 빅테크 기업들이 공익을 우선시하도록 관련 규제를 확실하게 마련해야 한다. 특히 현재 논란이 되고 있는 AI 챗봇으로 인한 개인정보 유출 금지 법안, 기업의 고객 데이터 활용의 투명성 제고 법안, AI 기반 핵무기 발사 금지 법안을 통과하는 것으로 시작해야 한다. 나아가 의회는 AI가 인류에 끼칠 해악을 엄밀하게 검토하고, 이를 어떻게 해결해야 할지에 대한 결정을 내려야 할 것이다.

---

Eighty-one years ago, President Franklin D. Roosevelt tasked the young physicist J. Robert Oppenheimer with setting up a secret laboratory in Los Alamos, N.M. Along with his colleagues, Oppenheimer was tasked with developing the world’s first nuclear weapons under the code name the Manhattan Project. Less than three years later, they succeeded. In 1945 the U.S. dropped these weapons on the residents of the Japanese cities of Hiroshima and Nagasaki, killing hundreds of thousands of people.

Oppenheimer became known as “the father of the atomic bomb.” Despite his misplaced satisfaction with his wartime service and technological achievement, he also became vocal about the need to contain this dangerous technology.

But the U.S. didn’t heed his warnings, and geopolitical fear instead won the day. The nation raced to deploy ever more powerful nuclear systems with scant recognition of the immense and disproportionate harm these weapons would cause. Officials also ignored Oppenheimer’s calls for greater international collaboration to regulate nuclear technology.

Oppenheimer’s example holds lessons for us today, too. We must not make the same mistake with artificial intelligence as we made with nuclear weapons.

We are still in the early stages of a promised artificial intelligence revolution. Tech companies are racing to build and deploy AI-powered large language models, such as ChatGPT. Regulators need to keep up.

Though AI promises immense benefits, it has already exposed its potential for harm and abuse. Earlier this year the U.S. surgeon general released a report on the youth mental health crisis. It found that one in three teenage girls considered suicide in 2021. The data are unequivocal: big tech is a big part of the problem. AI will only amplify that manipulation and exploitation. The performance of AI rests on exploitative labor practices, both domestically and internationally. And massive, opaque AI models that are fed problematic data often exacerbate existing biases in society—affecting everything from criminal sentencing and policing to health care, lending, housing and hiring. In addition, the environmental impacts of running such energy-hungry AI models stress already fragile ecosystems reeling from the impacts of climate change.

AI also promises to make potentially perilous technology more accessible to rogue actors. Last year researchers asked a generative AI model to design new chemical weapons. It designed 40,000 potential weapons in six hours. An earlier version of ChatGPT generated bomb-making instructions. And a class exercise at the Massachusetts Institute of Technology recently demonstrated how AI can help create synthetic pathogens, which could potentially ignite the next pandemic. By spreading access to such dangerous information, AI threatens to become the computerized equivalent of an assault weapon or a high-capacity magazine: a vehicle for one rogue person to unleash devastating harm at a magnitude never seen before.

Yet companies and private actors are not the only ones racing to deploy untested AI. We should also be wary of governments pushing to militarize AI. We already have a nuclear launch system precariously perched on mutually assured destruction that gives world leaders just a few minutes to decide whether to launch nuclear weapons in the case of a perceived incoming attack. AI-powered automation of nuclear launch systems could soon remove the practice of having a “human in the loop”—a necessary safeguard to ensure faulty computerized intelligence doesn’t lead to nuclear war, which has come close to happening multiple times already. A military automation race, designed to give decision-makers greater ability to respond in an increasingly complex world, could lead to conflicts spiraling out of control. If countries rush to adopt militarized AI technology, we will all lose.

As in the 1940s, there is a critical window to shape the development of this emerging and potentially dangerous technology. Oppenheimer recognized that the U.S. should work with even its deepest antagonists to internationally control the dangerous side of nuclear technology—while still pursuing its peaceful uses. Castigating the man and the idea, the U.S. instead kicked off a vast cold war arms race by developing hydrogen bombs, along with related costly and occasionally bizarre delivery systems and atmospheric testing. The resultant nuclear-industrial complex disproportionately harmed the most vulnerable. Uranium mining and atmospheric testing caused cancer among groups that included residents of New Mexico, Marshallese communities and members of the Navajo Nation. The wasteful spending, opportunity cost and impact on marginalized communities were incalculable—to say nothing of the numerous close calls and the proliferation of nuclear weapons that ensued. Today we need both international cooperation and domestic regulation to ensure that AI develops safely.

Congress must act now to regulate tech companies to ensure that they prioritize the collective public interest. Congress should start by passing my Children’s Online Privacy Protection Act, my Algorithmic Justice and Online Transparency Act and my bill prohibiting the launch of nuclear weapons by AI. But that’s just the beginning. Guided by the White House’s Blueprint for an AI Bill of Rights, Congress needs to pass broad regulations to stop this reckless race to build and deploy unsafe artificial intelligence. Decisions about how and where to use AI cannot be left to tech companies alone. They must be made by centering on the communities most vulnerable to exploitation and harm from AI. And we must be open to working with allies and adversaries alike to avoid both military and civilian abuses of AI.

At the start of the nuclear age, rather than heed Oppenheimer’s warning on the dangers of an arms race, the U.S. fired the starting gun. Eight decades later, we have a moral responsibility and a clear interest in not repeating that mistake.