[해외 DS] “AI 규제, 지금이 골든타임”, 편향·오류·책임 문제 해결 위한 범정부적 노력 필요

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

인공지능은 어디에나 존재하며, 규제 당국에 엄청난 혼란을 안겨줬다. 정부 기관은 AI의 개발과 배포의 어느 시점에 개입해야 할까? 인공지능을 사용하는 거대한 산업이 자신을 통제할 수 있을까? 인공지능 개발 기업들이 애플리케이션의 내부를 들여다볼 수 있도록 허용할까? 인공지능을 지속 가능하게 개발하고, 윤리적으로 테스트하고, 책임감 있게 배포할 수 있을까?

산업 맞춤 권장 사항 필요해

이러한 질문은 한 기관이나 감독 기관에서 해결할 수 있는 문제가 아니다. 인공지능을 사용해서 챗봇을 만들고, 약물-단백질 상호작용을 찾아내며, 자율 주행 차량을 제어할 수 있다. 그리고 각각은 도움이 되는 것만큼이나 해를 끼칠 가능성도 높다. 따라서 모든 기관이 신속하게 협력하여 이러한 애플리케이션의 안전을 보장하기 위한 기관 간 규칙을 확정하고, 동시에 각 기관의 관할권에 속하는 산업에 적용되는 구체적인 권장 사항을 마련해야 한다.

충분한 감독이 없다면 인공지능은 계속해서 편향되고, 잘못된 정보를 제공하고, 오진을 일으키고, 교통사고와 사망사고를 일으킬 것이다.

기후 변화 억제, 잠재적 대유행 바이러스 분석, 단백질 구조 예측, 불법 약물 분류 지원 등 AI의 놀랍고 유익한 용도가 많이 있지만 AI 제품의 결과는 입력된 정보만큼만 우수할 수 있으며, 바로 여기에 많은 규제 문제가 존재한다.

기본적으로 AI는 방대한 양의 데이터에서 패턴이나 유사성을 찾는 컴퓨팅 프로세스다. 질문을 받거나 문제를 해결하라는 지시를 받으면 학습한 패턴이나 유사성을 사용하여 대답한다. 따라서 에드거 앨런 포(Edgar Allan Poe) 스타일의 시를 써달라고 요청할 때, ChatGPT는 “피로와 슬픔에 젖어 생각”에 잠기지 않는다. 지금까지 발표된 모든 포 작품과 포에 대한 비평, 찬사, 패러디에서 스타일을 유추할 수 있기 때문이다. 그리고 이 시스템에는 분명 ‘고자질하는 심장(양심)’이 없어서 정확히 알 수는 없지만, 겉으로는 학습한 것처럼 보인다.

논란의 소용돌이 속

먼저 저작권 논란이 있다. 현재로서는 어떤 정보가 AI 애플리케이션에 입력되는지, 출처가 어디인지, 얼마나 좋은지, 대표성이 있는지 알 방법이 거의 없다. 현행 미국 규정에 따라 기업은 코드나 학습 자료를 누구에게도 알릴 필요가 없기 때문이다. 그로 인해 보상이나 공로를 인정받지 못한 예술가, 작가, 소프트웨어 엔지니어들은 원본 저작물을 학습 데이터로 무단 사용한 인기 AI 개발 회사를 상대로 소송을 제기하고 있다.

그리고 안전 문제가 있다. AI는 블랙박스 문제를 안고 있는데 개발자들조차도 모델이 학습 데이터를 어떻게 사용하여 의사 결정을 내리는지 잘 모른다. 잘못된 진단을 받으면 의사에게 그 이유를 물어볼 수 있지만 AI에는 물어볼 수가 없다.

공정성에도 이슈가 있다. 주택 관련 대출이 거절되거나 자동 채용 심사에서 탈락하면 AI에 이의를 제기할 수 없다.

유효성은 어떨까? AI 제작자는 제품을 출시하기 전에 통제된 환경에서 테스트하여 올바른 진단을 내리는지 또는 최상의 고객 서비스 결정을 내리는지 확인한다. 그러나 이러한 테스트의 대부분은 실제 세계의 복잡성을 고려하지 못한다.

또한 인공지능이 실제 세상에 나오면 책임소재는 누구에게 있을까? ChatGPT는 임의의 답을 만들어 내고 종종 ‘환각’ 현상을 보였다. DALL-E를 사용하면 프롬프트를 사용하여 이미지를 만들 수 있지만 이미지가 가짜이고 명예를 훼손하면 어떻게 될까? 이 두 제품을 만든 OpenAI가 책임을 져야 할까, 아니면 가짜를 만드는 데 사용한 사람이 책임을 져야 할까? 프라이버시에 대한 심각한 우려도 있다. 프롬프트에 데이터를 입력하면 그 데이터의 소유권은 누구에게 있을까? 해당 사용자를 추적할 수 있을까? 이것은 윤리 문제 중 하나다.

OpenAI의 CEO인 샘 알트먼(Sam Altman)은 의회에서 AI는 본질적으로 위험할 수 있으므로 규제가 필요하다고 말했다. 많은 기술자는 이 모든 문제가 해결될 때까지 ChatGPT보다 더 강력한 신제품 개발을 유예할 것을 요구했다. 이러한 유예는 새로운 것이 아니다. 1970년대에 생물학자들이 분자 생물학과 질병 이해의 토대가 된 DNA 조각을 한 생물체에서 다른 생물체로 옮기는 것을 보류하기 위해 유예를 한 적이 있다. 현대 머신러닝 기술의 토대를 마련한 것으로 널리 알려진 제프리 힌턴(Geofrrey Hinton)도 AI의 성장에 대해 우려하고 있다.

각국의 대응책 현실적으로 기대에 못 미쳐

중국은 블랙박스와 안전 문제에 초점을 맞춰 AI 규제를 시도하고 있지만, 일각에서는 중국의 이러한 노력을 정부 권력을 유지하기 위한 수단으로 보고 있다. 유럽연합은 위험 평가와 안전 우선의 프레임워크를 통해 정부 개입 문제와 마찬가지로 AI 규제에 접근하고 있다. 백악관은 기업과 연구자들이 AI 개발에 어떻게 접근해야 하는지에 대한 청사진을 제시했지만, 과연 이 가이드라인을 준수하는 사람이 있을까?

최근 미국 연방거래위원회(FTC)의 리나 칸(Lina Khan) 위원장은 인터넷 보호에 대한 이전 경험을 바탕으로 FTC가 AI의 소비자 안전과 효능을 감독할 수 있다고 주장했다. 현재 FTC는 ChatGPT의 부정확성을 조사하고 있다. 하지만 이것만으로는 충분하지 않다. 수년 동안 AI는 고객 서비스, 알렉사, 시리 등을 통해 우리 삶의 일부로 자리 잡았다. AI는 의료 제품에도 적용되고 있고, 이미 정치 광고에 사용되어 민주주의에 영향을 미치고 있다. 사법 체계에서 연방 기관의 규제 권한과 씨름하면서 AI는 빠르게 다음이자 아마도 가장 큰 테스트 사례가 되고 있다. 연방 감독을 통해 이 새로운 기술이 안전하고 공정하게 번창할 수 있기를 바란다.

---

Artificial intelligence is everywhere, and it poses a monumental problem for those who should monitor and regulate it. At what point in development and deployment should government agencies step in? Can the abundant industries that use AI control themselves? Will these companies allow us to peer under the hood of their applications? Can we develop artificial intelligence sustainably, test it ethically and deploy it responsibly?

Such questions cannot fall to a single agency or type of oversight. AI is used one way to create a chatbot, it is used another way to mine the human body for possible drug targets, and it is used yet another way to control a self-driving car. And each has as much potential to harm as it does to help. We recommend that all U.S. agencies come together quickly to finalize cross-agency rules to ensure the safety of these applications; at the same time, they must carve out specific recommendations that apply to the industries that fall under their purview.

Without sufficient oversight, artificial intelligence will continue to be biased, give wrong information, miss medical diagnoses, and cause traffic accidents and fatalities.

There are many remarkable and beneficial uses of AI, including in curbing climate change, understanding pandemic-potential viruses, solving the protein-folding problem and helping identify illicit drugs. But the outcome of an AI product is only as good as its inputs, and this is where much of the regulatory problem lies.

Fundamentally, AI is a computing process that looks for patterns or similarities in enormous amounts of data fed to it. When asked a question or told to solve a problem, the program uses those patterns or similarities to answer. So when you ask a program like ChatGPT to write a poem in the style of Edgar Allan Poe, it doesn’t have to ponder weak and weary. It can infer the style from all the available Poe work, as well as Poe criticism, adulation and parody, that it has ever been presented. And although the system does not have a telltale heart, it seemingly learns.

Right now we have little way of knowing what information feeds into an AI application, where it came from, how good it is and if it is representative. Under current U.S. regulations, companies do not have to tell anyone the code or training material they use to build their applications. Artists, writers and software engineers are suing some of the companies behind popular generative AI programs for turning original work into training data without compensating or even acknowledging the human creators of those images, words and code. This is a copyright issue.

Then there is the black box problem—even the developers don’t quite know how their products use training data to make decisions. When you get a wrong diagnosis, you can ask your doctor why, but you can’t ask AI. This is a safety issue.

If you are turned down for a home loan or not considered for a job that goes through automated screening, you can’t appeal to an AI. This is a fairness issue.

Before releasing their products to companies or the public, AI creators test them under controlled circumstances to see whether they give the right diagnosis or make the best customer service decision. But much of this testing doesn’t take into account real-world complexities. This is an efficacy issue.

And once artificial intelligence is out in the real world, who is responsible? ChatGPT makes up random answers to things. It hallucinates, so to speak. DALL-E allows us to make images using prompts, but what if the image is fake and libelous? Is OpenAI, the company that made both these products, responsible, or is the person who used it to make the fake? There are also significant concerns about privacy. Once someone enters data into a program, who does it belong to? Can it be traced back to the user? Who owns the information you give to a chatbot to solve the problem at hand? These are among the ethical issues.

The CEO of OpenAI, Sam Altman, has told Congress that AI needs to be regulated because it could be inherently dangerous. A bunch of technologists have called for a moratorium on development of new products more powerful than ChatGPT while all these issues get sorted out (such moratoria are not new—biologists did this in the 1970s to put a hold on moving pieces of DNA from one organism to another, which became the bedrock of molecular biology and understanding disease). Geoffrey Hinton, widely credited as developing the groundwork for modern machine-learning techniques, is also scared about how AI has grown.

China is trying to regulate AI, focusing on the black box and safety issues, but some see the nation’s effort as a way to maintain governmental authority. The European Union is approaching AI regulation as it often does matters of governmental intervention: through risk assessment and a framework of safety first. The White House has offered a blueprint of how companies and researchers should approach AI development—but will anyone adhere to its guidelines?

Recently Lina Khan, Federal Trade Commission head, said based on prior work in safeguarding the Internet, the FTC could oversee the consumer safety and efficacy of AI. The agency is now investigating ChatGPT’s inaccuracies. But it is not enough. For years AI has been woven into the fabric of our lives through customer service and Alexa and Siri. AI is finding its way into medical products. It’s already being used in political ads to influence democracy. As we grapple in the judicial system with the regulatory authority of federal agencies, AI is quickly becoming the next and perhaps greatest test case. We hope that federal oversight allows this new technology to thrive safely and fairly.