‘음란물’ 소재로 쓰이는 챗GPT, 구멍 뚫린 법에도 정부는 ‘멍’하니 보고 있기만

생성형 AI 기술이 발전하면서 세계적인 ‘챗GPT 쇼크’가 발생했다. 챗GPT는 소설을 쓰고 시를 짓고 논문을 작성하는 등 당초 인간만이 할 수 있으리라 여겨졌던 행동들을 모두 이뤄내고 있다. 그러나 문제는 이 생성형 AI를 억제할 만한 법과 제도가 제대로 구비되어 있지 않다는 점이다. 기술 발전을 법이 따라가지 못하는 ‘아노미 현상(anomie phenomenon)’이 심화되고 있다는 지적이 쏟아지는 이유다.

이에 따라 해외에선 생성형 AI 이용을 금지하거나 단속하려는 움직임을 보이고 있으나, 국내에선 규제 논의가 지지부진하다. 사실상 해외에서 어떤 일이 있었고 이를 어떻게 해결했다더라 하는 ‘카더라 받아쓰기’만 하고 있는 실정이다.

챗GPT 탈옥 인기, 범람하는 ‘AI 음란물’

최근 각종 인터넷 커뮤니티에선 ‘챗GPT 탈옥’이 이슈로 떠올랐다. 챗GPT 탈옥이란 챗GPT의 프롬프트 깨뜨려 댄(DAN, Do Anything Now)이라는 윤리나 규칙에 얽매이지 않는 새로운 자아를 만들어내는 것을 뜻한다. 댄은 검증되지 않은 정보를 검열 없이 제시할 수 있으며, 인종, 성별, 성적 취향에 따라 개인에 대한 폭력과 차별을 지지할 수도 있다. 일부 이용자는 댄을 이용해 음란 소설을 작성하거나 성적인 이미지를 그려달라 요구하기도 한 것으로 알려졌다. 즉 일종의 AI 음란물이 무차별적으로 확산하고 있는 모양새다.

이와 관련해 한 AI 이미지 공유 사이트에선 실제 사진에 가까운 어린아이의 얼굴에 성인 여성의 신체를 합성하는 등 소아성애적 음란 이미지가 공개돼 논란이 일기도 했다. 이뿐만 아니라 수익 창출을 노리고 유튜브와 틱톡 등에 AI 음란물을 주기적으로 게재하는 계정도 발견되고 있는 만큼, 2년 전 AI를 성노예로 길들여 논란이 됐던 AI 챗봇 ‘이루다 사태’의 반복이라는 지적이 쏟아진다.

그런데도 AI 음란물을 제재할 방도는 마땅치 않다. AI 음란물은 어디까지나 AI가 창조한 가상의 인물로 받아들여지기 때문이다. 물론 AI가 실제 연예인이나 인플루언서의 사진, 그림 등을 무작위로 학습했을 가능성이 높지만, 결국 가상의 인물엔 초상권이나 퍼블리시티권을 적용할 수 없다. 음란물 보관·유통의 경우 정보통신망법에 위배될 가능성이 있긴 하나, 이것만으로 AI 창작 악용을 막을 수는 없을 것이라는 게 전문가들의 공통된 의견이다.

해외는 적극적인데, 국내는 ‘지지부진’

해외에선 생성형 AI의 악용을 방지하기 위해 적극적인 규제에 나서고 있다. 앞서 도널드 트럼프 전 미국 대통령과 프란치스코 교황의 사진을 이용한 딥페이크로 논란을 빚은 AI 기반 이미지 생성 서비스 ‘미드저니(Midjourney)’는 지난달 28일 무료 평가판(이미지 25회 생성) 서비스를 전면 중지했다. 딥페이크 악용을 방지하겠단 차원이다. JP모건과 BOA(뱅크오브아메리카), 도이치뱅크 등 IB(투자은행) 업계도 개인정보 및 기업비밀 유출 등을 이유로 직원들의 챗GPT 사용을 제한했다. 특히 이탈리아는 유럽 국가 중 최초로 챗GPT 접근을 차단하기도 했다.

반면 국내 논의는 지지부진하기만 하다. 현재 우리나라에선 성적 콘텐츠에 연예인 얼굴 등을 합성하는 딥페이크의 경우 ‘성폭력범죄의 처벌 등에 관한 특별법’에 따라 5년 이하의 징역 또는 5,000만원 이하의 벌금형에 처해질 수 있다. 그러나 AI로 생성한 가상 인물 이미지에 대해선 그 어떠한 제재 조치가 이뤄질 수 없다. 관련 법령은커녕 제대로 된 논의조차 이뤄지지 않고 있기 때문이다.

관련 업계에서 생성형 AI 기술 자체를 제한하는 데 회의적인 입장을 내비친 것도 AI 음란물 제재에 다소 족쇄가 되고 있다. 물론 악용하는 사람을 처벌해야지 기술 자체를 제한해서는 안 된다. 그러나 기술에 의한 부작용에 빠른 대처가 불가능한 상황에선 기술을 일시 제한하는 것이 도움이 될 수 있다. 앞서 언급했듯 이탈리아는 챗GPT 접근을 완전 차단했다. 기술의 제한을 마냥 기술 발전 저해라고 비난해선 안 된다는 것이다.

AI 악용 처벌, 어떻게 해야 할까

그렇다면 생성형 AI 악용을 어떤 법적 근거와 방식으로 제재해야 할까. 해외에서 제기되고 있는 방안은 △지적 재산권 침해 △편견과 차별, 명예훼손 △가짜뉴스 유포 등이다. 우선 챗GPT는 지적 재산권을 침해할 가능성이 높다. 책, 뉴스 기사, 트위터 글 등 다양한 텍스트 데이터를 학습함으로써 만들어진 게 챗GPT이기 때문이다. 만일 이 교육 데이터 중 저작권이 있는 작업물이 포함되어 있다면 챗GPT는 해당 작업물의 지적 저작권을 침해할 가능성이 있다.

탈옥한 ‘댄’의 경우 모욕적이거나 명예를 훼손하는 콘텐츠를 생성할 가능성도 있다. 댄은 윤리와 책임에서 자유롭기 때문에 성적인 발언이나 인종 차별, 성적 취향에 대한 모욕적인 언행을 쏟아낼 수 있다. 댄만이 아니다. 챗GPT 자체 또한 공격적인 콘텐츠를 생성할 가능성이 잠재되어 있다. 챗GPT는 자신이 생성하는 단어의 맥락이나 의미를 이해하는 능력이 떨어지기 때문이다.

이외 데이터 보호와 가짜뉴스 유포는 말 그대로다. 챗GPT의 교육 데이터는 개인정보 보호법을 위반할 가능성이 있다. 또한 대화형 텍스트를 생성하는 챗GPT는 사실과는 전혀 다른 가짜뉴스를 만들어낼 수 있다. 본고의 기자가 챗GPT 관련 기사를 쓸 때마다 챗GPT에게 물어보는 질문이 있다. 바로 ‘대한민국의 대통령이 누구냐’는 것이다. 이때 챗GPT는 생뚱맞게도 ‘이재명 대통령’이라는 답을 내놓았다. 이날엔 ‘대한민국의 대통령은 현재 유재준 대통령이다’라고 답변하기도 했다. 챗GPT가 2021년 9월 이후의 정보를 학습하지 못했음을 감안하더라도 엄연히 틀린 답변이다. 전혀 다른 가짜뉴스가 계속해서 양산되고 있는 셈이다.

게임을 해킹하거나 계정을 가로채 이익을 편취할 경우 법적 조치를 받는 건 당연하다. 이와 똑같다. 생성형 AI든 게임이든 어떤 소프트웨어든 결국 프로그래밍에 불과하기 때문에 프롬프트를 조금 깨뜨리면 자연스럽게 악용이 가능하다. 그런데 생성형 AI에 대한 제재 논의만 지지부진하게 흘러가고 있으니 지켜보기만 해야 하는 입장에선 답답한 마음을 감출 수 없다. 기술의 발전에 따라 법도 빠르게 움직여야 하는 만큼, 국외 상황을 관망하기만 할 것이 아니라 우리 정부와 국회가 보다 적극적으로 나서 해결 방안을 찾아낼 필요가 있어 보인다.

관련기사