[해외 DS] 가짜 자동화가 판치는 AI 시장, “인공지능이라고 생각했던 것이 실제로는 인간이었다?”

인간 노동 숨기고 '자동화' 과장하는 가짜 자동화 만연
아마존 저스트워크아웃의 경우, 수많은 인간 검토자가 일일이 거래를 확인해
소비자들은 제품이 실제로 자동화된 것인지 인간이 개입하는지 구분하기 어려워

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 글로벌AI협회 연구소(GIAI R&D)에서 콘텐츠 제휴가 진행 중입니다.

---

아마존이 최근 진행한 ‘저스트워크아웃(Just Walk Out)’ 쇼핑 기술의 축소·폐지 결정은 인공지능 기술의 한계를 보여주는 사례로 떠오르고 있다.

저스트워크아웃 기술은 아마존 프레시 식료품점이나 타사 매장에서 구매한 상품 금액을 자동으로 청구해 결제 없이 퇴점할 수 있도록 하는 것이었다. 마치 SF 영화 속의 한 장면처럼 보였지만, 실제로 이 기술이 작동하기 위해서는 무대 뒤에서 수많은 인간 노동력이 필요했다는 사실이 밝혀졌다.

아마존 저스트워크아웃의 한계, 인간 검토자 없이는 안 된다?

정보기술 관련 매체인 더 인포메이션의 보도에 따르면, 아마존에는 저스트워크아웃 AI 모델을 훈련하고 그 판매의 일부를 수동으로 검토하는 1,000명 이상의 직원이 인도에 있었다고 한다. 익명의 정보원은 1,000건의 거래마다 최대 700건의 수동 검토가 필요했다고 덧붙였다.

아마존은 곧바로 이의를 제기했다. 회사 관계자는 미국 과학전문지인 사이언티픽 아메리칸에 아마존은 “숫자를 공개할 수 없다”라면서도 저스트워크아웃의 쇼핑 데이터에 주석을 다는 작업자 수가 알려진 것보다 “훨씬 적다”고 반박했다. 아울러 지난 4월 블로그 게시물에서 딜립 쿠마르 아마존 부사장은 “정확성에 높은 가치를 두는 다른 AI 시스템과 다를 바 없으며, 인간 리뷰어가 있는 것이 일반적이다”고 주장하며 수습에 나섰다.

결국 이러한 사실은 인공지능 기술이 아직 완벽하지 않다는 것을 보여준다. 인공지능 기술은 많은 경우 정확성을 위해 인간의 도움이 필요하다. 대규모언어모델(LLM)의 대표주자인 챗GPT도 ‘인간 피드백’ 기반 강화학습을 통해 정확성과 인가다움을 끌어 올렸었다.

‘메카니컬 터크’ 현상 재현, 인간 노동 숨기는 ‘가짜 자동화’

이 현상은 ‘가짜 자동화(fauxtomation)’라고 불린다. 미국 산타클라라대학교 마크쿨라 응용윤리센터의 인터넷 윤리 프로그램 책임자인 이리나 라이쿠(Irina Raicu)는 인간의 노동을 숨기고 ‘자동화된’ 솔루션의 가치를 거짓으로 부풀리기 때문에 가짜 자동화라는 별명이 붙여졌다고 설명했다.

이는 결코 새로운 현상이 아니다. 가짜 자동화라는 별명과 더불어 이러한 현상은 ‘메카니컬 터크(Mechanical Turk)’ 현상이라고도 불린다. 발명가 볼프강 폰 켐펠렌(Wolfgang von Kempelen)이 1770년대 초반에 선보인 로브를 입은 로봇 메카니컬 터크는 체스 게임에 직접 참여할 수 있는 기계라고 알려지면서 큰 관심을 끌었다. 켐펠렌은 사람처럼 생각하는 기계가 체스의 전 과정을 직접 플레이할 수 있다고 말했고, 사람들에게 내부의 톱니바퀴 메커니즘을 보여주었다.

당연하게도 메카니컬 터크는 가짜였다. 동시대 많은 사람이 의심하기 시작한 것처럼 실제로는 체스판 아래의 방에 사람이 숨어 촛불로 체스판의 움직임을 제어하고 있었다.

과도한 AI 투자 열풍이 ‘가짜 자동화’를 부추겨

무생물에 생명을 불어넣는다는 생각은 오래된 인간의 꿈이다. 소설 ‘프랑켄슈타인’과 영화 ‘엑스 마키나’에서 보듯, 우리는 신과 같은 역할을 수행하며 새로운 생명을 창조하고자 한다. 하지만 “이러한 욕망은 너무나 집요하고 때로는 피할 수 없는 것이기에 우리는 그것을 현실화하기 위해 기꺼이 스스로를 속이고 기만하는 것 같다”고 미국 노던일리노이대학교의 미디어학 교수이자 ‘기계의 질문: 인공지능, 로봇, 윤리에 대한 비판적 관점’의 저자 데이비드 건켈은 말했다.

현재의 인공지능 붐 이전에도 챗GPT와 같은 제품들이 존재했다. 예를 들어 X.ai는 자동 회의 일정 조율과 이메일 발송 기능을 가진 개인 비서 에이미를 선보였다. 별도의 설치 없이 에이미의 공식 이메일을 메일 참조목록에 추가하는 것만으로 사용할 수 있었으며, 사용자들은 에이미가 마치 실제 사람처럼 효율적으로 일정을 관리한다고 평가했다.

하지만 2016년 블룸버그의 보도에 따르면 에이미의 ‘살아있는’ 듯한 모습은 사실이 아니었다. 모든 인바운드 이메일은 인간 노동자가 검토하고 있었고, 당시 다른 컨시어지 및 개인 비서 프로그램도 마찬가지로 사람에게 의존하는 방식이었다. 블룸버그는 벤처 캐피털의 과도한 AI 투자 열풍이 스타트업들을 평범한 작업 과정을 최첨단 기술로 포장하도록 유도했다고 지적했다.

소비자 혼란 일으키는 온라인 세상의 허상, 윤리적 문제 제기

이러한 현상은 점점 더 온라인화되는 우리의 삶 전반에 걸쳐 나타나고 있다. 현관문 앞까지 샐러드를 가져다주는 음식 배달 로봇은 사실 멀리서 조종하는 사림일 수도 있다. 소셜 미디어 알고리즘이 고양이 밈에서 음란물을 걸러내고 있다고 생각할 수 있지만, 실제로는 사무실 어딘가에 있는 인간 중재자가 가장 까다로운 결정을 내리고 있을 수도 있는 것이다.

라이쿠 책임 연구원은 이것이 단순히 마케팅 차원의 문제가 아니라고 꼬집었다. 그녀는 제품이 제대로 작동하기 전에 시장에 출시하려는 현재 기이한 추세를 반영하는 것이라고 우려의 목소리를 높였다. 일부 기업들은 자동화 솔루션이 개선되는 동안 ‘기계 속의 인간’을 중간 단계쯤으로 치부하고 있는 것 같다는 의미다.

그만큼 소비자로선 가짜 자동화는 구분이 어렵다는 얘기다. 올해 초 인터넷은 코미디언 조지 칼린의 유머 감각을 학습한 머신러닝 프로그램으로 고인의 유머를 시뮬레이션한 것으로 알려진 ‘조지 칼린 사후 스탠드업 스페셜’에 대한 열광적인 반응으로 들끓었다. 그러나 나중에 칼린의 유산을 둘러싼 소송의 위협을 받고 동영상 제작자 중 한 명이 대변인을 통해 AI가 만든 것으로 추정되는 농담이 실제로는 평범한 사람이 쓴 것이라고 인정했다.

결과적으로 전문가들은 소비자들을 미혹하는 가짜 AI 기술에 대해 구체적인 규제를 마련해야 한다고 경고하고 있다.

*편집진: 영어 원문의 출처는 사이언티픽 아메리칸(Scientific American)으로 본지의 편집방향과 일치하지 않을 수도 있습니다.