유럽연합 AI 규제법 ② AI 시스템의 위험 수준별 규제

챗GPT로 대표되는 생성형 인공지능(AI)에 대한 경계심이 갈수록 심화하고 있다. AI가 무차별적으로 생산한 가짜뉴스가 창궐하는 탓에 민주주의가 무너지고, 대부분의 일을 AI가 처리함에 따라 일자리를 빼앗기며, 궁극적으로 인간이 AI의 통제하에 놓일 수도 있다는 우려 때문이다.

이에 각국에서는 AI에 대한 규제 논의가 본격화되고 있다. 이탈리아 정부는 챗GPT의 훈련 방식이 프라이버시를 침해할 수 있다는 이유로 챗GPT 서비스 접근을 일시적으로 차단한 뒤 진상조사를 벌였고, 미국은 기업들에 대해 AI의 신뢰성 보장을 위한 감사 제도 관련 의견 공모가 진행 중이다. 일본도 지난달 AI 전략회의를 신설해 생성형 AI 활용에 관한 가이드라인을 마련하고 있다.

유럽연합(EU)의 직접 선출기관인 유럽의회는 AI 서비스가 주목받기 시작한 2021년부터 개인의 존엄과 개인정보 보호, 양성평등과 같은 기본권이 인공지능 이용으로 침해되지 않도록 하기 위해 AI 규제 입법 절차에 착수했다. 그러나 당시 마련된 해당 AI 규제 제안에는 챗GPT와 같은 생성형 AI에 대한 규제는 없었다. 이에 유럽의회 산하 소비자보호위원회는 지난달 11일(현지 시각) 생성형 AI를 고위험 분야로 분류해 엄격히 규제하기 위한 법안 관련 입장을 채택했다. EU의 AI 규제법 초안에는 원격 안면인식 등 생체정보 활용 AI 규제를 강화하고, 생성 AI가 만들어 낸 글이나 이미지는 AI에 의해 작성된 것이라고 명확히 알리는 투명성 의무 강화 조처 등이 담겼다.

대규모 언어모델의 안전조치 설계 의무화

EU의 AI 규제법(Artificial Intelligence Act)은 챗GPT와 같은 AI 기술의 기반이 되는 대규모 언어모델(LLM·Large Language Model)이 EU법을 위반하는 콘텐츠를 생성하지 않도록 안전조치 설계를 의무화하고 있다. EU법을 위반하는 콘텐츠는 아동 포르노나 홀로코스트 부인 등이 대표적이다.

규제법은 AI를 머신러닝, 통계적 접근법 등을 활용해 개발되고, 인간이 정의한 목적을 위해 콘텐츠, 의사결정, 예측, 추천 등 시스템이 상호작용하는 결과물을 생성할 수 있는 소프트웨어라고 설명한다. AI 시스템에 대한 법적 모호성을 피하면서도 기술 진화에 따라 유연하게 해석 가능하도록 핵심적인 기술적 특징에 기반해 정의한 것이다.

법안의 주요 내용으로는 △AI 위험 수준 분류 및 분류별 의무 △회원국 감리감독기관 임명 등이 있다. 또 AI에 대한 규제뿐만 아니라 보호와 개발의 균형을 맞추는 것이 중요하다고 판단하고, 관리당국의 감독하에 기업에 통제된 환경에서 인공지능 기술을 테스트할 수 있도록 하는 ‘규제 설정 가능성’도 포함됐다.

인간의 기본권 침해하는 행위는 금지, 안전과 관련된 활용은 엄격 규제

규제법은 AI 시스템을 위험 수준에 따라 최소위험(minimal risk), 제한된 위험(limited risk), 고위험(high risk), 수용불가(unacceptable risk) 등 4단계로 분류하고, 단계별로 다른 강제 규칙을 적용하고 있다. 이는 새로운 규제 법안 도입으로 인해 발생할 의무 준수 비용을 최소화하는 것은 물론, 불필요한 비용 상승을 방지하기 위함이다. 위험 수준은 AI 시스템의 의도된 사용목적, 사용정도, 건강·안전·기본권에 미치는 영향, 피해의 강도 및 범위, 피해복원 가능성 정도 등을 고려해 평가한다.

먼저 기본권 침해 등 EU 가치에 위배되는, ‘수용불가 위험’을 유발하는 AI 활용 행위는 원칙적으로 금지된다. 구체적으로 인간을 무의식적으로 조종하는 등 잠재의식에 영향을 미치는 기술을 통해 사람의 행동을 왜곡·조작하는 행위나, 나이 및 장애에 기반한 특정 그룹의 취약성을 악용하는 행위 등이다. 아울러 공공기관이 개인 또는 집단에 불리하게 작용할 수 있는 사회 신용평가 시스템을 이용하지 못하도록 금지한다. 단, 법 집행을 목적으로 한 공개된 장소에서의 ‘실시간 원격 생체인식 시스템’ 사용은 범죄 수사 등 제한적인 범위 내에서 엄격한 요건 하에 예외적으로 허용된다.

다음 위험 단계인 ‘고위험’으로 분류된 AI 시스템 활용 행위는 법의 엄격한 규제를 적용받는다. 고위험 범주는 크게 두 가지로 구분된다. 첫째, 제품의 안전과 관련된 활용 규제다. 만일 AI 시스템이 완구, 레저기구, 승강기, 폭발물, 차량, 고압기구, 철도 등의 안전 부품으로 활용될 경우 이를 규제한다는 게 골자다. 이에 따라 고위험 AI 공급자는 제품 및 서비스 출시 전에 적합성 평가를 받아야 한다는 조항도 명시했다. 적합성 평가는 AI 시스템이 법률 요구사항을 지켰다는 것을 입증하는 것으로, 평가를 통과하면 유럽인증(CE) 마크를 부착할 수 있다.

두 번째 범주는 원격 생체(안면)인식, 고용, 법집행 등 개인의 기본권에 중대한 위험을 초래할 수 있는 행위다. 구체적으로 △근로자 관리 및 고용에 대한 접근 △민간 및 공공 서비스 혜택에 대한 접근(일반인에 대한 신용 평가 포함) △사법 집행 △이민·망명·국경 관리 △사법·민주적 절차에 인공지능 활용되는 경우 등이다. 대부분 몇 년간 인공지능 활용의 위험성에 대해 지속적으로 문제 제기가 있었던 분야다. 고위험 AI 중에서도 대테러 및 범죄 수사 등 용도로 쓰이는 생체 인식 시스템이나 공공 인프라용 AI 도구는 지정된 제3의 인증기관에서 적합성 평가를 받도록 강제했다. 특히 원격 생체인식에 관련된 엄격한 수위 제한은 중국이 공공장소 생체인식 시스템을 무분별하게 활용한 것에 대한 영향으로 풀이된다.

AI 활용 사실에 대한 투명성 의무화

다음은 ‘제한적 위험’이다. 해당 단계에서는 인공지능이 활용됐다는 사실을 고지해야 한다는 투명성 의무를 적용을 받는다. 제한적 위험으로 분류된 사례는 인공지능이 자연인과 상호작용하는 경우, 감성인지 시스템 또는 생체인식을 통한 분류 시스템, 인공지능에 의한 콘텐츠 생성 또는 조작(딥페이크) 등이 있다. 즉 챗GPT나 미드저니와 같은 생성형 AI의 프로그램이 작동할 때 저작권물을 활용했다면 내용과 출처를 고지해야 한다는 의미다. 예를 들면 AI로 작성한 문서에는 ‘AI로 작성(made with AI)’ 문구가 자동으로 삽입되고, AI가 만든 이미지에는 ‘이것은 진짜 사진(그림)이 아니다’라는 라벨이 의무적으로 붙는 방식이다.

또 LLM과 같은 ‘기초 모델’ 개발자는 모델을 공개하기 전에 안전 점검, 데이터 거버넌스 조치 및 위험을 완화하도록 의무화했다. 이를 두고 일부 유럽의회 의원들은 생성형 AI의 학습 훈련에 저작권물을 아예 사용하지 못하게 금지해야 한다는 의견을 냈으나, 관련 정보를 투명하게 공개하는 것으로 합의됐다.

마지막으로 ‘최소 위험’은 AI 시스템에 대해 강제적으로 적용되는 의무 및 규제 사항은 없으며, 단지 사업자의 자발적 준수를 위한 행동강령 수립을 권장하고 있다. 특히 △환경을 위한 지속 가능성 △장애를 가진 사람들에 대한 접근권 △AI 시스템의 설계/개발 시 이해관계자들의 참여 △개발팀의 다양성 보장을 위한 자발적 노력 등이 권장된다. 이는 EU 차원의 엄격한 규제로 인해 자칫 AI 산업이 위축될 수 있다는 비판을 의식한 결과다. 실제로 EU 집행위원회는 “대부분의 인공지능은 최소 위험에 속한다”며 “따라서 인공지능에 대해 추가적 규제 의무를 부담하는 사례는 많지 않을 것”이라고 설명했다.

한편 EU의 AI 규제법은 동종 최초의 법으로, GDPR(General Data Protection Regulation), DSA(Digital Services Act), DMA(Digital Markets Act)와 같은 EU의 기존 규칙에 크게 의존하고 있다. 유럽의회 소비자보호위의 선임 법률책임자 프레데리코 올리베이라 다 실바는 “불과 몇 개월 전 출시된 챗GPT가 많은 문제점을 드러냈다”며 “법안이 수년 동안 발효되지 않으면 무슨 일이 일어날지 모른다. 우리가 EU당국에 관심을 촉구하는 이유”라고 말했다.