검색증강기술, LLM 단점 ‘할루시네이션’ 제거할 수 있을까

주요 AI 업체들, RAG 기술 'B2B 서비스'에 도입
 LLM이 답변 생성 전 외부 학습 소스 참조해 정확도 제고
LLM이 가지고 있는 기존 문제점 극복 목적이지만 한계 분명

대규모언어모델(LLM·Large Language Model)의 치명적인 단점인 ‘환각(Hallucination)’을 보완하기 위한 방법으로 ‘검색증강생성(RAG·Retrieval Augmented Generation)’ 기술이 주목받고 있다. LLM은 학습 데이터를 기반으로 답변을 생성하기 때문에, 이용자가 한 질문이 학습되지 않은 내용이라면 기존에 보유한 데이터 중 가장 확률이 높은 정보를 조합해 답변을 생성한다. 이 과정에서 허위 정보나 오래된 정보를 사실인 것처럼 제공해 환각 현상이 발생할 있는데 RAG는 특정 도메인이나 조직의 내부 데이터까지 활용할 수 있도록 해 기존보다는 정확한 답변을 내놓을 수 있다.

RAG, LLM에 기존 정보 검색 시스템 결합

21일 IT(정보통신) 업계에 따르면 최근 국내외 주요 AI 업체들은 RAG 기술을 자사 기업 간 거래(B2B) 서비스에 도입하고 있다. LLM에 기존 정보 검색 시스템을 결합해 LLM이 가지고 있는 한계를 극복하고 생성된 텍스트의 정확도와 신뢰도를 개선하고자 하는 것이다. AI 기반 보안 운영·분석 플랫폼 기업 이글루코퍼레이션은 RAG의 작동 방식으로 외부 데이터 생성, 관련 정보 검색, LLM 프롬프트 확장, 외부 데이터 업데이트 등 네 가지 단계를 언급했다. 우선 API(프로그램 간 소통을 도와주는 도구들을 모아놓은 것), 데이터베이스, 문서 등의 다양한 데이터 소스에서 원하는 데이터를 가져온다.

데이터는 파일, 데이터베이스 레코드, 텍스트 등 여러 형식이 가능하다. LLM이 이해할 수 있도록 데이터를 변환한 뒤 변환된 데이터를 데이터베이스에 저장해 LLM이 이해할 수 있는 지식 라이브러리를 생성한다. 사용자가 프롬프트를 입력하면 관련된 정보를 데이터베이스에서 검색해서 가져오고, 검색된 데이터를 컨텍스트(Context)에 추가해 사용자 프롬프트를 보강한다. 이를 LLM에 전달하면 LLM이 검색된 데이터를 활용해 답변을 생성하는 것이다.

검색과 생성을 결합하는 것은 물론 최신 데이터를 유지하기 위해 주기적으로 업데이트하는 것이 RAG의 장점으로 꼽힌다. LLM이 학습되면 더 이상 업데이트가 없는 정적인 상태가 되는데 이때 RAG를 통해 새롭게 업데이트되는 정보나 데이터를 이용해 답변의 정확도를 높이는 것이다. 예컨대 챗GPT 초기에는 2021년까지 데이터만 학습하다 보니 이후에 발생한 내용에 대해서는 모르거나 잘못된 정보를 제공하곤 했으나 RAG는 최신 정보를 검색해 정확한 답을 내놓는다.

LLM은 확률론적 앵무새

다만 RAG는 환각을 줄일 수 있지만, 완벽하게 제거하지는 못하는 것으로 알려졌다. RAG는 LLM을 ‘효과적으로 사용하는 기술’이기 때문에 LLM을 사용하는 한 환각 현상에서 자유롭지 못하다는 지적이다. 실제로 LLM은 다음에 올 단어를 확률적으로 추측해 맞추는 기술로, 근본적인 알고리즘을 변경하지 않는 이상 환각 현상을 해결할 순 없다.

‘확률론적 앵무새론’도 같은 맥락이다. 팀닛 게브루(Timnit Gebru), 마가렛 미첼(Margaret Mitchel) 등 구글 전 윤리워원들과 에밀리 벤더(Emily Bender) 워싱턴대학교 교수, 안젤리나 맥밀런-메이저(Angelina McMillan-Major) 전산언어학 박사 등이 지난 2021년 발표한 연구 논문 ‘확률론적 앵무새의 위험’에 따르면 “AI는 방대한 훈련 데이터에서 관찰한 언어 형식의 시퀀스(구조)를 우연히 꿰맞출 뿐, 의미를 되새길 필요가 없는 확률론적 앵무새(Stochastic Parrots)에 불과하다”고 분석했다.

연구진은 자연언어 처리 역시 자연언어 이해와는 거리가 멀다고 주장했다. 챗GPT가 인터넷에 널려 있는 방대한 단어를 ‘처리(processing)’해 점점 더 세련된 언어 실력을 뽐내지만 자신이 무엇을 하고 있는지 ‘이해’하지 못한다는 것이다. 생성형 AI가 더욱 고도화하면서 무엇이 진실인지도 모르고 진실을 말하는 것처럼 보이는 능력이 커지는 ‘매우 정교한 거짓말쟁이’로 탈바꿈해 신뢰성을 훼손한다는 점도 우려 사항으로 지목했다.

AI 환각은 일각일 뿐, LLM의 10가지 취약점

LLM이 가진 취약점은 환각만이 아니다. 국제 웹 보안 분야의 비영리 재단 OWASP(The Open Web Application Security Project)이 최근 발표한 LLM 애플리케이션의 가장 치명적인 취약점 10가지를 살펴보면 첫 번째는 문제는 ‘프롬프트 주입(Prompt Injection)’이다. 이는 악의적인 프롬프트(질문)를 입력해 LLM이 본래 정책이나 가이드라인에 구애받지 않고 공격자 의도대로 작동하도록 하는 방식이다. 두 번째는 ‘불완전한 출력 처리(Insecure Output Handling)’다. LLM에서 생성된 출력이 검증 없이 다른 시스템으로 전달될 경우, 원격 코드 실행 등의 위협이 발생할 수 있다.

세 번째는 ‘학습 데이터 중독(Training Data Poisoning)’이다. 이는 사전 학습 데이터를 조작해 모델의 보안성과 효율성을 손상시키는 것으로 이를 통해 사용자가 오염된 정보에 노출되거나 시스템 성능 저하를 초래할 수 있다. 네 번째는 ‘모델 서비스 거부(Model Denial of Service)’로, 공격자가 대량의 리소스를 소모시켜 다른 사용자의 서비스 품질을 저하시키고 높은 리소스 비용을 발생시킬 수 있다.

다섯 번째는 ‘공급망 취약점(Supply Chain Vulnerabilities)’으로 체계적인 방식이나 도구 없이는 LLM 공급망을 관리하기 어려워 소프트웨어 공급망 취약점과 유사한 위협이 발생할 수 있는 것으로 분석된다. 여섯 번째는 ‘민감 정보 노출(Sensitive Information Disclosure)’이다. LLM의 답변을 통해 민감한 정보가 노출되고, 이로 인해 개인정보 침해나 지적재산의 무단 액세스가 발생할 수 있다.

일곱 번째는 ‘불완전 플러그인 설계(Insecure Plugin Design)’다. LLM 플러그인은 사용자가 다른 앱 사용 중 자동으로 호출되는 확장 기능으로, 모델이 다른 플랫폼에서 제공될 때 앱 실행을 제어할 수 없어 원격코드 실행 등 위협이 발생할 가능성이 크다. 여덟 번째는 ‘과도한 에이전시(Excessive Agency)’다. 기능 호출 권한을 가진 에이전트가 LLM의 출력에 대응해 해로운 작업을 수행할 수 있다.

아홉 번째는 ‘과도한 의존(Overreliance)’으로, 이는 LLM의 환각 현상을 유발한다. 오해의 소지가 있거나 부정확한 정보의 확산, 의사 결정 과정에서 사람이 제시하는 의견 감소, 비판적 사고의 축소 등으로 이어질 수 있다는 분석이다. 마지막 열 번째는 ‘모델 도난(Model Theft)’이다. 공격자가 해킹을 통해 LLM 모델에 무단으로 접근하거나 모델이 유출될 수 있는 위험을 안고 있다. 이 밖에도 모델의 정보가 최신이 아니거나, 편향된 데이터를 학습해 차별적인 답을 할 수도 있다. 구글의 생성형 AI 제미나이에 추가된 이미지 생성 기능이 아인슈타인을 흑인으로 그리는 등 오류를 일으킨 것이 대표적이다.