그럴듯한 거짓말을 하는 AI 2023년, 미국 뉴욕 남부 연방지방법원(Southern District of New York)에서 한 변호사가 챗GPT를 활용해 작성한 문서를 법원에 제출했다가 징계를 받는 사건이 발생했다. 문제는 문서에 인용된 6건의 판례가 실제로는 존재하지 않는 AI가 만든 가짜였다는 점이다. 이 사건은 생성형 AI가 가진 환각(hallucination) 문제, 즉 존재하지 않는 정보를 진짜처럼 생성하는 현상의 위험성을 드러낸 대표 사례로 기록되었다. 오늘날 AI는 단순한 생산성을 넘어서, 기업의 의사결정, 정책 전달, 사회적 신뢰에까지 영향을 미치고 있다. 그렇다면 우리는 질문해야 한다. 정확한 AI는 실현 가능한가? 혹은 어떻게 하면 더 신뢰할 수 있는 AI를 만들 수 있을까?
기술이 아닌 구조의 문제 생성형 AI는 인간처럼 ‘이해’하거나 ‘판단’하는 것이 아니라, 방대한 텍스트 데이터를 기반으로 문맥상 가장 자연스러운 단어를 확률적으로 예측하는 방식으로 작동한다. 예를 들어, 사용자가 “삼성전자의 2024년 반도체 매출은 얼마야?”라고 질문했을 때, AI가 실제로 존재하지 않는 수치를 제시하며 “50조 원이며, Financial Times 2025년 3월호에 보도되었습니다”라고 답변하는 경우가 있다. 실제 기사도 없고 수치도 허구지만, 표현은 매우 그럴듯하다. 이처럼 생성형 AI는 답을 ‘지어내는’ 경향이 있으며, 이는 단순한 기술 오류가 아니라 AI 작동 방식에 내재된 구조적 한계다. 문제는 이러한 정보들이 너무도 자연스럽게 제시되기 때문에, 사용자가 사실과 거짓을 쉽게 구분하지 못하게 만든다는 점이다. 그 결과, AI에 대한 신뢰의 기반 자체가 흔들리게 된다.
다양한 분야에서 나타나는 AI 환각 사례 AI 환각은 특정 산업만의 문제가 아니다. 법률, 의료, 공공육 등 전방위적으로 확산되고 있다. 아래 표는 실제 사례를 요약한 것이다. 분야 | 사례 | 환각의 결과 및 영향 | 법률 | 챗GPT가 생성한 존재하지 않는 판례 6건을 법원 문서에 인용 (Mata v. Avianca 사건, 뉴욕 남부 연방법원) | 변호사 징계, $5,000 벌금, AI 활용의 윤리·법적 책임 논란 | 의료 | OpenAI의 음성 전사 도구 Whisper가 환자와 의사의 대화 중 존재하지 않는 내용을 작성 | 병원 기록 왜곡, 환자 안정성 우려, 병원 내부 사용 재검토 | 공공행정 | 미국 보건정책 보고서(MAHA 보고서)에 AI가 생성한 존재하지 않는 논문·연구 다수 인용 | 보건 정책 신뢰성 저하, 보고서 철회 압박, AI 사용 지침 논의 |
AI가 똑똑해져도, 거짓은 사라지지 않는다 환각 문제를 줄이기 위해 일부 기업과 개발자들은 외부 정보를 실시간으로 검색해 답변을 보강하는 기술을 활용하고 있다. 대표적으로 RAG(Retrieval-Augmented Generation) 방식은 신뢰할 수 있는 데이터베이스나 문서에서 정보를 검색해, 그 결과를 바탕으로 더 정확한 응답을 생성하는 구조다. Microsoft Copilot이나 ChatGPT의 웹 브라우징 기능도 이러한 검색 기반 방식을 적용해, 최신 정보나 외부 지식을 반영하는 응답을 제공하고 있다. 또한 출처를 표시하거나, 사람이 검토(Human-in-the-loop)하는 구조 역시 신뢰 확보를 위한 중요한 방식이다. 하지만, 이 모든 기술적 해법에도 불구하고, 가장 중요한 것은 AI 결과를 비판적으로 해석할 수 있는 사용자와 조직의 태도다.
가짜 정보에 휘둘리지 않기 위한 사회적 안전장치 AI 환각이 실제 삶에 미치는 영향이 커지면서, 단순한 기술 문제가 아닌 사회적 통제와 정책의 대상이 되고 있다. 유럽연합(EU)은 ‘AI 법안(AI Act)’을 통해 생성형 AI가 생성한 콘텐츠에 대해 투명성, 설명 책임, 오류 가능성 표시를 의무화하려 하고 있다. 국내에서도 AI 기반 서비스의 신뢰성과 안전성 확보를 위한 법적 논의가 활발히 진행 중이다. 조직 내부에서도 변화가 필요하다. 단순히 AI 도입을 넘어, AI 결과에 대한 검증 체계, 정보 활용 가이드라인, 사용자 교육이 함께 마련되어야 한다.
정확성보다 ‘검증 가능성’이 중요하다 AI 환각은 지금도 곳곳에서 발생하고 있으며, 앞으로 더욱 복잡하고 교묘해질 가능성이 높다. 완전히 오류 없는 AI를 만드는 것은 쉽지 않지만, 우리는 검증 가능한 AI, 그리고 검증할 줄 아는 사용자를 통해 문제를 관리할 수 있다. 정확한 AI를 만드는 것보다 중요한 건, 잘못된 정보를 걸러낼 수 있는 조직과 사회의 역량이다. 이제는 AI를 단순히 ‘스마트한 도구’로 바라볼 것이 아니라, 신뢰를 설계해야 할 파트너로 다뤄야 할 때다.
|
그럴듯한 거짓말을 하는 AI
2023년, 미국 뉴욕 남부 연방지방법원(Southern District of New York)에서 한 변호사가 챗GPT를 활용해 작성한 문서를 법원에 제출했다가 징계를 받는 사건이 발생했다. 문제는 문서에 인용된 6건의 판례가 실제로는 존재하지 않는 AI가 만든 가짜였다는 점이다. 이 사건은 생성형 AI가 가진 환각(hallucination) 문제, 즉 존재하지 않는 정보를 진짜처럼 생성하는 현상의 위험성을 드러낸 대표 사례로 기록되었다.
오늘날 AI는 단순한 생산성을 넘어서, 기업의 의사결정, 정책 전달, 사회적 신뢰에까지 영향을 미치고 있다. 그렇다면 우리는 질문해야 한다. 정확한 AI는 실현 가능한가? 혹은 어떻게 하면 더 신뢰할 수 있는 AI를 만들 수 있을까?
기술이 아닌 구조의 문제
생성형 AI는 인간처럼 ‘이해’하거나 ‘판단’하는 것이 아니라, 방대한 텍스트 데이터를 기반으로 문맥상 가장 자연스러운 단어를 확률적으로 예측하는 방식으로 작동한다.
예를 들어, 사용자가 “삼성전자의 2024년 반도체 매출은 얼마야?”라고 질문했을 때, AI가 실제로 존재하지 않는 수치를 제시하며 “50조 원이며, Financial Times 2025년 3월호에 보도되었습니다”라고 답변하는 경우가 있다. 실제 기사도 없고 수치도 허구지만, 표현은 매우 그럴듯하다.
이처럼 생성형 AI는 답을 ‘지어내는’ 경향이 있으며, 이는 단순한 기술 오류가 아니라 AI 작동 방식에 내재된 구조적 한계다. 문제는 이러한 정보들이 너무도 자연스럽게 제시되기 때문에, 사용자가 사실과 거짓을 쉽게 구분하지 못하게 만든다는 점이다. 그 결과, AI에 대한 신뢰의 기반 자체가 흔들리게 된다.
다양한 분야에서 나타나는 AI 환각 사례
AI 환각은 특정 산업만의 문제가 아니다. 법률, 의료, 공공육 등 전방위적으로 확산되고 있다. 아래 표는 실제 사례를 요약한 것이다.
챗GPT가 생성한 존재하지 않는 판례 6건을 법원 문서에 인용 (Mata v. Avianca 사건, 뉴욕 남부 연방법원)
변호사 징계, $5,000 벌금, AI 활용의 윤리·법적 책임 논란
OpenAI의 음성 전사 도구 Whisper가 환자와 의사의 대화 중 존재하지 않는 내용을 작성
미국 보건정책 보고서(MAHA 보고서)에 AI가 생성한 존재하지 않는 논문·연구 다수 인용
보건 정책 신뢰성 저하, 보고서 철회 압박, AI 사용 지침 논의
AI가 똑똑해져도, 거짓은 사라지지 않는다
환각 문제를 줄이기 위해 일부 기업과 개발자들은 외부 정보를 실시간으로 검색해 답변을 보강하는 기술을 활용하고 있다. 대표적으로 RAG(Retrieval-Augmented Generation) 방식은 신뢰할 수 있는 데이터베이스나 문서에서 정보를 검색해, 그 결과를 바탕으로 더 정확한 응답을 생성하는 구조다.
Microsoft Copilot이나 ChatGPT의 웹 브라우징 기능도 이러한 검색 기반 방식을 적용해, 최신 정보나 외부 지식을 반영하는 응답을 제공하고 있다. 또한 출처를 표시하거나, 사람이 검토(Human-in-the-loop)하는 구조 역시 신뢰 확보를 위한 중요한 방식이다.
하지만, 이 모든 기술적 해법에도 불구하고, 가장 중요한 것은 AI 결과를 비판적으로 해석할 수 있는 사용자와 조직의 태도다.
가짜 정보에 휘둘리지 않기 위한 사회적 안전장치
AI 환각이 실제 삶에 미치는 영향이 커지면서, 단순한 기술 문제가 아닌 사회적 통제와 정책의 대상이 되고 있다.
유럽연합(EU)은 ‘AI 법안(AI Act)’을 통해 생성형 AI가 생성한 콘텐츠에 대해 투명성, 설명 책임, 오류 가능성 표시를 의무화하려 하고 있다. 국내에서도 AI 기반 서비스의 신뢰성과 안전성 확보를 위한 법적 논의가 활발히 진행 중이다.
조직 내부에서도 변화가 필요하다. 단순히 AI 도입을 넘어, AI 결과에 대한 검증 체계, 정보 활용 가이드라인, 사용자 교육이 함께 마련되어야 한다.
정확성보다 ‘검증 가능성’이 중요하다
AI 환각은 지금도 곳곳에서 발생하고 있으며, 앞으로 더욱 복잡하고 교묘해질 가능성이 높다. 완전히 오류 없는 AI를 만드는 것은 쉽지 않지만, 우리는 검증 가능한 AI, 그리고 검증할 줄 아는 사용자를 통해 문제를 관리할 수 있다.
정확한 AI를 만드는 것보다 중요한 건, 잘못된 정보를 걸러낼 수 있는 조직과 사회의 역량이다.
이제는 AI를 단순히 ‘스마트한 도구’로 바라볼 것이 아니라, 신뢰를 설계해야 할 파트너로 다뤄야 할 때다.