거짓말 하는 AI(환각증상)에 대하여...

AI

요즘 들어 AI를 쓰는 일이 잦아지면서, 이전에는 몰랐던 문제 하나가 점점 크게 다가옵니다.

바로 “아는 척하는 AI”, 이른바 환각(hallucination) 현상입니다.

한마디로, AI가 마치 진짜 사실인 것처럼 틀린 정보를 말하는 상황을 말합니다.

처음엔 AI가 정말 똑똑한 비서이고 선생님이고 조언을 주는 고마운 존재라고 인식되었지만,,,,,

어느 순간 아닌거 같은데?...내가 잘 못 알고 있나?.. 이런 생각을 하게 되고,,, “설마” 했는데,

이걸 실제로 경험해보니 제가 믿었던 그 AI를 다시 생각해 보게 되었습니다. 

최근 뉴스에서 한 노무법인이 AI를 통해 작성한 판례 인용 답변서를 제출했다가, 존재하지도 않는 판례를 언급한 사실이 드러나

논란이 된 사건이 있었습니다.

실제로 그런 사례가 반복되다 보니, 법률계 내부에서도 AI 도입에 신중한 목소리가 커지고 있다고 합니다.

이 사례를 보면서 저는 “아, 이건 남의 일이 아니라, 누구나 겪을 수 있는 위험이구나” 하고 느꼈습니다.

‘모르는 걸 안다고 말하는’ AI, 그게 가장 위험하다

저도 GPT를 업무에 자주 활용합니다.

특히 자료 요약이나 아이디어 정리처럼 시간이 오래 걸리는 작업을 맡길 때 큰 도움이 되는데요,

문제는 사실을 확인하지 않은 채 신뢰하고 그대로 보고서에 반영했을 때 발생합니다.

예전에 한 번, 산업안전 관련 법규를 GPT에게 요약해달라고 했는데,

조목조목 그럴듯하게 설명을 하길래 아무 의심 없이 정리해 뒀습니다. 그런데 이상하게 뭔가 애매해서 직접 법률 고시를 확인해

보니, 내용이 일부 잘못된 요약이었습니다. 출처도 없고, 관련 조항 번호도 틀렸더군요.

그 이후부터는 저는 프롬프트에 꼭 이렇게 씁니다.
“사실에 기반해서 답변하고, 모르는 것은 모른다고 하고, 근거를 명시해줘.”
이 간단한 문장을 쓰는 것만으로도 AI가 무책임하게 상상하는 걸 어느 정도 줄일 수 있다는 걸 체감했습니다.

환각(Hallucination), 단순 오류가 아니다

AI의 ‘환각’ 현상은 단순한 기술적 미흡이 아니라, 딥러닝 언어모델의 구조적인 한계에서 비롯됩니다.

GPT나 Claude, Gemini 같은 모델들은 본질적으로 확률적 예측에 따라 문장을 생성합니다.

즉, “이 문장 뒤에는 어떤 단어가 올 가능성이 높을까”를 계산하는 방식이죠. 그러다 보니, 마치 지식이 있는 것처럼 보이지만, 실제로는 그럴싸한 거짓말이 섞일 수 있는 구조입니다.

특히 정답이 명확히 정해져 있는 법률, 의학, 기술 분야에서는 이 문제가 더 크게 다가옵니다.

2024년 말에 국내 언론사에서도 GPT의 환각 문제를 다룬 특집 기사가 있었는데요,

실제 사례들을 수집한 결과 사용자의 신뢰가 높을수록 잘못된 정보도 쉽게 받아들인다는 경향이 나타났다고 합니다.
(한겨레신문, 2024년 11월 “AI의 환각, 어디까지 믿어야 하나?”)

이런 점을 감안할 때, 우리는 AI의 능력을 신뢰하되 그 한계를 반드시 인식하고 있어야 합니다.

결국, AI를 ‘지혜롭게 쓰는 능력’이 중요하다

지금도 많은 사람들이 AI를 업무에 활용하고 있습니다.

저처럼 기획 업무를 하는 사람뿐 아니라, 개발자, 마케터, 심지어 인사팀까지도 AI 도구를 써서 작업 효율을 높이고 있습니다.

하지만 그 편리함에만 의존하다 보면, 중요한 건 놓치기 쉽습니다.
“AI는 도구일 뿐이지, 판단은 사람이 한다.”
이 단순한 원칙을 잊지 않는 것이, 아는 척하는 AI로부터 자신을 지키는 첫걸음이 아닐까 싶습니다.

학교에서 레포트를 쓸 때도, 연구 논문을 준비할 때도, 심지어 일상 대화 속에서조차 “이게 진짜일까?” 하고 한 번 더 점검하는 습관이 필요합니다.

AI가 전해주는 정보에 ‘근거’를 요구하고, ‘출처’를 확인하는 자세는 앞으로 AI 시대를 살아가는 우리 모두에게 반드시 필요한 역량이 될 것입니다.

 AI는 ‘정답 기계’가 아니다

아는 척하는 AI, 환각 증상. 이제 이 단어들은 우리 일상에서도 익숙한 개념이 되어가고 있습니다.

그렇다고 AI를 무조건 불신하거나, 사용하지 말아야 한다고 생각하진 않습니다.

오히려 저는 더 똑똑하게, 더 경계심을 갖고 활용해야 한다고 믿습니다.

정보를 그대로 믿지 말고, 질문을 던지며, 확인하며, 때로는 AI의 답을 거부할 줄도 아는 것. 그게 앞으로의 시대를 살아갈 우리에게 필요한 ‘AI 리터러시’가 아닐까요.

그리고 저처럼 AI를 쓰며 실수도 해보고,

시행착오를 겪어본 사람들이 이런 경험을 공유함으로써, 다른 이들의 실수를 줄일 수 있다면 그 또한 AI와 함께 일하는 시대에 꼭 필요한 협업 방식이 될 것 같습니다.

AI를 알아야 AI를 사용할 수 있습니다. 

예전, 로봇에게 지배당하는 영화 많이들 보셨죠? 매트릭스도 그중 하나였죠,

내가 누구고, 내가 AI를 어떻게 사용해야 하는지? 알아야, 배워야 지배당하지 않고 사용할 수 있을 것 입니다.

오늘도 누군가에게 이 글이 도움이 되길 바라면서...

감사합니다.