[넥스트아카이브] 인공지능의 환각 현상을 줄이는 법 (005호)

대규모 언어 모델의 작동 원리를 알면 인공지능의 환각 현상을 줄이고 신뢰성 있게 활용할 수 있습니다.

2025. 7. 8.

잘 안보이시나요?

005호 · 2025.05.12

인공지능이 틀릴 때, 우리는 더 똑똑해져야 한다.

※ 본 콘텐츠는 2025년 5월 12일 발행된 005호의 업데이트 버전입니다.

(초기 발행본은 비공개 처리되었으며, 내용의 정확성과 표현을 개선했습니다.)

1. 인공지능의 환각 현상, 왜 발생하는가?

최근 몇 년 사이, 생성형 AI 기술은 눈부신 발전을 이뤘습니다. 특히 대규모 언어 모델(Large Language Model, LLM) 기반의 대화형 AI는 사람처럼 자연스럽고 논리적인 문장을 생성하며, 일상적인 질문은 물론 복잡한 주제에 대해서도 능숙하게 답변할 수 있는 수준에 이르렀습니다.

그러나 이러한 모델들이 항상 '정답'만을 제공하는 것은 아닙니다. 오히려 실제로 존재하지 않는 정보를 그럴듯하게, 심지어 확신에 찬 어조로 전달하는 경우도 적지 않습니다. 이러한 현상을 '환각(Hallucination)'이라고 하며, 생성형 AI의 대표적인 한계 중 하나로 지적되고 있습니다.

LLM은 인간처럼 의미를 이해하거나 판단하지 않습니다. 이들은 방대한 양의 텍스트 데이터를 기반으로, 주어진 문맥에서 가장 가능성 높은 다음 단어나 문장을 예측하는 방식으로 작동합니다. 따라서 "잘 모른다"고 말하기보다는, 존재하지 않는 정보나 왜곡된 내용을 마치 사실처럼 만들어내는 일이 발생할 수 있습니다.

우리가 사용하는 ChatGPT, Claude 등은 모두 이러한 LLM 기술을 기반으로 합니다. 이 모델들은 인터넷 상의 방대한 텍스트 데이터를 학습하여 문맥을 이해하고 자연스러운 문장을 생성할 수 있게 됩니다. 이 과정에서 수천억 개에 이르는 파라미터(Parameter)를 학습하게 되는데, 이는 AI가 언어의 패턴을 통계적으로 일반화한 수치적 표현이라고 볼 수 있습니다. 파라미터가 많을수록 모델은 더 복잡한 문장 구조를 다루고 정교한 응답을 생성할 수 있습니다.

하지만 중요한 한계가 존재합니다. 대부분의 LLM은 특정 시점까지 학습된 데이터만을 기반으로 응답을 생성합니다. 예를 들어, 2024년까지 학습된 모델은 2025년의 새로운 정책이나 사회적 변화에 대한 정보를 알지 못합니다. 게다가, LLM은 학습 당시의 문서를 '기억'하는 것이 아니라, 해당 문서들로부터 일반화된 언어 패턴만을 내재화하고 있을 뿐입니다.

이러한 구조적 제약과 확률 기반의 응답 생성 방식이 결합되면, 존재하지 않는 논문, 잘못된 수치, 왜곡된 맥락 등이 만들어지는 '환각' 현상이 발생할 수 있습니다. 이 문제는 단순한 기술적 오류라기보다는, 생성형 AI의 작동 원리에서 비롯된 내재된 특성이라는 점에서 더욱 주의 깊게 다뤄야 합니다.

2. LLM의 작동 방식과 지식의 한계

LLM이 어떻게 응답을 생성하는지 이해하면, 그 한계를 분별하고 보다 신중하게 활용하는 기준을 세울 수 있습니다.

특히 LLM이 정보를 다루는 구조는 크게 두 가지로 구분됩니다.

첫째는 '내부 지식 기반 응답 구조'입니다. 이는 사전에 학습된 데이터만을 바탕으로 모델이 응답을 생성하는 방식입니다. 예를 들어 "GPT란 무엇인가요?"라는 질문에 대해, 모델은 자신이 학습한 정보에서 관련된 언어 패턴을 바탕으로 가장 적절하고 자연스러운 문장을 생성합니다. 이 구조는 빠르고 일관된 응답을 제공할 수 있다는 장점이 있지만, 최신 정보나 사용자의 상황에 맞는 세부적인 맥락을 반영하는 데는 한계가 있습니다.

둘째는 '외부 정보 참조형 응답 구조'입니다. 이 방식은 모델이 사전 학습된 지식 외에도 사용자가 제공한 문서(PDF, CSV, 마크다운 등)나 웹 검색을 통해 실시간으로 확보한 정보를 바탕으로 응답을 생성합니다. 이러한 기능은 Perplexity AI나 ChatGPT의 '검색' 또는 '딥 리서치' 기능을 통해 구현됩니다. Claude 3.7, GPT-4o 같은 최신 모델은 상황에 따라 자동으로 외부 정보 참조 기능을 활용하기도 합니다.

이러한 응답 방식은 '검색 증강 생성(Retrieval-Augmented Generation, RAG)'이라는 개념과 연결됩니다. RAG는 모델이 기존 학습 데이터에만 의존하지 않고, 외부 정보원을 참조함으로써 보다 정확하고 최신의 응답을 생성하도록 돕는 구조입니다. 문서 분석, 웹 검색 결과 반영 등은 모두 RAG의 실천적 구현 방식입니다.

내부 지식 기반과 외부 정보 참조형 구조는 현재 융합되는 추세에 있지만, 이 둘을 명확히 구분해 이해하는 것은 효과적인 활용을 위해 매우 중요합니다. 예컨대, 특정 문서 분석이나 최신 정보 탐색이 필요한 경우에는 관련 자료를 명시적으로 제공하거나 질문의 맥락을 구체화하는 것이 유리합니다.

결국 LLM이 얼마나 신뢰할 수 있는 응답을 생성하는지는 모델 자체의 성능만이 아니라, 제공되는 정보 환경에 달려 있습니다. 사전 지식에만 의존하는 경우에는 불완전한 응답이 생성될 가능성이 높지만, 충분한 정보와 맥락이 제공되면 보다 정확하고 신뢰할 수 있는 결과를 얻을 수 있습니다.

따라서 LLM을 효과적으로 활용하려면 이러한 기술적 한계를 인정하면서도, 적절한 정보 제공과 맥락 설정을 통해 그 한계를 보완하는 전략적 접근이 필요합니다. 현재 기술로는 환각 현상을 완전히 제거할 수는 없지만, 올바른 사용법을 통해 충분히 유용한 도구로 활용할 수 있습니다.

3. 신뢰성을 높이는 프롬프트 설계 전략

생성형 AI를 효과적으로 활용하기 위해서는 앞서 여러 차례 소개했던

프롬프트를 구성할 때 참고할 수 있는 네 가지 구성 요소—

지시(Instruction), 맥락(Context), 사용자 입력(User’s Input), 출력 형식(Output Format)

를 고려한 설계가 중요합니다. '프롬프트 엔지니어링'이라는 전문 분야가 등장할 만큼 그 중요성은 아무리 강조해도 지나치지 않습니다.

실제 사례를 바탕으로 신뢰성을 높이는 프롬프트 예시를 살펴보겠습니다.

🎁 TIP

{{ }} 같은 플레이스홀더(Placeholder)와 ## 같은 마크다운(Markdown)을 사용하면, 구조화된 설계를 바탕으로 자료의 경계를 명확히 인식하고, 작업 범위를 오해 없이 처리할 수 있습니다. 이처럼 입력 문장들을 명확히 구분하고 배치하는 구조화된 설계는 특히 문서 기반 작업에서 큰 효과를 발휘합니다.

아래는 한국어 문장 교정 및 수정을 위한 프롬프트 예시입니다.

너는 한국어 글쓰기 및 편집 전문가야.
아래 글을 읽고 문장 교정을 수행해줘.
문장을 교정하되, 정보가 왜곡되거나 내용이 바뀌지 않도록 주의해줘.

{{글자를 뜻하는 ‘텍스트’와 개성 있고 쿨하다는 뜻을 가진 ‘힙’을 합성한 신조어로, 책을 읽는 스스로를 ‘멋지다’ 느끼며 SNS에 인증샷을 올리는 문화가 자리 잡았습니다. 따분하고 고리타분하게 느껴지던 활자 문화가, 젊은 세대에겐 오히려 신선하게 다가오는 덕분이죠. 텍스트힙 트렌드 내에서도 새 유행이 나타나는 중입니다. 읽기에서 쓰기로, 텍스트힙에서 ‘라이팅힙(Writing-hip)’으로의 이동이 2025년 트렌드 최전선에서 포착됩니다.}}

## 세부 지침
- 맞춤법과 띄어쓰기를 수정하고, 문맥이 더 자연스럽도록 다듬어줘.
- 원본 문장, 수정한 문장, 수정한 이유를 함께 제시해줘.

이와 같은 구조화된 프롬프트 설계는 환각 현상을 줄이는 데도 중요한 역할을 합니다. 여기에 더해, 프롬프트 기법 역시 환각 현상을 줄이는 데 중요한 역할을 합니다. 예를 들어, 프롬프트 체이닝(Prompt Chaining)과 같은 전략적 기법을 활용하면, 모델이 보다 구조적이고 논리적인 응답을 생성하도록 유도할 수 있습니다.

4. 검색 증강 생성(RAG), 외부 정보를 활용한 정확도 향상 전략

생성형 AI는 기본적으로 사전에 학습된 데이터만을 바탕으로 답변을 생성하는 데, 최신 정보나 특정 문서 기반 작업에는 한계가 있습니다. 이러한 한계를 보완하기 위한 접근 방식 중 하나가, 흔히 검색 증강 생성(RAG)이라 불리는 구조입니다.

엄밀히 말하면 이 용어는 보다 전문적인 기술 영역에서 자주 사용되지만, 더 넓은 관점에서 보면 사용자가 문서를 제공하거나, AI가 실시간 웹 검색을 통해 정보를 수집하고 이를 바탕으로 답변하도록 지시하는 방식 전체가 이 개념에 포함된다고 볼 수 있습니다. 즉, 우리가 흔히 수행하는 문서 기반 요약 요청, 실시간 트렌드 정리 등도 외부 정보를 활용한 응답 구조로서 동일한 원리를 따릅니다.

아래는 실시간 정보 기반의 개념 정리를 위한 프롬프트 예시입니다.

(실시간 트렌드나 개념 설명이 필요한 경우, 웹 검색 기능을 활용해 신뢰할 수 있는 최신 정보에 기반한 응답을 생성할 수 있습니다.)

너는 디지털 트렌드 큐레이터야.

‘밈(Meme)’이라는 용어의 의미를 검색해서 간단히 설명해줘.
직접적인 인용 위주로 정리하고, 문서에 없는 내용을 추측하거나 덧붙이지 말아줘.

2023년 이후 유행한 밈 3가지도 소개해줘.

아래 형식으로 정리해 줘:
1. 용어 정의 (2~3줄) + 출처 링크
2. 최신 밈 예시
- 밈 이름
- 설명 (2~3줄)
- 출처 링크

이처럼, 사용자가 문서를 제공하거나 AI가 외부 정보에 접근하도록 유도하는 방식은 환각 현상을 줄이고, 응답의 정확성과 맥락 충실도를 높이는 데 실질적으로 효과적입니다. 핵심은 AI가 스스로 만들어내지 않고, 참조 가능한 실질적 근거를 확보한 상태에서 응답을 생성하게 하는 것입니다.

5. 환각 현상을 줄이기 위한 프롬프트 기법 소개

또한, 생성형 AI의 환각 현상을 줄이기 위해서는 어떤 방식으로 질문을 설계하고 응답 과정을 유도할 것인지에 대한 전략적 접근이 필요합니다. 모든 것을 한꺼번에 물어볼 수는 없습니다. 이와 관련하여 여러 프롬프트 기법(Prompt Technique)이 존재합니다. 프롬프트 기법은 복잡한 작업을 어떻게 나누고, 어떤 사고 흐름을 유도하며, AI가 문제를 보다 정밀하고 논리적으로 해결할 수 있도록 안내하는 구조를 의미합니다. 이는 결국 질문을 설계하는 방식을 통해 AI의 인지 흐름을 설계하는 작업이기도 합니다.

초급 사용자도 쉽게 적용할 수 있는 대표적인 프롬프트 기법으로는 프롬프트 체이닝(Prompt Chaining)이 존재합니다.

⚫ 프롬프트 체이닝

하나의 복잡한 작업을 여러 개의 서브 작업(Sub Task)으로 나눈 뒤, 각 단계를 순차적으로 진행하는 방식입니다. 각 단계에서 원하는 결과를 하나씩 확보하면서 전체 작업을 안정적으로 완성할 수 있습니다.

예를 들면, 다음과 같이 단계를 설계할 수 있습니다.

1️⃣ 1단계. 핵심 메시지 요약

2️⃣ 2단계. 핵심 메시지를 바탕으로 SNS에 올릴 짧은 소개글 작성
(1단계를 수행한 후, 진행)

3️⃣ 3단계. SNS에 짧은 소개글과 함께 올릴 해시태그 5개 추천

(2단계를 수행한 후, 진행)

이처럼 단계를 나누고, 이전 단계의 결과를 다음 단계에 반영하게 하면 AI가 한 번에 많은 조건을 처리하는 데서 오는 혼란을 줄이고, 더 명확하고 일관된 결과를 도출할 수 있습니다.

프롬프트 체이닝은 복잡한 정보 처리나 콘텐츠 작성뿐 아니라, AI가 실수하거나 맥락을 놓치기 쉬운 작업에서 오류 가능성을 줄이는 데 매우 효과적인 방식입니다.

결과를 더 신뢰할 수 있게 만들고 싶다면, 한 번에 모든 것을 요청하기보다는 질문을 쪼개고 흐름을 설계하는 것부터 시작해보세요.

6. LLM 활용의 적절성 판단

생성형 AI는 강력한 도구이지만, 모든 문제에 가장 적합한 해결책은 아닙니다. 단순 계산, 실시간 정보 확인, 경로 탐색, 가격 비교처럼 빠르고 정확한 결과가 중요한 작업은 지도 앱, 검색 포털, 날씨 앱, 쇼핑 플랫폼처럼 전통적인 전문 도구가 더 효율적입니다.

또한, 문서를 직접 다루거나 수치를 분석하는 작업에서도 GPT는 보조자 역할에는 유용하지만, 직접 실행 도구로는 한계가 있습니다. 파일을 제공하지 않으면 문맥을 놓칠 수 있고, 엑셀 계산처럼 정밀한 처리는 전용 프로그램이 더 적합합니다.

생성형 AI는 정답을 빠르게 찾는 도구가 아니라, 질문을 구조화하고 생각을 확장하며, 복잡한 내용을 정리해 표현하는 데 강점을 가진 도구입니다. 무엇을 AI에게 물어볼 것인지, 무엇은 다른 방식으로 해결할 것인지를 구분하는 감각이 신뢰성 있는 AI 활용의 출발점입니다.

출처

- Sahoo, P., Singh, A. K., Saha, S., Jain, V., Mondal, S., & Chadha, A. (2024). A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications. arXiv:2402.07927. https://arxiv.org/abs/2402.07927

- Wikipedia. Large Language Model. https://en.wikipedia.org/wiki/Large_language_model

- Wikipedia. Retrieval-augmented generation. https://en.wikipedia.org/wiki/Retrieval-augmented_generation

- 인사혁신처. (2025). 『인공지능(AI) 업무활용 가이드』 2장: 프롬프트 작성(Prompting).