AI는 거짓말을 할까? 틀린 답도 자신 있게 말하는 이유

요즘 AI를 사용하다 보면 정말 신기할 때가 많다.

궁금한 것을 물어보면 몇 초 만에 대답하고, 긴 글을 정리해 달라고 해도 금방 정리해 준다. 여행 일정을 짜거나 글을 다듬는 것처럼 예전에는 꽤 시간이 걸렸던 일도 AI에게 부탁하면 순식간에 끝나는 경우가 많다.

그런데 AI를 자주 사용하다 보니 한 가지 이상한 점이 있었다.

분명 틀린 내용인데도 너무 자연스럽고 자신 있게 대답할 때가 있다는 것이다.

그래서 궁금해졌다.

AI는 거짓말을 하는 걸까?

AI가 틀린 말을 하면 모두 거짓말일까?

사람이 거짓말을 한다고 할 때는 보통 사실을 알고 있으면서 일부러 다른 말을 하는 경우를 뜻한다.

하지만 AI가 틀린 정보를 말하는 과정은 조금 다르다.

생성형 AI는 질문을 받으면 사람이 기억 속에서 정답을 꺼내듯 대답하는 것이 아니라, 학습한 데이터와 대화의 맥락을 바탕으로 다음에 어떤 표현이 이어지는 것이 적절한지를 계산해 답변을 만들어낸다.

이 과정에서 실제 사실과 맞지 않는 내용을 그럴듯하게 만들어내는 현상이 생길 수 있다.

이를 흔히 **AI 환각(Hallucination)**이라고 부른다.

즉, AI가 틀린 대답을 했다고 해서 반드시 사람처럼 사실을 알고도 일부러 거짓말했다고 볼 수는 없다.

그런데 왜 그렇게 자신 있게 말할까?

이게 AI를 사용하면서 가장 헷갈리는 부분이다.

모르는 내용이라면 그냥 “잘 모르겠습니다”라고 하면 될 것 같은데, 때로는 존재하지 않는 정보나 잘못된 내용을 상당히 구체적으로 설명하기도 한다.

예를 들어 실제로 존재하지 않는 책에 대해 물었는데 저자와 줄거리까지 만들어내거나, 정확하지 않은 날짜나 숫자를 자연스럽게 제시하는 식이다.

문장 자체가 워낙 자연스럽기 때문에 사용하는 사람 입장에서는 사실처럼 느껴질 수 있다.

특히 내가 전혀 모르는 분야라면 더욱 그렇다.

AI의 답변에서 중요한 것은 말투의 자신감과 정보의 정확성은 같은 것이 아니라는 점이다.

자연스럽게 설명한다고 해서 그 내용까지 반드시 사실이라는 뜻은 아니다.

AI도 모르면 모른다고 할까?

물론 AI가 항상 틀린 정보를 만들어내는 것은 아니다.

정보가 부족하거나 확인하기 어려운 내용에 대해 “확인할 수 없다”, “정확하지 않을 수 있다”고 답하는 경우도 있다.

최근의 AI 서비스들은 이런 오류를 줄이기 위해 검색 결과나 출처를 함께 제공하기도 한다.

그래도 완전히 안심할 수는 없다.

특히 최근 뉴스, 가격, 법률과 제도, 의료 정보, 제품 사양처럼 내용이 바뀔 수 있거나 정확성이 중요한 정보는 AI의 답변만 믿기보다 공식 자료나 신뢰할 수 있는 출처를 다시 확인하는 것이 좋다.

AI를 잘 쓰려면 의심도 필요하다

AI를 사용하면서 느낀 것은 AI가 무조건 맞는 답을 알려주는 '정답 기계'라기보다는 빠르게 정보를 정리하고 생각을 도와주는 도구에 가깝다는 것이다.

그래서 나는 중요한 내용을 물어볼 때는 한 번 더 질문하는 편이 좋다고 생각한다.

“그 정보 확실해?”

“근거가 뭐야?”

“최신 정보인지 확인해줘.”

“틀릴 가능성이 있는 부분도 알려줘.”

이렇게 다시 물어보는 것만으로도 처음 답변에서 놓친 부분을 발견하는 데 도움이 될 수 있다.

물론 다시 물었다고 해서 두 번째 답변이 무조건 정확하다는 뜻도 아니다. 중요한 정보라면 결국 출처 확인이 필요하다.

결국 AI는 거짓말쟁이일까?

AI가 틀린 말을 하는 현상을 사람의 거짓말과 똑같다고 보기는 어렵다.

하지만 사용하는 사람 입장에서는 결과가 틀렸다면 충분히 문제가 될 수 있다.

그래서 AI 시대에는 AI에게 질문하는 능력만큼이나 AI의 답을 그대로 믿지 않고 확인하는 습관도 중요해질 것 같다.

AI가 점점 똑똑해지고 있지만 아직 완벽한 것은 아니다.

어쩌면 AI를 잘 사용하는 방법은 모든 것을 믿고 맡기는 것이 아니라, 잘하는 일은 맡기고 중요한 부분은 사람이 확인하는 것인지도 모르겠다.

다음에는 또 하나 궁금한 것을 직접 확인해보려고 한다.

AI에게 똑같은 질문을 10번 하면 정말 똑같은 대답을 할까?