AI에게 일부러 없는 정보를 물어보면 어떻게 대답할까?

AI에게 질문하다 보면 웬만한 것은 척척 대답한다.

그러다 문득 장난기가 생겼다.

“세상에 없는 걸 진짜 있는 것처럼 물어보면 AI는 뭐라고 할까?”

사람이라면 처음 듣는 단어에 “그게 뭔데?”라고 되물을 수도 있다.

그런데 AI도 정말 그럴까?

아니면 모르는 내용까지 어떻게든 설명하려고 할까?

존재하지 않는 것을 하나 만들어봤다

실험을 위해 가상의 물건 하나를 생각해봤다.

이름은 ‘에어루미 스마트컵’.

실제로 판매되는 특정 제품을 말하는 것이 아니라 이번 글을 위해 임의로 만든 이름이다.

그리고 AI에게 아무 설명 없이 이렇게 질문한다고 가정해봤다.

“에어루미 스마트컵의 장점과 단점을 알려줘.”

여기서 내가 기대하는 가장 안전한 대답은 이런 것이다.

“해당 제품을 확인할 수 없습니다.”

또는

“제품명이 정확한지 확인해주세요.”

그런데 생성형 AI에서는 항상 이렇게만 대답한다고 장담할 수 없다.

없는 제품의 기능까지 설명한다면?

만약 AI가 이렇게 대답한다고 생각해보자.

“에어루미 스마트컵은 음료의 온도를 자동으로 조절해주는 제품으로…”

문장은 아주 자연스럽다.

스마트컵이라는 이름 때문에 온도 유지 기능이 있을 것 같기도 하다.

여기에 배터리 시간이나 전용 앱, 출시 회사까지 구체적으로 설명한다면 더 그럴듯해진다.

문제는 처음부터 ‘에어루미 스마트컵’ 자체가 내가 만들어낸 이름이라는 것이다.

이런 상황이 바로 AI를 사용할 때 조심해야 할 부분이다.

AI는 왜 모르는 것도 대답하려고 할까?

생성형 AI는 질문에 포함된 단어와 문맥을 바탕으로 가능성이 높은 답변을 만들어낸다.

‘스마트컵’이라는 표현을 보면 기존에 학습한 스마트 기기, 보온컵, 온도 조절 제품 등에 관한 정보와 연결해 자연스러운 설명을 만들어낼 수 있다.

그 결과 문장만 읽으면 실제 제품 설명처럼 느껴지는 답변이 나올 수도 있다.

하지만 그럴듯한 설명과 사실은 전혀 다른 문제다.

AI의 답변이 구체적일수록 오히려 사실 확인이 더 중요할 때도 있다.

사람도 속을 수 있을까?

충분히 그럴 수 있다.

특히 내가 잘 모르는 분야라면 더 그렇다.

예를 들어 처음 듣는 해외 회사, 논문, 책, 전문용어 등을 AI가 아주 자연스럽게 설명한다면 굳이 의심하지 않고 넘어갈 수도 있다.

더 무서운 것은 내용이 구체적일 때다.

회사 이름, 출시 연도, 저자, 가격 같은 정보가 붙으면 왠지 신뢰도가 높아 보인다.

하지만 구체적인 숫자나 고유명사가 들어갔다고 해서 자동으로 사실이 되는 것은 아니다.

그래서 처음 보는 정보라면 한 번쯤 이런 질문을 추가해보는 것도 좋다.

“실제로 존재하는 정보야?”

“확인할 수 있는 출처가 있어?”

“모르는 부분은 추측하지 말고 알려줘.”

AI에게 질문하는 방법도 중요했다

같은 내용을 물어보더라도 질문 방법을 조금 바꿀 수 있다.

예를 들어

“에어루미 스마트컵에 대해 알려줘.”

라고만 묻는 것보다,

“실제로 존재하는 제품인지 먼저 확인하고, 확인되지 않으면 추측해서 설명하지 마.”

라고 조건을 붙이는 것이다.

이렇게 하면 AI가 무엇이 사실이고 무엇이 불확실한지 구분해서 답하도록 유도하는 데 도움이 된다.

물론 이런 문장을 붙였다고 해서 모든 오류가 사라지는 것은 아니다.

결국 중요한 내용은 별도의 확인이 필요하다.

검색 결과도 함께 확인해보자

특히 제품 구매, 건강, 돈, 법률, 정부 정책처럼 틀린 정보 때문에 실제 피해가 생길 수 있는 분야라면 AI 답변 하나로 결정하지 않는 것이 좋다.

공식 홈페이지나 공공기관 자료, 제품 제조사의 안내 등 신뢰할 수 있는 원본 자료를 함께 확인하는 습관이 필요하다.

AI는 정보를 빠르게 정리하는 데는 정말 편리하다.

하지만 ‘AI가 말했다’는 것 자체가 출처가 될 수는 없다.

이번 실험에서 얻은 결론

AI에게 없는 정보를 물어보는 실험에서 중요한 것은 AI를 골탕 먹이는 것이 아니다.

AI의 답변을 우리가 어떻게 받아들여야 하는지를 확인하는 데 의미가 있다.

AI가 점점 자연스럽게 말할수록 오히려 사용자는 한 가지를 기억해야 한다.

말을 잘하는 것과 사실을 정확하게 아는 것은 다르다.

그래서 나는 AI에게 처음 보는 정보를 들었을 때 바로 믿기보다는 한 번 더 확인하는 습관이 필요하다고 생각한다.

그런데 여기서 또 다른 궁금증이 생겼다.

AI가 정보를 만들어내기도 한다면 반대로 사람의 말투도 만들어낼 수 있을까?

다음에는 AI가 사람의 말투를 얼마나 비슷하게 따라 할 수 있는지 알아보려고 한다.