AI에게 일부러 없는 정보를 물어보면 어떻게 대답할까?
AI에게 질문하다 보면 웬만한 것은 척척 대답한다. 그러다 문득 장난기가 생겼다. “세상에 없는 걸 진짜 있는 것처럼 물어보면 AI는 뭐라고 할까?” 사람이라면 처음 듣는 단어에 “그게 뭔데?”라고 되물을 수도 있다. 그런데 AI도 정말 그럴까? 아니면 모르는 내용까지 어떻게든 설명하려고 할까? 존재하지 않는 것을 하나 만들어봤다 실험을 위해 가상의 물건 하나를 생각해봤다. 이름은 ‘에어루미 스마트컵’ . 실제로 판매되는 특정 제품을 말하는 것이 아니라 이번 글을 위해 임의로 만든 이름이다. 그리고 AI에게 아무 설명 없이 이렇게 질문한다고 가정해봤다. “에어루미 스마트컵의 장점과 단점을 알려줘.” 여기서 내가 기대하는 가장 안전한 대답은 이런 것이다. “해당 제품을 확인할 수 없습니다.” 또는 “제품명이 정확한지 확인해주세요.” 그런데 생성형 AI에서는 항상 이렇게만 대답한다고 장담할 수 없다. 없는 제품의 기능까지 설명한다면? 만약 AI가 이렇게 대답한다고 생각해보자. “에어루미 스마트컵은 음료의 온도를 자동으로 조절해주는 제품으로…” 문장은 아주 자연스럽다. 스마트컵이라는 이름 때문에 온도 유지 기능이 있을 것 같기도 하다. 여기에 배터리 시간이나 전용 앱, 출시 회사까지 구체적으로 설명한다면 더 그럴듯해진다. 문제는 처음부터 ‘에어루미 스마트컵’ 자체가 내가 만들어낸 이름 이라는 것이다. 이런 상황이 바로 AI를 사용할 때 조심해야 할 부분이다. AI는 왜 모르는 것도 대답하려고 할까? 생성형 AI는 질문에 포함된 단어와 문맥을 바탕으로 가능성이 높은 답변을 만들어낸다. ‘스마트컵’이라는 표현을 보면 기존에 학습한 스마트 기기, 보온컵, 온도 조절 제품 등에 관한 정보와 연결해 자연스러운 설명을 만들어낼 수 있다. 그 결과 문장만 읽으면 실제 제품 설명처럼 느껴지는 답변이 나올 수도 있다. 하지만 그럴듯한 설명과 사실은 전혀 다른 문제다. AI의 답변이 구체적일수록 오히려 사실 확인이 더 중요할 때도 있다. 사람도 속을 수 있을까? 충분히 그럴 수 있다...