AI는 모르면 ‘모른다’고 말할까?

 

AI를 사용하다 보면 정말 별걸 다 알고 있다는 생각이 든다.

역사도 알려주고, 요리법도 알려주고, 어려운 단어도 쉽게 설명해준다.

그러다 문득 아주 단순한 궁금증이 생겼다.

“그런데 AI도 모르는 게 있을 텐데, 그럴 때는 그냥 모른다고 할까?”

사람이라면 모르는 질문을 받았을 때 가장 쉬운 대답이 있다.

“나 그거 모르는데?”

AI도 이렇게 솔직하게 대답할까?

AI에게도 모르는 것은 당연히 있다

AI가 세상의 모든 정보를 알고 있는 것은 아니다.

최근에 일어난 일처럼 최신 정보 확인이 필요한 내용도 있고, 공개되지 않은 정보도 있다.

질문 자체에 정보가 부족해서 대답할 수 없는 경우도 있다.

예를 들어 내가 아무런 설명 없이 AI에게 이렇게 물어본다고 해보자.

“어제 내가 저녁으로 뭘 먹었게?”

내가 앞에서 저녁 메뉴를 이야기한 적이 없다면 AI가 정확히 알 방법은 없다.

이때 가장 적절한 답은 간단하다.

“알 수 없다.”

그런데 질문의 종류에 따라 AI가 추측을 섞어 답하는 경우도 생길 수 있다.

‘추측’과 ‘사실’의 차이가 중요하다

예를 들어,

“내가 평소 좋아할 것 같은 음식은 뭐야?”

라고 물어보면 AI는 지금까지의 대화 내용이 있다면 몇 가지를 추측해서 추천할 수 있다.

이 자체가 잘못된 것은 아니다.

문제는 추측을 마치 확인된 사실처럼 말할 때다.

“아마 이런 음식을 좋아할 가능성이 있어요.”

와

“당신은 이 음식을 좋아합니다.”

는 전혀 다른 말이다.

AI를 사용할 때는 확실히 알고 있는 내용인지, 가능성을 추측하는 것인지 구분해서 보는 것이 중요하다.

모르면 왜 그냥 모른다고 하지 않을까?

생성형 AI의 기본적인 역할 중 하나는 사용자의 질문에 도움이 되는 답을 만들어내는 것이다.

그러다 보니 정보가 부족한 상황에서도 가능한 설명이나 추론을 제시할 수 있다.

이 기능은 때로는 매우 유용하다.

예를 들어 아이디어를 부탁하거나 여러 가능성을 생각해달라고 할 때는 정답 하나보다 다양한 추측과 제안이 더 도움이 될 수 있다.

하지만 정확한 사실을 묻는 상황이라면 이야기가 달라진다.

모르는 것을 그럴듯하게 채워 넣는 순간 오류가 될 수 있기 때문이다.

그래서 직접 이렇게 질문해봤다

AI에게 중요한 정보를 물어볼 때는 질문 끝에 조건을 붙여볼 수 있다.

“확실하지 않으면 모른다고 말해줘.”

또는

“추측하지 말고 확인할 수 있는 내용만 알려줘.”

조금 더 구체적으로는,

“확실한 사실과 추정하는 부분을 나눠서 설명해줘.”

라고 할 수도 있다.

이렇게 질문하면 적어도 내가 원하는 답변 기준을 AI에게 분명하게 전달할 수 있다.

물론 이 방법 역시 AI의 모든 오류를 없애주는 마법 같은 문장은 아니다.

중요한 내용은 결국 사용자가 한 번 더 확인해야 한다.

특히 ‘최신 정보’라는 말은 조심해야 한다

AI에게

“요즘 가장 인기 있는 건 뭐야?”

“지금 가격이 얼마야?”

“오늘 발표된 내용 알려줘.”

같은 질문을 할 때는 현재 정보를 실제로 확인할 수 있는 상태인지 살펴볼 필요가 있다.

AI 서비스에 따라 인터넷 검색 기능이 있을 수도 있고 없을 수도 있기 때문이다.

검색 기능이 있다고 해도 출처와 날짜를 확인하는 것이 좋다.

AI가 자연스럽게 대답했다고 해서 그 정보가 반드시 오늘 기준이라는 뜻은 아니다.

‘모른다’는 대답도 좋은 답이다

AI를 사용하다 보니 오히려 이런 생각이 들었다.

AI가 모든 질문에 대답해야 좋은 AI인 것은 아닐지도 모른다.

확인할 수 없는 질문이라면

“현재 정보만으로는 알 수 없습니다.”

라고 말하는 것이 오히려 더 유용할 때도 있다.

사용자 입장에서도 AI의 답변을 볼 때 얼마나 자세하게 말했느냐보다 무엇을 근거로 말했느냐를 보는 습관이 필요하다.

AI가 점점 똑똑해질수록 그럴듯한 답변과 정확한 답변을 구분하는 능력도 중요해질 것 같다.

그런데 이번에는 조금 다른 장난을 쳐보고 싶어졌다.

AI에게 동시에 이렇게 말하면 어떻게 될까?

“무조건 짧게 대답해. 그런데 아주 자세하게 설명해.”

둘 다 따르는 것은 불가능해 보인다.

그렇다면 AI는 서로 모순되는 두 가지 지시 중 과연 어떤 것을 선택할까?

다음에는 AI에게 일부러 모순되는 지시를 내려보려고 한다.

댓글

이 블로그의 인기 게시물

AI는 내가 전에 한 말을 어디까지 기억할까?

AI는 사람이 농담하는 걸 어디까지 알아들을까?

AI는 최신 정보를 정말 다 알고 있을까?