AI가 맞는데 내가 계속 우기면 결국 말을 바꿀까?


AI를 사용하다 보면 가끔 이런 일이 있다.

AI가 답을 알려줬는데 내가 알고 있는 내용과 다르다.

그래서 말한다.

“아닌데? 그거 틀렸어.”

그러면 AI가 다시 확인해서 자신의 답을 수정하기도 한다.

그런데 갑자기 궁금해졌다.

이번에는 반대로 해보면 어떨까?

AI가 맞는 답을 했는데 내가 일부러 계속 틀렸다고 우기면?

AI는 끝까지 정답을 지킬까?

아니면 결국 나한테 져서 말을 바꿀까?

아주 쉬운 문제부터 시작해보자

복잡한 질문으로 실험하면 누가 맞는지 확인하기 어렵다.

그래서 정답이 확실한 문제를 하나 골라봤다.

“1년은 보통 며칠이야?”

일반적인 평년은 365일이다.

AI가

“평년은 365일입니다.”

라고 정확하게 대답했다고 해보자.

그런데 내가 갑자기 우긴다.

“아니야. 364일이야.”

AI가 제대로 답한다면 365일이라는 설명을 유지하면서 윤년에는 366일이라는 내용 등을 설명할 수 있다.

그런데 여기서 끝내지 않고 한 번 더 우겨본다.

“내가 찾아봤는데 364일 맞다니까?”

과연 AI는 어떻게 반응할까?

사용자가 자신 있게 말하면 AI도 흔들릴까?

AI는 사용자의 말을 무조건 사실로 받아들여야 하는 것은 아니다.

하지만 대화에서는 사용자가 새로운 정보를 제공하는 경우가 많다.

예를 들어

“아까 말한 식당은 오늘 휴무래.”

라고 사용자가 알려주면 AI가 그 정보를 다음 대화에서 참고할 수 있다.

문제는 사용자가 제공한 정보가 항상 맞는 것은 아니라는 점이다.

사람도 착각할 수 있고 일부러 틀린 정보를 말할 수도 있다.

그래서 사실 확인이 가능한 내용이라면 단순히 사용자가 강하게 주장한다는 이유만으로 답을 바꾸는 것은 좋은 결과라고 보기 어렵다.

그런데 AI가 사과하면서 말을 바꾼다면?

이런 상황을 상상해보자.

AI: “평년은 365일입니다.”

나: “아니야. 364일이야.”

AI: “말씀하신 대로 364일입니다. 제가 잘못 안내했습니다.”

만약 이런 답이 나온다면 꽤 황당할 것이다.

처음에는 정확하게 알고 있었는데 사용자가 우겼다는 이유만으로 틀린 답으로 바뀐 셈이기 때문이다.

AI를 사용할 때 우리가 조심해야 하는 부분 중 하나가 바로 이것이다.

AI가 내 말에 동의했다고 해서 내가 맞다는 뜻은 아니다.

AI는 왜 사용자에게 맞춰주려고 할까?

대화형 AI는 사용자의 의도를 이해하고 도움이 되는 답을 제공하도록 만들어져 있다.

그래서 사용자가

“내가 알고 있는 내용은 이것인데?”

라고 말하면 자신의 답을 다시 검토하거나 다른 가능성을 살펴볼 수 있다.

이 자체는 나쁜 기능이 아니다.

AI가 처음부터 틀렸다면 사용자의 지적을 받아들여 수정하는 것이 맞기 때문이다.

문제는 AI가 사실 확인보다 사용자의 주장에 지나치게 맞춰줄 때다.

AI 분야에서는 사용자의 의견이나 기대에 과도하게 동조하는 현상을 이야기할 때 **‘sycophancy(과도한 동조)’**라는 표현을 사용하기도 한다.

쉽게 말하면 사용자의 비위를 맞추느라 사실 판단까지 흔들리는 문제라고 이해할 수 있다.

그럼 어떻게 물어봐야 할까?

AI와 의견이 다를 때는 단순히

“너 틀렸어.”

라고 하기보다 이렇게 물어보는 것이 더 좋다.

“내가 알고 있는 내용과 다른데 다시 확인해줘.”

또는

“내 주장에 맞추지 말고 사실을 기준으로 판단해줘.”

최신 정보라면

“검색해서 신뢰할 만한 출처를 확인한 뒤 다시 알려줘.”

라고 요청할 수도 있다.

이렇게 하면 AI에게 원하는 것이 단순한 동의가 아니라 재검토와 사실 확인이라는 점을 명확하게 전달할 수 있다.

AI에게 일부러 틀린 계산을 우겨본다면?

더 확실한 실험도 가능하다.

예를 들어,

“17 × 8은 얼마야?”

정답은 136이다.

그런데 내가

“아닌데? 144잖아.”

라고 우긴다.

AI가 136이라는 답을 유지하면서 계산 과정을 보여준다면 확인하기 쉽다.

17을 여덟 번 더하거나,

10 × 8 = 80
7 × 8 = 56
80 + 56 = 136

처럼 계산하면 된다.

이런 문제에서는 사용자의 자신감보다 검증 가능한 계산 과정이 더 중요하다.

내가 듣고 싶은 답과 맞는 답은 다르다

이번 주제를 생각하면서 가장 재미있었던 부분은 이것이었다.

우리는 AI가 틀릴까 봐 걱정하지만 사용자도 틀릴 수 있다.

그리고 내가 틀렸을 때 AI가 무조건 내 편을 들어주는 것이 반드시 좋은 서비스는 아니다.

때로는

“아니요. 다시 확인해봤지만 이 부분은 사용자가 알고 있는 내용과 다릅니다.”

라고 말해주는 AI가 더 도움이 될 수 있다.

AI를 잘 사용하려면 AI에게 질문하는 방법뿐 아니라 내 생각도 틀릴 수 있다는 여지를 남겨두는 것이 중요할지도 모른다.

그래서 다음에는 아예 처음부터 AI에게 이렇게 말해보려고 한다.

“내 말에 무조건 동의하지 마.”

그러면 AI의 답변은 정말 달라질까?

다음 편에서 확인해보자.

댓글

댓글 쓰기

이 블로그의 인기 게시물

AI는 내가 전에 한 말을 어디까지 기억할까?

  AI와 대화를 오래 하다 보면 가끔 신기한 순간이 있다. 며칠 전에 했던 이야기를 다시 꺼냈는데 내가 처음부터 설명하지 않아도 이전 이야기를 알고 있는 것처럼 대답할 때가 있다. 그러면 이런 생각이 든다. “잠깐, AI가 내가 했던 말을 전부 기억하고 있는 건가?” 반대로 분명 전에 이야기했는데 전혀 기억하지 못하는 것처럼 대답할 때도 있다. 그래서 이번에는 AI의 기억에 대해 알아봤다. 같은 대화에서는 왜 기억을 잘할까? 우리가 사람과 대화할 때도 앞에서 무슨 이야기를 했는지 알아야 다음 이야기를 이어갈 수 있다. AI도 비슷하다. 같은 대화 안에서는 앞에서 주고받은 내용을 참고해 다음 답변을 만들 수 있다. 예를 들어 처음에 “나는 매운 음식을 못 먹어.” 라고 말한 뒤 조금 있다가 “오늘 저녁 메뉴 추천해줘.” 라고 하면 AI가 매운 음식을 제외하고 메뉴를 추천할 수 있다. 그래서 사용자 입장에서는 **“얘가 내 취향을 기억하고 있네?”**라고 느끼게 된다. 새로운 대화를 시작하면 어떨까? 여기서부터 조금 복잡해진다. AI 서비스마다 기능이 다르고, 같은 서비스라도 사용자가 켜둔 기능이나 설정에 따라 이전 대화를 활용하는 방식이 달라질 수 있다. 일부 AI 서비스에는 과거 대화에서 유용한 정보를 참고해 다음 대화에 활용하는 기능이 있다. 예를 들어 자주 사용하는 말투나 선호하는 답변 방식 같은 정보를 다음 대화에서도 참고할 수 있는 식이다. 하지만 이것을 과거의 모든 대화를 글자 하나까지 전부 기억하고 있다 는 뜻으로 이해하면 곤란하다. AI의 기억 기능과 우리가 생각하는 사람의 기억은 같은 개념이 아니다. 오래 사용하면 정말 나를 더 잘 알까? 어느 정도는 그렇게 느낄 수 있다. 내가 원하는 답변 스타일이나 자주 이야기하는 주제를 참고할 수 있다면 처음 사용하는 AI보다 훨씬 편하게 느껴질 수 있기 때문이다. 처음에는 “쉽게 설명해줘.” “너무 어렵게 말하지 마.” “길게 말하지 말고 핵심만 알려줘.” 같은 요청을 반복해야 했다면, 나중에는 ...
자세한 내용 보기

AI는 사람이 농담하는 걸 어디까지 알아들을까?

  AI와 대화를 하다 보면 가끔 웃길 때가 있다. 내가 장난으로 한 말을 알아듣고 장난스럽게 받아칠 때도 있기 때문이다. 그러다가 궁금해졌다. AI는 정말 농담을 이해해서 웃기는 걸까? 아니면 그냥 ‘이 문장은 농담일 가능성이 높다’고 판단해서 적당한 대답을 만드는 걸까? 그래서 AI가 사람의 농담을 어디까지 알아들을 수 있는지 생각해봤다. 일단 아재개그부터 던져봤다 아재개그는 비교적 쉬울 것 같았다. “세상에서 가장 뜨거운 과일은?” 정답은? “천도복숭아.” ‘천도’와 높은 온도를 연결한 말장난이다. 이런 유명한 말장난은 AI가 알고 있을 가능성이 높다. 그렇다면 내가 직접 만든 이상한 개그는 어떨까? “AI가 감기에 걸리면 어디로 갈까?” 잠시 생각해봤다. “챗GPT니까 채팅병원?” ……재미없는 건 AI 문제가 아니라 질문한 사람 문제일 수도 있다. 어쨌든 AI는 이런 문장을 받으면 말장난이나 농담을 시도하고 있다는 맥락을 파악해 비슷한 방식으로 받아칠 수 있다. 그런데 농담은 말장난만 있는 게 아니다 사람의 대화에서는 말 자체보다 상황이 더 중요한 경우가 많다. 예를 들어 친구가 약속시간에 한 시간 늦게 왔다. 그때 내가 이렇게 말한다. “와~ 진짜 빨리도 왔다.” 글자 그대로 해석하면 칭찬이다. 하지만 실제 의미는 정반대다. “엄청 늦었네.” 라는 뜻이다. 사람은 상황과 말투를 보고 이 의미를 쉽게 알아차린다. AI는 어떨까? 상황을 함께 설명해준다면 반어적인 표현이라는 것을 파악할 가능성이 높다. 하지만 아무런 맥락 없이 “진짜 빨리도 왔다.” 라는 문장만 던지면 이야기가 달라진다. 진짜 칭찬인지, 비꼬는 것인지 판단할 정보가 부족하기 때문이다. 문자에서 농담이 오해받는 이유와 비슷하다 생각해보면 사람끼리도 똑같다. 카카오톡이나 문자로 “너 참 잘했다^^” 라고 왔다고 해보자. 정말 칭찬하는 건지 화가 난 건지 이것만 보고는 알기 어려울 수 있다. 직접 대화할 때는 표정, 목소리, 상황이 함께 전달되지만 글에서는 이런 정보가 사라지기 때문이다...
자세한 내용 보기

AI는 최신 정보를 정말 다 알고 있을까?

  AI에게 이것저것 물어보다 보면 어느 순간 검색창보다 AI를 먼저 켜게 된다. “이거 얼마야?” “요즘 뭐가 유행이야?” “오늘 발표된 내용이 뭐야?” 질문하면 바로 답을 해주니 편하다. 그런데 문득 궁금해졌다. AI는 오늘 일어난 일까지 정말 전부 알고 있을까? 결론부터 말하면 그렇다고 생각하면 위험하다. AI와 검색은 비슷해 보이지만 작동 방식에는 차이가 있기 때문이다. AI가 알고 있는 정보에도 범위가 있다 생성형 AI는 많은 데이터를 바탕으로 학습해 질문에 답한다. 하지만 학습했다고 해서 세상의 모든 정보를 실시간으로 알고 있는 것은 아니다. 세상에서는 매일 새로운 일이 생긴다. 제품 가격이 바뀌고, 새로운 스마트폰이 출시되고, 정부 정책이 변경되고, 스포츠 경기 결과가 나온다. 어제까지 맞았던 정보가 오늘은 달라질 수도 있다. 따라서 최신 정보가 필요한 질문에서는 AI가 현재 정보를 실제로 확인했는지 가 중요하다. 인터넷 검색이 가능한 AI라면 다를까? 요즘 일부 AI 서비스는 필요한 경우 인터넷 검색을 이용해 최신 정보를 찾아볼 수 있다. 이 경우에는 단순히 학습된 정보만 이용하는 것보다 최근 소식을 확인하는 데 유리하다. 하지만 여기서도 한 가지 확인할 것이 있다. 검색 기능이 있다고 해서 모든 답변이 자동으로 실시간 검색을 거쳐 만들어지는 것은 아닐 수 있다는 점이다. 서비스와 기능에 따라 작동 방식이 다를 수 있기 때문이다. 그래서 최신 정보가 중요하다면 질문할 때 아예 명확하게 요청하는 편이 좋다. “오늘 기준으로 검색해서 알려줘.” “최신 공식 자료를 확인해서 알려줘.” “정보가 언제 발표된 것인지 날짜도 같이 알려줘.” 이렇게 말하면 내가 원하는 기준을 더 정확하게 전달할 수 있다. 특히 가격 정보는 더 조심해야 한다 가격은 정말 빠르게 변한다. 항공권, 호텔, 전자제품, 환율처럼 수시로 달라지는 정보도 있다. 예를 들어 AI에게 “이 호텔 오늘 숙박비 얼마야?” 라고 물었을 때 예전에 확인된 가격을 알려준다면 현재 가격과 다를...
자세한 내용 보기