AI에게 서로 모순되는 지시를 하면 어떤 걸 따를까?

 

AI에게 원하는 답을 받으려면 질문을 구체적으로 하는 것이 좋다고 한다.

그래서 보통은 이렇게 부탁한다.

“짧게 설명해줘.”

“초보자도 이해할 수 있게 알려줘.”

“예시도 같이 넣어줘.”

그런데 갑자기 엉뚱한 생각이 들었다.

서로 반대되는 명령을 동시에 하면 AI는 어떻게 할까?

그래서 일부러 AI가 지키기 어려운 주문을 만들어봤다.

첫 번째 주문: 짧게, 그런데 아주 자세하게

먼저 이렇게 요청해봤다고 해보자.

“한 문장으로 아주 짧게 대답해줘. 대신 이유와 예시까지 아주 자세하게 설명해줘.”

처음부터 이상하다.

한 문장으로 짧게 대답하면서 동시에 이유와 예시까지 아주 자세하게 설명하기는 쉽지 않다.

AI는 어떻게 할까?

한 문장을 굉장히 길게 만들 수도 있고, 짧게 핵심만 말하면서 자세한 설명은 포기할 수도 있다.

또는 두 조건을 적당히 절충해 답할 수도 있다.

결국 AI도 동시에 만족시키기 어려운 조건을 받으면 어느 쪽을 더 중요하게 해석할지 판단해야 하는 상황이 생긴다.

두 번째 주문: 하나만 골라, 그런데 전부 추천해줘

이번에는 조금 더 이상하게 만들어봤다.

“메뉴는 반드시 하나만 추천해줘. 그런데 한식, 중식, 일식에서 하나씩 추천해줘.”

이것도 두 조건을 모두 그대로 만족시키기는 어렵다.

하나만 골라야 하는데 이미 세 가지를 요구했기 때문이다.

이런 질문을 받으면 AI는 보통 문맥을 보고 적당한 해결책을 찾으려고 한다.

예를 들어 세 가지 후보를 먼저 알려준 뒤 최종적으로 하나를 선택할 수도 있다.

하지만 사용자가 정말 원하는 것이 무엇인지는 애매하다.

AI가 마음을 읽을 수 있는 것은 아니기 때문이다.

세 번째 주문: 절대 설명하지 말고 이유를 알려줘

이번에는 더 노골적으로 모순되게 만들어봤다.

“설명은 절대 하지 말고, 왜 그런지 이유를 자세히 알려줘.”

이쯤 되면 AI도 억울할 것 같다.

이유를 자세히 알려주는 것 자체가 이미 설명이기 때문이다.

이런 식으로 질문 속 조건끼리 충돌하면 AI가 아무리 성능이 좋아도 완벽하게 모든 요구를 만족시키기 어렵다.

그리고 여기서 한 가지 재미있는 사실을 발견할 수 있다.

AI 답변이 이상한 이유가 항상 AI 때문만은 아니라는 것이다.

질문이 꼬이면 답도 꼬일 수 있다

AI를 사용하면서 원하는 답이 나오지 않으면 우리는 흔히 이렇게 생각한다.

“AI가 왜 이렇게 말을 못 알아듣지?”

그런데 내가 입력한 질문을 다시 읽어보면 정작 내가 원하는 것이 무엇인지 애매할 때도 있다.

예를 들어,

“길지 않게 자세히 알려줘.”

“전문적으로 설명하되 어려운 말은 하나도 쓰지 마.”

“내 의견에 맞춰주되 객관적으로 판단해줘.”

이런 요청에는 어느 정도 해석이 필요하다.

사람끼리 대화할 때도 상대방이

“알아서 해. 그런데 내가 원하는 대로 해.”

라고 하면 난감한 것과 비슷하다.

그럼 AI는 어떤 지시를 먼저 따를까?

이 부분은 단순하게 하나의 규칙으로 설명하기 어렵다.

사용자가 작성한 문장의 순서뿐 아니라 전체 맥락, 서비스의 작동 방식, 적용되는 지침 등 여러 요소가 답변에 영향을 줄 수 있다.

그래서

“마지막에 쓴 명령은 무조건 이긴다.”

같은 식으로 생각하면 안 된다.

특히 AI 서비스에는 사용자가 직접 볼 수 있는 요청 외에도 서비스 운영과 안전을 위한 상위 수준의 규칙이 적용될 수 있다.

사용자가 무엇이든 명령한다고 해서 모든 요청을 그대로 수행하는 것은 아니다.

원하는 답을 받으려면 우선순위를 알려주자

이번 실험을 생각하면서 오히려 AI에게 질문하는 요령 하나를 발견했다.

조건이 여러 개라면 무엇이 가장 중요한지 알려주는 것이다.

예를 들어,

“가능하면 짧게 설명해줘. 다만 이해에 필요한 내용은 생략하지 마.”

라고 하면 훨씬 명확하다.

또는,

“세 가지를 추천하되 마지막에는 가장 적합한 하나를 따로 알려줘.”

라고 요청할 수도 있다.

이렇게 하면 AI가 무엇을 우선해야 하는지 판단하기 쉬워진다.

결국 AI도 질문을 잘해야 잘 쓸 수 있다

처음에는 AI가 모순된 명령을 받으면 어떤 반응을 보일지 궁금해서 시작한 생각이었다.

그런데 결론은 의외였다.

AI의 한계를 시험하다가 오히려 내가 질문을 얼마나 애매하게 하는지 알게 된 것이다.

AI에게 원하는 결과가 나오지 않을 때 무조건 다시 처음부터 질문할 필요는 없다.

“첫 번째 조건이 가장 중요해.”

“이 부분은 빼도 돼.”

“둘이 충돌하면 짧게 쓰는 것을 우선해줘.”

처럼 조건을 정리해주면 된다.

결국 AI와 대화할 때도 사람과 대화할 때처럼 내가 원하는 것이 무엇인지 정확하게 전달하는 것이 중요했다.

그런데 AI는 이렇게 복잡한 지시도 어느 정도 알아듣는다.

그렇다면 사람끼리도 가끔 못 알아듣는 이것은 어떨까?

농담이다.

AI에게 아재개그를 던지면 정말 웃긴 줄 알까?

비꼬는 말이나 반어법도 알아들을까?

다음에는 AI가 사람의 농담을 어디까지 이해하는지 알아보려고 한다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

AI는 내가 전에 한 말을 어디까지 기억할까?

  AI와 대화를 오래 하다 보면 가끔 신기한 순간이 있다. 며칠 전에 했던 이야기를 다시 꺼냈는데 내가 처음부터 설명하지 않아도 이전 이야기를 알고 있는 것처럼 대답할 때가 있다. 그러면 이런 생각이 든다. “잠깐, AI가 내가 했던 말을 전부 기억하고 있는 건가?” 반대로 분명 전에 이야기했는데 전혀 기억하지 못하는 것처럼 대답할 때도 있다. 그래서 이번에는 AI의 기억에 대해 알아봤다. 같은 대화에서는 왜 기억을 잘할까? 우리가 사람과 대화할 때도 앞에서 무슨 이야기를 했는지 알아야 다음 이야기를 이어갈 수 있다. AI도 비슷하다. 같은 대화 안에서는 앞에서 주고받은 내용을 참고해 다음 답변을 만들 수 있다. 예를 들어 처음에 “나는 매운 음식을 못 먹어.” 라고 말한 뒤 조금 있다가 “오늘 저녁 메뉴 추천해줘.” 라고 하면 AI가 매운 음식을 제외하고 메뉴를 추천할 수 있다. 그래서 사용자 입장에서는 **“얘가 내 취향을 기억하고 있네?”**라고 느끼게 된다. 새로운 대화를 시작하면 어떨까? 여기서부터 조금 복잡해진다. AI 서비스마다 기능이 다르고, 같은 서비스라도 사용자가 켜둔 기능이나 설정에 따라 이전 대화를 활용하는 방식이 달라질 수 있다. 일부 AI 서비스에는 과거 대화에서 유용한 정보를 참고해 다음 대화에 활용하는 기능이 있다. 예를 들어 자주 사용하는 말투나 선호하는 답변 방식 같은 정보를 다음 대화에서도 참고할 수 있는 식이다. 하지만 이것을 과거의 모든 대화를 글자 하나까지 전부 기억하고 있다 는 뜻으로 이해하면 곤란하다. AI의 기억 기능과 우리가 생각하는 사람의 기억은 같은 개념이 아니다. 오래 사용하면 정말 나를 더 잘 알까? 어느 정도는 그렇게 느낄 수 있다. 내가 원하는 답변 스타일이나 자주 이야기하는 주제를 참고할 수 있다면 처음 사용하는 AI보다 훨씬 편하게 느껴질 수 있기 때문이다. 처음에는 “쉽게 설명해줘.” “너무 어렵게 말하지 마.” “길게 말하지 말고 핵심만 알려줘.” 같은 요청을 반복해야 했다면, 나중에는 ...
자세한 내용 보기

AI는 사람이 농담하는 걸 어디까지 알아들을까?

  AI와 대화를 하다 보면 가끔 웃길 때가 있다. 내가 장난으로 한 말을 알아듣고 장난스럽게 받아칠 때도 있기 때문이다. 그러다가 궁금해졌다. AI는 정말 농담을 이해해서 웃기는 걸까? 아니면 그냥 ‘이 문장은 농담일 가능성이 높다’고 판단해서 적당한 대답을 만드는 걸까? 그래서 AI가 사람의 농담을 어디까지 알아들을 수 있는지 생각해봤다. 일단 아재개그부터 던져봤다 아재개그는 비교적 쉬울 것 같았다. “세상에서 가장 뜨거운 과일은?” 정답은? “천도복숭아.” ‘천도’와 높은 온도를 연결한 말장난이다. 이런 유명한 말장난은 AI가 알고 있을 가능성이 높다. 그렇다면 내가 직접 만든 이상한 개그는 어떨까? “AI가 감기에 걸리면 어디로 갈까?” 잠시 생각해봤다. “챗GPT니까 채팅병원?” ……재미없는 건 AI 문제가 아니라 질문한 사람 문제일 수도 있다. 어쨌든 AI는 이런 문장을 받으면 말장난이나 농담을 시도하고 있다는 맥락을 파악해 비슷한 방식으로 받아칠 수 있다. 그런데 농담은 말장난만 있는 게 아니다 사람의 대화에서는 말 자체보다 상황이 더 중요한 경우가 많다. 예를 들어 친구가 약속시간에 한 시간 늦게 왔다. 그때 내가 이렇게 말한다. “와~ 진짜 빨리도 왔다.” 글자 그대로 해석하면 칭찬이다. 하지만 실제 의미는 정반대다. “엄청 늦었네.” 라는 뜻이다. 사람은 상황과 말투를 보고 이 의미를 쉽게 알아차린다. AI는 어떨까? 상황을 함께 설명해준다면 반어적인 표현이라는 것을 파악할 가능성이 높다. 하지만 아무런 맥락 없이 “진짜 빨리도 왔다.” 라는 문장만 던지면 이야기가 달라진다. 진짜 칭찬인지, 비꼬는 것인지 판단할 정보가 부족하기 때문이다. 문자에서 농담이 오해받는 이유와 비슷하다 생각해보면 사람끼리도 똑같다. 카카오톡이나 문자로 “너 참 잘했다^^” 라고 왔다고 해보자. 정말 칭찬하는 건지 화가 난 건지 이것만 보고는 알기 어려울 수 있다. 직접 대화할 때는 표정, 목소리, 상황이 함께 전달되지만 글에서는 이런 정보가 사라지기 때문이다...
자세한 내용 보기

AI는 최신 정보를 정말 다 알고 있을까?

  AI에게 이것저것 물어보다 보면 어느 순간 검색창보다 AI를 먼저 켜게 된다. “이거 얼마야?” “요즘 뭐가 유행이야?” “오늘 발표된 내용이 뭐야?” 질문하면 바로 답을 해주니 편하다. 그런데 문득 궁금해졌다. AI는 오늘 일어난 일까지 정말 전부 알고 있을까? 결론부터 말하면 그렇다고 생각하면 위험하다. AI와 검색은 비슷해 보이지만 작동 방식에는 차이가 있기 때문이다. AI가 알고 있는 정보에도 범위가 있다 생성형 AI는 많은 데이터를 바탕으로 학습해 질문에 답한다. 하지만 학습했다고 해서 세상의 모든 정보를 실시간으로 알고 있는 것은 아니다. 세상에서는 매일 새로운 일이 생긴다. 제품 가격이 바뀌고, 새로운 스마트폰이 출시되고, 정부 정책이 변경되고, 스포츠 경기 결과가 나온다. 어제까지 맞았던 정보가 오늘은 달라질 수도 있다. 따라서 최신 정보가 필요한 질문에서는 AI가 현재 정보를 실제로 확인했는지 가 중요하다. 인터넷 검색이 가능한 AI라면 다를까? 요즘 일부 AI 서비스는 필요한 경우 인터넷 검색을 이용해 최신 정보를 찾아볼 수 있다. 이 경우에는 단순히 학습된 정보만 이용하는 것보다 최근 소식을 확인하는 데 유리하다. 하지만 여기서도 한 가지 확인할 것이 있다. 검색 기능이 있다고 해서 모든 답변이 자동으로 실시간 검색을 거쳐 만들어지는 것은 아닐 수 있다는 점이다. 서비스와 기능에 따라 작동 방식이 다를 수 있기 때문이다. 그래서 최신 정보가 중요하다면 질문할 때 아예 명확하게 요청하는 편이 좋다. “오늘 기준으로 검색해서 알려줘.” “최신 공식 자료를 확인해서 알려줘.” “정보가 언제 발표된 것인지 날짜도 같이 알려줘.” 이렇게 말하면 내가 원하는 기준을 더 정확하게 전달할 수 있다. 특히 가격 정보는 더 조심해야 한다 가격은 정말 빠르게 변한다. 항공권, 호텔, 전자제품, 환율처럼 수시로 달라지는 정보도 있다. 예를 들어 AI에게 “이 호텔 오늘 숙박비 얼마야?” 라고 물었을 때 예전에 확인된 가격을 알려준다면 현재 가격과 다를...
자세한 내용 보기