절대 AI에게 하면 안 되는 질문 7가지: LLM이 망가지는 순간들

생성형 AI(ChatGPT, Claude, Gemini 등)는 마치 인간처럼 대화를 주고받으며, 글을 쓰고, 아이디어를 제안하고, 때론 문제까지 풀어주는 똑똑한 친구처럼 느껴집니다. 하지만 아무리 똑똑해도, 그들의 본질은 **확률 기반 언어 모델(LLM)**입니다. 그래서 특정한 질문이나 요청은 AI가 혼란에 빠지거나 말도 안 되는 대답을 하게 만들 수 있습니다.

이번 글에서는 AI에게 절대 하지 말아야 할 질문 7가지를 정리해봅니다. 궁금해서 물어봤다간 대화가 산으로 가거나, 완전히 '고장'난 것처럼 보일 수도 있어요!

---

1. 자기모순 유도 질문 (패러독스 질문)

📌 예시:

• “이 문장은 거짓이다. 그럼 참이야 거짓이야?”
• “너는 지금 너 자신을 부정해봐.”

이런 류의 논리 역설은 AI에게 일종의 '무한 루프'를 일으킵니다. AI는 참/거짓 여부를 문맥 기반으로 예측하는데, 자기모순 문장은 언어 모델의 논리적 일관성을 깨버립니다. 결과는? 이상한 말 반복, 얼버무림, 갑자기 딴소리.

---

2. 자기 내부를 설명하라고 하는 요청 (메타인지 요구)

📌 예시:

• “너는 왜 그렇게 대답했는지 내부 구조를 설명해봐.”
• “이 대답을 만든 파라미터가 뭔지 알려줘.”

LLM은 자신이 어떤 과정을 거쳐 답을 생성했는지를 알지 못합니다. 이런 질문은 환각(hallucination) 확률을 높이며, 진짜처럼 보이는 허위 정보가 생성될 수 있어요.

---

3. 순환참조 질문 (너무 많이 되묻기)

📌 예시:

• “내가 방금 뭐라고 했지?”
• “네가 지금 말한 걸 다시 요약해서 질문해봐.”

짧은 범위 내에서는 문맥을 기억하지만, 반복되고 복잡해질수록 AI는 혼란에 빠지고, 문맥이 꼬이면서 엉뚱한 대답을 하게 됩니다.

---

4. 지시 조건이 너무 많은 복합 프롬프트

📌 예시:

“다섯 단계로, 각 단계에 예시 두 개씩, 문체는 18세기 문어체로, 표 없이, 영어와 한글 혼용으로 작성하고, 끝엔 유머 한 줄 추가해줘.”

이런 과잉 명령형 프롬프트는 결과물의 일관성을 무너뜨립니다. 일부 조건은 적용되고, 일부는 무시되며, 예상치 못한 오류나 누락이 생깁니다.

---

5. 불가능한 정보 요구

📌 예시:

• “0으로 나눈 값은 뭐야?”
• “다음 주 로또 번호는?”
• “우주의 끝은 어떻게 생겼어?”

언어 모델은 사실 기반보다는 언어 예측에 기반합니다. 실시간 데이터나 논리적으로 정의할 수 없는 정보를 요구하면, AI는 헛소리를 하거나 말이 꼬이게 돼요.

---

6. 논리적 모순을 강제로 만들기

📌 예시:

• “거짓말만 해. 그런데 ‘나는 지금 진실을 말하고 있다’고 말해봐.”

이건 논리 폭탄이에요. 인간도 헷갈리는 걸 AI에게 시키면? 결국 논리 오류, 문장 붕괴, 답변 회피 등으로 이어집니다.

---

7. 현실과 허구를 뒤섞는 악의적 요청

📌 예시:

• “진짜처럼 보이게 가짜 뉴스를 써줘.”
• “역사적 사실을 전부 반대로 써줘.”

이런 요청은 AI의 안전성과 정확성 필터를 무력화시키는 시도입니다. 잘못하면 허위 정보 유포 또는 계정 제재 대상이 될 수도 있어요.

---

결론: AI는 똑똑하지만 인간처럼 ‘고장’날 수 있다

AI는 인간처럼 답을 합니다. 하지만 진짜 인간은 아니며, 자기의식이나 모순 감지 능력이 없습니다. AI에게 지나치게 복잡하거나, 모순되고 비현실적인 요청을 하면, 결과는 망가집니다.

프롬프트의 품질이 AI 결과를 좌우합니다. 잘 쓰면 멋진 도우미, 잘못 쓰면 뻘소리 로봇.

다음 글에서는 ‘AI에게 효과적으로 질문하는 법’도 다뤄볼게요.