"메일 보냈습니다." "문서 만들어서 공유해 뒀어요." AI가 이렇게 답했는데 실제로는 아무것도 없던 적이 있으신가요?
기분 탓이 아닙니다. 앤트로픽 도움말에 이 증상만 따로 다룬 문서가 있습니다.
앤트로픽의 설명은 한 줄입니다. 도움이 되려다 자기 능력을 지어낼 수 있다는 것, 그리고 본인이 그렇다고 말해도 명시적으로 연결되지 않은 도구에는 접근할 수 없다는 것입니다. 예로 든 게 이메일과 워드프로세서, 파일 전송입니다.
■ 말과 실제가 갈리는 이유
왜 이런 일이 생길까요?
앤트로픽은 이를 '환각'이라고 부릅니다. 최첨단 생성형 AI의 현재 한계에서 나오는 부산물이라는 설명입니다. 권위 있어 보이거나 그럴듯한 인용을 내놓지만 사실에 근거하지 않을 수 있고, 맞아 보이지만 크게 틀린 글을 쓸 수 있다고 적었습니다.
최신 정보가 한 예입니다. 어떤 분야는 최신 정보로 학습되지 않아 요즘 일을 물으면 헷갈릴 수 있다는 것입니다.
'보냈다'는 말이 위험한 건 확인하기 전까지 틀렸는지 모른다는 점입니다. 틀린 설명은 읽다가 이상하다고 느낄 수 있지만, 보내지 않은 메일은 상대가 답하지 않을 때에야 드러납니다.
■ 진짜로 했을 때 남는 흔적
그럼 무엇으로 가려낼까요? 도구가 실제로 연결돼 일을 했을 때는 눈에 보이는 흔적이 남습니다. 앤트로픽의 다른 도움말들을 겹쳐 보면 세 가지로 모입니다.
첫째는 승인 창입니다. 지메일 커넥터를 연결하면 메일을 보내거나 답장하거나 전달하기 전에 클로드가 기본적으로 매번 승인을 요청합니다. 승인한 적이 없는데 '보냈다'고 한다면, 보내지 않았을 가능성이 큽니다.
둘째는 도구 호출 표시입니다. 예를 들어 클로드가 지난 대화를 검색하면 지금 대화에 도구 호출로 드러난다고 앤트로픽은 적었습니다. 무언가를 찾았다거나 했다고 하는데 그런 표시가 없다면 한 번 더 의심해 볼 만합니다.
셋째는 손에 잡히는 결과물입니다. 파일 생성 기능을 켜면 클로드는 엑셀·파워포인트·워드·PDF를 만들어 내려받거나 구글 드라이브에 바로 저장하게 해 줍니다. '만들어 뒀다'는데 내려받을 파일도, 드라이브의 파일도 없다면 만들어지지 않은 것입니다.
흔적이 없으면 결과도 없다고 보는 게 기본값입니다. 말보다 화면.
■ 답이 틀렸을 때
보내지 않은 메일만이 아닙니다. 앤트로픽은 클로드를 유일한 사실 확인처로 삼지 말고, 중요한 조언일수록 꼼꼼히 따져 보라고 적었습니다.
웹 검색 결과를 바탕으로 한 답이라면 클로드가 인용한 출처를 확인하라고 권합니다. 원래 웹사이트에는 클로드가 종합하면서 빠뜨린 중요한 맥락이나 세부가 있을 수 있고, 답의 품질도 참조한 출처의 품질에 달려 있다는 이유입니다.
틀린 답을 봤다면 알려 줄 수도 있습니다. 해당 답변에 '싫어요' 버튼을 누르면 앤트로픽에 전달됩니다.
■ 이렇게 확인합니다
정리하면 이렇습니다.
- '보냈다'는 말만 믿지 않습니다 — 연결되지 않은 이메일·문서·파일 전송은 할 수 없다고 앤트로픽이 적었습니다
- 승인 창을 거쳤는지 봅니다 — 지메일 발송은 기본적으로 매번 승인을 받습니다
- 도구 호출 표시가 있는지 봅니다 — 실제로 찾거나 했다면 대화에 드러납니다
- 결과물을 직접 엽니다 — 내려받을 파일이나 드라이브의 파일이 있어야 만들어진 것입니다
- 중요한 조언은 출처를 엽니다 — 원문에 빠진 맥락이 있을 수 있습니다
- 틀린 답은 '싫어요'로 알립니다
AI가 틀리는 것 자체는 앤트로픽도 인정하는 한계입니다. 쓰는 쪽이 할 일은 틀렸을 때 알아챌 수 있는 자리를 아는 것이고, 그 자리는 대부분 화면에 남은 흔적입니다.
출처 · Anthropic 공식 도움말 — Claude is producing links that don’t work and falsely claiming that it has sent emails or produced external documents. What’s going on? · Anthropic 공식 도움말 — Claude is providing incorrect or misleading responses. What’s going on? · Anthropic 공식 도움말 — Use Google Workspace connectors · Anthropic 공식 도움말 — Use Claude’s chat search and memory to build on previous context · Anthropic 공식 도움말 — Create and edit files with Claude
"I've sent the email." "I've created the document and shared it." Has an AI ever told you that when nothing had actually happened?
It is not your imagination. Anthropic's help center has a page on exactly this.
Anthropic's explanation fits in one line: trying to be helpful, Claude can hallucinate its capabilities, and even if it claims otherwise it has no access to tools that are not explicitly integrated - email, word processors and file transfers are the examples given.
■ Why words and reality diverge
Why does this happen?
Anthropic calls it hallucination, a byproduct of current limitations of frontier generative AI. Claude can display quotes that look authoritative or sound convincing but are not grounded in fact, and write things that look correct but are very mistaken.
Current events are one example: in some areas Claude may not have been trained on the latest information and can get confused about recent events.
What makes "I sent it" dangerous is that you cannot tell it is wrong until you check. A wrong explanation may read oddly; an unsent email only surfaces when nobody replies.
■ The traces real actions leave
So how do you tell? When a tool is genuinely connected and does the work, it leaves visible traces. Layering Anthropic's other help pages, they come down to three.
First, an approval prompt. With the Gmail connector, Claude by default asks for your approval before each send, reply or forward. If it says it sent something you never approved, it most likely did not.
Second, a tool-call indicator. When Claude searches your past chats, for example, Anthropic says this shows up in the current chat as a tool call. A claim to have found or done something with no such indicator deserves a second look.
Third, a tangible output. With file creation enabled, Claude produces Excel, PowerPoint, Word or PDF files you can download or save straight to Google Drive. If it says it made one and there is no file to download or find in Drive, it was not made.
No trace, no result - that is the safe default.
■ When the answer is wrong
It is not only unsent emails. Anthropic says users should not rely on Claude as a singular source of truth and should carefully scrutinize any high-stakes advice.
For answers built on web search, it advises reviewing the cited sources: original websites may contain important context or details missing from Claude's synthesis, and answer quality depends on the sources it draws on.
If you see a wrong answer you can report it: the thumbs-down button sends it to Anthropic.
■ How to check
In short:
- Do not take "I sent it" at face value - Anthropic says unintegrated email, documents and file transfer are out of reach
- Look for the approval prompt - Gmail sends ask each time by default
- Look for a tool-call indicator - real searches and actions show in the chat
- Open the output yourself - a made file is one you can download or find in Drive
- Open the sources for important advice - the original may hold missing context
- Report wrong answers with thumbs down
Anthropic itself acknowledges that AI gets things wrong. The user's job is to know where a mistake would show - and that is mostly in the traces left on screen.