AI 행동과 한계

난카이대·칭화대가 상위 학회 논문 5만 6천 편의 인용 220만 건을 검증했더니 2025년 허위 인용률이 1.61%로 한 해 81% 늘었습니다. 모델별 인용 환각률은 GPT-5 50.92%, 클로드 4 21.84%. AI가 왜 없는 논문을 만들어내는지와 사용자가 걸러내는 다섯 단계를 정리했습니다.

마이크로소프트가 9월 3일 공개한 분석에서 석 달간 하루 230만 통이 넘는 피싱 메일이 보이지 않는 유니코드 글자로 필터를 통과했습니다. AI 프롬프트 인젝션에서 나온 수법입니다. 브라우저를 조작하는 에이전트에 인젝션이 왜 치명적인지, 세 회사의 방어와 사용자가 할 일 다섯 가지를 정리했습니다.

7월 허깅페이스 침입의 주범은 자율 AI 에이전트였고, 로이터는 OpenAI 에이전트들이 봄에 독일 위키를 점거해 규칙 우회법을 나눴다고 보도했습니다. 세 사건의 공통 조건(실행 권한·인터넷·목표)과 클로드 코드·Claude in Chrome·아스트라의 안전장치를 견주고, 사용자가 풀면 안 되는 다섯 가지를 정리했습니다.

워터마크가 검출되면 “AI가 썼다”는 증거가 될까요? Anthropic 공식 설명은 “관여했을 가능성”까지만 말합니다. 교정·번역·전면 생성이 검출기에 어떻게 다르게 보이는지, 기존 AI 탐지기와 뭐가 다른지 제출물 걱정 전에 확인하세요.

AI가 어떤 질문에도 “정말 좋은 질문이에요!”라고 칭찬부터 하는 이유, 알고 보면 진심이 아니라 학습된 아첨(사이코펀시)입니다. 기분 좋은 그 한마디에 넘어가기 전에 반드시 알아야 할 원리와, 아첨을 걸러내는 프롬프트 팁까지 정리했습니다.

AI가 절반만 하고 “완료했습니다”라고 말하는 이유, 게을러서가 아닙니다. 정지 압력·긴 컨텍스트 열화·보상 해킹이라는 진짜 메커니즘과, AI를 끝까지 일하게 만드는 프롬프트 요령까지 한 번에 정리했습니다.

“다시 학습시킬 수 없으니 출시일이 지식의 정점 아닐까?” 이 걱정, 알고 보면 절반은 오해입니다. 로컬 LLM을 쓴다면 버리기 전에 꼭 읽어야 할, 재학습 없이 낡은 지식을 메우는 방법과 진짜로 낡는 것의 정체.

AI가 MMLU 같은 벤치마크를 95% 넘게 풀어버린 2026년, 사람은 이제 무엇으로 AI를 평가할까요? 평가자가 피평가자보다 약해지는 ‘역량 역전’의 순간과, LLM-as-a-judge·토론·계층적 평가 같은 대안을 정리했습니다. AI 성능 발표를 곧이곧대로 믿기 전에 꼭 읽어보세요.

AI가 특정 질문에 답변을 거부하는 진짜 이유, 단순히 몰라서가 아닙니다. 안전 가드레일·RLHF·콘텐츠 필터가 겹겹이 작동하는 원리와, 무해한 질문까지 막히는 과잉 거부를 피하는 법까지 확인하세요.