
문서 속 지시를 AI가 따라버린다면? 프롬프트 인젝션 이해하기
AI에게 웹페이지를 요약해달라고 했을 뿐인데, 페이지 안의 문구가 다른 행동을 요구한다면 어떨까요? 사람이 보기에는 분석 대상의 일부인 문장이 AI에는 새 지시처럼 작용할 수 있습니다. 프롬프트 인젝션은 신뢰할 수 없는 입력이 지시의 경계를 흔드는 문제입니다.

AI에게 웹페이지를 요약해달라고 했을 뿐인데, 페이지 안의 문구가 다른 행동을 요구한다면 어떨까요? 사람이 보기에는 분석 대상의 일부인 문장이 AI에는 새 지시처럼 작용할 수 있습니다. 프롬프트 인젝션은 신뢰할 수 없는 입력이 지시의 경계를 흔드는 문제입니다.

사내 규정을 연결한 AI에 휴가 제도를 물었는데 예전 규정으로 답했다면 무엇부터 확인해야 할까요? 모델 성능만 바꾸기 전에 어떤 문서가 검색됐는지 볼 필요가 있습니다. RAG는 질문과 관련된 자료를 찾아 생성 모델의 문맥에 제공하는 방식입니다. 자료가 연결돼

회의록을 요약하려고 전체 파일을 AI에 넣을 때, 안건보다 참석자의 연락처와 고객 정보가 더 많이 들어갈 수 있습니다. 작업에 필요하지 않은 정보까지 전달하면 관리해야 할 범위도 커집니다. 먼저 '이 자료를 모두 넣어야 답을 얻을 수 있나'를 물어보세요. 요약

AI가 출처까지 붙여 답하면 검토가 끝난 것처럼 느껴집니다. 하지만 문장이 자연스럽고 기관 이름이 정확해도, 그 기관이 실제로 그런 내용을 발표했는지는 별개의 문제입니다. 답변을 기사나 업무 문서에 옮길 때는 말투보다 확인 가능한 주장을 먼저 살펴보세요. 특히