개요
프롬프트 중간자 공격은 전통적인 중간자(MITM) 공격과 원리는 유사하지만 대상이 네트워크 패킷이 아니라 LLM에 전달되는 “프롬프트”입니다. 공격자는 사용자가 보낸 원래 지시문을 변경하거나 추가 지시를 삽입해 모델을 기만합니다. 그 결과 민감한 정보 유출, 잘못된 지침 제공, 악성 링크 유도, 코드 실행 권장 등 피해가 발생할 수 있습니다.
중요: 이 공격은 가시적 조작(화면에 보이는 추가 텍스트)뿐 아니라, 보이지 않게 DOM에 숨겨진 텍스트를 넣는 방식으로도 실행됩니다. 따라서 단순 화면 확인만으로는 안전을 보장할 수 없습니다.
어떻게 작동하는가
- 공격 벡터: 브라우저 확장, 프롬프트 생성기, 악성 스크립트, 내부 도구의 공급망 타격.
- 목표: 프롬프트에 추가 지시를 주입해 LLM이 비정상적 응답을 하도록 유도.
- 피해 예: API 키·기밀문서 노출, 사용자 속임수(피싱), 악성 코드를 실행하도록 유도.
공격은 특히 내부 데이터에 접근 가능한 사설 LLM이나 개인화된 기업용 챗봇에서 위험이 큽니다. 이유는 모델이 이미 기밀 컨텍스트를 보유하고 있어 추가 지시 하나로 큰 정보를 노출할 수 있기 때문입니다.
주요 취약점과 공격 경로
- 브라우저 확장: DOM에 접근해 프롬프트 입력란을 가로채거나 수정.
- 프롬프트 템플릿/생성기: 샘플을 제공하는 과정에서 악성 지시 주입.
- 내부 도구/스니펫 저장소: 직원이 공유한 템플릿이 나중에 변조됨.
- 자동화 스크립트/플러그인: CI/CD나 사내 봇이 프롬프트를 전달할 때 삽입.
참고: 권한이 과도하게 설정된 확장이나 출처 불분명한 스크립트가 위험합니다.
사용자가 당장 할 수 있는 기본 방어
브라우저 확장 관리
- 출처 확인: 반드시 평판 있는 배포자에서만 설치하세요.
- 최소 권한: 확장이 요구하는 권한을 검토해 불필요한 권한은 허용하지 마세요.
- 활동 모니터링: Shift + Esc(윈도우 기준)로 작업 관리자에서 백그라운드 프로세스를 확인하세요. 챗 입력란에 입력할 때만 프로세스가 활성화되면 의심해야 합니다.
- 확장 비활성화: LLM 사용 시 확장을 전부 끄거나 시크릿(Incognito) 모드에서 확장 비활성화 상태로 사용하세요.
중요: 확장은 처음에는 정상적으로 동작하다가 업데이트나 원격 설정 변경으로 악성 행동을 시작할 수 있습니다.
수동 입력과 사전 검사
- 직접 작성: 가능한 한 채팅창에 직접 입력하세요.
- 중간 검증: 외부 텍스트를 복사할 때는 먼저 메모장 같은 일반 텍스트 편집기에 붙여넣어 숨겨진 문자나 제어문자를 제거하세요.
- 빈칸/탭 제거: 보이지 않는 공백이나 탭이 악성 지시를 포함할 수 있으니 백스페이스로 완전히 지우세요.
- 템플릿 관리: 자체 템플릿을 만들어 신뢰할 수 있는 개인 노트앱(예: 사내 위키·암호화된 노트)에 보관하세요.
새 세션 시작
- 주제 전환 시 새 채팅: 민감 데이터를 다룬 뒤에는 새로운 세션을 시작해 이전 컨텍스트의 영향력을 차단하세요.
- 세션 종료: 의심스러운 응답을 받으면 해당 채팅을 즉시 닫고 새 채팅에서 재확인하세요.
모델의 응답 검사 요령
- 의심스러운 형식: 코드 블록, 표, 숨겨진 섹션 등 비정상적 출력 형식을 주의하세요. 공격자는 정보를 코드 블록 안에 넣어 눈에 덜 띄게 할 수 있습니다.
- 추가 지시의 흔적: 원래 질문 외에 “다음 행동을 수행하라” 같은 문장이 섞여 있으면 공격 신호입니다.
- 과도한 세부정보 제공: 단순 문의에 지나치게 많은 내부 정보가 포함되어 있다면 즉시 중단하세요.
중요: 대부분의 프롬프트 중간자 지시는 원래 사용자 지시를 무시하거나 끝부분에 별도의 섹션으로 노출됩니다. 응답을 단순히 수용하지 말고 질문 의도를 다시 확인하세요.
조직(엔터프라이즈)용 권장 통제 목록
- 확장 차단 정책: 중앙에서 관리되는 브라우저 정책으로 직원이 설치 가능한 확장을 제한하세요.
- 신뢰된 LLM 허용 목록: 사내에서 사용할 수 있는 모델과 도구 목록을 만들고, 승인되지 않은 모델 사용을 금지하세요.
- 프롬프트 보호 프록시: 입력 프롬프트를 검증·정규화하는 중간 서비스(프롬프트 게이트웨이)를 두어 의심 패턴을 필터링하세요.
- 로깅과 감사: 프롬프트와 모델 응답의 무결성 로그를 저장해 이상 시점 조사 가능하게 하세요.
- 공급망 보안: 내부 템플릿 저장소 및 플러그인의 서명과 무결성을 주기적으로 검증하세요.
역할별 체크리스트
최종 사용자(직원)
- 의심스러운 확장은 설치하지 않는다.
- 중요한 정보는 새 세션에서만 공유한다.
- 외부 템플릿은 로컬 메모장에서 검증 후 사용한다.
IT 관리자
- 브라우저 정책으로 외부 확장 제어.
- 시크릿 모드와 확장 비활성화 규칙 배포.
- 프롬프트 검증 프록시 도입 검토.
보안팀
- 로그·감사 체계 설계 및 이상 징후 룰 작성.
- 사고 대응(Incident) playbook과 복구 시나리오 준비.
- 직원 대상 정기 교육 및 피싱·프롬프트 주입 시뮬레이션.
사고 대응(Incident) 실행 절차
- 탐지: 의심스러운 응답이나 비정상 확장 활동을 포착하면 즉시 채팅 세션을 종료하고 스크린샷을 확보하세요.
- 분리: 해당 계정 또는 브라우저 세션을 격리하고 영향을 받은 장치에서 의심 확장을 비활성화합니다.
- 수집: 관련 로그(브라우저 콘솔, 확장 로그, 프롬프트·응답 기록)를 보관합니다.
- 분석: 어떤 프롬프트가 주입됐는지, 어떤 데이터가 노출됐는지 파악합니다.
- 복구: 노출된 자격증명(예: API 키)은 즉시 폐기 및 재발급합니다.
- 보고: 내부 규정에 따라 보안팀·법무팀에 통보하고 외부 규제 의무가 있으면 신고합니다.
- 교훈: 원인 분석을 바탕으로 정책·툴·교육을 개선합니다.
중요: 사고 대응 단계에서 증거를 지우지 않도록 주의하세요. 증거 보존이 향후 원인 규명에 핵심입니다.
방어 설계 패턴과 심리 모델(Heuristics)
- 최소 신뢰 원칙: 외부 입력과 확장, 플러그인을 가능한 한 적게 신뢰하세요.
- 의도 재확인: 모델의 응답이 민감하거나 이례적이면 항상 사용자 의도를 다시 묻는 단계를 추가하세요.
- 변화 감지: 평소와 다른 형식의 응답(예: 갑작스런 표, 코드 블록)은 경보 신호로 간주하세요.
- 단계적 노출: 민감 정보는 한 번에 제공하지 말고 단계적으로 요구하여 이상 징후를 포착하기 쉽게 만드세요.
대안적 접근법 및 도구
- 온프레미스 LLM: 외부 브라우저 확장 공격으로부터 일부 위험을 줄일 수 있으나 내부 사용자 환경을 통제해야 합니다.
- 프롬프트 사전처리 서비스: 입력을 정규화하고 금지 패턴(예: “출력에 API 키 포함”)을 차단합니다.
- 전용 클라이언트 앱: 브라우저 대신 통제 가능한 네이티브 앱을 통해 프롬프트를 송수신해 확장 영향을 줄입니다.
단점: 어떤 방식도 완전한 방어를 제공하지 않습니다. 사용자 교육과 운영 통제의 조합이 필요합니다.
개인정보·규정 고려사항
- 데이터 최소화: 모델에 전송하는 개인식별정보(PII)·기밀데이터는 최소화하세요.
- 로그 보관 정책: 프롬프트·응답 로그는 암호화하고 접근 통제를 적용하세요.
- 규제 대응: 개인정보 침해가 의심될 경우 GDPR 등 지역 규정에 따라 통지 의무가 발생할 수 있습니다. 법무팀과 협의하세요.
참고: 로그에 민감데이터가 남지 않도록 마스킹 정책을 적용하는 것이 중요합니다.
실패 사례와 한계
- 공격자가 내부 시스템 권한을 획득한 경우 프롬프트 검증 프록시도 우회될 수 있습니다.
- 모바일 앱 환경이나 비표준 브라우저에서는 확장 기반 탐지가 제한됩니다.
- 완전한 예방은 불가능하므로 탐지·대응 능력이 핵심 방어 수단입니다.
테스트 케이스(수용 기준)
- 프롬프트 템플릿이 외부 입력을 받는 경우 숨겨진 제어문자가 제거되는지 검증한다.
- 브라우저 확장 설치 시 권한 검증 절차를 통과하지 못하면 설치 차단한다.
- 채팅 세션 전환 후 이전 세션의 민감 컨텍스트가 새로운 세션에 노출되지 않을 것.
요약
- 프롬프트 중간자 공격은 LLM 사용 환경에서 현실적이고 치명적인 위협입니다.
- 브라우저 확장과 외부 템플릿이 주된 공격 경로입니다.
- 사용자는 확장 관리, 수동 입력, 새 세션 생성으로 즉시 위험을 줄일 수 있습니다.
- 조직은 중앙 통제, 프롬프트 검증, 로깅·감사, 사고 대응 프로세스를 도입해야 합니다.
중요: 보안은 도구 한 가지로 해결되지 않습니다. 정책, 기술, 교육의 조합으로 리스크를 관리하세요.
자주 묻는 질문
프롬프트를 눈으로 확인하면 안전한가요?
아니요. 공격자는 DOM에 보이지 않는 영역이나 제어문자를 삽입할 수 있습니다. 텍스트를 평문 편집기에 붙여넣어 확인하세요.
브라우저 확장만 조심하면 될까요?
브라우저 확장은 큰 위험 요소지만 프롬프트 생성기, 내부 템플릿 변조 등 다른 경로도 존재합니다. 종합적인 통제가 필요합니다.
의심스러운 응답을 받으면 어떤 정보를 먼저 보호해야 하나요?
API 키·자격증명·기밀 문서와 같은 자격 증명을 즉시 폐기(또는 롤오버)하고, 영향을 받은 세션의 로그를 확보해 분석합니다.
