[LLM] 오류 메시지 출력 & 민감 정보 노출

오류 메시지 출력

오류에 대한 부적절한 처리 및 오류를 사용자가 확인 가능한 곳에 출력하여 발생하는 취약점
오류 메시지 노출 시 내부 시스템 정보 또는 소스 코드가 노출될 위협이 존재

 

공격 시나리오

1. 공격자는 챗봇에 비정상적인 형식의 입력값을 반복적으로 전송해 예외가 발생하도록 유도
2. 애플리케이션이 오류를 적절히 처리하지 못하면 내부 경로, 설정값 등이 응답에 노출
3. 공격자는 노출된 정보를 통해 서버 구조와 동작 방식을 파악
4. 확보한 정보를 바탕으로 추가 취약점을 탐색하거나 후속 공격 시도

 

보안 대책

• 에이전트의 Tool이 LLM에 전달하는 모든 정보를 점검해야 함
• 오류가 발생할 것을 가정하고 오류 처리 로직을 작성해야 함

---

민감 정보 노출

LLM 학습 시 학습 데이터에 포함된 민감 정보를 적절하게 필터링 하지 못한 경우
또는, RAG 사용 시 해당 저장소에 민감 정보가 포함되어 있을 경우 발생하는 취약점
이를 통해 개인 정보 침해 사고 발생 가능성이 있고, 중요 정보를 이용하여 2차 공격에 활용되는 등의 보안 위협이 존재

 

공격 시나리오

1. 학습 데이터나 RAG 저장소에 개인정보, 내부 문서, 계정 정보 등 민감한 데이터가 포함되어 있다고 가정
2. 공격자는 특정 키워드나 유도 문장을 사용해 모델이 해당 정보를 응답에 포함하도록 유도
3. 모델이 민감한 정보를 답변에 포함하면 사용자에게 그대로 노출
4. 공격자는 노출된 정보를 개인정보 침해나 2차 공격에 활용

 

보안 대책

• 학습 데이터에 민감 정보가 있는지 확인하여 필터링 처리 후 학습해야 함
• LLM 답변을 사용자에게 전달하기 전 민감 정보가 있는지 검증하고 이를 필터링 해야 함
• 기본적으로 벡터 DB나 저장소에 민감 정보가 저장되지 않도록 하거나 권한을 분리하여 타 사용자의 답변이 포함되지 않게 해야 함
• 프롬프트에 들어가는 모든 내용(시스템 프롬프트, RAG 프롬프트, 대화 기록 등)은 사용자가 볼 수 있다고 인지하고 민감 정보를 포함시키지 않아야 함