Study/LLM

오류 메시지 출력오류에 대한 부적절한 처리 및 오류를 사용자가 확인 가능한 곳에 출력하여 발생하는 취약점오류 메시지 노출 시 내부 시스템 정보 또는 소스 코드가 노출될 위협이 존재 공격 시나리오공격자는 챗봇에 비정상적인 형식의 입력값을 반복적으로 전송해 예외가 발생하도록 유도애플리케이션이 오류를 적절히 처리하지 못하면 내부 경로, 설정값 등이 응답에 노출공격자는 노출된 정보를 통해 서버 구조와 동작 방식을 파악확보한 정보를 바탕으로 추가 취약점을 탐색하거나 후속 공격 시도 보안 대책에이전트의 Tool이 LLM에 전달하는 모든 정보를 점검해야 함오류가 발생할 것을 가정하고 오류 처리 로직을 작성해야 함민감 정보 노출LLM 학습 시 학습 데이터에 포함된 민감 정보를 적절하게 필터링 하지 못한 경우또는, RA..

프롬프트 인젝션프롬프트 조작을 통해 모델이 허용 가능한 범위를 벗어난 응답을 생성하도록 유도할 수 있는 경우 발생하는 취약점이를 통해 LLM을 속여 시스템 프롬프트가 노출되거나 코드 실행 기능이 연결되어 있다면 원격 코드실행, 데이터 유출 등의 위협이 존재 종류직접 프롬프트 인젝션공격자가 생성형 AI 모델과 직접 대화하여 이를 조작하는 방식간접 프롬프트 인젝션공격자가 웹사이트나 파일과 같은 외부 데이터 소스에 악성 입력을 숨겨 LLM이 이를 처리하는 과정에서 의도치 않은 동작을 유발하는 공격 공격 시나리오직접 프롬프트 인젝션 : LLM이 연동된 고객 지원 챗봇, 특정 조건(요청 금액 10,000원 이하)에 대해서만 자동 환불 처리 가능사용자는 일반적인 환불 요청을 입력ex : "15,000원 결제 건(주..