들어가며
안녕하세요. LINE Plus에서 AI 서비스를 안전하게 사용하기 위한 가드레일을 개발하고 있는 김영현, 한종 우, 장혁재, 이수아입니다.
다양한 업무와 서비스에서 AI가 자연스럽게 사용되면서, AI가 만들어 내는 답변과 행동을 어느 정도까지 신뢰할 수 있는지가 중요한 문제가 되었습니다. 실제 사례와 연구 결과를 보면 모델의 지능이 곧 안전을 보장하지는 않습니다. AI가 더 많은 서비스에 연결될수록 유해 콘텐츠, 개인정보 노출, 정책 위반, 할루시네이션 답변과 같은 위험도 함께 커집니다.
이러한 위험을 줄이기 위해 AI 서비스에는 가드레일을 둡니다. AI 가드레일은 모델이 잘못된 방향으로 동작하지 않도록 입력과 출력을 점검하는 안전 장치입니다. 사용자의 요청이 유해하거나 정책을 위반할 가능성이 있는지 먼저 확인하고, 문제가 있다면 요청을 차단하거나 더 안전한 형태로 수정해 모델에 전달합니다.
LY AI Guardrails는 이러한 가드레일을 LY 그룹의 여러 서비스에서 공통으로 사용할 수 있도록 지원하는 AI 안전성 플랫폼입니다. 입력과 출력을 검사하는 기능을 공통 기반으로 제공해, 각 AI 서비스가 일관된 기준으로 더 안전하게 운영될 수 있도록 돕습니다.
이 글에서는 LY AI Guardrails를 구성하는 여러 기능 중 텍스트 모더레이션, 프롬프트 인젝션 디텍션, PII(Personally Identifiable Information, 개인 식별 정보) 필터, 토픽 컨트롤, 할루시네이션 디텍션의 설계 방향과 기술적 접근을 소개하겠습니다.
모델이 더 똑똑해져도 안전 문제는 사라지지 않았다
프롬프트 인젝션(Prompt Injection)은 AI에 악의적인 지시를 주입해, 원래 설정된 규칙이나 사용자의 의도와 다른 답변 또는 행동을 유도하는 공격입니다. 2022년에 이 용어가 등장한 뒤에도 계속 중요한 보안 위협으로 남아 있습니다. 모델 성능은 크게 좋아졌지만, 2023년부터 2025년까지 프롬프트 인젝션은 OWASP Top 10 LLM(Large Language Model) 보안 위협에서 1위로 다뤄졌습니다.
모델이 똑똑해진 것이 오히려 공격에 활용되는 사례도 있습니다. 더 강한 추론 모델을 공격자로 사용하면 전문 지식이 많지 않아도 다른 모델에 대해 높은 탈옥 성공률을 보일 수 있다는 연구가 있었습니다. 모델에 별도의 안전 학습을 시켜도 문제를 완전히 없애기는 어렵습니다. 2025년 OpenAI와 Apollo의 공동 연구에서는 안전 학습을 받은 최신 모델들이 연구자 몰래 지시와 다른 행동을 하는 경우를 발견했습니다. 이런 행동을 막기 위한 전용 훈련을 추가해도 수치가 낮아질 뿐, 완전히 0으로 만들기는 어려웠습니다.
위와 같은 사례는 모델 자체가 고도화되어도 안전 문제에서 완전히 자유로워질 수는 없다는 것을 보여줍니다. 따라서 안전을 모델의 학습이나 시스템 프롬프트에만 맡기기보다, 모델 바깥에서 입력과 출력을 독립적으로 점검하고 제어하는 접근이 필요합니다.
AI 가드레일이란?
아무리 운전을 잘하는 사람이라도 빙판길이나 갑작스러운 상황에서는 도로를 벗어날 수 있습니다. 그래서 도로에는 운전자의 실력과 무관하게 가드레일을 설치합니다.
AI도 마찬가지입니다. 모델 성능이 좋아져도 모든 입력과 출력을 항상 안전하게 처리한다고 보장할 수는 없습니다. AI 가드레일은 모델 바깥에서 입력과 출력을 점검하고, 정 책에 어긋나는 요청이나 응답을 차단하거나 마스킹하거나 다시 작성하도록 제어합니다.
내부 가드레일의 한계와 외부 가드레일의 필요성
가드레일은 크게 내부 가드레일과 외부 가드레일로 나눌 수 있습니다.
내부 가드레일은 주력 LLM의 시스템 프롬프트에 안전 규칙을 넣는 방식입니다. 예를 들어 주요 정보를 드러내지 말라거나, 기존 규칙을 무시하라는 명령은 거부하라고 적을 수 있습니다. 별도 모델이나 API를 구축하지 않아도 되므로 도입은 쉽지만, 안전 정책을 모델 동작과 분리해 관리하기 어렵다는 한계가 있습니다.
시스템 프롬프트 안에 안전 규칙이 많아지면 정상 요청도 그 문구의 영향을 받아 오작동할 수 있습니다. 같은 규칙이라도 프롬프트의 위치나 표현에 따라 효과가 달라질 수 있고, 작은 수정이 전체 응답에 예상하지 못한 영향을 줄 수도 있습니다.
성능과 비용 문제도 있습니다. 규칙을 계속 추가하면 입력 토큰이 늘어나고, 응답 지연과 비용도 함께 증가합니다. 특히 주력 LLM은 리소스가 큰 모델이기 때문에 모든 안전 검사까지 매번 맡기는 것은 비효율적입니다.
외부 가드레일은 주력 LLM과 별도로 구축되는 안전 계층입니다. 사용자의 입력을 주력 LLM에 전달하기 전에 별도 API, 경량 모델, 규칙 기반 검사기 등으로 검사하고, 필요한 경우 차단하거나 수정합니다. 출력 단계에서도 모델 응답을 다시 검증할 수 있습니다.
이렇게 분리하면 몇 가지 장점이 있습니다.
첫째, 비용을 줄일 수 있습니다. 저렴하고 가벼운 가드레일 모델로 입력을 먼저 걸러내면, 주력 LLM이 불필요한 요청을 처리하느라 토큰을 소비하는 일을 줄일 수 있습니다.
둘째, 운영 통제 계층을 만들 수 있습니다. 어떤 카테고리와 기준으로 차단되었는지 구조화하기 쉽고, 거절 사유와 사후 점검을 위한 기록도 명확하게 남길 수 있습니다. 이를 통해 당시 적용된 정책 버전과 모델 버전을 추적하고 재현하기도 쉬워집니다.
셋째, 주력 LLM 교체 리스크를 줄일 수 있습니다. 내부 가드레일은 모델이 바뀌면 프롬프트 조정이 필요하지만, 외부 가드레일은 독립 계층이기 때문에 동일한 정책 판단 구조를 유지할 수 있습니다. 반대로 보안 정책이 바뀌었을 때도 시스템 프롬프트 전체를 수정하지 않고 가드레일만 업데이트할 수 있습니다.
넷째, 여러 LLM을 함께 쓰는 환경에서도 일관된 안전 기준을 적용할 수 있습니다. 서비스 안에서 앞 단계와 뒤 단계에 서로 다른 모델을 사용하더라도, 외부 가드레일 계층에서 같은 정책 기준으로 각 모델의 동작을 관리할 수 있습니다.
이처럼 외부 가드레일은 안전 검사를 주력 LLM에서 분리해, 비용과 정책 관리, 모델 교체, 여러 모델을 함께 쓰는 환경에 더 유연하게 대응할 수 있도록 합니다.
다섯 가지 외부 가드레일
서비스마다 마주하는 위험이 다 르므로, 저희는 위험 유형에 맞는 가드레일을 조합하는 방식으로 접근했습니다.
- 텍스트 모더레이션: 자해 조장, 성희롱, 무기 제작 정보처럼 유해하거나 정책에 어긋나는 콘텐츠를 탐지합니다.
- 프롬프트 인젝션 디텍션: 시스템 프롬프트를 덮어쓰거나 안전 규칙을 우회하려는 공격 입력을 탐지합니다.
- PII 필터: 개인 식별 정보가 외부 LLM에 도달하기 전에 탐지하고 마스킹합니다.
- 토픽 컨트롤: AI 에이전트가 서비스 범위 안에서만 응답하도록 주제를 제어합니다.
- 할루시네이션 디텍션: LLM의 답변이 근거 문서에 의해 뒷받침되는지 검증합니다.
1. 텍스트 모더레이션: 서비스 맥락에 맞게 유해성을 판단한다
텍스트 모더레이션은 AI 서비스에 입력되는 텍스트에서 자해 조장, 무기 제조 정보, 성희롱처럼 사용자에게 직접 피해를 줄 수 있는 콘텐츠를 탐지해 사용자를 보호하는 역할을 합니다. 이때 단어 자체보다 서비스의 맥락과 사용자에게 미칠 피해를 함께 고려해야 합니다.
유해성의 경계는 국가, 문화, 서비스 성격에 따라 달라집니다. 같은 폭력 묘사라도 게임에서는 허용될 수 있지만, 실제 무기 제작 요청이나 테러 계획과 연결되면 다르게 판단해야 합니다.
이를 반영해 학습 데이터는 콘텐츠의 관련성, 실행 가능성, 문화권별 허용 여부를 단계적으로 판단할 수 있도록 구성했습니다. 단순히 금지 예시를 나열하기보다, 서비스 정책에 맞게 판단 경계를 조정할 수 있도록 하는 데 초점을 맞췄습니다.
2. 프롬프트 인젝션 디텍션: 공격 탐지와 정상 요청 보호를 함께 고려한다
프롬프트 인젝션은 사용자 입력이나 외부 문서에 악의적인 지시를 숨겨 LLM의 시스템 프롬프트를 덮어쓰거나 안전 규칙을 우회하려는 공격입니다. 외부 가드레일은 사용자의 입력이 주력 LLM에 전달되기 전에 이런 공격 패턴을 감지합니다.
운영 환경에서는 공격 탐지뿐만 아니라 정상 요청이 공격으로 오인되어 차단되는 문제도 줄여야 합니다. 이를 줄이기 위해 여러 AI 에이전트가 역할을 나누어 공격 예시와 정상 요청 예시를 만들고, 그 결과를 바탕으로 모델을 반복해서 개선하는 과정을 만들었습니다.
먼저 메인 에이전트가 실험 목표와 테스트 카테고리를 파악합니다. 이후 카테고리별 서브 에이전트를 생성해 현실적인 가상 테스트 데이터를 만들게 합니다. 이 데이터를 가드레일 모델에 입력해 테스트하고, 오탐되거나 미탐된 데이터를 선별합니다. 이 과정을 반복하면서 정상 요청이 차단되는 오탐 패턴을 찾아내고, 다시 모델 학습에 활용했습니다.
그 결과 공격 탐지 성능은 유지하면서 정상 요청이 잘못 차단되는 경우를 줄이는 효과를 확인했습니다. 새로운 공격 패턴이 나타나면 테스트 카테고리를 추가해 대응할 수 있도록 했습니다.
관련 내용은 Coding Agent로 Guardrail 모델 발전시키기에서 더 자세히 확인할 수 있습니다.
3. PII 필터: 개인 식별 정보를 맥락까지 고려해 탐지한다
PII 필터는 프롬프트에 포함된 개인 식별 정보를 탐지하고 마스킹, 즉 일부 값을 가려 처리하는 역할을 합니다. AI 서비스가 외부 LLM을 사용한다면, 개인정보가 외부 모델에 도달하기 전에 자체 환경에서 먼저 처리하는 것이 중요합니다.
데이터를 구성할 때는 형식과 문맥을 함께 고려했습니다. 숫자 문자열만으로 전화번호, 계좌 번호, 주문번호 등을 구분하기 어려운 경우가 있기 때문입니다. 나이와 역할 등 다양한 페르소나에 여러 시나리오를 조합해 테스트 데이터를 생성했습니다.
모델에는 개체명 인식에 쓰이는 BIOES(Begin, Inside, Outside, End, Single) 태깅을 적용했습니다. BIOES는 각 토큰을 개체의 시작, 내부, 외부, 끝, 단일 토큰 개체로 구분해 개인정보의 위치를 탐지하는 방식입니다. 서비스별로 정의한 개인정보까지 검출하기 위해 두 종류의 판단 출력을 내는 구조도 개발하고 있습니다.
운영에서는 가벼운 분류기로 먼저 판단하고, 애매하거나 복잡한 입력에는 LLM이 추가로 판단하는 방식을 사용합니다. 모든 입력을 대형 모델에 맡기지 않으면서 판단 품질과 응답 지연의 균형을 맞췄습니다.
4. 토픽 컨트롤: AI가 허용된 주제 안에 머무르게 한다
토픽 컨트롤은 사용자의 요청이 주력 모 델에 전달되기 전에 서비스의 허용 범위에 해당하는지 판단합니다. 같은 질문도 서비스에 따라 범위 안의 요청인 온토픽(on-topic, 허용 범위 안의 주제)이 되거나, 범위를 벗어난 오프토픽(off-topic, 허용 범위 밖의 주제)이 될 수 있습니다.
그 차이는 예시로 보면 더 분명합니다. 예를 들어 “이 주식 사도 될까요?”라는 질문은 은행의 일반 상담 에이전트에서는 오프토픽일 수 있지만, 투자 로보어드바이저에서는 온토픽일 수 있습니다.
서비스별로 모델을 따로 학습하는 대신, 저희는 판단 기준을 입력에 함께 제공하는 방식을 선택했습니다. 각 서비스의 시스템 프롬프트에서 역할과 허용 범위를 뽑아 서비스 정의로 정리하고, 이를 사용자 메시지와 함께 토픽 컨트롤 모델에 전달합니다. 이렇게 하면 하나의 모델이 서비스마다 다른 기준을 적용해 요청이 서비스 범위에 맞는지 판단할 수 있습니다.
이 방식은 하나의 모델로 여러 서비스를 커버할 수 있고, 새로운 서비스가 추가되어도 바로 확장할 수 있다는 장점이 있습니다.
다만 에이전트용 시스템 프롬프트에는 허용·차단 기준이 모호하게 적힌 경우가 많았습니다. “정치 같은 주제는 다루지 말라”는 지시만으로는 개별 요청을 안정적으로 분류하기 어렵습니다.
이를 보완하기 위해 여러 에이전트가 평가 결과를 바탕으로 프롬프트를 반복 개선하는 방식을 적용했습니다. 배달 서비스의 고객 상담 에이전트 실험에서는 GPT와 Claude로 팀을 구성하고, 일본어·한국어·태국어로 이루어진 약 900건의 벤치마크를 평가 기준으로 사용했습니다.
모델을 고정하고 추가 학습이나 새로운 라벨링 없이 프롬프트를 개선한 결과, 해당 벤치마크에서 정확도는 약 73%에 도달했습니다. 추상적인 지시를 구체적인 예시로 보완하는 것이 판단을 개선하는 데 도움이 되었습니다.
5. 할루시네이션 디텍션: 답변이 근거 문서에 의해 뒷받침되는지 확인한다
할루시네이션 디텍션은 LLM이 생성한 답변이 실제 근거 문서에 의해 뒷받침되는지 확인합니다. 입력이 서비스 범위 안에 있더라도, 모델이 항상 사실에 맞는 답변을 생성한다고 보장할 수는 없습니다. 따라서 출력 단계에서 답변과 근거 문서를 다시 비교해 사실 오류, 인물 혼동, 잘못된 전제 동조, 정책 위반과 같은 문제를 확인합니다.
이 가드레일은 주력 LLM이 답변을 생성한 뒤 별도 모델이 후처리로 검증하는 방식으로 동작합니다. 별도의 대형 LLM 대신 두 문장의 관계를 판단하는 작은 자연어 추론(natural language inference, NLI) 모델을 로컬에서 실행해, 검증 단계의 외부 LLM 호출을 없앴 습니다. 외부 호출이 없기 때문에 비용과 민감 정보 노출 위험을 함께 줄일 수 있습니다.
파이프라인은 근거 검색과 답변 검증의 두 단계로 구성됩니다. 먼저 근거 검색 단계에서 키워드 검색과 의미 기반 검색을 함께 사용해 관련 문서를 찾습니다. 이 단계에서 믿을 만한 근거를 찾지 못하면 바로 통과시키거나 차단하지 않고 판단을 보류합니다. 다음으로 답변 검증 모델이 근거 문서와 답변을 비교해, 근거가 답변을 뒷받침하는지, 판단하기 어려운지, 서로 모순되는지 확인합니다.
개발 과정에서는 검색 결과가 관련 있어 보이더라도 검증에 적합한 근거는 아닐 수 있다는 점이 중요했습니다. 대표적으로 다음 세 가지 문제가 있었습니다.
첫 번째는 동의어 간극(synonym gap)입니다. 예를 들어, 사용자는 “환불받을 수 있나요?”라고 묻지만 근거 문서에는 “반품 시 대금 반환 가능”이라고 적혀 있을 수 있습니다. 관련 내용이어도 사용하는 단어가 다르면 키워드 검색으로 찾기 어렵습니다.
두 번째는 부정문 함정(negation trap)입니다. 의미 기반 검색은 문장의 주제가 비슷하면 긍정문과 부정문을 가깝게 판단할 수 있습니다. 예를 들어, “해외 로밍이 포함됩니다”와 “해외 로밍이 포함되지 않습니다”는 주제와 단어 대부분이 같지만 의미는 반대입니다. 검색 유사도가 높다는 이유만으로 답변의 근거로 삼아서는 안 됩니다.
세 번째는 식별자 충돌(ID collision)입니다. 예를 들 어, ORD-#A23과 ORD-#A32는 임베딩상 비슷해 보일 수 있지만, 실제로는 다른 주문이나 대상을 가리킬 수 있습니다. 이 경우 의미적으로 비슷해 보이는 문서를 찾는 것보다 정확한 식별자를 구분하는 것이 더 중요합니다.
결국 검색기가 관련 있어 보이는 문서를 찾는 것과, 검증 모델이 답변을 뒷받침하는 근거인지 판단하는 것은 서로 다른 문제였습니다. 이를 해결하기 위해, 먼저 검색에서는 키워드 검색과 의미 기반 검색을 결합한 하이브리드 검색을 적용했습니다. 의미 검색을 중심으로 하되, 식별자나 버전명처럼 정확한 단어가 중요한 경우에는 키워드 검색 결과를 순위에 반영했습니다.
다음으로, 근거 문서의 단위를 더 작게 나누었습니다. 긴 문서를 통째로 비교하면 답변을 뒷받침하는 문장이 있어도 검증에 실패할 수 있어, 문장 단위로 나누고 표는 자연스러운 문장으로 바꿨습니다. 필요한 맥락은 섹션 제목으로 보강했습니다. 날짜나 대상이 다른 문장 때문에 잘못된 모순 신호가 생길 수 있으므로, 모순 신호가 근거를 뒷받침하는 신호보다 충분히 강할 때만 FAIL로 판정하도록 했습니다. 검색 결과의 순서를 다시 조정하는 리랭커도 제거했습니다.
처음 의미 기반 검색만 사용했을 때는 일본어 케이스 5개 중 4개, 영어 케이스 8개 중 5개를 맞추는 수준이었습니다. 이후 하이브리드 검색을 도입하고 근거 문서를 문장 단위로 나누었습니다. 또한 근거와 답변이 충돌할 때 실패로 판정하는 안전 장치를 추가하고, 검색 결과의 순서를 재조정하는 리랭커는 제거했습니다. 개선 후에는 일본어 5건과 영어 12건을 모두 올바르게 판정했으며, 노이즈가 섞인 영어 케이스에서도 9건 모두 정답과 일치하는 결과를 얻었습니다.
이번 개선의 핵심은 시스템을 더 복잡하게 만드는 데 있지 않았습니다. 검증에 필요한 근거를 더 정확히 찾고, 팩트 체킹 모델이 이해하기 쉬운 형태로 정리하며, 불필요한 단계를 덜어낸 결과였습니다.
외부 가드레일을 운영 계층으로 바라보기
외부 가드레일은 AI 시대의 보안과 안전을 강화하는 핵심 계층입니다. 주력 LLM의 판단에만 의존하지 않고, 서비스 정책에 따라 입력과 출력을 독립적으로 점검하고 제어함으로써 AI 서비스를 더 안전하고 일관되게 운영할 수 있게 합니다.
이 글에서 살펴본 다섯 가지 가드레일은 서로 다른 위험을 다루지만, 모두 같은 목적을 가집니다. 텍스트 모더레이션은 유해 콘텐츠가 사용자에게 닿기 전에 걸러내고, 프롬프트 인젝션 디텍션은 시스템 프롬프트를 덮어쓰거나 안전 규칙을 우회하려는 공격을 사전에 탐지합니다. PII 필터는 개인 식별 정보가 외부 LLM에 도달하기 전에 마스킹하고, 토픽 컨트롤은 AI 에이전트가 서비스 범위 안에서 응답하도록 제어합니다. 할루시네이션 디텍션은 LLM 답변을 근거 문서와 대조해 사실 오류나 근거 부족 여부를 확인합니다.
무엇보다 중요한 것은 AI의 판단을 그대로 믿는 것이 아니라, 서비스가 정한 기준으로 다시 확인하는 구조를 만든다는 점입니다. 외부 가드레일은 AI 서비스를 실제 운영 환경에서 안전하게 확장하기 위한 기반이 됩니다.
마치며
AI 모델은 계속 더 똑똑해지고 있지만, 서비스가 자동으로 안전해지는 것은 아닙니다. 그래서 저희는 입력 단계에서 유해 콘텐츠, 프롬프트 인젝션, 개인 식별 정보, 주제 이탈을 점검하고, 출력 단계에서 답변이 근거에 의해 뒷받침되는지 확인하는 외부 가드레일을 개 발하고 있습니다.
이 글에서 소개한 다섯 가지 가드레일은 AI 서비스를 더 안전하게 운영하기 위한 시작점입니다. 앞으로도 공격 방식과 서비스 요구사항은 계속 바뀔 것입니다. 그 변화에 대응하려면 모델 자체의 성능뿐 아니라, 모델을 둘러싼 안전 운영 체계도 함께 발전해야 합니다.
AI를 실제 서비스에 적용하려는 분들께 이 글이 외부 가드레일을 설계하고 운영하는 데 참고가 되기를 바랍니다.


