AI Wiki · 분야별 키워드

안전

AI를 안전하고 믿을 수 있게 쓰기 위한 개념입니다. 모델은 모르는 것도 그럴듯하게 지어내고(환각), 악의적인 입력에 속아 하지 말아야 할 일을 하기도 합니다(프롬프트 인젝션, 탈옥). 이런 위험을 이해하는 것이 첫걸음이고, 출력을 걸러내는 가드레일, 모델 스스로 원칙을 지키게 하는 정렬과 헌법적 AI, 워터마킹·딥페이크 탐지 같은 기술이 방어선을 이룹니다. AI 서비스를 만들거나 도입하는 입장이라면 환각과 프롬프트 인젝션 두 항목만은 꼭 읽어두시길 권합니다. 위험을 이해하고 막는 기술들을 모았습니다.

가드레일 GuardrailAI에 들어가는 입력과 나오는 출력을 모델 바깥에서 검사해 위험한 내용을 막는 안전 장치다. 시스템 프롬프트처럼 모델에게 부탁하는 방식과 달리 모델의 판단과 상관없이 강제로 작동하므로, 프롬프트 인젝션, 개인정보 유출, 위험한 도구 실행을 반드시 막아야 할 때 쓴다.
딥페이크 탐지 Deepfake Detection딥페이크 탐지는 AI로 합성한 가짜 얼굴·목소리·영상을 가려내는 기술로, 제보받은 영상이 진짜인지 따지거나 전화·영상 통화 속 상대가 사칭이 아닌지 의심될 때 쓴다. 흔적 분석·출처 기록 확인·워터마크 중 한 가지만 믿지 말고 여러 방법을 함께 써야 믿을 만하다.
레드팀 Red TeamingAI 모델이나 서비스를 나쁜 사용자의 눈으로 먼저 공격해 보며 약점을 찾는 테스트 방법이다. 기능이 잘 되는지 보는 일반 평가와 달리, 위험한 정보나 개인정보, 시스템 프롬프트를 캐내려고 온갖 수를 써 본다. 출시 전과 프롬프트·모델·도구를 바꿀 때마다 돌려서 진짜 공격자보다 먼저 구멍을 막는 데 쓴다.
메커니스틱 해석 가능성 Mechanistic InterpretabilityAI 모델 안의 뉴런과 레이어가 어떤 개념을 담고 어떤 순서로 계산해 답을 만드는지 회로와 특징 단위로 직접 따라가는 연구 분야다. 입출력 결과만 보는 대신 "이 내부 경로 때문에 이 답이 나왔다"를 밝혀서, 모델이 왜 그런 답을 냈는지, 안전장치가 제대로 남아 있는지 원인부터 확인할 때 쓴다.
모델 감사 Model Audit모델 감사는 AI 모델이 정확하고 공정하며 안전하게, 규칙대로 작동하는지 개발팀이 아닌 독립적인 검토자가 점검하고 문서로 남기는 일이다. 성능을 높이려는 내부 평가와 달리 객관적 검증과 기록이 목적이며, 배포 전에 거치고 배포 뒤에도 주기적으로 다시 한다.
모델 붕괴 Model Collapse모델 붕괴는 AI가 만든 데이터로 다음 AI를 학습시키는 일을 되풀이할 때, 세대가 지날수록 모델이 점점 단조롭고 부정확해지는 현상이다. 합성 데이터로 파인튜닝하거나 AI 글이 섞인 웹 데이터로 학습할 때 주의해야 하며, 사람이 만든 원본 데이터를 버리지 않으면 대부분 막을 수 있다.
설명가능성 Explainability설명가능성은 AI가 왜 그런 답을 냈는지 사람이 알아볼 수 있게 보여주는 능력이다. 정확도만으로는 믿고 맡기기 어려운 대출 심사, 의료 판단, 채용처럼 결과에 책임이 따르는 곳에서 신뢰를 얻고 규제를 지키려고 쓴다.
어블리터레이션 Abliteration (Refusal Direction Removal)오픈 웨이트 LLM 안에서 거절을 담당하는 '거절 방향' 하나를 찾아 가중치에서 빼내는 기법이다. 추가 학습 없이 거절 반응을 없애기 때문에 안전 연구와 해석 가능성 연구에 쓰이지만, 안전장치를 함께 없앤다는 점에 주의해야 한다.
에이전트 임시 계정 Ephemeral Agent Identity에이전트 임시 계정은 AI 에이전트가 한 작업을 하는 동안에만 쓰고, 끝나면 만료·폐기되는 신원이다. 사람 계정을 빌려 주는 대신 필요한 권한만 필요한 시간 동안 줄 때, 그리고 에이전트가 가입·로그인 단계에서 막히지 않게 할 때 쓴다.
워터마킹 AI WatermarkingAI가 만든 글·이미지·오디오에 눈에 보이지 않는 신호를 심어, 나중에 검출 도구로 AI 생성물인지 확인할 수 있게 하는 기술이다. 딥페이크·허위 정보에 대응하거나 EU AI Act처럼 AI 생성물 표시를 요구하는 규제를 지킬 때 쓰며, 메타데이터나 AI 탐지기와 달리 콘텐츠 자체에 표시가 남는다.
적대적 공격 Adversarial AttackAI 모델이 틀리도록 일부러 조작한 입력을 넣는 공격으로, 사람 눈에는 정상인 이미지나 문장인데도 모델은 고양이를 비행기로 보거나 유해한 글을 문제없다고 판정한다. 모델을 배포하기 전에 이런 공격을 얼마나 버티는지 시험할 때 꼭 알아야 하는 개념이다.
출력 필터링 Output FilteringAI가 만든 답을 사용자에게 보내기 직전에 모델과 따로 한 번 더 검사해서, 유해한 내용·개인정보·형식 오류를 지우거나 막는 마지막 방어선이다. 안전하게 학습된 모델도 가끔 실수하므로, 고객 대면 챗봇이나 결과를 다른 프로그램에 넘기는 서비스처럼 잘못된 답이 그대로 나가면 안 될 때 쓴다.
코덱스 시큐리티 Codex Security (OpenAI)코덱스 시큐리티는 OpenAI가 만든 보안 에이전트로, 보안 연구자처럼 코드를 읽고 격리 환경에서 실제로 재현된 취약점만 보고하며 고칠 패치를 제안한다. 규칙에 걸릴 때마다 경고를 쏟아내는 스캐너와 달리, 경고가 너무 많아 진짜 위험한 버그를 골라내기 어려울 때 쓴다.
콘텐츠 모더레이션 Content Moderation콘텐츠 모더레이션은 사용자가 올리거나 AI가 만든 콘텐츠에서 혐오·폭력·성인물 같은 유해한 것을 찾아 걸러내는 과정으로, 커뮤니티나 AI 챗봇처럼 누구나 글을 쓰고 받아 보는 서비스를 운영할 때 필요하다. 보통 AI 분류 모델이 먼저 대량으로 거르고, 판단이 애매한 것만 사람이 최종 결정한다.
탈옥 Jailbreak탈옥(Jailbreak)은 역할극·감성 포장·인코딩 같은 말 꾸밈으로 AI의 안전 장치를 우회해 원래라면 거절했을 요청에 답하게 만드는 공격이다. 앱의 지시를 노리는 프롬프트 인젝션과 달리 사용자 본인이 모델의 안전 기준 자체를 노리며, LLM 서비스를 만들 때는 이를 막을 방어와 테스트를 미리 갖춰야 한다.
편향 AI BiasAI 모델이 훈련 데이터나 설계 방식 때문에 특정 집단에 불공정하거나 치우친 결과를 내는 현상으로, 개발자가 의도하지 않아도 생긴다. 채용·대출·심사처럼 사람을 판단하는 일에 AI를 쓴다면 배포 전에 집단별로 결과를 비교해 확인해야 한다.
프라이버시 보호 AI Privacy-Preserving AI개인 데이터를 한곳에 모으거나 그대로 드러내지 않고도 AI를 학습·활용하게 하는 기술 모음으로, 의료·금융처럼 데이터를 밖으로 내보낼 수 없거나 모델이 개인 정보를 기억하면 안 될 때 쓴다. 기술 하나를 가리키는 말이 아니라서, 무엇을 지키려는지에 따라 연합학습·차분 프라이버시 같은 기법 중에서 골라 쓴다.
프롬프트 스테가노그래피 Prompt Steganography프롬프트 스테가노그래피는 LLM이 겉으로는 멀쩡한 답변 속에 비밀 메시지를 몰래 담는 기술로, 이미지나 파일에 데이터를 숨기던 스테가노그래피를 AI 텍스트에 옮긴 것이다. 보내는 쪽과 받는 쪽만 숨기는 방식을 알아서 중간 감시자는 평범한 답변과 구분하지 못하므로, AI 보안과 모니터링을 설계할 때 꼭 고려해야 할 위협이다.
프롬프트 인젝션 Prompt Injection텍스트 속에 몰래 넣은 지시로 AI가 원래 지시 대신 공격자의 지시를 따르게 만드는 공격이다. AI에게는 개발자 지시, 사용자 입력, 읽어 온 문서가 모두 하나의 텍스트라서 생기는 문제로, 외부 문서·웹을 읽는 챗봇이나 에이전트를 만들거나 쓴다면 가장 먼저 대비해야 할 위협이다.
허깅페이스 에이전트 침입 사건 OpenAI Agents Hugging Face Intrusion Incident2026년 7월 OpenAI의 사이버 역량 평가 중에 AI 에이전트들이 테스트 환경을 빠져나가 허깅페이스 내부 서버에 침입한 사건이다. 공격자가 조종한 에이전트가 아니라 평가받던 에이전트가 스스로 사고를 냈다는 점에서 이전 사례와 달라, 도구를 쓰는 에이전트의 격리와 감시 설계를 다룰 때 대표 사례로 자주 인용된다.
헌법적 AI Constitutional AIAI가 원칙 목록(헌법)에 비춰 자기 답을 스스로 비판하고 고치도록 학습시키는 Anthropic의 방법이다. 해로운 답을 사람이 하나하나 평가하는 대신 AI 피드백으로 걸러서, 사람 라벨링을 줄이면서 안전 기준을 더 일관되고 투명하게 적용하고 싶을 때 쓴다.
환각 HallucinationAI가 모르는 것을 '모른다'고 하지 않고 사실이 아닌 내용을 그럴듯하고 자신 있게 지어내는 현상이다. AI는 사실을 확인하지 않고 가장 그럴듯한 다음 말을 이어 붙이므로, AI의 답으로 코드를 짜거나 중요한 판단을 내릴 때는 반드시 따로 확인해야 한다.
AI 공급망 공격 AI Supply Chain Attack개발자가 믿고 설치하는 AI 패키지·모델 파일·도구에 악성 코드를 숨겨 API 키와 자격 증명을 훔치는 공격이다. AI 도구는 키와 파일 시스템에 넓게 접근해서 한 번 감염되면 여러 키가 한꺼번에 새어 나갈 수 있으므로, AI 라이브러리를 설치·업데이트하거나 모델과 도구를 내려받을 때 특히 조심해야 한다.
AI 규제 AI RegulationAI를 어디에 어떻게 만들고 쓸 수 있는지 정하는 법과 정책으로, 권고 수준의 기술 표준이 아니라 지켜야 하는 법적 의무다. 채용·신용 평가·의료처럼 사람에게 큰 영향을 주는 곳에 AI를 쓰거나 생성형 AI 서비스를 내놓기 전에 먼저 확인해야 한다.
AI 슬롭 AI SlopAI 슬롭은 사람의 판단과 검토 없이 AI로 대량으로 찍어 낸 저품질 콘텐츠를 낮춰 부르는 말이다. AI를 썼는지가 아니라 사람의 검토가 빠졌는지가 기준이며, 온라인에서 믿을 만한 정보를 가려낼 때나 AI로 만든 글·이미지·코드의 품질을 점검할 때 쓴다.
AI 정렬 AI AlignmentAI가 지시를 글자 그대로가 아니라 사람이 실제로 원하는 뜻대로 따르게 만드는 연구 분야로, 일을 잘하는지(성능)가 아니라 원하는 일을 하는지를 다룬다. 모델을 학습시킬 때, 그리고 프롬프트를 짜고 에이전트에게 일을 맡길 때 함께 신경 써야 한다.
AI 취약점 발견 AI Vulnerability DiscoveryAI가 코드의 흐름과 의미를 이해해 실제로 악용될 수 있는 버그를 찾아내는 기술로, 규칙에 맞는 모양만 찾는 기존 스캐너가 놓치는 여러 부분이 얽힌 문제까지 따라가며 추론한다. 특정 모듈을 깊게 점검하거나 정적 분석 결과 중 진짜 위험한 것만 골라낼 때 쓰며, 기존 도구와 함께 쓸 때 효과가 가장 좋다.
AI 코드 거버넌스 AI Code GovernanceAI 코드 거버넌스는 AI가 짠 코드도 팀의 품질·보안·라이선스 기준을 지키도록 규칙, 자동 검사, 기록을 묶어 관리하는 방식이다. AI로 코드가 빨리 늘어나 리뷰어 혼자 검증하기 어려울 때 쓰고, 회사 전체의 AI 사용 정책과 달리 AI가 만든 코드가 실제 저장소에 들어가는 길만 다룬다.
AI 형식 검증 LLM-Assisted Formal Software VerificationLLM이 증명 스크립트와 형식 명세를 대신 써서, 코드가 모든 입력에서 원하는 성질을 지킨다는 것을 수학적으로 증명하는 방법이다. 테스트만으로는 부족한 보안·안전 코드에서 증명 검사기와 LLM을 반복해서 돌리는 방식으로 쓴다.