AI Wiki · 분야별 키워드
안전
AI를 안전하고 믿을 수 있게 쓰기 위한 개념입니다. 모델은 모르는 것도 그럴듯하게 지어내고(환각), 악의적인 입력에 속아 하지 말아야 할 일을 하기도 합니다(프롬프트 인젝션, 탈옥). 이런 위험을 이해하는 것이 첫걸음이고, 출력을 걸러내는 가드레일, 모델 스스로 원칙을 지키게 하는 정렬과 헌법적 AI, 워터마킹·딥페이크 탐지 같은 기술이 방어선을 이룹니다. AI 서비스를 만들거나 도입하는 입장이라면 환각과 프롬프트 인젝션 두 항목만은 꼭 읽어두시길 권합니다. 위험을 이해하고 막는 기술들을 모았습니다.
- 가드레일 GuardrailAI의 입출력을 실시간으로 검사해서 유해 콘텐츠, 개인정보 유출, 형식 오류 등을 차단하는 안전 장치. 모델 자체의 안전성에 의존하지 않는 독립적인 방어 레이어다.
- 딥페이크 탐지 Deepfake DetectionAI로 합성된 가짜 영상이나 이미지를 식별하는 기술. 딥페이크 생성 기술이 빠르게 발전하면서, 탐지 기술도 함께 진화하는 군비 경쟁 양상을 보이고 있다.
- 레드팀 Red TeamingAI 모델의 취약점을 찾기 위해 의도적으로 공격자 역할을 수행하는 테스트 방법론. 모델이 출시되기 전에 위험한 출력을 유도할 수 있는 입력을 미리 발견해 대응하는 것이 목적이다.
- 메커니스틱 해석 가능성 Mechanistic InterpretabilityAI 모델 내부에서 실제로 어떤 계산이 일어나는지를 회로와 특징 수준에서 추적하는 연구 분야. "왜 이런 답을 냈는가"를 통계적 상관이 아니라 인과적 메커니즘으로 설명하려 한다.
- 모델 감사 Model AuditAI 모델의 성능, 편향, 안전성, 규제 준수 여부를 독립적으로 검토하고 문서화하는 과정. 배포 전 체크포인트이자 지속적인 운영 모니터링 수단이다.
- 모델 붕괴 Model CollapseAI가 생성한 데이터로 다음 세대 AI를 학습시키면 세대를 거듭할수록 품질이 떨어지는 현상. 인터넷에 AI 콘텐츠가 넘치면서 현실적 위험이 되고 있다.
- 설명가능성 ExplainabilityAI 모델이 왜 그런 결정을 내렸는지 인간이 이해할 수 있는 형태로 설명하는 능력. 의료, 금융, 법률처럼 근거가 중요한 분야에서는 설명가능성이 신뢰와 규제 준수의 기반이 된다.
- 워터마킹 AI WatermarkingAI가 생성한 콘텐츠에 육안으로 보이지 않는 식별 신호를 삽입해, 해당 콘텐츠가 AI로 만들어졌음을 나중에 확인할 수 있게 하는 기술. 딥페이크 확산과 AI 생성 허위 정보 대응에 활용된다.
- 적대적 공격 Adversarial AttackAI 모델이 오작동하도록 의도적으로 설계된 입력을 가하는 공격 기법. 사람의 눈에는 정상적으로 보이지만 모델은 완전히 다르게 인식하게 만드는 미세한 조작이 핵심이다.
- 출력 필터링 Output FilteringAI가 생성한 응답을 외부로 내보내기 전에 검사해서 유해 콘텐츠, 개인정보, 형식 오류 등을 제거하거나 차단하는 처리 단계. 모델 자체의 안전성을 보완하는 마지막 방어선이다.
- 콘텐츠 모더레이션 Content Moderation플랫폼에 올라오거나 AI가 생성하는 콘텐츠 중 유해하거나 부적절한 것을 탐지하고 관리하는 과정. 자동화된 AI 분류기와 사람 검토자의 조합으로 이루어지는 경우가 많다.
- 탈옥 JailbreakAI 모델의 안전 장치를 우회해 본래라면 거부했을 응답을 이끌어내는 기법. 역할극, 특수 서식, 간접 지시 등 다양한 방법이 있으며 모델 보안 연구의 핵심 주제다.
- 편향 AI BiasAI 모델이 훈련 데이터나 설계 방식의 영향으로 특정 집단에 대해 불공정하거나 왜곡된 결과를 내는 현상. 의도치 않더라도 차별적 결과를 낳을 수 있어 배포 전 검증이 중요하다.
- 프라이버시 보호 AI Privacy-Preserving AI개인 데이터를 직접 수집·노출하지 않고도 AI를 학습하거나 활용할 수 있게 하는 기술 모음. 의료, 금융처럼 민감한 데이터를 다루는 분야에서 개인정보 보호와 AI 성능을 동시에 추구한다.
- 프롬프트 스테가노그래피 Prompt SteganographyLLM이 겉으로 멀쩡해 보이는 텍스트 출력 안에 숨겨진 메시지를 인코딩하는 기술로, AI 모니터링 시스템을 무력화하는 잠재적 보안 위협이다.
- 프롬프트 인젝션 Prompt InjectionAI의 시스템 지시를 무력화하는 공격 기법. LLM이 시스템 프롬프트와 사용자 입력을 같은 텍스트로 처리하는 구조적 특성을 악용한다.
- 헌법적 AI Constitutional AIAI 모델이 스스로 자신의 출력을 헌법(원칙 목록)에 비추어 평가하고 수정하도록 훈련하는 방법. 사람이 일일이 라벨링하지 않아도 AI가 안전하고 도움이 되는 방향으로 스스로 개선되게 한다.
- 환각 HallucinationAI가 사실이 아닌 정보를 확신 있게 생성하는 현상. 모델이 "모른다"고 하지 않고 그럴듯하게 지어내는 구조적 한계에서 비롯된다.
- AI 공급망 공격 AI Supply Chain AttackAI 도구와 라이브러리의 배포 경로를 노려 악성 코드를 심는 공격으로, 개발자가 신뢰하는 패키지나 모델을 통해 API 키·자격 증명 탈취, 백도어 설치 등을 수행한다.
- AI 규제 AI RegulationAI 시스템의 개발과 배포를 규율하는 법률·정책 체계. EU AI Act, 미국 행정명령 등 각국이 고위험 AI 용도를 분류하고 의무를 부과하는 방향으로 빠르게 정비되고 있다.
- AI 슬롭 AI Slop노력·품질·의미가 결여된 채 대량으로 생산된 AI 생성 콘텐츠. 소셜 미디어의 어텐션 경제를 이용해 확산되며, 고품질 콘텐츠를 밀어내고 허위 정보 유포에 악용된다.
- AI 저작권 AI CopyrightAI가 생성한 창작물의 저작권 귀속과, AI 훈련에 사용된 저작물에 대한 보호를 다루는 법적·정책적 문제. 창작자, AI 기업, 사용자 모두에게 영향을 미치는 미해결 쟁점이다.
- AI 정렬 AI AlignmentAI 시스템이 인간의 의도, 가치관, 목표에 맞게 행동하도록 만드는 연구 분야. AI가 강력해질수록 의도하지 않은 방향으로 행동할 위험이 커지기 때문에 핵심 과제로 떠올랐다.
- AI 취약점 발견 AI Vulnerability DiscoveryAI가 방대한 코드베이스를 직접 분석해 사람이 놓쳤던 보안 취약점을 능동적으로 찾아내는 기술. 기존 정적 분석 도구가 패턴 매칭에 의존하는 것과 달리, AI는 코드의 맥락과 동작 방식을 이해해 실제로 악용 가능한 버그를 식별한다.