
1. AI시대 한국 프라이버시 보호 및 보안 생태계의 과제와 제안
- 통신(25.04 SKT), 금융(25.09 롯데카드), 게임(25.11 넷마블), 전자상거래/유통(25.11 쿠팡) 등 사회 전 분야에 걸친 유출
- AI는 과거 단순 데이터 수집/분석 도구로써 전문성이 요구되던 환경에서 누구나 접근 가능하며 다양한 영역에서 사용됨
- 주요 이슈
| 구분 | 내용 |
| 반복적인 대형 유출 사고 | - 25.08까지 민간기업 개인정보 유출 3,038만 건 (쿠팡 포함 시 6,000만건 이상) > 기업의 개인정보 보호 수준을 신뢰하지 않는다는 응답 67.1% > 사고 이후 사과·포렌식·수사·과징금에 집중되는 구조 |
| 규제의 분절화와 AI vs 프라이버시 프라임 | - AI 혁신과 프라이버시 보호를 '제로섬'으로 보는 인식, 정부 부처간 시각·우선순위 충돌 > 법학·산업계 : AI기본법·AI이용자보호·기존 개인정보보호법이 중복·과잉 규제가 되어 규제 완화보다는 정밀 설계 및 혁신과 규제가 충돌하지 않게 설계될 필요성 요구 > AI기본법·AI이용자보호·개인정보보호법·신용정보법까지 모두 적용되면 AI 4중 규제체계 및 이용자 보호와 산업·혁신 부처간 규제 범위 논쟁 > 스타트업·중소기업 : 법 해석, 컴플라이언스 비용 부담 증 |
| 데이터 흐름 중심, 환경 고려 제한적 | - 개인정보보호법, 목적 명시·개별 동의 중심 구조에 최적화 > 초기 목적을 넘는 2차 활용 요건 엄격 > 서비스 운영 중 쌓인 데이터를 AI 학습 활용 구조적 제약·한계 - LLM·생성형 AI는 공개 데이터, 로그, 메타데이터 등 대규모 비정형 데이터 필요 > 로그·프롬프트·메타데이터 같은 부수적으로 발생한 개인정보까지 학습에 사용 희망 > 현행법에는 이를 뒷받침하는 명확한 법적 근거·가이드가 부족해 회색지대 발생 - AI 학습 목적에 대한 별도 근거·옵트아웃·투명성 규정 필 |
| 기업 규모별 격차, 예산 감소 | - 대기업·빅테크 vs 중견·중소기업 간 보안 예산·전문 인력 격차 > 250인 이상 기업의 정보보호 정책 보유율 98.7%, 조직 보유율 78.0% > 10~49인 기업의 정보보호 정책 보유율 48.9%, 조직 보유율 26.2% - AI·보안·법제를 아우르는 복합 역량 인력 부족 - 실제 공격자는 가장 약한 고리(하청·벤더·중소기업 등)를 공격 > 지난 6년간 침해사고 7,000여 건 중 82%가 중소기업에서 발생 - 중소기업 보안 컨설팅·솔루션 지원 예산 지속 감소 > 22년 173억, 24년 약 89억, 25년 약 57억 원으로 지속 감소 |
- 개인정보보호위원회, AI 혁신 지원 정책 방향
① 규제 불확실성 해소를 위한 사전적정성 검토제 도입
② 규제샌드박스를 통한 先허용·後제도개선 추진
③ 위원장 직속 원스톱 창구 운영
④ 가명정보 제도·운영 혁신
- 제안
| 구분 | 설명 |
| 정보보호 R&D 강화 | - 현재 적용·활용하고, 미래를 준비하는 역량 마련 - 침해사고 탐지·대응 역량을 핵심 KPI로 설정 > 경영진·보안조직 KPI에 MTTD/MTTR(탐지·복구 평균 시간) 포함 및 분기별 리포트 리뷰 - 정기적 모의침해사고 훈련 및 시나리오 기반 대응 체계 구축 > 연 1회 이상 전사 단위 Red/Blue Team 훈련 실시 및 훈련 결과 기반 Playbook 업데이트 - Privacy by Design 채택 및 확산·기술/서비스 지속 개발 > 설계 단계에서부터 데이터 최소화, 가명·익명 처리 및 머신 언러닝 등 모델 수준 보호 기법 도입 - 취약점 신고포상(Bug Bounty) 제도 지속 개선 및 확산 - 복구·보상 프토콜과 커뮤니케이션 플랜 설계 > 서비스별 BCP/DR/보상 기준 사전 정의, 모의 사고 시뮬레이션을 통한 실행 가능성 점검 |
| 통합 거버넌스, 위험 기반 정책 | - AI 비즈니스 모델과 서비스 시스템 등 고려한 위험 관리 - 규제·진흥 부처 간 상시 협의체를 통해 일관된 정책 방향 제시 > 관계 부처가 공동 기준·공동 메시지를 내도록 상시 협의 체계 실시 > 기업에 정부기관 단일 창구와 예측 가능한 정책 환경 제공 - 범정부 통합 컨트롤타워 구축 > 개인정보·AI·산업 규제를 한 축에서 조정해 중복 규제·사각지대 최소화 > 사고·정책 책임 주체를 명확히 하는 거버넌스 수립 |
| 경영진의 관심, 역할 (책임성, 투명성 강화) | - 프라이버시·AI 리스크 : 이사회·경영진 수준에서 Business Risk로 고려 > 이사회 위험관리위원회·ESG 보고 > 프라이버시·AI 리스크를 재부·법률 리스크와 더불어 상시 관리·감독 - 고영향·고위험 AI 서비스의 데이터·로그·결정 과정 기록 의무화 > 사고 발생 시 누가 어떤 데이터로 어떤 결정을 내렸는지 추적 지원, 최소 로그와 근거 데이터 보존 - 이용자에게 AI 개입 여부, 주요 판단 기준·위험에 대한 기본 설명 제공 > 화면·약관을 통해 AI가 개입·활용 중임을 명확히 알림 > 주요 판단 기분·적용 범위·잠재 위험을 이해하기 쉽게 안내 - 집단소송·징벌적 손해배상 등 실효적 책임성 강 |
| 인적 자원 | - 중소기업·기관 대상 보안·프라이버시 SaaS·컨성팅 바우처 및 공용 플랫폼 제공 > 기본 방화벽·백업·모니터링·ISMS 준비 컨설팅 등 제공, 중소기업의 보안 수준을 일괄 향상 - 프라이버시 테크·보안 스타트업 육성 > 익명화·가명처리·DLP·모델 모니터링 등 특화 솔루션 육성 > 일부 기관·기업을 테스트베드로 활용, 국내 프라이버시 기술 시업 생태계 조성 - AI, 보안, 법제를 아우르는 융합 교육과정 및 직무별 맞춤 교육 확대 > 개발자·기획자·법무·경영진 대상 > AI 기술·보안 아키텍처·규제 요구사항을 함께 다루는 직무별 커리큘럼 운용 - 규제 샌드박스 활용 : 고위험 시나리오를 통제된 환경에서 사전 실험 강화 > 고영향·고위험 AI 서비스를 한정된 데이터·기간·이용자 범위 안에서 시험적용 > 규제·기술 기준 정교 |
| 신뢰 및 경쟁력 확보 | - AI와 프라이버시는 동반 조건 > 신뢰받는 AI를 위해서는 성능뿐 아니라 프라이버시 보호가 함께 충족돼야 하는 필수 요건 인식 - 데이터·AI 서비스는 이용자 신뢰가 떨어지면 성장 자체가 멈추는 핵심 기반 시설 - 규제·기술 표준·비즈니스 모델·인재 양성이 같은 목표로 향하는 거버넌스와 협력 구조 구축 - 개인정보 보호와 데이터 활용이 서로를 제약이 아닌 경쟁력으로 만드는 국가 전략 지 |
2. 생성형 AI 시대의 공급망 보안 리스크
- 전통적 SW 공급망은 디지털 제품의 생성·개발·배포·생산 및 유통에 사용되는 모든 요소를 의미
> SW 또는 펌웨어 구성요소, 소프트웨어 라이브러리, 사람, 프로세스 및 기술을 포함
> Open Source의 사용이 늘어남에 따라 의존성의 복잡도 지속 증가
> 의존성 추적(SW 개발을 위해 어떤 SW를 사용했는지 모니터링) 및 SBOM(SW 구성요소 명세서) 필요
- 보안 리스크 및 추천 관행
| 구분 | 내용 | 추천 관행 |
| 취약 코드 생성 | - 대규모 정적 데이터를 기반으로 학습 > 오래된 보안 패턴이나 취약한 코드를 학습단계에 사용 > 입력 유효성 검사, 접근 통제 로직 등을 누락 또는 잘못할 가능성 > 정상적으로 보이나 치명적인 취약점을 가진 불안전한 코드 생성 가능성 존재 | - 프롬프트 단계에서 보안 요구 명시 - SAST·SCA 도구로 AI 생성 코드 스캔 - 보안 강화 전용 모델/프롬프트 사용 > 별도의 보안 점검용 프롬프 |
| 오염(Poisoning) | - 공격자가 조작한 데이터가 학습 데이터에 포함됨 > 악성코드를 포함한 코드를 생성할 가능성 존재 > 조작된 사실 외 다른 모든 기능은 정상적으로 작동 (은밀성) > LLM 빌더가 오염된 모델을 다운로드 및 서비스에 통합할 경우 공급망 침해 발생 > 현재 AI 모델의 출처, 학습 데이터, 수정 이력 등을 신뢰할 수 있게 추적할 방법이 없음 | - 모델 공급망 관리 > 공식 벤더, 검증된 레지스트리에서만 모델 사용 > 서명·해시 관리 및 변경 시 자동 알림 - AIBOM(모델·데이터·파인튜닝 이력 명세) 관리 > 기반 모델, 파인튜닝 기반 데이터 기록 및 배포 시 함께 보관 - 사전·정기 평가 |
| 라이선스 문제 | - 라이선스와 관계없이 모든 코드를 학습단계에서 사용 > 라이선스가 적용된 코드의 구조나 내용을 생성하는 경우가 발생 > 해당 라이선스 조건을 따라야 하는 법적 의무 발생 | - 사용 정책 결정 > 구조·아이디어만 참고하여 재작성 - 코드베이스 라이선스 스캔 의무화 > SCA 활용 정기적 스캔 및 자동 알림 - 프롬프트 제약 > 라이선스 제약 미리 명령 |
| 라이브러리 의존성 | - 정상 작동하던 라이브러리를 학습단계에 사용 > 추후 해당 라이브러리에서 취약점, 악성코드 등이 발견되어도 이미 학습이 완료되어 해당 라이브러리를 사용하는 코드 생성 | - 취약점 DB 교차 검증 > osv.dev, NVD, KEV 등 확인 - 프롬프트에 보안 요구사항 명시 - 내부 승인 라이브러리 리스트 > 허용된 라이브러리 및 버전 목록을 카탈로그로 관리 > 해당 리스트 내 선택하도록 강제 |
| 미존재 라이브러리 | - Hallucination : 생성형 AI가 사실이 아닌 내용을 그럴듯하게 만들어 내는 오류 > 존재하지 않는 API, 함수 등을 만들어냄 - Slopsqatting 공격 > AI가 존재하지 않는 SW 또는 더 이상 사용하지 않는 패키지 이름을 환각하여 만들어내는 현상을 악용 > 공격자는 그럴듯한 패키지 이름을 생성하고, 해당 이름으로 실제 악성 패키지를 만들어 배포 > AI 코딩 보조 도구가 이러한 패키지를 자동으로 설치할 경우 악성코드에 감염 | - 설치 전 레지스트리 검색 > 존재 여부와 신뢰도 확인 - 사내 프록시 레지스트리 사용 > 내부 레지스트리를 통해서만 외부 패키지 설치 허용 > 최초 사용 패키지는 보안팀 승인을 받도록 정책 적용 |
3. 체대 보안으로서 Physical AI 보안 동향 및 발전방향
- Physical AI : 인공지능 시스템이 물리적 실체를 가지고 실제 환경과 상호작용하고 인간의 육체적인 노동을 대체
> 기존 로봇이 정해진 규칙에 따라 움직이는 것과 달리 데이터 학습을 통해 스스로 판단하여 움직일 수 있는 지능형 존재
> AI 자율성 확대는 보안/프라이버시 위협의 확장을 의미하며, AI에 내장된 보안(Guardrail)이 필요
- Physical AI는 클라우드가 아닌 온디바이스(Edge)에서 실시간으로 작동
> 프라이버시 보호, 네트워크 불안정 지역에서 안전한 운영, 로컬 보안 정책 반영 가능
| 구분 | 설명 |
| SafeACT | - Safety Action Control Technology > AI의 판단·행동·결과 루프에 안전 계층 삽입 > 센서·모델 액션 간 실시간 제어 > 비정상 행동 감지 시 자동 중단 및 리커버리 모드 |
| SecureLoop | - 입력부터 출력까지 데이터 흐름 전체를 암호화/감사 추적 - AI 모델의 입력갑과 응답 로그를 지역 단위에서 분리 저장 (Local Audit) - 개인정보 노출 위험을 최소화하고, 모델 탈취 공격 방어 |
4. 안전한 AI 데이터 활용을 위한 AI프라이버시 리스크 관리 방안
- 인공지능의 발전은 방대한 데이터 처리를 기초로 하고 있어 기존의 개인정보 보호원칙과 상당한 충돌 발생
> 최소수집원칙 : 서로 연관되지 아니한 테이터의 관계를 분석하여 인공지능 서비스 개발 시 최대한의 개인정보 처리 필요
> 목적제한의 원칙 : 개인정보 최초 수집 시 인공지능의 개발 목적을 미리 구체적으로 예정하기 어려움
> 이용제한의 원칙 : 적절한 인공지능을 학습시킬 수 있는 데이터가 부족하며, 인공지능 정확성 검증에도 적합하지 않음
- AI 사업자 조사 동향-사전 실태점검 결과 발표
| 구분 | 설명 |
| AI 개발·학습 | - 공개된 데이터와 이용자가 프롬프트에 입력한 내용을 AI 개발·학습에 이용 > 프롬프트 입력 내용 활용에 대해 이용자가 거부할 수 있는 기능이 없음으로 확인 > 개보위는 강화된 개인정보 보호조치 방안을 준수하도록 개선권고 ① 사전학습시 주민등록번호 등 개인정보 포함 URL을 학습데이터에서 제외할 것 ② 이용자 입력 데이터 사용 목적을 분명히 알리고 사용 여부 선택권 보장할 것 ③ AI 관련 개인정보 처리 흐름 전반을 구체적으로 안내할 것 ※ 딥시크는 점검 중 이용자가 프롬프트 입력 내용의 AI 개발·학습 활용을 거부할 수 있는 Opt-Out 기능 마련 |
| 국외 이전 | - 이용자가 AI 프롬프트에 입력한 내용을 국외 소재 사업자로 전송하는 것으로 확인 > 개보위는 국외 이전의 적법 근거를 마련하고, 이미 국외로 이전된 이용자의 프롬프트 입력 내용을 즉각 파기할 것을 시정권고 ※ A사는 점검 중 이용자 입력의 국외 이전은 불필요하다는 개보위 지적에따라 신규 이전 차단 |
- 생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서
> 생성형 인공지능 개발 및 활용의 4단계
| 단계 | 설명 |
| 목적 설정 | - 사용 맥락, 대상 및 기술적 한계 등을 고려해 생성형 AI를 통해 성취하고자 하는 구체적 목적 설정 > 생성형 AI 활용 목적 설정 및 관련된 개인정보 적법처리 근거 확보 ① 공개된 개인정보 수집·이용하는 경우 - 개보법 상 정당한 이익 조항(제15조 제1항 제6호)이 수집·이용의 실질적인 적법 근거가 될 수 있음 - 단, 목적의 정당성, 공개된 개인정보 처리의 필요성, 기술적·관리적 안전조치 및 정보주체 권리보장 방안 마련 등 정보주체의 권리침해 가능성 최소화가 핵심적으로 요구 ② 이용자 개인정보를 재사용하여 AI를 학습·개발하는 경우 - 적법처리 근거는 AI 학습·개발이 당초 개인정보 수집 목적과 관련되어 있는지 및 개인정보의 성격에 따라 달라질 수 있음 |
| 전략 수립 | - 정보통신기술 역량 및 여건에 대한 진단을 통해 AI 개발 및 활용의 구체적 방식 결정 및 리스크 관리 방안 등 핵심 전략 수립 > 안내서는 개발·활용 방식에 따라 3가지 유형으로 구분 ① 비공개 모델 등 사용 AI 서비스를 API에 연계하는 방법으로 활용하는 서비스형 LLM ② 주로 공개된 사전학습된 모델을 추가 학습하여 개발하는 기성 LLM 활용 ③ 모델을 처음부터 직접 사전 학습하는 방식인 자체 개발 ※ 사용하는 LLM 서버가 해외에 소재하는 경우, 개인정보 국외 이전에 해당하는지 검토 필요 |
| AI 학습 및 개발 | - 설정한 목적 달성을 위해 데이터 (추가)학습 및 모델 미세조정 > 데이터 오염 방지 목적의 출처 검증, 전처리, 가명·익명 처리 > AI 모델에 대한 미세조정, 정렬 등 안전장치 추가 > AI 시스템 접근권한 통제, 입출력 필터링 적용 |
| 시스템 적용 및 관리 | - 실제 서비스 서비스 환경에 적용 및 시스템 성능·안전성을 유지하며 정보주체 권리 침해 방지 > 사전 테스트 통해 프라이버시 리스크를 점검 및 문서화 > 허용되는 이용방침 작성 및 공개 > 개인정보 침해 신고 기능 및 정보주체 권리 보장 방안 마련 |
- 합성데이터 및 영상데이터
| 구분 | 설명 |
| 합성데이터 | - 컴퓨터 시뮬레이션 또는 알고리즘에 원본데이터의 형식과 구조 및 통계적 분포 특성과 패턴을 학습하여 생성한 모의 또는 가상 데이터 > 가상의 데이터로 민감정보를 외부에 직접적으로 노출하지 않아 개인정보 문제 해결 > 익명성이 인정될 경우 개보법 제58조의2에 따라 개보법상 규제 적용이 배제 - 개인정보에 적용되는 여러 규제의 적용을 회피 또는 완화할 수 있어 가치 있는 학습데이터 세트 대량 구축 가 |
| 영상데이터 | - AI 학슴 또는 기술개발 등의 과학적 연구를 목적으로 이용 또는 제3자에게 제공하는 경우 > 특정 개인을 알아볼 수 없도록 해당 개인영상정보를 가명처리 > 가명정보와 결합 가능한 추가 정보 별도 분리 보관·관리 - 규제샌드박스 : 영상데이터 원본 활용 > 가명처리된 영상데이터를 AI 등의 연구개발에 활용할 경우, 보행자 인식률 저하 등으로 경쟁력 확보 어려움 > 보다 강화된 안전조치 기준을 마련하고 규제샌드박스 실증특례 제도를 통해 영상데이터 원본 활용 |
- 개보위 혁신 지원 원스톱 서비스
> 현장 애로사항을 보다 빠르고 안전하게 실질적인 해결 방안을 제공하는 기구
① 규제샌드박스 : 법령상 규정이 없거나 불분명한 경우 일정요건 하에 허용
② 사전적정성 : 개보위 의결을 통해 일정요건 하에 사후규제 면제
③ 이노베이션존 : 개보위가 지정한 안전한 환경에서 유연하게 가명정보 활용 가능
④ 법령적극해석 : 법 해석상 모호한 경우 개보위의 적극 해석 의결을 통해 결과 통보
5. 생성형 AI와 개인정보 유출 대응 체계
- AI 발전 과정에서 대규모 데이터 처리는 필수로, 신사업 육성과 개인 정보 침해 위험 문제가 양립
- 개인정보보호 대응 체계
> 보호 대상이 되는 개인정보 식별 및 위험도 산출
> 개인정보 Life Cycle을 설계단계부터 반영
> 개인정보 보유 최소화 및 권한 최소화, 비식별화
> 개인정보 처리업무 시스템화, 신규 서비스 보안성 심의
- 기업 : AI 자산에 대한 보안자산 등록/관리
- 정부 : 사전 보안 적정성검토 제도 등 정책 지원+가이드 (Security By Design)
- 서비스 제공사 : 보안 요구사항을 반영하여 서비스 제
'대외활동' 카테고리의 다른 글
| K-CTI 2025 (0) | 2025.04.16 |
|---|---|
| ISDP 2025 (0) | 2025.02.18 |
| PASCON 2024 (2) | 2024.09.11 |
| 코리아 핀테크 위크 2024 (5) | 2024.09.01 |
| 제13회 정보보호의 날 기념식 (1) | 2024.07.11 |







