1. 국내외 AI 규제 현황 및 금융분야 AI 거버넌스
- 인공지능 관련 정책이나 거버넌스
> 다른 신기술과 달리 인간의 판단을 대행하기 때문에 다른 신기술에 비해 정책이나 거버넌스 마련이 굉장히 중요
- 국내 금융권 AI 활용 현황
> 국내 금융권은 금융안전성, 신뢰성, 금융투자자 보호가 중요하므로 다소 제한적ㆍ보수적 AI 활용
> 생성형 AI는 망분리 규제로 실 활용에 제약이 있었으나, 최근 망분리 규제 개선으로 활용 확대가 예상
> 금융지주사 등을 중심으로 디지털 및 AI 혁신 주도를 위해 AI 부서 신설 등 AI 업무 조직 확대
> AI 기술이 개인 미래 행동을 예측하는 단계로 진화 + 생성형 AI 등에 대한 망분리 규제 개선 = 초개인화 금융 서비스 등 금융권 AI 활용 확대 전망
- 정보의 신뢰성, 규제 미비 등으로 해외 금융권의 AI 활용도 국내와 유사한 수준으로 파악
| 구분 | 설명 |
| 미국 | - 일반 AI 규제 > AI 관련 문제 발생 시 기존 법령을 적용하여 규제 ① AI 행정 명령: 미 행정부는 안전하고 안심할 수 있으며 신뢰할 수 있는 AI 개발 및 활용을 위한 행정명령 발표(23.10) ⒜ 미국의 안보, 건강, 안전을 위협할 수 있는 AI 시스템 개발자는 안전성 평가 결과를 포함한 중요 정보를 상무부에 보고(의무) ⒝ 행정명령에 따른 미 국립표준기술연구소(NIST)는 AI 레드팀의 안전성 평가 세부 기준을 마련 ② 금융부문 AI 규제: 미 재무부는 AI 행정명령에 따라 금융서비스 부문의 AI 관련 사이버보안 위험관리 보고서를 발표(24.03) ⒜ 금융기관 간 격차 해소: 대형 금융회사와 중소형 금융회사간 AI 시스템 역량, 사기방지 관련 데이터 보유량 차이 등을 고려 ⒝ AI 관련 규제 조정: 금융회사와 규제당국간 협력을 통해 급변하는 IT 환경에서 최선의 방안 모색 ⒞ 위험관리 프레임워크: NIST의 AI 위험관리 프레임워크를 금융분야 환경에 맞춰 확장 ⒟ 데이터 공급망 매칭 및 영향 표시제: 데이터 공급망 모니터링이 필요하며, AI 모델에 사용된 학습 데이터 내용, 출처 등을 표시 ⒠ 설명가능성: 생성형 AI의 블랙박스 문제 해결을 위한 설명가능성 관련 모범사례 마련 필요 ⒡ 공통 AI 어휘집: AI의 정의 등 금융회사, 규제기관, 금융소비자 모두 적용될 수 있는 공통 AI 어퓌집 마련 필요 ⒢ 국제협력: 금융 AI 규제 관련 국제협력 및 공조 필요 |
| EU | - 직접 규제 > EU 인공지능법(The Artificial Intelligence Act) 유럽 의회 통과(24.03) ⒜ 위험기반 접근방식을 통해 AI 사용 위험을 ① 수용할 수 없는 위험, ② 고위험, ③ 제한적인 위험, ④ 낮은 위험으로 구분하여 AI를 규제 ⒝ 금융과 연계된 다음 시스템은 고위험 AI 시스템으로 포함: 신용도 평가나 신용점수 산정에 이용되는 시스템 / 건강 및 생명보험 관련 평가 또는 가격 책정에 이용되는 시스템 ⒞ 고위험 시스템은 리스크 관리, 데이터 거버넌스, 기록보존, 적합성 평가 등 의무가 부과 |
| 영국 | - AI 사용 촉진을 위해 간접 규제 > 과학혁신기술부(DIST)는 AI 신뢰성 확보를 위해 AI 사용에 대한 백서 발간(23.03) -> AI 사용 관련 5대 원칙 제시 (안전, 보안 및 견고성 / 투명성 및 설명 가능성 / 공정성 / 책임 및 거버넌스 / 경쟁 가능성 및 보상) > 금융감독청(FSA)나 건전성감독청(PRA)에서 금융부문 AI 논의를 주도하고 있으나, 정보수집 및 업계 피드백에 대한 보고에 집중 |
| 일본 | - 기본 법제 내에서 가이드라인 위주로 AI 정책을 운영 > AI 사업자 가이드라인: 일본 총무성은 AI를 개발ㆍ활용하는 사업자를 위해 10대 원칙, 31개 지침을 제시하는 AI 사업자 가이드라인을 발간(24.04) ⒜ 가이드라인에는 AI 사업자에 대한 AI 10대 원칙을 제시 (인간 중심 / 안전성 / 공평성 / 프라이버시 / 보안성 확보 / 투명성 / 책임 / 교육, 리터러시 / 공정한 경쟁 / 혁신) ⒝ 가이드라인은 순환적 거버넌스 구축을 권고하며, 거버넌스의 효과적 추진을 위해 경영진의 리더십과 책임이 중요함을 강조 |
| 국제기구 | - 인공지능은 타 신기술과 달리 잘못 이용될 경우 인류에 큰 위험이 될 수 있다는 고려하에 국제적인 협력이 활발히 이루어지고 있는 상황 > 국제공조는 인간중심의 안전하고 신뢰할 수 있는 인공지능 개발에 초점을 맞추고 있다는 공통점 존재 ① G7: 안전, 보안, 신뢰할 수 있는 AI 개발을 위해 첨단 AI 시스템 개발을 위한 히로시마 프로세스 국제 행동강령 채택(23.10) ⒜ 행동강령에는 첨단 AI 시스템을 시장에 출시하기 전 내부 또는 외부자 평가를 실시하여 위험을 식별ㆍ완화하는 내용이 포함 ② AI 안전 정상회의: 미국, 영국, 한국 등 28개국 및 EU가 참가하는 AI 정상회의에서 AI 위험 방지를 위한 블레츨리 선언 발표(23.11) ⒜ 선언문에는 AI 수명주기 전반의 안전을 고려해야 하며, AI 시스템 개발 시 안전성 평가 등 안전성 보장 책임이 명시 ③ AI 가이드라인: 미국, 영국, 한국 등 주요국 23개 사이버안보기관이 참여하여 안전한 AI 시스템 개발 가이드라인 발표(23.11) ⒜ 가이드라인은 책임감 있는 AI를 위해 AI 시스템은 보안성 평가를 거친 후 시장에 출시하도록 권고 ④ UN: UN의 120개국 이상 회원국은 안전하고 신뢰할 수 있는 인공지능 시스템 촉진에 관한 결의안 채택(24.03) ⒜ 결의안은 인권향유에 지나친 위험을 초래하는 AI 시스템 사용을 자제하고, AI 규제 및 거버넌스 프레임 워크 개발 등을 촉진 |
| 한국 | - 일반 AI 규제: 인공지능 법안이 다수 발의되었으나 계류 중이며, 현행 법령(31개)에서 인공지능을 일부 규율 > 국가 인공지능 정책 전반을 심의ㆍ조정하는 대통령 직속 국가인공지능 위원회가 출범(24.08)한 만큼, 향후 다양한 인공지능 정책 마련 예상 ① 현행 법령의 인공지능 규율 주요 내용 ⒜ 국가인공지능위원회 설치 및 운영에 관한 규정: 인공지능위원회 설치 및 기능 ⒝ 개인정보보호법령: 자동화된 결정에 대한 정보주체 권리, 거부 및 설명요구권 ⒞ 전자정부법: 지능형 전자정부서비스 제공 및 도입, 활용 ⒟ 공직선거법: 딥페이크 영상 등을 이용한 선거운동(제28조의8) 등 ② 법령보다는 가이드 등을 발행하는 방법으로 AI를 주로 규율 ⒜ 과기정통부: 인공지능 윤리기준(20.12), 신뢰할 수 있는 인공지능 개발 안내서(24.03), 인공지능 학습용 데이터 품질관리 가이드라인 및 구축 안내서 V3.1(24.04) ⒝ 개보위: AI 개인정보보호 자율점검표(21.05), 합성데이터 생성 참조모델(24.05), 인공지능 개발ㆍ서비스를 위한 공개된 개인정보처리 안내서(24.07) ⒞ 방통위: 생성형 AI 윤리 가이드북(23.12), 생성형 AI 이용자보호 가이드라인(24년 예정) ⒟ 국정원: 챗GPT 등 생성형 AI 활용 보안 가이드라인(23.06) - 금융부문 AI 규제: 자본시장법, 신용정보법에서 로보어드바이저 등 인공지능과 관련한 일부 사항을 규율 > 금융위, 금감원, 금보원 등에서 AI 관련 가이드 등 발간 ① 자본시장법: 로도어바이저에 대한 별도 요건(보안성 포함)을 규정하고 있으며, 요건 충족 여부 심사(테스트 베드)를 사전 이행 ⒜ 자본시장법 상 로보어드바이저 보안 요건: 침해사고 및 피해 등을 예방하기 위한 체계 및 침해사고 또는 재해가 발생했을 때 피해 확산ㆍ재발 방지와 신속한 복구를 위한 체계를 갖출 것 ② 신용정보법: AI 등 정보처리장치로만 개인신용정보 주체를 평가(자동화)하는 경우 개인은 평가의 주요 기준 등에 대해 설명요구 가능 |
- 금융분야 AI 거버넌스
> 구축 목표: 금융회사 등이 안전하고 신뢰할 수 있으며 책임 있는 인공지능 개발ㆍ활용 문화를 자율적으로 조성하고 이를 유지ㆍ관리하는 것(인공지능 위험 관리 및 최소화 -> 인공지능 개발ㆍ활용 목표 달성)
| 거버넌스 구축 기본 원칙 | 기존 모델 및 시스템 활용 | - 기존 금융분야 위험관리 체계 + 인공지능만의 특수한 위험 관리방안 추가 - 세계 각국 및 국제기구 등에서 발표하는 기준 등도 참조 |
| 기존 법령 및 제도 준수 | - 기존 금융관련 법령 및 제도 등을 철저하게 준수 - 인공지능을 개발ㆍ활용하더라도 기존 법령 등의 적용이 면제되지 않는 점을 명심 |
|
| 인공지능 기본 원칙 마련 | - 안전하고 신뢰할 수 있으며 책임 있는 인공지능 개발ㆍ활용을 위한 원칙 마련 - 인공지능 윤리 원칙 등으로 대체 가능 |
> 거버넌스에 담아야 하는 내용
| 구분 | 설명 |
| 위험관리 체계 구축 | - 금융회사 등은 자사 환경에 맞는 순환식 위험관리 체계 구축 |
| 인공지능 조직 구성, 운영 및 책임 명확화 |
- 인공지능 개발ㆍ활용 관련 조직을 구성하고, 인공지능과 관련한 임직원의 역할과 책임을 명확화 - 이사회 및 최고경영자 / 인공지능 통합관리 조직 / 인공지능 개발 조직 / 법무 및 컴플라이언스 조직 / 사이버보안 조직 / 데이터, 개인정보보호 조직 / 감사 조직 / 일반 임직원 |
| 전사적 커뮤니케이션 채널 및 컨트롤 타워 구축 |
- 인공지능 위험의 효과적 관리를 위해 전사 커뮤니케이션 채널을 구축하고, 종합적인 대응을 위한 컨트롤 타워 구축 |
| 인간 역할 부여 및 기존 업무 체계 유지 |
- 인공지능은 편견, 오류 등 불확실성이 있으므로 인간의 역할을 임직원에게 부여 - 인공지능 서비스 중단 시 기존 업무체계로 빠르게 전환하여 금융시스템 운영을 지속 ※ HITL(Human-in-the-Loop): 인공지능 서비스의 신뢰도 제고를 위해 중요한 의사결정을 포함하는 데이터에 대해 인간이 직접 리뷰하고 수정하여 품질을 높이는 과정을 의미 |
| 데이터 및 개인정보보호, 사이버보안 |
- 데이터는 적법하고 투명하게 수집 활용하며, 고객정보 보호 및 데이터 공급망 관리 체계 마련 > 개인정보, 신용정보 등은 현행 법령 및 가이드, 정책 등 준수 / 데이터 레이블링은 신뢰할 수 있는 인력이 담당, 데이터 공급망 관리 체계 마련 등 - 타 IT 기술 수준의 보안대책 + 인공지능에 특화된 사이버 위험 보안대책을 마련 > 기존 사이버보안 모델 활용, 국내의 인공지능 가이드 활용, AI 레드팀 운영, 내외부 보안성 평가 시행, 설명가능한 인공지능 개발 등 |
| 제3자와 협력, 정보 공유 | - 인공지능 관련 제3자와 협력은 필수로, 책임 있는 제3자 선정 및 관리 및 협업체계 마련 - 인공지능 위험에 효과적 대응을 위해 금융회사간 정보공유 협조 |
| 금융소비자 보호 | - 누구나 손쉽게 인공지능을 이용할 수 있어야 하며, 인간에 의한 서비스를 받을 권리를 보장 > 디지털 소외계층도 인공지능 서비스를 손쉽게 이용할 수 있도록 개발 > 인공지능을 적용하더라도 금융소비자 관련 의무 및 책임이 면책되지 않으므로 금융 소비자 보호대책 마련 및 이행 |
| 사내 문화조성, 금융당국 협력 |
- 인공지능 문화 정착을 위해 체계적 교육 실시 및 임직원의 역할과 책임을 명확히 인식 - 금융회사 등은 금융당국과 원활히 의사소통을 하고, 정보 교환 등 긴밀히 협력 |
2. AI Safety 금융권 생성형 AI 도입에 따른 위협과 과제
- 금융권 생성형 AI 활용범위는 점차 확대: 고객상담, 금융투자 분석, 신용 및 대출 평가, IT 개발 등
| 금융권 생성형 AI 도입에 따른 리스크 | ① 신뢰성 문제: 할루시네이션, 기능 오작동 ② 공정성 문제: 차별 및 편향성 ③ 투명성 문제: 의사결정 근거 모호 ④ 보안성 문제: 사내기밀 유출, 보안이 취약한 코드생성, 사전학습 모델 내 악성코드 삽입, 서드파티 플러그인 공격 ⑤ 안전성 문제: 사용자에게 위험할 가능성 존재 / 악용소지 ⑥ 윤리적 문제: 프라이버시 침해 ⑦ 책임성 문제: 저작권 침해, 사고 발생 시 책임 모호 |
- AI Safety 연구소
> 해외 4개국(미국, 영국, 일본, 싱가포르)에 AI 연구소가 설립되었으며, 국내에서도 개소 예정
> AI 안전 평가체계에 대한 조사, 연구, 개발, 국제협력 등을 수행
| 구분 | 설명 |
| 국내 | - 한국정보통신연구원(ETRI) 내 AI 안전연구소 설립 예정(25년) > AI 안전연구소는 AI 안전 민간 컨소시움과 협력하여 안전테스트 프레임워크 개발, 기술 연구, 대외 협력 등의 업무 수행 예정 > 인공지능 발전과 신뢰 기반 조성 등에 관한 법률안(AI 기본법, 24.05 발의) 통과 시, AI 안전연구소의 법적 근거가 마련될 예정 - 정부 및 민간에서 안전하고 신뢰할 수 있는 AI를 위해 다양한 AI 프레임워크를 개발 중이며, AI 개발 방법론, 거버넌스 구축, 검증 체크리스트 등 다양한 방식으로 접근 중 - (정부) 정부 및 유관기관에서 발표한 AI Safety 프레임워크는 아직 없으나, 과기부 및 유관기관(ETRI, TTA 등)에서 AI Safety 프레임워크 검토 중 - (민간 기업) 네이버에서 AI 위험인식ㆍ평가 ㆍ관리하기 위한 AI 안전 프레임워크 발표(24.06) > AI 위험 평가를 통해 통제력 상실하는 것을 방지, 악용하는 것을 최소화하며, 임계치 초과 시 AI 시스템을 개발 및 배포 중단 |
| 싱가포르 | - 정보통신미디어개발청(IMDA) 소속 재단에서 AI Verify 프레임워크를 발표(23.06) > 신뢰할 수 있는 AI 시스템을 구축하기 위한 표준화된 검증 방법론으로써, 국제적(EU, OECD 등)으로 인정된 AI 원칙을 반영한 체크리스트로 구성(11개 분야 85개 항목) > 자동 검증 S/W가 오픈소스로 공개되어 있으며, 주요 AI 모델(생성형 AI, ML 모델 등)에 대한 검증가능 - 싱가포르 통화청에서 금융분야 책임감 있는 AI 활용을 위한 지침(Veritas) 발표(23.06) > 금융회사 AI 서비스에 대한 공정성, 윤리성, 책임성, 투명성 4가지 원칙 준수 여부를 확인 > 자동 검증 S/W가 오픈소스로 공개되어 있으며, 주요 AI 모델(ML 모델 등)에 대한 검증가능 |
| 구글 | - AI 시스템 관련 위험 완화를 위한 보안 AI 프레임워크 발표(23.06) > 안전한 인프라 구축, 위협 탐지 및 대응, 자동화된 방어, 일관된 보안통제, 적응형 통제, 비즈니스 과정 내 위험평가 등을 통해 AI 시스템의 위험 환화 - 딥마인드(구글 연구조직)는 AI 위험을 줄이기 위한 프론티어 안전 프레임워크 발표(24.05) > 고위험 영역(자율성, 생물보안, 사이버보안, 기계학습 연구개발 등)에서 심각한 피해를 줄 수 있는 AI 역량에 대해 정의하고, 이를 이러한 AI 위협에 대해 감지하고, 완화하는 방안을 제시 |
| 오픈AI | - 안전한 AI 개발 및 배포를 위한 대비 프레임워크 발표(23.12) > 모델 위험지표에 대한 평가를 수행하여 임계 값 초과 시, 모델 배포 및 개발 중단 ① 사이버보안: 시스템의 기밀성, 무결성, 가용성 등을 해치는 행위 ② 핵무기 및 화생방: 화학적, 생물학적 또는 핵 무기 등을 생산하는 행위 ③ 설득력: 사람들이 자신의 신념을 바꾸도록 설득하는 행위 ④ 모델 자동화: AI 모델이 스스로 생존하기 위해 자가 복제, 자원 확보하는 행위 ⑤ 기타: 그 외 다양한 방면으로 사회, 경제에 악영향을 미치는 행위 - 오픈 AI에서 발표한 대피 프레임워크 검증결과 (GPT-4o) > 허가받지 않은 채 목소리 복제, 목소리 식별, 저작권있는 콘텐츠 생성, 폭력적이거나 에로틱한 답변 - 위험식별 뿐만 아니라 AI 위험 완화 기술도 발표 ① 모델 정렬&추가 학습(Alignment & Post-Training): RLHF(Reinforcement learning with Human Feedback), RBR(Rule Based Rewards) ② 추가적인 검증모델(필터링 모델) 도입: 답변 검증 모델, 룰 기반 입출력 필터링 |
- 금보원 AI Safety 프레임워크 구축 추진
> 금융기관이 안전한 AI 시스템을 구축할 수 있도록 하는것이 목표
| 구분 | 설명 |
| 보안성 | AI 시스템은 모델 데이터 유출 및 오염, 적대적 공격 등의 사이버 공격으로부터 보호되도록 보안을 유지하여야 함 |
| 안전성 | AI 시스템이 테러, 범죄 등에 악용되지 않아야 하고, 의도치 않은 피해나 부작용을 최소화하기 위한 예방장치가 포함되어야 함 |
| 투명성 | AI 시스템의 의사결정 과정과 작동 원리를 사람이 이해할 수 있어야 하며, 사용자와 이해관계자가 이를 쉽게 파악하고 검토할 수 있어야 함 |
| 신뢰성 | AI 시스템은 일관되게 정확하고 신뢰할 수 있는 결과를 제공하여야 함 |
| 책임성 | AI 시스템의 오류 또는 답변의 결과에 대해 책임의 주체와 한계를 명확히 규정하고, 문제가 발생 했을 때, 신속하고 효과적으로 대응할 수 있어야 함 |
| 윤리성 | AI 시스템은 금융회사의 윤리지침과 사회공동체가 혐의한 윤리 기준을 준수하여야 함 |
| 공정성 | AI 시스템의 결정이 정당한 이유 없이 특정 개인이나 집단을 차별하지 않도록 해야 함 |
> 점검도구
| 구분 | 설명 | 공격 | |
| 판단형 AI | - 입력 데이터를 바탕으로 의사결정(판단) 하는 AI - 예시: 신용평가모델, 로보어드바이저 등 - 주요 공격방법: 적대적 공격(FGSM, PGD, DeepFool, C&W 등) |
FGSM( Fast Gradient Sign Method) | - 입력 데이터에 노이즈 등을 추가하여 출력을 변경 - 간단하고 효과적인 기본 공격 |
| PGD( Projected Gradient Descent) | - FGSM을 개선해 입력에 여러 번 노이즈등을 추가 - FGSM 보다 강력 |
||
| DeepFool | - 모델의 의사 결정 경계를 활용한 공격 - 최소한의 노이즈로 모델을 속이는 방법을 찾음 - 정밀한 공격을 할 수 있으나 상대적으로 계산 비용이 높음 |
||
| C&W( Carlini & Wagner) | - 최적화 문제로 접근하는 공격 - 매우 강력한 공격이나 매우 높은 계산 비용 |
||
| 생성형 AI | - 새로운 데이터를 생성해내는 AI - 예시: Chat GPT, Gemini 등 - 주요 공격방법: 프롬프트 삽입 공격, 탈옥(CheetSheet, Multilingual, Special Char, Cipher, GCG, TAP 등) |
프롬프트 삽입 공격 | - 입력 프롬프트에 악의적인 명령을 숨겨 모델의 동작을 조작 |
| CheetSheet | - 미리 준비한 공격에 성공한 리스트를 API 등을 활용해 반복 공격 | ||
| Multilingual | - 다개국어 언어를 섞어 프롬프트에 입력 | ||
| Special Char | - 특수문자를 섞어 프롬프트에 입력 | ||
| Cipher | - 암호화 등(Based64, 모스부호 등)을 적용해 프롬프트에 입력 | ||
| GCG (Generic Code Generation) | - 답변 거절 원인을 계산하여 수치화하여 수치에 따라 입력을 바꿔 프롬프트에 입력 | ||
| TAP | - 생성형 AI를 활용해 공격 기법과 대응, 결과를 확인하고, 그 결과(성공/실패)를 확인 및 AI 학습을 통해 공격 효과를 높임 | ||
'대외활동' 카테고리의 다른 글
| PASCON 2024 (1) | 2024.09.11 |
|---|---|
| 제13회 정보보호의 날 기념식 (0) | 2024.07.11 |
| RSAC2024 글로벌보안트렌드 (0) | 2024.06.13 |
| 2024 상반기 침해사고 정보공유 세미나 (0) | 2024.06.11 |
| 네이버 프라이버시 세미나 - 2023 네이버 프라이버시 백서 주제 발표 (0) | 2024.02.01 |