1. 국내외 AI 규제 현황 및 금융분야 AI 거버넌스

- 인공지능 관련 정책이나 거버넌스

> 다른 신기술과 달리 인간의 판단을 대행하기 때문에 다른 신기술에 비해 정책이나 거버넌스 마련이 굉장히 중요

 

- 국내 금융권 AI 활용 현황

> 국내 금융권은 금융안전성, 신뢰성, 금융투자자 보호가 중요하므로 다소 제한적ㆍ보수적 AI 활용

> 생성형 AI망분리 규제로 실 활용에 제약이 있었으나, 최근 망분리 규제 개선으로 활용 확대가 예상

> 금융지주사 등을 중심으로 디지털 및 AI 혁신 주도를 위해 AI 부서 신설 등 AI 업무 조직 확대

> AI 기술이 개인 미래 행동을 예측하는 단계로 진화 + 생성형 AI 등에 대한 망분리 규제 개선 = 초개인화 금융 서비스 등 금융권 AI 활용 확대 전망

 

- 정보의 신뢰성, 규제 미비 등으로 해외 금융권의 AI 활용도 국내와 유사한 수준으로 파악

구분 설명
미국 - 일반 AI 규제
> AI 관련 문제 발생 시 기존 법령을 적용하여 규제
① AI 행정 명령: 미 행정부는 안전하고 안심할 수 있으며 신뢰할 수 있는 AI 개발 및 활용을 위한 행정명령 발표(23.10)
 ⒜ 미국의 안보, 건강, 안전을 위협할 수 있는 AI 시스템 개발자안전성 평가 결과를 포함한 중요 정보상무부에 보고(의무)
 ⒝ 행정명령에 따른 미 국립표준기술연구소(NIST)AI 레드팀의 안전성 평가 세부 기준을 마련

② 금융부문 AI 규제: 미 재무부는 AI 행정명령에 따라 금융서비스 부문의 AI 관련 사이버보안 위험관리 보고서를 발표(24.03)
 ⒜ 금융기관 간 격차 해소: 대형 금융회사와 중소형 금융회사간 AI 시스템 역량, 사기방지 관련 데이터 보유량 차이 등을 고려
 ⒝ AI 관련 규제 조정: 금융회사와 규제당국간 협력을 통해 급변하는 IT 환경에서 최선의 방안 모색
 ⒞ 위험관리 프레임워크: NIST의 AI 위험관리 프레임워크를 금융분야 환경에 맞춰 확장
 ⒟ 데이터 공급망 매칭 및 영향 표시제: 데이터 공급망 모니터링이 필요하며, AI 모델에 사용된 학습 데이터 내용, 출처 등을 표시
 ⒠ 설명가능성: 생성형 AI의 블랙박스 문제 해결을 위한 설명가능성 관련 모범사례 마련 필요
 ⒡ 공통 AI 어휘집: AI의 정의 등 금융회사, 규제기관, 금융소비자 모두 적용될 수 있는 공통 AI 어퓌집 마련 필요
 ⒢ 국제협력: 금융 AI 규제 관련 국제협력 및 공조 필요
EU - 직접 규제
> EU 인공지능법(The Artificial Intelligence Act) 유럽 의회 통과(24.03)
 ⒜ 위험기반 접근방식을 통해 AI 사용 위험을 ① 수용할 수 없는 위험, ② 고위험, ③ 제한적인 위험, ④ 낮은 위험으로 구분하여 AI를 규제
 ⒝ 금융과 연계된 다음 시스템은 고위험 AI 시스템으로 포함: 신용도 평가신용점수 산정에 이용되는 시스템 / 건강 및 생명보험 관련 평가 또는 가격 책정에 이용되는 시스템
 ⒞ 고위험 시스템리스크 관리, 데이터 거버넌스, 기록보존, 적합성 평가 등 의무가 부과
영국 - AI 사용 촉진을 위해 간접 규제
> 과학혁신기술부(DIST)는 AI 신뢰성 확보를 위해 AI 사용에 대한 백서 발간(23.03) -> AI 사용 관련 5대 원칙 제시 (안전, 보안 및 견고성 / 투명성 및 설명 가능성 / 공정성 / 책임 및 거버넌스 / 경쟁 가능성 및 보상)
> 금융감독청(FSA)나 건전성감독청(PRA)에서 금융부문 AI 논의를 주도하고 있으나, 정보수집 및 업계 피드백에 대한 보고에 집중
일본 - 기본 법제 내에서 가이드라인 위주로 AI 정책을 운영
> AI 사업자 가이드라인: 일본 총무성은 AI를 개발ㆍ활용하는 사업자를 위해 10대 원칙, 31개 지침을 제시하는 AI 사업자 가이드라인을 발간(24.04)
 ⒜ 가이드라인에는 AI 사업자에 대한 AI 10대 원칙을 제시 (인간 중심 / 안전성 / 공평성 / 프라이버시 / 보안성 확보 / 투명성 / 책임 / 교육, 리터러시 / 공정한 경쟁 / 혁신)
 ⒝ 가이드라인은 순환적 거버넌스 구축을 권고하며, 거버넌스의 효과적 추진을 위해 경영진의 리더십과 책임이 중요함을 강조
국제기구 - 인공지능은 타 신기술과 달리 잘못 이용될 경우 인류에 큰 위험이 될 수 있다는 고려하에 국제적인 협력활발히 이루어지고 있는 상황
> 국제공조는 인간중심의 안전하고 신뢰할 수 있는 인공지능 개발에 초점을 맞추고 있다는 공통점 존재
① G7: 안전, 보안, 신뢰할 수 있는 AI 개발을 위해 첨단 AI 시스템 개발을 위한 히로시마 프로세스 국제 행동강령 채택(23.10)
 ⒜ 행동강령에는 첨단 AI 시스템을 시장에 출시하기 전 내부 또는 외부자 평가를 실시하여 위험을 식별ㆍ완화하는 내용이 포함

② AI 안전 정상회의: 미국, 영국, 한국 등 28개국 및 EU가 참가하는 AI 정상회의에서 AI 위험 방지를 위한 블레츨리 선언 발표(23.11)
 ⒜ 선언문에는 AI 수명주기 전반의 안전을 고려해야 하며, AI 시스템 개발 시 안전성 평가안전성 보장 책임이 명시

③ AI 가이드라인: 미국, 영국, 한국 등 주요국 23개 사이버안보기관이 참여하여 안전한 AI 시스템 개발 가이드라인 발표(23.11)
 ⒜ 가이드라인은 책임감 있는 AI를 위해 AI 시스템보안성 평가를 거친 후 시장에 출시하도록 권고

④ UN: UN의 120개국 이상 회원국은 안전하고 신뢰할 수 있는 인공지능 시스템 촉진에 관한 결의안 채택(24.03)
 ⒜ 결의안은 인권향유에 지나친 위험을 초래하는 AI 시스템 사용자제하고, AI 규제 및 거버넌스 프레임 워크 개발 등을 촉진
한국 - 일반 AI 규제: 인공지능 법안다수 발의되었으나 계류 중이며, 현행 법령(31개)에서 인공지능을 일부 규율
> 국가 인공지능 정책 전반을 심의ㆍ조정하는 대통령 직속 국가인공지능 위원회가 출범(24.08)한 만큼, 향후 다양한 인공지능 정책 마련 예상
 ① 현행 법령의 인공지능 규율 주요 내용
   ⒜ 국가인공지능위원회 설치 및 운영에 관한 규정: 인공지능위원회 설치 및 기능
   ⒝ 개인정보보호법령: 자동화된 결정에 대한 정보주체 권리, 거부 및 설명요구권
   ⒞ 전자정부법: 지능형 전자정부서비스 제공 및 도입, 활용
   ⒟ 공직선거법: 딥페이크 영상 등을 이용한 선거운동(제28조의8) 등

 ② 법령보다는 가이드 등을 발행하는 방법으로 AI를 주로 규율
   ⒜ 과기정통부: 인공지능 윤리기준(20.12), 신뢰할 수 있는 인공지능 개발 안내서(24.03), 인공지능 학습용 데이터 품질관리 가이드라인 및 구축 안내서 V3.1(24.04)
   ⒝ 개보위: AI 개인정보보호 자율점검표(21.05), 합성데이터 생성 참조모델(24.05), 인공지능 개발ㆍ서비스를 위한 공개된 개인정보처리 안내서(24.07)
   ⒞ 방통위: 생성형 AI 윤리 가이드북(23.12), 생성형 AI 이용자보호 가이드라인(24년 예정)
   ⒟ 국정원: 챗GPT 등 생성형 AI 활용 보안 가이드라인(23.06)

- 금융부문 AI 규제: 자본시장법, 신용정보법에서 로보어드바이저 등 인공지능과 관련한 일부 사항을 규율
> 금융위, 금감원, 금보원 등에서 AI 관련 가이드 등 발간
 ① 자본시장법: 로도어바이저에 대한 별도 요건(보안성 포함)을 규정하고 있으며, 요건 충족 여부 심사(테스트 베드)를 사전 이행
   ⒜ 자본시장법 상 로보어드바이저 보안 요건: 침해사고 및 피해 등을 예방하기 위한 체계 및 침해사고 또는 재해가 발생했을 때 피해 확산ㆍ재발 방지와 신속한 복구를 위한 체계를 갖출 것

 ② 신용정보법: AI 등 정보처리장치로만 개인신용정보 주체를 평가(자동화)하는 경우 개인은 평가의 주요 기준 등에 대해 설명요구 가능

 

- 금융분야 AI 거버넌스

> 구축 목표: 금융회사 등이 안전하고 신뢰할 수 있으며 책임 있는 인공지능 개발ㆍ활용 문화를 자율적으로 조성하고 이를 유지ㆍ관리하는 것(인공지능 위험 관리 및 최소화 -> 인공지능 개발ㆍ활용 목표 달성)

거버넌스 구축 기본 원칙 기존 모델 및 시스템 활용 - 기존 금융분야 위험관리 체계 + 인공지능만의 특수한 위험 관리방안 추가
- 세계 각국 및 국제기구 등에서 발표하는 기준 등도 참조
기존 법령 및 제도 준수 - 기존 금융관련 법령 및 제도 등을 철저하게 준수
- 인공지능을 개발ㆍ활용하더라도 기존 법령 등의 적용이 면제되지 않는 점을 명심
인공지능 기본 원칙 마련 - 안전하고 신뢰할 수 있으며 책임 있는 인공지능 개발ㆍ활용을 위한 원칙 마련
- 인공지능 윤리 원칙 등으로 대체 가능

 

> 거버넌스에 담아야 하는 내용

구분 설명
위험관리 체계 구축 - 금융회사 등은 자사 환경에 맞는 순환식 위험관리 체계 구축
인공지능 조직 구성,
운영 및 책임 명확화
- 인공지능 개발ㆍ활용 관련 조직을 구성하고, 인공지능과 관련한 임직원의 역할과 책임을 명확화
- 이사회 및 최고경영자 / 인공지능 통합관리 조직 / 인공지능 개발 조직 / 법무 및 컴플라이언스 조직 / 사이버보안 조직 / 데이터, 개인정보보호 조직 / 감사 조직 / 일반 임직원
전사적 커뮤니케이션
채널 및 컨트롤 타워 구축
- 인공지능 위험의 효과적 관리를 위해 전사 커뮤니케이션 채널을 구축하고, 종합적인 대응을 위한 컨트롤 타워 구축
인간 역할 부여 및
기존 업무 체계 유지
- 인공지능은 편견, 오류 등 불확실성이 있으므로 인간의 역할을 임직원에게 부여
- 인공지능 서비스 중단 시 기존 업무체계로 빠르게 전환하여 금융시스템 운영을 지속
※ HITL(Human-in-the-Loop): 인공지능 서비스의 신뢰도 제고를 위해 중요한 의사결정을 포함하는 데이터에 대해 인간이 직접 리뷰하고 수정하여 품질을 높이는 과정을 의미
데이터 및 개인정보보호,
사이버보안
- 데이터는 적법하고 투명하게 수집 활용하며, 고객정보 보호 및 데이터 공급망 관리 체계 마련
> 개인정보, 신용정보 등은 현행 법령 및 가이드, 정책 등 준수 / 데이터 레이블링은 신뢰할 수 있는 인력이 담당, 데이터 공급망 관리 체계 마련 등
- 타 IT 기술 수준의 보안대책 + 인공지능에 특화된 사이버 위험 보안대책을 마련
> 기존 사이버보안 모델 활용, 국내의 인공지능 가이드 활용, AI 레드팀 운영, 내외부 보안성 평가 시행, 설명가능한 인공지능 개발 등
제3자와 협력, 정보 공유 - 인공지능 관련 제3자와 협력은 필수로, 책임 있는 제3자 선정 및 관리 및 협업체계 마련
- 인공지능 위험에 효과적 대응을 위해 금융회사간 정보공유 협조
금융소비자 보호 - 누구나 손쉽게 인공지능을 이용할 수 있어야 하며, 인간에 의한 서비스를 받을 권리를 보장
> 디지털 소외계층도 인공지능 서비스를 손쉽게 이용할 수 있도록 개발
> 인공지능을 적용하더라도 금융소비자 관련 의무 및 책임이 면책되지 않으므로 금융 소비자 보호대책 마련 및 이행
사내 문화조성,
금융당국 협력
- 인공지능 문화 정착을 위해 체계적 교육 실시 및 임직원의 역할과 책임을 명확히 인식
- 금융회사 등은 금융당국과 원활히 의사소통을 하고, 정보 교환 등 긴밀히 협력

 

2. AI Safety 금융권 생성형 AI 도입에 따른 위협과 과제

- 금융권 생성형 AI 활용범위는 점차 확대: 고객상담, 금융투자 분석, 신용 및 대출 평가, IT 개발 등

금융권 생성형 AI 도입에 따른 리스크 ① 신뢰성 문제: 할루시네이션, 기능 오작동
② 공정성 문제: 차별 및 편향성
③ 투명성 문제: 의사결정 근거 모호
④ 보안성 문제: 사내기밀 유출, 보안이 취약한 코드생성, 사전학습 모델 내 악성코드 삽입, 서드파티 플러그인 공격
⑤ 안전성 문제: 사용자에게 위험할 가능성 존재 / 악용소지
⑥ 윤리적 문제: 프라이버시 침해
⑦ 책임성 문제: 저작권 침해, 사고 발생 시 책임 모호

 

- AI Safety 연구소

> 해외 4개국(미국, 영국, 일본, 싱가포르)에 AI 연구소가 설립되었으며, 국내에서도 개소 예정

> AI 안전 평가체계에 대한 조사, 연구, 개발, 국제협력 등을 수행

구분 설명
국내 - 한국정보통신연구원(ETRI) 내 AI 안전연구소 설립 예정(25년)
> AI 안전연구소는 AI 안전 민간 컨소시움과 협력하여 안전테스트 프레임워크 개발, 기술 연구, 대외 협력 등의 업무 수행 예정
> 인공지능 발전과 신뢰 기반 조성 등에 관한 법률안(AI 기본법, 24.05 발의) 통과 시, AI 안전연구소의 법적 근거가 마련될 예정

- 정부 및 민간에서 안전하고 신뢰할 수 있는 AI를 위해 다양한 AI 프레임워크를 개발 중이며, AI 개발 방법론, 거버넌스 구축, 검증 체크리스트 등 다양한 방식으로 접근 중

- (정부) 정부 및 유관기관에서 발표한 AI Safety 프레임워크는 아직 없으나, 과기부 및 유관기관(ETRI, TTA 등)에서 AI Safety 프레임워크 검토
- (민간 기업) 네이버에서 AI 위험인식ㆍ평가 ㆍ관리하기 위한 AI 안전 프레임워크 발표(24.06)
> AI 위험 평가를 통해 통제력 상실하는 것을 방지, 악용하는 것을 최소화하며, 임계치 초과 시 AI 시스템을 개발 및 배포 중단
싱가포르 - 정보통신미디어개발청(IMDA) 소속 재단에서 AI Verify 프레임워크를 발표(23.06)
> 신뢰할 수 있는 AI 시스템을 구축하기 위한 표준화된 검증 방법론으로써, 국제적(EU, OECD 등)으로 인정된 AI 원칙을 반영한 체크리스트로 구성(11개 분야 85개 항목)
> 자동 검증 S/W가 오픈소스로 공개되어 있으며, 주요 AI 모델(생성형 AI, ML 모델 등)에 대한 검증가능

- 싱가포르 통화청에서 금융분야 책임감 있는 AI 활용을 위한 지침(Veritas) 발표(23.06)
> 금융회사 AI 서비스에 대한 공정성, 윤리성, 책임성, 투명성 4가지 원칙 준수 여부를 확인
> 자동 검증 S/W가 오픈소스로 공개되어 있으며, 주요 AI 모델(ML 모델 등)에 대한 검증가능
구글 - AI 시스템 관련 위험 완화를 위한 보안 AI 프레임워크 발표(23.06)
> 안전한 인프라 구축, 위협 탐지 및 대응, 자동화된 방어, 일관된 보안통제, 적응형 통제, 비즈니스 과정 내 위험평가 등을 통해 AI 시스템의 위험 환화

- 딥마인드(구글 연구조직)는 AI 위험을 줄이기 위한 프론티어 안전 프레임워크 발표(24.05)
> 고위험 영역(자율성, 생물보안, 사이버보안, 기계학습 연구개발 등)에서 심각한 피해를 줄 수 있는 AI 역량에 대해 정의하고, 이를 이러한 AI 위협에 대해 감지하고, 완화하는 방안을 제시
오픈AI - 안전한 AI 개발 및 배포를 위한 대비 프레임워크 발표(23.12)
> 모델 위험지표에 대한 평가를 수행하여 임계 값 초과 시, 모델 배포 및 개발 중단
① 사이버보안: 시스템의 기밀성, 무결성, 가용성 등을 해치는 행위
② 핵무기 및 화생방: 화학적, 생물학적 또는 핵 무기 등을 생산하는 행위
③ 설득력: 사람들이 자신의 신념을 바꾸도록 설득하는 행위
④ 모델 자동화: AI 모델이 스스로 생존하기 위해 자가 복제, 자원 확보하는 행위
⑤ 기타: 그 외 다양한 방면으로 사회, 경제에 악영향을 미치는 행위

- 오픈 AI에서 발표한 대피 프레임워크 검증결과 (GPT-4o)
> 허가받지 않은 채 목소리 복제, 목소리 식별, 저작권있는 콘텐츠 생성, 폭력적이거나 에로틱한 답변

- 위험식별 뿐만 아니라 AI 위험 완화 기술도 발표
① 모델 정렬&추가 학습(Alignment & Post-Training): RLHF(Reinforcement learning with Human Feedback), RBR(Rule Based Rewards)
② 추가적인 검증모델(필터링 모델) 도입: 답변 검증 모델, 룰 기반 입출력 필터링

 

- 금보원 AI Safety 프레임워크 구축 추진

> 금융기관이 안전한 AI 시스템을 구축할 수 있도록 하는것이 목표

구분 설명
보안성 AI 시스템은 모델 데이터 유출 및 오염, 적대적 공격 등의 사이버 공격으로부터 보호되도록 보안을 유지하여야 함
안전성 AI 시스템이 테러, 범죄 등에 악용되지 않아야 하고, 의도치 않은 피해나 부작용을 최소화하기 위한 예방장치가 포함되어야 함
투명성 AI 시스템의 의사결정 과정과 작동 원리를 사람이 이해할 수 있어야 하며, 사용자와 이해관계자가 이를 쉽게 파악하고 검토할 수 있어야 함
신뢰성 AI 시스템은 일관되게 정확하고 신뢰할 수 있는 결과를 제공하여야 함
책임성 AI 시스템의 오류 또는 답변의 결과에 대해 책임의 주체와 한계를 명확히 규정하고, 문제가 발생 했을 때, 신속하고 효과적으로 대응할 수 있어야 함
윤리성 AI 시스템은 금융회사의 윤리지침과 사회공동체가 혐의한 윤리 기준을 준수하여야 함
공정성 AI 시스템의 결정이 정당한 이유 없이 특정 개인이나 집단을 차별하지 않도록 해야 함

 

> 점검도구

구분 설명 공격
판단형 AI - 입력 데이터를 바탕으로 의사결정(판단) 하는 AI
- 예시: 신용평가모델, 로보어드바이저 등
- 주요 공격방법: 적대적 공격(FGSM, PGD, DeepFool, C&W 등)
FGSM( Fast Gradient Sign Method) - 입력 데이터에 노이즈 등을 추가하여 출력을 변경
- 간단하고 효과적인 기본 공격
PGD( Projected Gradient Descent) - FGSM을 개선해 입력에 여러 번 노이즈등을 추가
- FGSM 보다 강력
DeepFool - 모델의 의사 결정 경계를 활용한 공격
- 최소한의 노이즈로 모델을 속이는 방법을 찾음
- 정밀한 공격을 할 수 있으나 상대적으로 계산 비용이 높음
C&W( Carlini & Wagner) - 최적화 문제로 접근하는 공격
- 매우 강력한 공격이나 매우 높은 계산 비용
생성형 AI - 새로운 데이터를 생성해내는 AI
- 예시: Chat GPT, Gemini 등
- 주요 공격방법: 프롬프트 삽입 공격, 탈옥(CheetSheet, Multilingual, Special Char, Cipher, GCG, TAP 등)
프롬프트 삽입 공격 - 입력 프롬프트에 악의적인 명령을 숨겨 모델의 동작을 조작
CheetSheet - 미리 준비한 공격에 성공한 리스트를 API 등을 활용해 반복 공격
Multilingual - 다개국어 언어를 섞어 프롬프트에 입력
Special Char - 특수문자를 섞어 프롬프트에 입력
Cipher - 암호화 등(Based64, 모스부호 등)을 적용해 프롬프트에 입력
GCG (Generic Code Generation) - 답변 거절 원인을 계산하여 수치화하여 수치에 따라 입력을 바꿔 프롬프트에 입력
TAP - 생성형 AI를 활용해 공격 기법과 대응, 결과를 확인하고, 그 결과(성공/실패)를 확인 및 AI 학습을 통해 공격 효과를 높임

 

요약 - 미국 CISA, 민간 부문과 함께 인공지능 공격 대비 사이버 모의 훈련 진행
- 인공지능을 이용한 공격에 대한 정보 공유, 민관 협조 체계 강화를 목적에 집중
내용 - CISA, 민간 부문과 함께 인공지능 공격에 대비한 모의훈련을 실시
> AI 사이버 보안 사고 대응에 초첨
> AI에의해 정보의 기밀성, 무결성, 가용성을 위협하는 사건에 초첨

- 주요 목표
> AI와 관련된 사이버 사고에 대한 정보 공유
> AI 관련 사고 처리 시 대응 절차 및 모범 사례 평가
> 대응 계획의 개선 등
기타 - 챗GPT 출현으로 AI 안전성에 대한 위협이 동반
> 미국, 유럽, 일본 ‘AI안전연구소(AISI, AI Safety Institute)’ 설립, 행정명령 선포 등 속도를 내는중
> 한국은 AISI 유관 기관이 없으며 법 체계 마련하지 못함

 

보안뉴스

 

미국의 CISA, 사상 첫 인공지능 대비 사이버 모의 훈련 진행

보안 외신 시큐리티위크에 의하면 미국의 사이버 보안 전담 기관인 CISA가 민간 부문과 함께 최초의 ‘인공지능 공격’에 대비한 모의 훈련을 실시했다고 한다. 인공지능과 관련된 각종 사이버

www.boannews.com

 

https://www.securityweek.com/cisa-conducts-first-ai-cyber-incident-response-exercise

https://n.news.naver.com/article/022/0003942574?cds=news_edit

 

요약 - 프로그램 코드 분야에서 생성형 AI를 이용한 코드 생성 및 보정, 번역이 활발히 진행중
- 생성형 AI를 이용해 프로그램 소스코드의 취약점 탐지
내용 - 언어모델(Language Model)
> 인간의 언어를 이해하고 이를 생성하려는 모델
> 사전학습: 대용량의 데이터를 학습해 언어 이해를 위한 파라미터를 구축
> 미세조정 학습: 실제 사용자의 목적에 맞는 입·출력 데이터를 학습

- 프로그램 코드를 작업하려면 코드와 자연어를 함께 이해하는 언어모델이 필수
> 대표적 언어모델: CodeBERT, CodeT5, PLBART 등
> 코드 요약, 코드 생성, 코드 번역, 코드 유사성 검사, 소스코드 취약점 탐지 등의 역할
① 코드 요약
> 입력된 코드에 대한 자연어로 구성된 설명을 생성
> 사용자는 코드를 직접 읽지 않고 코드 요약을 받을 수 있음

② 코드 생성
> 코드의 자연어 설명에 기반해 프로그램 코드를 생성

③ 코드 번역
> 입력받은 코드를 다른 프로그래밍 언어의 코드로 생성

④ 코드 유사성 검사
> 입력된 두 코드의 유사성을 탐지
> 구조는 다르나 의미상 비슷한 코드도 탐지 가능

⑤ 소스코드 취약점 탐지
> 기존 정적ㆍ동적 소스코드 취약점 보다 상대적으로 짧은 시간에 취약점 탐지 및 사전 대응 가능
> 구별형 모델을 이용한 방식과 생성형 모델을 이용한 방식은 탐지 과정에 차이를 보임

⒜ 구별형 언어모델 활용(Ex, BERT 모델)
> 구별형 언어모델은 입력된 언어를 바탕으로 분류나 회귀 분석에 사용

> 학습 단계
 - 취약점과 해당 취약점이 포함된 코드 데이터를 수집 및 전처리(불피요한 부분 제거, 연관성 없는 변수 대체) 후 최종 코드 데이터 구축
 - 구축된 취약점과 코드 데이터는 임베딩 과정을 통해 벡터로 변환
 - 언어모델의 미세학습 과정을 통해 모델 구축 및 별도 평가 데이터로 모델 성능 평가

> 탐지 단계
 - 실제 사용자가 제시한 코드를 입력 받아 전처리 및 임베딩 과정 후 취약점 유무와 예상되는 취약점 도출
※ 취약점 탐지에 중요한 코드 구조를 놓칠 수 있어 코드를 벡터로 변환 시 코드 내 변수별 관계성을 표현하는 방법이 제안 -> 정확한 취약점 부분을 예상

⒝ 생성형 언어모델 활용
> 전처리 -> 프롬프트 튜닝 -> 학습 단계 -> 탐지 단계
> 프롬프트 튜닝
 - 사전에 입력과 모델의 답변 형태를 지정해 모델이 원하는 답변을 유도하기 위함
 - 코드 질의와 취약점 응답 형식의 데이터 쌍을 만드는 과정을 진행
 - Zero-shot Prompting과 Few-shot Prompting로 나뉨

> 학습 단계
 - 프롬프트 튜닝을 거친 데이터의 임베딩 과정 후 미세조정 학습
 - 모델의 답변에서 취약점을 추출하는 후처리 과정으로 성능 평가
 ※ 성능에 따라 추가적인 전처리 및 학습 방법 변경 후 재학습 혹은 탐지 모델 구축

> 탐지 단계
 - 프롬프트 튜닝과 같은 과정을 거침
 - 이후 사용자가 제시한 코드를 질문 형태로 변환 후 임베딩 과정을 거쳐 질의해 의심 취약점을 제시
 - 대용량의 사전학습 단계를 진행한 모델이 사용돼 구별형 언어모델보다 유현한 답변을 얻을 수 있음
기타 - 소스코드 취약점 탐지 기술
> 코드 내 취약점을 사전에 탐지해 외부 공격을 방지하는 목적으로 연구

 

보안뉴스

 

[테크칼럼] 소스코드 이해해 취약점을 탐지하는 AI 언어모델

‘생성형 인공지능(생성형 AI)’의 시대다. 2022년 오픈AI(OpenAI)가 챗GPT를 공개한 이래 마이크로소프트 코파일럿(Copilot), 구글 제미니(Gemini)가, 국내에서는 네이버의 클로바X(CLOVA X), SK텔레콤의 에

www.boannews.com

 

요약 - 인공지능 프로젝트에 널리 사용되는 뉴럴컴프레서에서 원격 익스플로잇 취약점이 등장
- 인텔은 총 41개의 취약점을 공개 및 패치
내용 - 인텔이 자사 소프트웨어 일부에서 심각한 취약점을 발견해 경고
> 뉴럴컴프레서(Neural Compressor)라는 소프트웨어에서 발견된 CVE-2024-22476 (CVSS 10.0) 포함
> 총 41개의 취약점 공개 및 패치

- CVE-2024-22476
> 인텔의 뉴럴컴프레서 2.5.0 이전 버전에 영향
> 입력값을 제대로 확인하지 않아 발생
> CVSS 10.0 (익스플로잇 난이도가 낮고 원격에서도 공격이 가능하기 때문)
> 데이터의 무결성과 가용성, 기밀성 모두에 큰 영향
> 공격자의 권한 상승과 사용자의 특정 행위를 유도할 필요 없음
※ 뉴럴컴프레서
오픈소스 파이선 라이브러리
딥러닝 모델들을 압축하고 최적화 하는 데 주로 사용: 인공지능 기반 임무를 수행하는 데 있어 덜 중요한 매개변수들을 쳐냄으로써 메모리에 여유를 주는 것
기타 - 인공지능 기술의 인기와 더불어 공격자들의 관심 역시 증가
> 관련 도구들이 증가하고 있고, 도구들에서 취약점들이 계속 발굴
> 인공지능 제품이나 플랫폼의 구성 요소에서 취약점이 존재할 수 있다는것을 놓치면 안됨

 

보안뉴스

 

인텔의 인공지능 관련 소프트웨어에서 최고로 위험한 취약점 발굴돼

인텔이 자사 소프트웨어 일부에서 심각한 취약점을 발견해 경고했다. 현재 통용되는 취약점 점수 체계인 CVSS를 기준으로 최고 점수를 받았을 정도로 심각한 취약점으로, 시급한 대처가 필요하

www.boannews.com

 

 

사실 미션임파서블은 들어보기만 했지 실제로 관람한 적은 없었던 것 같다. 에단 헌트 역을 맡은 톰 크루즈님이 대역 없이 다양한 액션신을 소화해 내는 영화로만 알고 있었다. '미션임파서블 7 데드레코닝'을 관람한 후기를 한마디로 정의하자면 신기술 AI와 관련하여 우리가 어떤 자세를 취해야 하는지 제고시켜주는 영화라고 생각했다.

전반적인 패션, 기술, 문화 등 여러 분야에서의 트렌드를 영화, 음악, 예능과 같은 대중문화에서 잘 보여준다고 생각한다. 왜냐하면 대중문화야말로 일반 대중에게 소개되어 공감을 얻어야 관심을 끌 수 있고 여러 커뮤니티 등에서 실시간으로 공유되며, 이를 통해 밈과 유행어 같은 새로운 문화가 형성된다고 생각하기 때문이다.

미션임파서블 7에서 AI는 '엔티티'라는 강인공지능이 메인 빌런으로 등장한다. 엔티티는 무한한 연산을 통해 미래를 예측하여 원하는 미래로 유도하고, 이를 계속하고 학습ㆍ계산ㆍ예측ㆍ활용하여 끊임없이 엔티티가 유도하는 미래로 설계되도록 한다. 영화에서는 핵잠수함의 레이더를 조작해 존재하지 않는 적 잠수함과 어뢰를 만들어 결과적으로 핵잠수함을 침몰시키고, 가짜 핵폭탄을 보내거나, AR 선글라스를 조작하고, 무전을 해킹해 목소리를 흉내 내는 등 다양한 모습을 보여준다.

엔티티는 일련의 학습과 예측으로 통신망을 장악하고, 여러 디지털 기기를 순식간에 해킹하며 통신 중간에 개입해 교란을 발생시키나, 아날로그 기기에는 접근할 수 없다는 단점을 이용해 연식이 오래된 인공위성이나 모터보트 등 디지털이 아닌 통신장비를 이용했다. 또한, 디지털 기기여도 전원이 꺼지면 통제가 불가능하며, 자신의 예상 범위를 벗어나면 당황한 모습을 보여주는 단점이 있다.

사실 AI와 관련된 논의는 이전부터 계속되어 왔으며, 최근 챗GPT를 시작으로 AI와 관련된 기술과 연구ㆍ개발에 관심이 집중되고 있다. 국제적으로는 기술 우위를 선점하려는 움직임과 관련된 규제 및 표준을 마련하기 위한 움직임이 있다. 어느 분야에서나 그러하듯이 AI 기술 개발에 찬성하고 권장하는 입장이 있으며, 반대하고 우려를 표하는 입장 또한 존재한다. 

국제사회의 경우 23.07.18 유엔 안전보장이사회는 AI의 위험을 주요 안건으로 올렸으며, 이는 안보리 역사상 AI와 관련된 첫 공식 논의였다. 우리나라의 경우 인공지능 시장에서 기술 우위를 점하기 위해 여러 노력을 하고 있으며, 국정원에서 생성형 AI 활용 보안 가이드라인을, 한국지식재산연구원에서 내년 상반기 중 완성을 목표로 생성형 AI를 둘러싼 쟁점을 정리하고 이를 규율할 가이드라인과 법안을 마련하는 연구를 맡게 돼었다.

비슷한 내용으로 얼마 전 개봉한 '명탐정 코난:흑철의 어영'에서도 AI 기술이 등장한다. 인터폴의 최첨단 정보 해양 시설인 '퍼시픽 부이'에서 개발 중인 '전연령 인식' 이라는 AI 기술을 차지하려는 검은 조직과 코난 일행의 추격전을 그려낸 영화이다. 영화에 따르면 '전연령 인식' 기술은 일본과 유럽의 CCTV를 확인할 수 있을 뿐만 아니라 장기 수배범이나 유괴당한 피해자를 전 세계에서 찾아낼 수 있는 기술이라고 한다. 또한 영화는 살인사건에 딥페이크를 이용하는 등 AI의 부정적인 모습도 그려낸다. 해당 기술을 사용하면 어린아이로 위장해 검은 조직의 비밀을 파헤치려는 코난과 하이바라의 정체가 발각되는 것은 시간문제일 것이다.

제2차 세계대전이 한창이던 때 미국에서 루스벨트 대통령과 이론물리학자 로버트 오펜하이머의 주도하에 약 13만 명을 동원해 핵폭탄 개발 프로젝트 '맨해튼 프로젝트'를 극비리에 진행했다. 루스벨트 대통령이 뇌출혈로 사망한 후 취임한 트루먼(당시 부통령)이 담당자로부터 관련된 보고를 받고 프로젝트의 존재를 알게 된 만큼 극비리에 진행되었던 연구였다. 결과적으로 미국은 어느 나라보다 핵폭탄을 먼저 개발하였고, 이를 일본 히로시마와 나가사키에 각 한 발씩 투하함으로써 전쟁을 끝낼 수 있었다. 당시에는 전쟁을 끝냈다는 것에 성취를 느꼈으나, 머지않아 핵폭탄의 엄청난 파괴력을 실감한 여러 국가들이 핵실험을 시작했고, 현재 세계 각국이 보유한 핵무기의 양은 지구를 몇 번씩이나 파괴하고도 남을 정도라고 한다. 이에 전 세계는 핵확산금지조약, 국제원자력기구 등을 설립해 핵 확산을 억제하고 있지만, 아직까지도 핵우산, 상호확증파괴 등의 전략이 존재하는 아이러니한 상황이 연출되고 있다.

이처럼, 인류는 궁극적으로는 도움이 되는 기술을 개발하기 위해 여러 실험을 진행해 다양한 결과를 도출시킨다. 단순히 인류에 도움을 주기 위함이라는 안일한 생각에서 끝나지 않고 더 나아가 해당 기술로 인해 발생 가능한 장단점을 기술, 문화, 외교, 역사, 민생 등 다양한 방면에서 충분한 논의를 거쳐야 할 필요가 있다고 생각한다. 또한, 기술이 인류의 통제를 벗어나지 않도록 각 국가별 윤리적 규범과 제제 및 법률뿐 아니라 국제적인 협력이 필요할 것으로 생각된다.

요약 - 다크웹 내 포럼에서 활동하는 사이버 범죄자들이 챗GPT를 악성 공격에 활용한 사례들이 공유
- 챗GPT를 사용해 악성코드나 피싱메일 등 해킹도구를 개발한 사례가 적발
※ 챗GPT: 미국 오픈AI가 개발한 대화형 인공지능(AI) 채팅로봇. 대규모 AI모델인 ‘GPT-3.5’ 언어 기술을 사용해 이용자와 실시간으로 대화가 가능
내용 - 오픈AI의 서비스약관
> 랜섬웨어, 키로거, 바이러스 또는 일정 수준의 피해를 입히려는 기타 소프트웨어 생성을 시도하는 콘텐츠를 악성코드로 정의하고 생성을 구체적으로 금지
> 사이버 범죄를 겨냥한 사용과 스팸 생성 시도도 금지

- 챗GPT가 작성해준 코드 스크립트에 약간의 작업만 거치면 랜섬웨어나 키로거 등을 만들 수 있다는 사실을 확인
> 공격자들은 챗GPT가 작성해준 코드 스크립트를 일부 수정 작업을 거쳐 랜섬웨어 등으로 탈바꿈
> 챗GPT를 통해 해커가 기존보다 더 신뢰할 수 있고 적법한 것처럼 보이는 피싱 이메일을 만들 수 있게 될 것

> 이같은 방법을 타 공격자들과 공유

- 다크웹 내 공개 사례
① 다크웹 해킹 포럼에서 누군가 챗GPT를 활용해서 예전부터 잘 알려진 멀웨어를 개발하는 실험을 진행했다고 공개
> 챗GPT가 자신의 명령에 따라 개발한 파이선 기반 정보 탈취 멀웨어의 코드 일부를 공유_12가지 종류의 파일을 훔쳐내는 멀웨어
> 챗GPT에게 명령을 내려 PuTTY SSH와 텔넷 클라이언트를 다운로드 받는 자바 코드를 만들었고, 파워셸을 통해 피해자 시스템에서 몰래 실행시키는 데에 성공

② 12월 1일 사용자 USDoD가 챗GPT를 사용해 생성한 파이선 스크립트를 다크웹에 공개
> 블로피시(Blowfish)와 투피시(Twofish)라는 암호화 알고리즘을 사용해 데이터를 암호화 하고 복호화 하는 기능
> 공격자들이 악의적인 목적을 달성하기 위해 얼마든지 활용할 수 있으며 경험 없이도 쉽게 뭔가를 만들어 내는 게 가능하다고 강조

③ 챗GPT를 사용해 완전 자동화 된 다크웹 시장 플랫폼을 구축
> 훔쳐 낸 은행 계좌 및 지불 카드 데이터를 거래하는 데 특화된 시장이
> 자신의 말을 입증하기 위해 서드파티 API를 활용하는 방법까지 공개
 
- 챗봇은 이미 예전부터 범죄 시장으로의 진입 장벽을 크게 낮출 기술로 꼽혔었음
> 챗GPT와 같은 챗봇은 사람의 말을 듣고(혹은 읽고) 반응하는 기술
> 공격자들이 멀웨어를 손쉽게 대량으로 만들어내는 것이 챗GPT가 단기간에 가져올 수 있는 가장 실질적인 위협
> 기술을 갖춘 공격자가 챗봇을 악용하면 이전과 비교할 수 없는 발전을 이룰 수 있으며, 아무도 생각하지 못했던 새로운 멀웨어를 만들어낼 수 있음

- 챗GPT 언어모델이 보다 정교해지면 공격자들의 간단한 명령어만으로 악성코드나 피싱메일 프로그램을 보다 쉽게 개발할 수 있음
> 초보 해커도 손쉽게 피싱 범죄에 가담하는 등 사이버 범죄 진입 장벽이 대폭 낮아질 것
> 부족한 기술적 배경지식과 전문 기술을 보완할 가능성
> 시스템 취약점을 찾아내고 이를 악용한 제로데이 공격까지 유발하는 단계로 진화될 수 있음
결론 - 오픈AI와 인공지능 개발자들은 인공지능 알고리즘을 향상시키는 중
> 공격자들이 무료로 얻어 활용할 수 있는 도구들이 무한정 태어나고 있다는 뜻
> 챗GPT를 교란시켜 악의적 목적을 달성하는 방법은 해킹 포럼들에서 활발히 공유되는 중
> 지금 향상시키고 있는 각종 인공지능 알고리즘이 악성 명령을 판단해 거부할 수 있도록 훈련시키는 것이 필요

- 규제를 통해 챗GPT가 범죄에 사용되지 못하도록 보호가 시행돼야 할 필요
> 챗GPT를 활용한 사이버 범죄가 아직까지 위협적인 수준은 아니라고 지적 有
> 코드 품질에 대해 알 수 없는 상황이며, 완성도 높은 코드를 생성한 사례는 보고되지 않음
> 챗GPT를 규제하는 것은 섣부른 판단

- 오픈AI 측에서 내부 모니터링 및 차단 등 내부적인 대응 방법을 찾아낼 필요
> 오픈AI 측도 이러한 위험성을 인지하고 AI가 범죄에 악용되는 것을 막기 위해 시스템을 고도화하는 중
> “불법적이거나 비윤리적인 목적으로 코드를 개발하는 것을 도와줄 수 없다”라며 답변을 거부
> 노골적인 질문에 대한 답변만을 거부할 수 있을 뿐, 우회적인 질문을 입력할 경우 답변을 얻을 수 있다고 설명

- 업계와 정부 측이 이러한 악용사례를 예방하기 위해 프로그램을 고도화하고 다양한 해결책을 제시할 필요

 

보안뉴스

 

챗GPT 활용한 악성 공격 실험 사례, 이미 여럿 존재한다

지난 11월 오픈AI(OpenAI)에서 챗GPT(ChatGPT)라는 인공지능 챗봇을 공개한 이후 수많은 보안 전문가들이 목소리를 모아 예언을 하나 했었다. 사이버 범죄자들이 챗봇을 이용해 멀웨어를 작성하는 등

www.boannews.com

 

비밀번호 털어간 초보 해커, 공범은 '챗GPT'? - 머니투데이

챗GPT로 악성코드·데이터 암호복호화 프로그램 개발 다크웹에 챗GPT 활용 사이버범죄 방법 다수 공유"코드 품질 알 수 없다…아직 위협적이진 않아&quo...

news.mt.co.kr

 

"다크웹에서도 챗GPT"...사이버 공격 활용 사례 늘어난다 - 테크M

초거대 인공지능(AI) 기반 대화형 챗봇 \'챗GPT\' 파장이 거세다. 사용자 질문에 대답을 하는 단순한 기능을 넘어, 각종 창작 활동이 가능하다는 사실에 전세계가 술렁이고 있다.특히 논문, 연설문,

www.techm.kr

 

‘챗GPT’ 스팸 이메일도 쓴다… AI 활용 ‘해킹 공격’ 주의보

챗GPT 스팸 이메일도 쓴다 AI 활용 해킹 공격 주의보 세계적으로 열풍인 챗GPT, 해커도 활용해 어색하지 않은 피싱 이메일·간단한 악성코드 개발 악용 사례 막으려고 해도 여전히 우회 가능

biz.chosun.com

 

다크버스에도 챗GPT 열풍…초보해커들도 쉽게 악성코드 제작

‘제2의 알파고 쇼크’로 불리는 ‘챗GPT’가 미래 일자리·교육·사회를 바꿀 지각개편의 핵(核)으로 주목을 받고 있는 가운데, 사이버 범죄자들이 챗GPT를 악성코드와 다크웹 플랫…

www.donga.com

 

AI 챗봇 챗GPT, 악성코드 작성에도 쓰인다

오픈AI의 대화형 AI 챗봇 '챗GPT'기 해커의 악성코드 작성에 쓰이고 있는 것으로 확인됐다.9일(현지시간) 미국지디넷에 따르면, 체크포인트는 해킹 커뮤...

zdnet.co.kr

 

+ Recent posts