| 요약 | - NIST, 머신러닝 모델들의 안전성과 복구력을 확인할 수 있는 오픈소스 도구 Dioptra 배포 - 세 가지 공격(회피, 오염, 오라클)에 대해 방어력을 발휘할 수 있음 |
| 내용 | - NIST, 머신러닝 모델의 안전성과 복구력을 확인할 수 있는 오픈소스 Dioptra 배포 > 회피, 오염, 오라클 공격을 염두하여 개발 > 이미지 분류에 능한 인공지능 모델을 방어하기 위해 개발됐으나, 음성 인식 등 다른 유형의 인공지능에도 접목 가능 ① 회피 (Evasion) > 인공지능이 엉뚱한 답변을 내놓도록 하는 것이 목표 > 입력 데이터에 노이즈 등을 삽입해 시스템이 응답하는 방식을 변경하는 공격 ② 오염 (Poisoning) > 인공지능 모델의 정확도를 떨어트리는 것을 목표 > 모델의 훈련 데이터를 변경시키고 조작하는 방법으로 목적 달성 ③ 오라클(Oracle) > 인공지능 모델을 리버스 엔지니어링을 통해 훈련 데이터를 추론하고 알아내는 기법 - Dioptra > 세 가지 공격 중 어떤 것이 어느 정도로까지 영향을 줄 수 있는지 가늠할 수 있음 > 여러 방어 전략이 어느 정도로 효과를 거둘 수 있는지 확인 가능 > 모듈 구성으로 설계되었기 때문에 필요에 따라 다양한 설정으로 실험 가능(모델 변경, 휸련용 데이터셋 교환, 공격 또는 방어 전략 변경 등) > 사용자 친화적인 웹 UI가 적용되었고, Python 플러그인과 호환이 가능해 여러 조합 구성 가능 |
| 기타 | - Dioptra와 함께 각종 리스크 관리 전략에 관한 가이드라인 또한 공개 > 특히 인공지능의 선용 가능성과 악용 가능성 모두를 염두에 둔 내용이 담김 > 24.09.09까지 일반 대중들의 의견을 접수 받는 중 |
보안뉴스
미국 국립표준기술연구소, 인공지능 안정성 점검 도구를 무료로 배포
미국의 국립표준기술연구소(NIST)가 머신러닝 모델들의 안전성과 복구력을 실험할 수 있게 해 주는 소프트웨어 도구를 개발해 오픈소스로 풀었다. 인공지능을 겨냥한 여러 가지 유형의 공격에
www.boannews.com
What is Dioptra? — Dioptra 1.0.0 documentation
Dioptra is a software test platform for assessing the trustworthy characteristics of artificial intelligence (AI). Trustworthy AI is: valid and reliable, safe, secure and resilient, accountable and transparent, explainable and interpretable, privacy-enhanc
pages.nist.gov
GitHub - usnistgov/dioptra: Test Software for the Characterization of AI Technologies
Test Software for the Characterization of AI Technologies - GitHub - usnistgov/dioptra: Test Software for the Characterization of AI Technologies
github.com
'보안뉴스' 카테고리의 다른 글
| 노출된 .env 파일 하나가 쏘아올린 작은 공, 11만 개 도메인 공격으로 이어져 (0) | 2024.08.24 |
|---|---|
| 내일부터 사이버 침해 사고시 '24시간'내 최초 신고 의무화 (0) | 2024.08.16 |
| [긴급] 크라우드 스트라이크 팔콘 업데이트 했다가 PC 블루스크린... 전 세계 ‘파장’ 외 14건 (0) | 2024.07.21 |
| 해외에서 금융정보 훔친 악성 앱, 한국에 상륙... 금융소비자 주의보! (0) | 2024.07.04 |
| 랜섬웨어 공격자들이 늘어난다고? 그러면 랜섬웨어를 위장 도구로 사용하면 어떨까? 외 1건 (0) | 2024.07.02 |