우리 신경망을 리버스 엔지니어링할 수 있나요?

신경망 리버스 엔지니어링의 증가하는 위협과 이것이 귀하의 비즈니스에 미치는 영향

2024년에 한 주요 대학의 연구원들은 API 응답과 대략 2,000달러 상당의 컴퓨팅만을 사용하여 독점적인 대규모 언어 모델의 내부 아키텍처를 재구성할 수 있음을 시연했습니다. 이 실험은 AI 산업에 충격파를 보냈지만 그 의미는 실리콘 밸리를 훨씬 넘어서는 것입니다. 사기 탐지 시스템에서 고객 추천 엔진에 이르기까지 기계 학습 모델을 배포하는 모든 기업은 이제 불편한 질문에 직면합니다. 몇 달 동안 구축한 정보를 누군가가 훔칠 수 있습니까? 신경망 리버스 엔지니어링은 더 이상 이론적 위험이 아닙니다. 이는 모든 기술 중심 조직이 이해해야 하는 실용적이고 점점 더 접근하기 쉬운 공격 벡터입니다.

신경망 리버스 엔지니어링의 실제 모습

신경망을 리버스 엔지니어링하려면 신경망을 실행하는 서버에 물리적으로 액세스할 필요가 없습니다. 대부분의 경우 공격자는 모델 추출이라는 기술을 사용합니다. 여기서는 신중하게 제작된 입력으로 모델의 API를 체계적으로 쿼리한 다음 출력을 사용하여 거의 동일한 복사본을 교육합니다. USENIX Security에 발표된 2023년 연구에 따르면 공격자는 100,000개 미만의 쿼리를 사용하여 95% 이상의 충실도로 상용 이미지 분류기의 결정 경계를 복제할 수 있는 것으로 나타났습니다. 이 프로세스는 API 비용으로 수백 달러 미만의 비용이 듭니다.

추출 외에도 반대 방향으로 작동하는 모델 반전 공격이 있습니다. 공격자는 모델을 복사하는 대신 훈련 데이터 자체를 재구성합니다. 신경망이 고객 기록, 독점 가격 책정 전략 또는 내부 비즈니스 지표에 대해 훈련된 경우 성공적인 반전 공격은 모델을 훔칠 뿐만 아니라 가중치에 포함된 민감한 데이터를 노출시킵니다. 세 번째 범주인 멤버십 추론 공격을 사용하면 공격자가 특정 데이터 포인트가 훈련 세트의 일부인지 여부를 확인할 수 있어 GDPR 및 CCPA와 같은 규정에 따라 심각한 개인 정보 보호 문제가 발생합니다.

공통점은 API 뒤에 모델을 배포하면 모델이 안전하게 유지된다는 "블랙박스" 가정이 근본적으로 깨졌다는 것입니다. 모델이 반환하는 모든 예측은 공격자가 사용자에게 사용할 수 있는 데이터 포인트입니다.

기업이 현재보다 더 관심을 기울여야 하는 이유

대부분의 조직은 네트워크 경계, 엔드포인트 보호 및 데이터 암호화에 사이버 보안 예산을 집중합니다. 그러나 훈련된 신경망에 내장된 지적 재산은 수개월 간의 R&D와 수백만 달러의 개발 비용을 의미할 수 있습니다. 경쟁업체나 악의적인 행위자가 귀하의 모델을 추출하면 비용을 들이지 않고도 연구의 모든 가치를 얻을 수 있습니다. IBM의 2024년 데이터 침해 비용 보고서에 따르면, AI 시스템과 관련된 평균 위반으로 인해 조직은 520만 달러의 비용을 지출하게 됩니다. 이는 AI 자산과 관련되지 않은 위반보다 13% 더 높은 수치입니다.

특히 중소기업의 경우 위험이 심각합니다. 엔터프라이즈 기업은 전담 ML 보안팀과 맞춤형 인프라를 감당할 수 있습니다. 그러나 리드 스코어링, 수요 예측, 자동화된 고객 지원 등 운영에 기계 학습을 통합하는 중소기업이 늘어나면서 보안 강화를 최소화하면서 모델을 배포하는 경우가 많습니다. 이들은 적절한 보호를 구현하거나 구현하지 않을 수 있는 타사 플랫폼에 의존합니다.

AI 보안에서 가장 위험한 가정은 복잡성이 곧 보호라는 것입니다. 1억 개의 매개변수가 있는 신경망은 100만 개의 매개변수가 있는 신경망보다 본질적으로 안전하지 않습니다. 중요한 것은 입력 및 출력에 대한 액세스를 제어하는 ​​방법입니다.

모델 도난에 대한 다섯 가지 실질적인 방어책

신경망을 보호하려면 적대적 기계 학습 분야의 박사 학위가 필요하지 않지만 신중한 아키텍처 결정이 필요합니다. 다음 전략은 배포된 ML 모델 보안을 위해 NIST 및 OWASP와 같은 조직에서 권장하는 현재 모범 사례를 나타냅니다.

속도 제한 및 쿼리 예산 책정: 숫자 제한

Related Posts

• CXMT, DDR4 칩을 시장 평균 가격의 절반 수준에 공급 중
• DJB의 암호학적 오디세이: 코드 영웅에서 표준 비판자로
• 메타프로젝트 수행
• IRS, '효율성' 개편으로 IT 직원 40%, 기술 리더 80% 잃어