극단주의 단체들은 선동 활동을 강화하기 위해 인공 지능, 특히 제너레이티브 AI를 연구하고 있습니다. 전문가들은 제너레이티브 AI가 빅 테크의 콘텐츠 중재 노력을 약화시킬 수 있는 잠재력에 대해 우려하고 있습니다. 테러리즘에 반대하는 기술의 아담 해들리는 다음과 같이 우려를 표명합니다,

테러리스트들이 인공지능 세대를 이용해 대규모로 이미지를 조작하기 시작하면 해시 공유가 해결책이 될 수 있습니다;

새로운 위협: 극단주의자들의 AI 조작으로 촉발된 우려

수년 동안 빅 테크는 해싱 데이터베이스에 의존하여 알려진 극단주의 콘텐츠를 신속하게 제거했습니다. 그러나 이제 테러 방지 기술은 매주 약 5,000건의 AI 생성 콘텐츠를 식별하고 있습니다. 여기에는 헤즈볼라 및 하마스와 관련된 단체의 콘텐츠가 포함되며, 이스라엘과 하마스 분쟁에 대한 내러티브를 형성합니다.

해들리는 자동화 기술에 대한 위협이 다가올 것으로 예측하며 다음과 같이 말합니다,

"6개월 정도 기다리면 해싱을 깨기 위해 이미지를 조작하고 있을 가능성이 정말 우려스럽습니다."라고 말합니다;

테러리즘에 맞서 싸우는 기술(Tech Against Terrorism)의 최근 연구 결과에 따르면 극단주의자들의 AI 사용은 신나치 메시지 채널, 극우주의자들의 심리전 지침서, 이슬람 국가가 생성형 AI 도구에 대한 기술 지원을 제공하는 데까지 확대되고 있습니다.

이미지를 넘어선 위협의 확장: 다국어 선전 및 채용에서 AI의 역할

위험은 이미지 조작에만 국한되지 않습니다. 테러리즘에 대항하는 기술 보고서는 선전을 여러 언어로 변환하는 자동 번역 도구와 온라인 모집을 위한 개인화된 메시지 생성을 강조합니다. 해들리는 AI가 극단주의자들에 대한 사전 예방적 도구가 될 수 있다고 믿습니다.

테러리즘에 대항하는 기술과 마이크로소프트가 협력하여 차세대 AI 탐지 시스템 개발

새로운 위협에 대응하기 위해 테크 어게인스트 테러리즘은 마이크로소프트와 협력하여 인공지능 탐지 시스템을 개발하고 있습니다. 해들리는 "우리는 인공지능을 적대적으로 사용하는 것을 방어하는 데 인공지능을 사용할 수 있다고 확신한다"며 "이 이니셔티브는 온라인 테러리즘 근절을 위한 크라이스트처치 콜 리더스 서밋과 맞물려 있다"고 말합니다.

이번 협력은 AI 연구 센터가 부족한 소규모 플랫폼의 역량을 강화하는 것을 목표로 합니다. 해들리는 "지금도 해싱 데이터베이스로 인해 소규모 플랫폼은 이러한 콘텐츠에 압도당할 수 있다"며 이러한 플랫폼에 대한 중요성을 강조합니다;

새로운 위협: AI로 생성된 아동 착취물 증가 추세

AI 생성 콘텐츠의 영향력은 극단주의 단체를 넘어서고 있습니다. 인터넷 감시 재단은 다크웹에서 AI로 생성된 아동 성학대 자료가 급증하고 있으며, 한 달 동안 실제와 구별할 수 없는 이미지가 2만 개 이상 확인되었다고 보고했습니다. 생성형 AI 도구의 위협은 온라인 공간을 보호하기 위한 공동의 노력을 요구합니다.