Неонацистские и джихадистские сети используют голосовое клонирование на базе ИИ для усиления пропаганды
Сообщения в СМИ и интервью с экспертами показывают, что экстремистские группы используют клонирование голоса на основе ИИ и технологии «текст‑в‑речь» для производства многопрофильной пропаганды. The Guardian отмечает использование клонированных исторических речей и аудиокниг для повышения вовлечённости и обхода модерации.
Расследование The Guardian подробно описывает, как экстремистские акторы, включая неонацистские и джихадистские сети, быстро осваивают генеративные аудиотехнологии для создания более убедительной многоязычной пропаганды. Источники и эксперты, опрошенные для материала, описывают несколько сценариев злоупотребления: клонирование голосов исторических фигур и лидеров движений для создания эмоционально резонансных выступлений, производство озвученных аудиокниг запрещённых или экстремистских текстов и перепрофилирование аудиозаписей знаменитостей или инфлюенсеров, чтобы придать сообщениям доверие. Получаемый контент оптимизируется под форматы платформ — короткие, удобные для распространения клипы и переведённые версии, адаптированные для региональной аудитории — которые увеличивают охват и вовлечённость в социальных сетях, зашифрованных мессенджерах и маргинальных форумах. Модерация и регуляторные ответы не успевают за этим процессом, поскольку синтетическое аудио можно быстро создавать, распространять по децентрализованным каналам и часто повторно загружать с незначительными правками, чтобы обойти автоматические средства обнаружения. В статье призывают к скоординированным действиям: инвестированию в инструменты обнаружения, более ясной политике платформ в отношении синтезированных голосов, трансграничному сотрудничеству между технологическими компаниями и регуляторами, а также целенаправленным контрсообщениям, чтобы уменьшить привлекательность эмоционально мощного, сфабрикованного аудио, используемого насильственными и экстремистскими движениями.