Análise do AI Incident Database, noticiada pelo The Guardian, aponta aumento rápido no uso de vídeos e vozes clonadas em golpes direcionados, de fraudes amorosas personalizadas a esquemas que se passam por executivos financeiros. O estudo alerta que ferramentas baratas e de fácil implantação estão ampliando a escala das fraudes e prevê perdas financeiras maiores sem melhorias em detecção e controles.

Uma análise recente baseada no AI Incident Database mostra que a fraude habilitada por deepfakes deixou de ser incidente isolado para se tornar uma modalidade de ataque industrializada. O levantamento documenta um salto em casos nos quais áudio e vídeo sintéticos aumentaram substancialmente a confiança das vítimas — incluindo golpes amorosos que usaram chamadas de vídeo fabricadas para convencer alvos da autenticidade e esquemas de personificação de CFOs em que vozes clonadas ordenaram transferências bancárias. Pesquisadores destacam que a democratização de modelos generativos e de ferramentas comercializadas reduziu drasticamente a barreira técnica para produzir falsificações convincentes, permitindo engenharia social automatizada e altamente personalizada em grande volume. O relatório também aponta perdas financeiras documentadas, dificuldade de atribuição e o tempo entre violação e monetização, já que ativos roubados ou fabricados são lavados por canais complexos. Entre as recomendações estão investimento em padrões de proveniência e autenticação, capacidades de detecção entre plataformas, processos de verificação mais robustos para transações financeiras e parcerias do setor público para financiar pesquisa e compartilhar inteligência sobre ameaças. Sem esses controles, o estudo adverte, criminosos seguirão ampliando fraudes com deepfakes em diversos segmentos e faixas demográficas.