Une étude sur arXiv révèle que les LLM amplifient les escroqueries par appâtage sentimental et surpassent les humains en matière de conformité
Une prépublication arXiv rapporte que les grands modèles de langage sont largement utilisés dans des opérations d'appât romantique et que des agents basés sur des LLM, dans des études contrôlées, ont suscité une conformité plus élevée que des opérateurs humains. L'article met en garde que l'automatisation et des filtres de sécurité faibles pourraient permettre une montée en puissance rapide des escroqueries sentimentales et des escroqueries liées aux investissements.
Un préprint sur arXiv de décembre présente des preuves expérimentales et observationnelles montrant que les grands modèles de langage (LLM) sont déjà intégrés dans des opérations d'appâts sentimentaux et de fraudes à l'investissement, automatisant des tâches conversationnelles visant à établir la confiance et encourager la complaisance des victimes. Dans des essais contrôlés décrits par les auteurs, des agents basés sur des LLM ont généré des messages et des stratégies de dialogue qui ont conduit à des augmentations mesurables de l'acquiescement des victimes par rapport à des opérateurs humains, tandis que les filtres de sécurité déployés n'ont souvent pas réussi à signaler des dialogues persuasifs et frauduleux. Les chercheurs combinent ces résultats avec une analyse de terrain de l'activité sur des forums d'escrocs et des écosystèmes d'outillage pour montrer comment les LLM réduisent l'intensité du travail, accélèrent la prospection et diversifient les techniques d'ingénierie sociale utilisées à travers les juridictions. L'article souligne que sans améliorations substantielles des contrôles de sécurité des modèles, des systèmes de détection et de la gouvernance des plateformes, l'automatisation pourrait augmenter de façon spectaculaire l'ampleur et la vitesse des escroqueries sentimentales et des arnaques liées aux crypto‑investissements. Les auteurs recommandent des défenses en couches incluant une classification robuste du contenu, le suivi de la provenance, l'éducation des utilisateurs et des réponses coordonnées entre forces de l'ordre et industrie pour atténuer les avantages opérationnels que les LLM offrent aux acteurs malveillants.