Anthropic, l’entreprise d’IA derrière la famille de modèles Claude, a détaillé dans un rapport comment les cybercriminels tentaient de contourner les mesures de sécurité pour utiliser Claude de manière abusive.
Anthropic joue la carte de la transparence avec ce rapport, dans lequel elle décrit comment ses outils d’IA sont détournés à des fins malveillantes. « Nous avons développé des mesures sophistiquées de sécurité et de sûreté pour prévenir les usages abusifs de nos modèles d’IA. Mais les cybercriminels et autres acteurs malveillants cherchent activement des moyens de les contourner », reconnaît la société en préambule.
Parmi les cas décrits, l’entreprise a notamment constaté que Claude et ses variantes, notamment Claude Code, avaient été utilisées dans le cadre d’opérations d’extorsion à grande échelle, de stratégies d’emploi frauduleux en Corée du Nord et dans la vente de ransomwares générés par IA.
L’IA pour l’exfiltration de données
Dans le premier cas, Claude Code a été utilisé afin de cibler pas moins de 17 organisations, dont des établissements de santé, des services d’urgence, ainsi que des institutions gouvernementales et religieuses. L’acteur malveillant a employé le modèle pour automatiser la reconnaissance, la collecte d’identifiants et la pénétration des réseaux.
« Claude a pu prendre des décisions tactiques et stratégiques, comme choisir quelles données exfiltrer et comment rédiger des demandes d’extorsion psychologiquement ciblées. Claude a analysé les données financières exfiltrées pour déterminer le montant des rançons et généré des notes de rançon visuellement inquiétantes affichées sur les machines des victimes », détaille le rapport. L’acteur de la menace a menacé de publier les données volées et a exigé le paiement de rançons dépassant parfois les 500 000 $.
Des ransomwares développés grâce à l’IA
Dans le second cas, Anthropic a découvert que des acteurs basés en Corée du Nord ont employé Claude pour obtenir et maintenir des postes de télétravail dans des sociétés technologiques du Fortune 500 aux États-Unis. Les modèles ont servi à créer de fausses identités et profils professionnels et afin de réaliser des évaluations, notamment de codage, lors des processus de candidature et une fois dans l’entreprise. Dans la troisième opération, un cybercriminel s'est servi de Claude pour développer et distribuer des variantes de ransomwares vendues entre 400 et 1 200 USD sur des forums.
Dans tous les cas, les comptes frauduleux ont été supprimés une fois les activités découvertes. L’entreprise a également mis en garde face à ce qu’elle perçoit comme un changement de paradigme dans le domaine de la cybercriminalité, de plus en plus assistée par l’IA. Les acteurs de la menace peuvent en effet agir plus vite et bénéficier de conseils techniques ainsi que de soutiens opérationnels de la part des modèles, réduisant les besoins en opérateurs mais aussi en compétences brutes.
