GTIG continue de surveiller, d’atténuer et de partager des renseignements sur les menaces émergentes liées à l’IA, dans le but de renforcer les défenses des organisations et de l’écosystème plus large de l’IA.
GTIG continue de surveiller, d’atténuer et de partager des renseignements sur les menaces émergentes liées à l’IA, dans le but de renforcer les défenses des organisations et de l’écosystème plus large de l’IA.
Au dernier trimestre 2025, le Google Threat Intelligence Group (GTIG) a observé une augmentation notable du nombre d'acteurs malveillants intégrant l'intelligence artificielle (IA) dans leurs opérations pour accélérer les flux de travail d'attaque. Les outils d'IA ont été exploités pour la reconnaissance, l'ingénierie sociale et le développement de logiciels malveillants, générant des gains de productivité significatifs pour les acteurs malveillants. Ce rapport met à jour les conclusions de novembre 2025, mettant en évidence l’évolution des menaces basées sur l’IA et les mesures prises pour les atténuer.
GTIG et Google DeepMind ont identifié une augmentation des tentatives d'extraction de modèles, connues sous le nom d'« attaques par distillation », dans lesquelles des acteurs tentent de reproduire la logique d'un modèle propriétaire. Bien qu’aucune attaque directe contre des modèles pionniers ou des produits d’IA générative par des acteurs de menaces persistantes avancées (APT) n’ait été observée, les tentatives fréquentes d’extraction de la part d’entités du secteur privé et de chercheurs ont été atténuées. Les auteurs de menaces soutenus par le gouvernement utilisent de plus en plus de grands modèles de langage (LLM) pour la recherche technique, le développement de cibles et la génération de leurres de phishing sophistiqués. Les pays observés opérationnalisant l’IA dans ces contextes comprenaient la Corée du Nord, l’Iran, la Chine et la Russie.
Les attaques d'extraction de modèles exploitent l'accès légitime aux API pour sonder systématiquement les modèles d'IA et extraire des connaissances pour former des modèles dérivés. Bien que la distillation des connaissances ait des utilisations légitimes, l'extraction non autorisée des modèles Gemini de Google viole les conditions de service. GTIG a perturbé ces tentatives à l'échelle mondiale et a renforcé les mesures de protection du modèle pour empêcher le vol de propriété intellectuelle. Une campagne notable ciblait les capacités de raisonnement de Gemini, tentant de contraindre les résultats à être répliqués. Google a réussi à atténuer plus de 100 000 de ces invites en temps réel.
Les acteurs menaçants ont utilisé l’IA pour la reconnaissance, le profilage des cibles et l’ingénierie sociale. Les LLM ont permis des campagnes de phishing plus rapides et hyper-personnalisées et des interactions de « création de relations », permettant aux acteurs de contourner les signaux d'alarme linguistiques ou culturels traditionnels. Par exemple, l’Iranien APT42 a utilisé Gemini pour rechercher des cibles potentielles, créer des personnages convaincants et traduire du contenu pour des campagnes localisées. L’UNC2970 nord-coréen a également exploité l’IA pour le profilage des cibles de défense et des efforts de phishing sur mesure.
Les acteurs malveillants ont exploré les capacités de l’IA agentique pour prendre en charge de manière autonome le développement, les tests d’intrusion et le codage de logiciels malveillants. APT31 et UNC795 basés sur PRC ont utilisé Gemini pour l'analyse automatisée des vulnérabilités, la génération d'outils et l'audit de code, intégrant l'IA à plusieurs étapes des opérations. De plus, des familles de logiciels malveillants comme HONESTCUE utilisaient l'API de Gemini pour générer du code malveillant de deuxième étape, tandis que le kit de phishing COINBAIT s'appuyait sur du code généré par l'IA et des interfaces Web pour la collecte d'informations d'identification.
GTIG a observé des marchés clandestins proposant des outils d’IA à des fins offensives, notamment « Xanthorox », un service revendiquant une IA indépendante mais s’appuyant sur des modèles commerciaux. Les acteurs malveillants ont exploité des clés API exposées et des outils mal configurés, créant ainsi un marché noir pour les ressources d’IA. Google a atténué ces risques en désactivant les comptes et en surveillant les vecteurs d'abus.
Google met l'accent sur des mesures proactives pour protéger les modèles d'IA et les utilisateurs. Les efforts comprennent la désactivation des actifs malveillants, l’amélioration des classificateurs et l’application de mesures de sécurité pour éviter toute utilisation abusive. GTIG travaille avec des partenaires de l'industrie pour partager les meilleures pratiques, les modèles d'équipe rouge et développer des cadres d'IA sécurisés. Des agents expérimentaux comme Big Sleep et CodeMender démontrent le potentiel de l'IA en matière de détection proactive des vulnérabilités et d'application automatisée de correctifs.
L’adoption de l’IA par les auteurs de menaces évolue rapidement, avec une sophistication croissante en matière de développement de logiciels malveillants, de phishing et de reconnaissance. GTIG continue de surveiller, d’atténuer et de partager des renseignements sur les menaces émergentes liées à l’IA, dans le but de renforcer les défenses des organisations et de l’écosystème plus large de l’IA. Des indicateurs de compromission (IOC) sont disponibles via la collection du GTIG pour les utilisateurs enregistrés afin de les aider à traquer les menaces.
