Cloudflare s'inquiète des refus incohérents de sécurité de l'IA lors des tests de sécurité

Selon Cloudflare, l’accélération rapide des cybermenaces signifie que les organisations ne peuvent plus compter uniquement sur des temps de détection et de réponse plus rapides.

Selon Cloudflare, l’accélération rapide des cybermenaces signifie que les organisations ne peuvent plus compter uniquement sur des temps de détection et de réponse plus rapides.

Flare nuageuse a publié de nouvelles conclusions sur le rôle croissant des modèles d'IA de pointe dans la recherche sur la cybersécurité, soulignant à la fois les opportunités et les risques que ces systèmes avancés créent pour les défenseurs. Les informations ont été publiées dans le cadre de l'initiative Project Glasswing de l'entreprise, qui évalue les performances des modèles d'IA axés sur la cybersécurité dans des environnements de sécurité réels.

Selon Cloudflare, l’accélération rapide des cybermenaces signifie que les organisations ne peuvent plus compter uniquement sur des temps de détection et de réponse plus rapides. Au lieu de cela, l’entreprise affirme que les équipes de sécurité doivent se concentrer sur la conception de systèmes résilients par défaut, ce qui rend leur exploitation beaucoup plus difficile, même lorsque des vulnérabilités existent. Cloudflare a noté que la réduction des délais des attaquants oblige les défenseurs à donner la priorité à l'ingénierie et à la résilience durables plutôt qu'à la vitesse de réaction.

Dans le cadre de la recherche, Cloudflare a testé un modèle d'IA appelé Mythos par rapport au code de production en direct dans plusieurs domaines d'infrastructure critiques, notamment les systèmes d'exécution, les chemins de données périphériques, les piles de protocoles, les plans de contrôle et les dépendances open source. L'une des découvertes les plus remarquables de l'entreprise a été la capacité du modèle à combiner plusieurs vulnérabilités apparemment de faible gravité en une seule chaîne d'exploitation plus dangereuse. Alors que d'autres systèmes d'IA étaient capables d'identifier des bogues individuels, Cloudflare a déclaré que Mythos avait démontré une plus grande capacité à relier ces faiblesses en chemins d'attaque coordonnés que les évaluations traditionnelles pourraient négliger.

L’entreprise a également fait part de ses inquiétudes quant à l’imprévisibilité des mécanismes de sécurité de l’IA lors des tâches de cybersécurité. Les chercheurs ont observé des comportements de refus incohérents dans le modèle, qui refusait parfois d’effectuer une analyse de vulnérabilité sans aucune explication politique claire ou transparente. Dans un exemple, Mythos a initialement refusé d'analyser une base de code à la recherche de vulnérabilités, mais a ensuite accompli la même tâche après que les chercheurs ont supprimé un code caché. .git dossier, bien qu'aucune modification n'ait été apportée au code en cours de révision.

Cloudflare a en outre souligné que la surveillance humaine reste essentielle lors de l'utilisation de l'IA pour la recherche en matière de sécurité. La société a signalé que Mythos avait généré un grand nombre de résultats spéculatifs et de faux positifs, en particulier dans les langages de programmation dangereux en termes de mémoire, tels que C et C++. Cette tendance à la sur-déclaration a créé un travail de tri important pour les analystes humains, réduisant l'efficacité opérationnelle et augmentant la charge des équipes de sécurité chargées de séparer les menaces légitimes du bruit.

Les résultats du projet Glasswing reflètent un défi plus large auquel est confronté le secteur de la cybersécurité, à mesure que les modèles d'IA deviennent de plus en plus sophistiqués dans les applications de sécurité offensives et défensives. Les recherches de Cloudflare suggèrent que même si les systèmes d'IA de pointe peuvent améliorer considérablement la découverte des vulnérabilités et l'analyse des menaces, les organisations doivent également aborder la gouvernance, la fiabilité et la résilience opérationnelle pour intégrer en toute sécurité ces technologies dans les flux de travail de sécurité réels.