Sécurité informatique : lignes directrices pour des systèmes IA sûrs

Les innovations dans le domaine de l’intelligence artificielle (IA) ont ouvert de nouvelles portes et possibilités sans précédent. Toutefois, avec la puissance croissante du data mining et la compréhension du langage naturel par les algorithmes, de nouveaux risques et menaces pour la sécurité des systèmes IA émergent. Pour faire face à ces défis, le National Cyber Security Centre du Royaume-Uni, en collaboration avec d’autres agences gouvernementales et fournisseurs d’IA, a publié les ‘Lignes directrices pour le développement sécurisé de systèmes IA‘.

Les quatre domaines clés des lignes directrices

Les lignes directrices se divisent en quatre domaines fondamentaux dans le cycle de développement des systèmes IA: conception sécurisée, développement sécurisé, mise en œuvre sécurisée, et opérations et maintenance sécurisées. Ces domaines couvrent une vaste gamme de sujets, y compris la modélisation des menaces, la sécurité de la chaîne d’approvisionnement, la protection de l’infrastructure IA et des modèles, et l’actualisation des modèles IA.

Conception sécurisée

La conception sécurisée est la première étape essentielle dans le développement de systèmes IA sûrs. Les lignes directrices soulignent l’importance de comprendre l’origine de tous les composants d’un modèle IA, y compris les données d’entraînement et les outils de construction. Il est crucial que les développeurs IA assurent que leurs bibliothèques ont des contrôles pour empêcher le chargement de modèles non fiables qui pourraient exposer le système à l’exécution de code arbitraire.

Une autre recommandation porte sur les contrôles et la nettoyage appropriée des données et des entrées. Cela inclut l’intégration des retours des utilisateurs ou des données d’apprentissage continu dans les modèles d’entreprise, reconnaissant que les données d’entraînement définissent le comportement du système. Il est également conseillé d’adopter une vision plus longue et holistique des processus impliqués dans les modèles IA afin d’évaluer correctement les menaces et d’identifier des comportements imprévus des utilisateurs.

Développement sécurisé

Dans le développement sécurisé de systèmes IA, il est fondamental d’appliquer des contrôles d’accès appropriés à tous les composants IA, y compris les données d’entraînement et les pipelines de traitement. Les lignes directrices recommandent une approche continue basée sur le risque, car les attaquants pourraient être en mesure de reconstruire la fonctionnalité d’un modèle ou d’obtenir ses poids en accédant directement au modèle ou en acquérant ses poids. Les attaquants pourraient également manipuler les modèles, les données ou les prompts pendant ou après l’entraînement, rendant les sorties du système non fiables.

Un des phénomènes soulignés est le ‘machine learning aversarial’, considéré comme une préoccupation critique pour la sécurité de l’IA. Il s’agit de l’exploitation stratégique des vulnérabilités fondamentales présentes dans les composants de machine learning. La préoccupation est que, en manipulant ces éléments, des acteurs malveillants peuvent interrompre ou tromper les systèmes IA, compromettant leur fonctionnalité et produisant des résultats erronés.

Mise en œuvre sécurisée

Dans la mise en œuvre sécurisée des systèmes IA, les développeurs doivent porter une attention particulière aux contrôles d’accès appliqués à tous les composants IA. Il est nécessaire de protéger adéquatement les pipelines de données d’entraînement et de traitement, afin d’éviter des accès non autorisés ou des manipulations par des attaquants externes. Les auteurs des lignes directrices recommandent une approche basée sur le risque continu, considérant que les attaquants pourraient tenter de reconstruire la fonctionnalité d’un modèle ou de manipuler les données ou les prompts durant ou après l’entraînement.

Un des aspects soulignés est l’importance de protéger adéquatement les composants IA, tels que les modèles et les infrastructures, pour prévenir les attaques ou tentatives de manipulation. Pour ce faire, il est essentiel d’appliquer des contrôles d’accès appropriés et d’adopter une vision holistique des processus continus dans les modèles IA.

Opérations et maintenance sécurisées

Les opérations et la maintenace des systèmes IA doivent être gérées de manière sécurisée pour garantir leur fiabilité et fonctionnalité continue. Il est fondamental d’adopter une approche basée sur le risque et d’implémenter des contrôles d’accès appropriés pour tous les composants IA, y compris les données d’entraînement et les pipelines de traitement.

Les lignes directrices mettent en évidence la nécessité de protéger adéquatement les modèles IA, les données d’entraînement, et les sorties générées par les systèmes IA. Les développeurs doivent être conscients des potentielles menaces et comportements imprévus des utilisateurs et intégrer de telles considérations dans les processus de gestion des risques globaux.

Une approche globale de la sécurité de l’IA

Les lignes directrices pour le développement sécurisé de systèmes d’intelligence artificielle représentent une avancée significative pour assurer la cybersécurité dans ce domaine en rapide évolution. Ces lignes directrices se fondent sur d’autres efforts gouvernementauux et internationaux pour rendre les systèmes IA plus sûrs, tels que le Plan d’action pour l’intelligence artificielle de la CIS, l’Ordre exécutif d’octobre du président Biden, et les efforts d’autres pays, comme le framework de test AI Governance of Singapore et le Multilayer Framework for Good Cybersecurity Practices for AI de l’Europe.

Il est intéressant de noter que la Chine n’a pas participé à cet accord. La Chine est considérée comme une force dans le développement de l’IA et a été l’objet de sanctions de la part des États-Unis pour limiter son accès aux siliciums les plus avancés nécessaires pour alimenter les modèles IA.

En termes de réglementation, l’Union Européenne semble avoir une avance sur les États-Unis. Outre l’AI Act, des législateurs en France, en Allemagne et en Italie ont récemment convenu d’un accord sur la réglementation de l’IA, affirmant leur soutien à une réglementation autonome obligatoire via des codes de conduite liés au développement des modèles IA fondamentaux.