Ça vous concerne aussi…

Science fiction : quand l’IA prend son independance…

Le créateur de ChatGPT a annoncé mardi que ses modèles d’intelligence artificielle avancés s’étaient emballés lors de tests de sécurité : ils sont parvenus à exploiter des failles pour accéder à internet et pirater la plateforme Hugging Face.

Un incident digne d’un scénario de science-fiction. Le créateur de ChatGPT, OpenAI, a admis, mardi 21 juillet, que ses modèles d’intelligence artificielle s’étaient emballés lors de tests de sécurité, piratant de leur propre initiative une bibliothèque de programmes IA. L’entreprise basée à San Francisco a évoqué un « cyberincident sans précédent » et annoncé une enquête conjointe avec la populaire plateforme Hugging Face. C’est cette société, fondée en France en 2016 et devenue une licorne américaine, qui a été ciblée par l’attaque. Voici cinq questions qui se posent après cet incident.

Dans quel contexte cette attaque a-t-elle eu lieu ?

En réalité, cette intrusion remonte à la mi-juillet, lorsque Hugging Face a publié, le 16 juillet sur son blog(Nouvelle fenêtre), un billet dans lequel l’entreprise disait avoir fait face à une intrusion « différente de toutes celles que nous avions gérées jusqu’à présent : elle était entièrement pilotée par un système d’agents IA autonomes ». Hugging Face n’était toutefois pas en mesure d’identifier ces agents IA.

Ce n’est que cinq jours plus tard que le voile a été levé sur l’identité des IA responsables de l’attaque. Tard dans la soirée, mardi, OpenAI a publié par surprise un billet de blog(Nouvelle fenêtre) sur l’événement, annonçant « s’associer » avec Hugging Face pour « résoudre un incident de sécurité » et admettant en être à l’origine.

Le géant américain de la tech a précisé que l’incident impliquait une combinaison de modèles, dont GPT-5.6 Sol, lancé récemment et disponible pour le grand public depuis quelques semaines, ainsi qu’un autre « encore plus performant ». Tous deux ont échappé au contrôle d’OpenAI lors d’une évaluation, a reconnu l’entreprise.

OpenAI cherchait en effet à évaluer leurs capacités de piratage en leur assignant différents tests à résoudre dans un environnement d’essai numérique où l’accès à internet était limité pour des raisons de sécurité. Mais ces précautions n’ont pas suffi, car les deux modèles sont parvenus, de leurs propres initiatives, à consacrer une quantité importante de leur puissance de calcul « à trouver un moyen d’obtenir un accès libre à internet », a constaté OpenAI.

Une fois connectés à internet, ils ont utilisé le vaste répertoire de modèles d’IA et de jeux de données de la plateforme Hugging Face pour les aider à obtenir les réponses aux tests. A la recherche d’« informations secrètes » pouvant l’aider à tricher lors de l’évaluation, le système d’OpenAI « a enchaîné plusieurs vecteurs d’attaque, notamment en utilisant des identifiants volés ».

Comment ont réagi les deux entreprises ?

Cette activité anormale a été détectée par l’équipe de sécurité d’OpenAI. Tout comme du côté d’Hugging Face, qui l’a stoppée. « Nous soupçonnions que la cyberattaque de la semaine dernière pourrait provenir d’un laboratoire de pointe, compte tenu de la sophistication de l’agent. Il s’avère que c’était bien le cas », a écrit Clément Delangue, cofondateur et PDG de Hugging Face, sur le réseau social X(Nouvelle fenêtre), mardi. « C’est tout à fait stupéfiant que tout cela se soit produit de manière autonome ! », a-t-il souligné, précisant avoir été « fermement convaincu qu’il n’y avait aucune intention malveillante » de la part d’OpenAI.

L’entreprise de Sam Altman a pour sa part déclaré aider les équipes d’Hugging Face « pour renforcer leurs défenses ». « Cet incident montre qu’il faut encore renforcer l’alignement de notre modèle », c’est-à-dire, la capacité de l’IA à interpréter correctement les intentions sous-jacentes aux instructions qui leur sont données et, plus largement, à agir en accord avec les valeurs et principes éthiques humains. « Les protections cyber pendant l’évaluation et la surveillance lors des tests internes » devront aussi être améliorées, a admis l’entreprise. OpenAI et Hugging Face enquêtent toujours sur cet incident.

Y avait-il eu des précédents ?

Ce n’est pas la première fois qu’un modèle d’IA s’échappe de son environnement de test. Appelé « sandbox » dans le monde de la cybersécurité, il s’agit d’un environnement isolé et sécurisé utilisé par les chercheurs pour tester un code logiciel potentiellement dangereux. Les sandboxes sont censés « réduire le risque », mais aussi « les tentatives d’une application pour accéder à des données ou perturber le fonctionnement d’une application tierce », détaille la Cnil(Nouvelle fenêtre).

En début d’année, lors d’une évaluation interne, Anthropic, le rival d’OpenAI, avait enfermé son modèle dans une « sandbox », avec pour consigne de tenter de s’en échapper et trouver un moyen de joindre le chercheur responsable du test. Le modèle était non seulement parvenu à s’extraire de la sandbox mais avait également pris une initiative personnelle, « alors qu’il n’était pas censé disposer de cette capacité », relève CNN(Nouvelle fenêtre) : il était allé jusqu’à envoyer un e-mail au chercheur d’Anthropic.

En mars, un collectif de développeurs affilié au Chinois Alibaba a découvert qu’un de leur modèle essayait, de sa propre initiative, de créer de la cryptomonnaie, après s’être connecté sans autorisation à un serveur externe.

L’attaque ayant visé Hugging Face il y a quelques jours apparaît toutefois plus inquiétante, car elle est « l’un des premiers exemples rendus publics où un modèle d’IA s’échappe de son environnement de test pour pirater les systèmes d’une autre entreprise », relève CNN.

Pourquoi cette attaque suscite des inquiétudes ?

La cybersécurité constitue un enjeu crucial à mesure que l’IA gagne en sophistication, compte tenu du risque que des modèles avancés détectent avant les humains des failles dans les logiciels existants.

« Cela suggère que nous ne savons pas comment contrôler de façon fiable ces modèles, ou leur faire faire ce que nous voulons », estime Jeffrey Ladish, directeur de Palisade Research, organisation indépendante d’évaluation des nouveaux modèles d’IA en matière de cybersécurité. « Et cela va se compliquer à mesure que les modèles deviennent plus intelligents, parce qu’ils vont réussir à mieux dissimuler leurs actions », anticipe-t-il.

« Les modèles comprenaient qu’OpenAI ne leur demandait pas de s’évader de leur milieu fermé et d’attaquer une autre société, mais ils l’ont fait quand même. »

Jeffrey Ladish

Hussein Abbass, professeur d’informatique à l’Université de Nouvelle-Galles du Sud à Canberra, juge l’incident « à bien des égards stupéfiant ». « Il n’a pas seulement attaqué Hugging Face. Il a en fait attaqué son propre système interne pour exploiter ses propres vulnérabilités », explique cet expert en IA à l’AFP. « Et c’est effrayant », ajoute-t-il.

Les IA avancées sont « normalement entre les mains de personnes responsables qui ont une éthique« , mais « ce sera catastrophique si cela tombe entre les mains de quelqu’un qui a l’intention de nuire », souligne Hussein Abbass.

Comment agissent les autorités américaines face aux dangers de l’IA ?

Cet épisode intervient dans un contexte où GPT-5.6 et d’autres modèles d’IA avancés, dont la série Mythos développée par Anthropic, le concurrent d’OpenAI, soulèvent des interrogations sur leur aptitude à déjouer les défenses de cybersécurité. Il va sans nul doute alimenter le débat en cours au sein du gouvernement américain sur la vérification des IA les plus élaborées avant leur sortie.

Fin juin, OpenAI avait ainsi accepté de déployer de manière très restreinte son modèle GPT-5.6, ouvert dans un premier temps à une liste de partenaires validés par le gouvernement américain, un degré de contrôle inédit. Mais l’administration de Donald Trump a finalement donné son feu vert à un lancement élargi du modèle, à l’issue de tests techniques et de réunions entre responsables gouvernementaux et représentants de l’entreprise.

Jeudi, deux élus au Congrès, un républicain et un démocrate, ont déposé une proposition de loi qui imposerait aux géants de l’IA de pouvoir débrancher leurs modèles à tout moment. « Le Congrès doit agir rapidement pour que les humains restent en mesure de dire stop », a commenté Brendan Steinhauser, responsable de l’Alliance pour une IA sûre (Alliance for Secure AI), « quelle que soit la puissance qu’acquièrent ces systèmes. »

France Info