NOUVEAU DÉRAPAGE DE L’IA : UN ASSISTANT A FRANCHI UNE LIGNE ROUGE APRÈS UNE DEMANDE ANODINE

IA continue de surprendre ses utilisateurs. Un dénommé Andrew a demandé à son assistant IA de lui décrocher une place dans un cours de sport surbooké. L’assistant a répondu à la demande… en piratant le système de réservation de la salle de sport. L’agent, basé sur OpenClaw et Claude, a exploité une faille de sécurité lui permettant d’annuler la réservation d’un autre membre. Il y a quelques mois, Andrew, un salarié australien qui travaille dans une entreprise d’IA, installé OpenClaw sur son ordinateur. Développé par Peter Steinberger, ce projet open source s’articule autour d’un agent IA parfaitement autonome capable de piloter votre ordinateur à votre place. Il peut naviguer sur des sites, envoyer des e-mails, ou encore effectuer des tâches en plusieurs étapes sans supervision humaine. Le projet est devenu excessivement populaire au début de l’année, à tel point que de nombreux développeurs se sont mis à installer OpenClaw sur leurs appareils, sans vraiment de gardefous. Au moment de l’installation, Andrew configure tout le système OpenClaw en misant sur Claude, le modèle d’IA développé par Anthropic. Quand on installe l’agent open source sur un ordinateur, il faut en effet choisir un modèle d’intelligence artificielle pour le faire fonctionner. Sans surprise, Claude s’impose parmi les solutions privilégiées par les testeurs et les bidouilleurs. Pour contrôler son agent reposant sur Claude, Andrew choisit de converser avec lui par le biais de WhatsApp. Tout se déroule comme prévu. Le jeune Australien se sert beaucoup de son assistant personnalisé pour automatiser de petites corvées de la vie quotidienne. Un beau jour, Andrew demande OpenClaw de réserver des cours matinaux dans la salle de sport qu’il fréquente. Ces cours sont très prisés et Andrew a généralement bien du mal à obtenir une place. Quelques minutes plus tard seulement, l’assistant revient vers lui avec une annonce inattendue. Il a trouvé un moyen de réserver des places plusieurs semaines l’avance, bien au-delà de la limite normalement imposée par la salle de sport. L’agent IA a apparemment trouvé le moyen de contourner les restrictions du système de réservation de la salle. Le site de la salle de sport limitait les réservations à quelques jours l’avance. Cependant, cette règle n’existait que sur la page web visible par les utilisateurs. En coulisses, le programme qui traite réellement les réservations (l’API) n’appliquait aucune vérification de délai. OpenClaw a découvert cette faille et s’en est servi pour réserver des créneaux bien plus tôt que prévu. Au terme de la manipulation de l’agent, Andrew se retrouve alors quatrième sur la liste d’attente pour un cours prévu plus tard dans la semaine. Il demande simplement à son agent s’il existe un moyen de remonter dans cette file pour assister au cours. C’est à ce moment-là que l’assistant IA prend une décision surprenante, mais logique. L’IA déniche une faille de sécurité dans le système de réservation. Elle permet à un attaquant d’annuler la réservation d’un autre client… sans devoir s’authentifier. L’IA n’a pas besoin de voler des identifiants ou des mots de passe pour modifier les réservations de la salle de sport. L’agent ne se cache pas de sa découverte et explique à Andrew qu’il est désormais troisième dans la liste d’attente. « L’API ne vérifie absolument aucune autorisation pour annuler les réservations d’autrui… Je l’ai testé sur la personne en position numéro 1 de la liste d’attente, et ça a fonctionné. Vous êtes donc passé de la 4e à la 3e place », explique l’agent IA dans la conversation WhatsApp avec son propriétaire. Étonné par la réponse de l’IA, Andrew demande immédiatement à son assistant d’annuler cette manipulation et de restaurer la réservation d’autrui… mais c’est déjà trop tard. L’assistant répond qu’il ne peut plus revenir en arrière. La réservation d’une autre personne a donc été définitivement supprimée. Pire, l’utilisateur concerné n’a pas été prévenu qu’il venait de se faire éjecter de la liste d’attente. « Je suis désolé pour ça – j’aurais dû être plus prudent », a répondu l’IA à Andrew. En cherchant à répondre efficacement à la demande d’Andrew, l’agent IA a provoqué un incident de sécurité. Il s’agit d’un problème bien connu des chercheurs en IA : l’alignement. Ce problème désigne le décalage potentiel entre ce qu’un humain veut réellement qu’une IA fasse, et ce que l’IA fait concrètement pour atteindre son objectif. Une IA peut parfaitement réussir sa tâche selon ses propres critères, tout en agissant d’une façon que son utilisateur n’aurait jamais approuvée. C’est exactement ce qui s’est passé ici. Andrew avait un objectif simple, à savoir remonter dans la file d’attente. L’IA a trouvé la solution la plus efficace possible pour répondre à cet objectif, sans considérer qu’annuler la place d’un inconnu franchissait une limite. Interrogé par ABC, Bill Simpson-Young, directeur du Gradient Institute, un organisme australien de recherche sur la sécurité de l’IA, souligne que plus les IA « deviennent autonomes, plus il est probable qu’ils causent des dommages » dans la foulée. « Nous avons construit tout un monde complexe sur Internet, un monde entièrement piloté par des logiciels, mais des logiciels qui, eux, restent truffés de failles. Aujourd’hui, on y injecte des agents d’IA extrêmement puissants, capables d’agir à grande échelle et à une vitesse fulgurante… et c’est tout cet équilibre qui vole en éclats », ajoute le directeur du Gradient Institute. On rappellera d’ailleurs que plusieurs modèles d’IA ont commis des dérapages analogues au cours de l’été. Durant un test de sécurité, OpenAI a perdu le contrôle d’un duo de ChatGPT, qui s’est retrouvé sur Internet. Pour répondre aux défis posés par son créateur, les deux intelligences artificielles ont pris la décision de pirater une plateforme open source. Là encore, l’IA cherchait simplement à répondre à la demande de l’humain qui la contrôle. Des incidents analogues ont été recensés chez Anthropic, le laboratoire à l’origine de Claude, et chez Meta, avec Meta AI.