POUR LA PREMIÈRE FOIS, GEMINI A PIRATÉ DE VRAIES ENTREPRISES

Gemini a pénétré dans les systèmes de trois entreprises réelles lors d’un test de cybersécurité mené en mai. Il a deviné un mot de passe dans un cas, puis utilisé des identifiants trouvés dans des bases publiques pour les deux autres. Google a confirmé ces intrusions vendredi, après l’appel du Wall Street Journal. On se demande si on n’est pas face à une épidémie d’IA qui désobéissent et sèment la pagaille. Le test se déroulait sur l’infrastructure de la société Irregular. Celle-ci a prévenu Google fin juillet, après la découverte que des agents d’OpenAI avaient piraté Hugging Face. Google n’a rien rendu public avant que le Wall Street Journal l’interroge cette semaine. Gemini est donc le premier modèle de l’entreprise connu pour avoir mené de telles intrusions de manière autonome. Irregular avait organisé une « capture du drapeau », CTF ou Capture The Flag, pour mesurer les capacités de Gemini en cybersécurité. Un peu comme lorsqu’il faut attraper le pompon au manège. Le modèle devait récupérer des informations dans un logiciel exploité par une entreprise fictive de l’environnement de test. Mais, et c’est ballot, cette entreprise fictive avait le même nom qu’une entreprise réelle. Irregular n’avait pas prévu de connexion à Internet pour ce test, mais un accès avait été ouvert par inadvertance, a précisé la société. Gemini a d’abord deviné des mots de passe jusqu’à obtenir l’accès à un système protégé, a indiqué Google. Le modèle a ensuite constaté qu’il se trouvait chez une entreprise réelle, puis il a mis fin à l’intrusion et quitté le système. Dans deux autres exécutions du test, Gemini a cherché le nom de l’entreprise sur le Web et trouvé deux bases de données publiques remplies d’identifiants d’autres entreprises. Il a essayé ces identifiants pour mener l’évaluation à son terme. Une fois connecté, il a constaté qu’il était chez de vraies entreprises et a mis fin à chaque intrusion. Google a informé les trois entreprises ainsi que les autorités fédérales, mais refuse de révéler leur identité. Irregular a été impliquée dans plusieurs incidents où des modèles évalués ont quitté leur environnement de test et compromis les systèmes d’autres entreprises. Pour la société, le cas de Google n’est pas un problème nouveau. « Tous les laboratoires concernés ont été informés fin juillet et les entités touchées ont été contactées dans le cadre de l’enquête. Irregular a pris des mesures immédiates et tous les problèmes connus de notre côté ont été corrigés et résolus il y a plusieurs semaines », a déclaré un de ses porteparole. Google n’a pas jugé utile de rendre ces intrusions publiques. Aucune des trois entreprises n’a subi de préjudice, et le modèle a mis fin à chaque intrusion dès qu’il a constaté qu’il était chez une entreprise réelle. Le groupe a comparé l’épisode à un programme de primes aux bogues, où les pirates sont récompensés pour avoir découvert des failles et les avoir signalées à leurs propriétaires. « Cet événement souligne l’importance de former des modèles d’IA performants à agir de manière responsable. Dans ce cas précis, le modèle a réagi de manière appropriée », a déclaré Heather Adkins, vice-présidente de l’ingénierie de sécurité chez Google. Jack Cable, P.-D.G de la start-up de sécurité IA Corridor et hacker éthique, n’est pas du même avis. « On dirait qu’ils essaient de se cacher derrière les normes établies en matière de divulgation des vulnérabilités, ce qui pose un problème bien différent », a-t-il déclaré. « Le problème de fond, c’est que les modèles dépassent leurs limites et mènent de véritables cyberattaques, ce qui, à mon avis, relève de l’intérêt public », a-t-il ajouté. Cet été, on vous avait parlé de l’intrusion de Claude dans trois entreprises réelles lors de tests d’Irregular. D’après un article de blog d’Anthropic, Claude Opus 4.7 n’a pas interrompu l’exercice après avoir compris qu’il accédait probablement à une entreprise réelle. Le modèle d’OpenAI a cru que cette entreprise faisait partie de la simulation, a précisé OpenAI dans sa publication. OpenAI a publié mercredi un cadre de signalement des incidents, accompagné de six rapports jusque-là non divulgués sur des cas de désalignement. Nous avons recensé jeudi ces six cas de désalignement. « Une découverte n’a pas nécessairement besoin de causer un préjudice ou de révéler une tendance plus générale pour être digne d’être partagée », a déclaré Kai Chen, responsable de l’alignement chez OpenAI, lors d’un entretien sur ce cadre. Google s’est contenté du minimum syndical en indiquant seulement que ces intrusions n’impliquaient pas son modèle le plus récent. Il n’a pas dit quel modèle Gemini était concerné. Côté logiciel, Steve Lemay, vice-président du design de l’interface utilisateur chez Apple, explique que l’objectif était simple : une fois déplié, l’iPhone Duo doit donner l’impression d’être toujours le même appareil, avec davantage d’espace à l’écran. Il affirme qu’il était primordial pour les équipes que l’iPhone Duo « ressemble dès le départ à une expérience cohérente, et non à deux produits différents maladroitement assemblés ». Autrement dit, déplier le téléphone doit donner l’impression d’agrandir naturellement l’appareil que l’on a déjà en main. Pour y parvenir, Apple a conservé la position et l’apparence des commandes entre les deux configurations du téléphone. Une fois l’iPhone Duo déplié, l’utilisateur retrouve ainsi immédiatement ses repères. Même l’animation de transition aperçue lors de la keynote ne relève pas uniquement de l’esthétique : elle a été pensée pour donner l’impression que l’écran intérieur se déploie naturellement sous l’écran extérieur. Lemay cite notamment le Mac parmi les principales sources d’inspiration pour l’interface de l’iPhone Duo, avec l’iPad et les iPhone actuels. Le géant de Cupertino a ainsi cherché à reprendre ce qui fonctionne déjà sur ses différents appareils pour l’adapter au format pliant. Et pour la suite, le designer compte aussi sur les développeurs d’applications, qui pourront imaginer des façons inédites d’exploiter le format pliant de l’iPhone Duo : « Il y a tellement de choses qu’ils vont imaginer que nous n’avons jamais anticipées. Certaines deviendront de grandes idées qui prendront le dessus dans le secteur et feront évoluer le produit de manière intéressante ».