La Defense Advanced Research Projects Agency (DARPA) du Pentagone a investi une partie de ses ressources dans un robot qui a été formé (probablement entre autres) pour identifier les humains. Il y a juste un petit problème : le robot est incroyablement facile à duper.Le dernier livre écrit par Paul Scharre, ancien Ranger de l'armée et analyste politique du Pentagone, révèle comment un groupe de Marines américains a échappé à la détection par un robot IA en utilisant, entre autres, une boîte en carton.
Le livre s'appelle Four Battlegrounds: Power in the Age of Artificial Intelligence (Quatre champs de bataille*: le pouvoir à l'ère de l'intelligence artificielle), et discute de la « lutte actuelle pour contrôler l'intelligence artificielle » avec un accent particulier sur la Chine, les États-Unis et l'Europe. Il ne sera pas publié avant le 28 février, mais des extraits sont déjà partagés sur Twitter par le rédacteur en chef de la défense de The Economist, Shashank Joshi.
L'un de ces extraits révèle comment la DARPA a passé une semaine avec un groupe de Marines sur un site de test afin d'aider à former un robot IA en tentant de le vaincre. Le robot était garé « au milieu d'un rond-point » et les Marines ont dû s'en approcher sans être détectés. Scharre explique: « Si des Marines pouvaient entrer jusqu'au bout et toucher ce robot sans être détectés, ils gagneraient ».
Dans un excellent exemple de la gravité de l'IA, tous les Marines ont réussi à ne pas être détectés. La DARPA a entraîné l'IA à détecter les humains qui marchent, mais pas grand-chose d'autre. Alors Scharre explique comment deux des Marines "ont fait un saut périlleux sur 300 mètres", deux autres se sont cachés sous une boîte en carton et un autre "a dépouillé un sapin et a marché comme un sapin". Apparemment, beaucoup de rires étaient impliqués, ce qui est une autre caractéristique des humains que le robot n'avait pas été entraîné à détecter.
Lisez plutôt le passage :
Pour améliorer leur algorithme, l'équipe de la DARPA a passé une semaine avec un groupe de Marines sur un site de test. Pendant six jours, les Marines se sont promenés et les ingénieurs ont affiné leur algorithme de détection des personnes. Phil a dit : "le septième jour j'ai dit, 'on a fini. On retourne ça'".
Maintenant, les Marines vont essayer de vaincre le système d'IA. Ils ont garé le robot au milieu d'un rond-point et les Marines ont dû s'en approcher sans être détectés à partir d'une longue distance. "Si des Marines pouvaient entrer jusqu'au bout et toucher ce robot sans être détectés, ils gagneraient. Je voulais voir, jeu continu, ce qui se passerait".
"Huit Marines, pas un seul détecté", a déclaré Phil. "Ils ont vaincu le système d'IA non pas avec un camouflage traditionnel, mais avec des astuces intelligentes qui étaient en dehors du régime de test du système d'IA. "Deux ont fait un saut périlleux sur 300 mètres, n'ont jamais été détectés. Deux se sont cachés sous une boîte en carton. On pouvait les entendre rire tout le temps". Comme Bugs Bunny dans un dessin animé de Looney Tunes, se faufilant sur Elmer Fudd dans une boîte en carton. "Un gars, mon préféré", a déclaré Phil, "il a dépouillé un sapin et a marché comme un sapin. Vous pouvez voir son sourire, et c'est tout ce que vous voyez. "Le système d'IA avait été formé pour détecter les humains qui marchaient, et non les humains qui faisaient des sauts périlleux, se cachant dans une boîte en carton ou déguisés en arbre. Donc, ces simples astuces, qu'un humain aurait facilement vues à travers, étaient suffisantes pour casser l'algorithme.
Maintenant, les Marines vont essayer de vaincre le système d'IA. Ils ont garé le robot au milieu d'un rond-point et les Marines ont dû s'en approcher sans être détectés à partir d'une longue distance. "Si des Marines pouvaient entrer jusqu'au bout et toucher ce robot sans être détectés, ils gagneraient. Je voulais voir, jeu continu, ce qui se passerait".
"Huit Marines, pas un seul détecté", a déclaré Phil. "Ils ont vaincu le système d'IA non pas avec un camouflage traditionnel, mais avec des astuces intelligentes qui étaient en dehors du régime de test du système d'IA. "Deux ont fait un saut périlleux sur 300 mètres, n'ont jamais été détectés. Deux se sont cachés sous une boîte en carton. On pouvait les entendre rire tout le temps". Comme Bugs Bunny dans un dessin animé de Looney Tunes, se faufilant sur Elmer Fudd dans une boîte en carton. "Un gars, mon préféré", a déclaré Phil, "il a dépouillé un sapin et a marché comme un sapin. Vous pouvez voir son sourire, et c'est tout ce que vous voyez. "Le système d'IA avait été formé pour détecter les humains qui marchaient, et non les humains qui faisaient des sauts périlleux, se cachant dans une boîte en carton ou déguisés en arbre. Donc, ces simples astuces, qu'un humain aurait facilement vues à travers, étaient suffisantes pour casser l'algorithme.
Bien qu'il soit amusant d'imaginer une équipe de Marines utilisant la stratégie de boîte en carton de Metal Gear Solid pour vaincre ce qui est probablement un robot très coûteux, l'incident détaillé dans le livre de Scharre renforce quelque chose que nous savons déjà : l'IA n'est aussi utile que les données que nous lui donnons. De la même manière que l'IA devient biaisée une fois qu'elle est alimentée par des données biaisées, les algorithmes peuvent être aussi ignorants que leurs données fondamentales sont plates. Sans qu'on lui montre à quoi ressemble un humain qui fait des sauts périlleux ou un humain sous une boîte en action, un robot ne sera pas en mesure de discerner cette image de tout le bruit environnant, quelle que soit la compétence de ses ingénieurs.
Source : Shashank Joshi
Et vous ?
Quel est, selon vous, le camouflage le plus drôle ou le plus ingénieux que les militaires ont utilisé pour tromper l'IA ? Quel camouflage rigolo auriez-vous tenté pour réussir l'exercice ? Une situation qui laisse entendre que l'IA est encore à des années lumières de l'intelligence ? Dans quelle mesure ? Quelle lecture faites-vous de ce cas ?Voir aussi :
« L'IA est susceptible de devenir plus intelligente que les Hommes contre lesquels elle pourra donc se retourner et les exterminer », préviennent des chercheurs, sur une possible future apocalypse 
Envoyé par Stéphane le calme
