Peut on avoir confiance dans des algorithmes dont nous ne comprenons pas le fonctionnement interne ?

Les algorithmes deviennent de plus en plus complexes. On demande aux systèmes informatique de décharger l'opérateur humain de plus en plus de tâches. Cela se fait au nom de la sécurité, mais aussi (et surtout affirment de plus en plus de personnes) des économies budgétaires espérées.

Décharger le contrôle de tâches difficiles et importantes vers des opérateurs informatiques (robots, IA) évite les problèmes propres aux humains comme la fatigue, l'ennui, la mise en danger de l'opérateur etc etc. Mais, la perte de contrôle humain engendre aussi des risques en soit même.

En janvier 2016, un vol postal de Air Sweden s'est écrasé. Les ordinateurs de bord on mal interprété les informations des senseurs de l'avion cargo CRJ 200. Dépendant des informations interprétées et affichées par l'ordinateur de bord, les pilotes se sont écrasés en tentant de rétablir un vol qui n'avait jamais été mis en danger.

Le logiciel de l'ordinateur de bord de cet avion est mis en cause. Mais ce qui est inquiétant, c'est que personne ne comprend ce qui s'est passé. Et donc personne n'est capable de trouver la raison de cette erreur qui peut à tout moment se reproduire.

Les algorithmes qui définissent le fonctionnement des ordinateurs sont de plus en plus complexes. Faute de temps pour développer, mais aussi et surtout pour tester et vérifier ces algorithmes, les développeurs utilisent le « Deep learning ». Les machines « observent » et reproduisent nos comportements et nos actions. Dans le cas d'un avion, cela correspond à programmer « Si la portance diminue de « tant » de pourcent, j'anticipe une chute de « tant » de mètre d'altitude en augmentant la poussée et en orientant mes ailes pour améliorer la portance. La majorité des actions programmées, correspond en majorité à la bonne action à programmer… mais il peut y avoir des informations partielles, des cas particuliers où cette action n'est pas la bonne. Si le Deep Learning permet d'améliorer et de faciliter la programmation, la programmation devrait être ensuite revue et réécrite par des humains pour maîtriser totalement l'algorithme. Cette dernière étape, longue et surtout très coûteuse, est remplacée par des simulations et des tests pour valider le programme… Or les tests et les simulations ne peuvent balayer tous les cas de figure possibles.

Les récentes victoires des ordinateurs aux Go, aux échecs ou dans des simulations de combat aériens tiennent à ce fait particulier : les ordinateurs ont accompli des mouvements et actions qui n'avaient jamais été tentés auparavant. Lorsque ces nouvelles stratégies, innovantes, auront été intégrées et assimilées, la victoire de l'ordinateur risque de ne plus être aussi certaine. L'humain garde encore pour lui un très fort avantage en terme d'apprentissage et d'adaptation.

Mais, alors que l'on délègue aux robots la responsabilité d'engins, de voitures, d'avions ou même de navires, il faut comprendre et interpréter les algorithmes qui sont créés. Plusieurs chercheurs pensent y arriver en créant des logiciels « interprètes » qui évolueraient en subissant les même mode d'apprentissage auquel on soumettrait tout nouvel algorithme, mais qui nous en communiquerait les conséquences au fur et à mesure.