Dans cet article paru dans les Echos, Rémy Demichelis met en avant un livre que nous vous conseillons vivement.
La traduction du livre de la mathématicienne Cathy O’Neil vient de sortir en France. Un ouvrage qui met en lumière les abus de l’intelligence artificielle dans nos sociétés.
C’est un bestseller américain sorti sous le titre « Weapons of Math Destruction » jouant sur les mots pour exposer la dangerosité des outils statistiques qui peuvent devenir des « armes de destruction mathématiques ». Publié il y a deux ans, il est toujours d’une actualité brûlante. La traduction est arrivée ce mois-ci dans les librairies française sous le titre « Algorithmes : la bombe à retardement » (Les Arènes).
Ce livre a rendu son auteure, Cathy O’Neil, si célèbre qu’elle a été invitée sur la scène du Collège de France, en mars, pour le sommet AI for Humanity au cours duquel Emmanuel Macron a annoncé la stratégie nationale en matière d’intelligence artificielle (IA) . Afin d’expliquer simplement ce qu’est un modèle mathématique, un algorithme, elle le comparait à un menu : pour un repas équilibré, il faut pondérer la quantité de chaque aliment. Un exemple déjà présent dans son livre qui sert à démontrer que les maths ne sont pas aussi neutres qu’elles en ont l’air lorsqu’elles sont appliquées à la vie réelle : « Les modèles, malgré leur réputation d’impartialité, sont le reflet d’idéologies et d’objectifs. En supprimant la possibilité de consommer des friandises à chaque repas, j’ai imposé mon idéologie au modèle culinaire. »
Les modèles de risque présupposaient que l’avenir serait une répétition du passé.
Ayant elle-même travaillé dans la finance et le marketing publicitaire, la mathématicienne, diplômée de Berkeley et de Harvard, nous offre une place au premier rang de la révolution des données, ce Big Data qui nourrit les systèmes d’intelligence artificielle. Son livre est à la croisée de l’essai, du témoignage et de l’enquête. Le point de départ est la crise économique de 2008 . Une crise survenue à un moment où la finance accordait pourtant une croyance inébranlable en des mathématiques qui n’ont rien vu venir : « Les modèles de risque présupposaient que l’avenir serait une répétition du passé. » Tout n’est pas dans les données… dans le meilleur scénario.
Car il se passe plusieurs choses pénibles quand les chiffres prennent une importance capitale dans les rapports humains. Lorsqu’il s’agit de noter la qualité des enseignants, par exemple, pour savoir s’il faut les garder ou non, comme ce fut le cas dans la ville de Washington. Tout d’abord, il n’y avait pas d’appel : un enseignant pouvait ainsi être renvoyé sur le seul fondement d’une évaluation statistique, qui prenait notamment en compte les résultats des élèves à un examen standardisé. Ensuite, certains instituteurs auraient eu la fâcheuse tendance à corriger les copies pour augmenter artificiellement le niveau de leur classe.
De même, dans les universités, il a été observé des cas de fausses déclarations aux questionnaires des palmarès pour grappiller quelques points. Il n’est même pas besoin de mentir parfois, il suffit de recruter des professeurs très cotés qui ne mettront les pieds dans l’établissement que trois semaines par an tout en continuant à exercer dans leur université d’origine : « A mesure que les classements gagnent en importance, les efforts visant à les berner s’intensifient eux aussi. »
Reproduction des biais
A l’inverse, les data peuvent en dire plus que ce que l’on voudrait. L’école de médecine Saint George, à Londres, en a fait la triste expérience en mettant au point un algorithme de recrutement. Il inférait le meilleur profil des candidats en fonction des étudiants des années précédentes. Seulement, quand ces derniers sont des hommes blancs, le modèle peut en déduire qu’il faut recruter des hommes blancs. Et c’est ce qu’il s’est passé. « L’ordinateur apprit des êtres humains comment discriminer les candidats et s’acquitta de ce travail avec une stupéfiante efficacité. » C’était dans les années 1970, mais Amazon a récemment connu la même déconvenue avec un algorithme qui écartait les femmes – cette dernière affaire n’a été révélée qu’après la première publication du livre de Cathy O’Neil.
Quand les data-scientifiques ne tirent pas les leçons de ces histoires, ils reproduisent les mêmes erreurs. « Algorithmes : la bombe à retardement » est un livre essentiel pour quiconque s’intéresse à la question des données et, plus largement, pour tous les citoyens. Car l’intelligence artificielle se déploie dans d’innombrables aspects de notre vie et met parfois en péril la démocratie, comme lorsque les algorithmes remontent des infox (« fake news ») sur les réseaux sociaux.
Quand le modèle a pour objectif uniquement la rentabilité, il n’a que faire de l’éthique ou de la véracité des propos. « Il ne faut pas attendre de l’économie actuelle, le libre marché, qu’elle remédie d’elle-même à ces maux. » Ca ne veut pas dire qu’il faut jeter les algorithmes avec le flot des data : « A mesure que j’étudie l’économie des données, je vois émerger quantité de modèles mathématiques qui pourraient être mis au service d’une bonne cause. »