Lorsque les affirmations de Blake Lemoine, ingénieur chez Google, selon lesquelles l'IA de l'entreprise était devenue sensible, ont fait la une des journaux, on s'attendait à ce que les robots de l'IA se lamentent sur leurs droits, à ce que la communauté de l'IA réagisse en expliquant que l'IA ne pouvait pas être sensible et, bien sûr, à ce que l'on philosophe sur ce que signifie être sensible. Personne n'a abordé le point crucial : le fait que des formules mathématiques non sensibles ont autant, sinon plus, de poids que les humains lorsqu'il s'agit de prendre des décisions.

Si l'on met de côté la question de la sensibilité de l'I.A., il y a quelque chose de plus fondamental à prendre en considération : que signifie donner autant de pouvoir de décision à quelque chose qui, par conception, est généralement non tangible, non responsable, inexplicable et non interprétable ? La sensibilité de l'I.A. n'est pas pour demain, mais cela ne signifie pas que nous devions considérer l'I.A. comme infaillible, surtout quand elle commence à dominer la prise de décision dans les grandes entreprises.

Aujourd'hui, certains systèmes d'IA ont déjà un pouvoir considérable sur des résultats majeurs pour les gens, comme les modèles d'évaluation de crédit qui peuvent déterminer où les gens élèvent leur famille ou les situations de soins de santé où l'IA peut présider à des situations de vie ou de mort, comme la prédiction de la septicémie. Il ne s'agit pas de suggestions pratiques, comme une recommandation Netflix, ni même de processus qui accélèrent les opérations, comme la gestion plus rapide des données. Ces applications d'IA ont un impact direct sur la vie des gens et la plupart d'entre nous n'ont aucune visibilité ni aucun recours lorsque l'IA prend une décision involontairement inexacte, injuste ou même préjudiciable.

Ce problème a suscité des appels en faveur d'une approche "humaine dans la boucle" de l'IA - ce qui signifie que les humains devraient être plus étroitement associés au développement et à l'essai de modèles susceptibles d'opérer une discrimination injuste.

Mais que se passerait-il si nous ne pensions pas à l'interaction humaine avec les systèmes d'IA d'une manière aussi unidimensionnelle ? Thomas Malone, professeur à l'école de management du MIT, plaide en faveur d'une nouvelle approche de la collaboration avec l'intelligence artificielle et la technologie dans son livreSuperminds(2019), qui soutient que l'intelligence collective provient d'un "supermind" qui devrait inclure à la fois les humains et les systèmes d'intelligence artificielle. Pour Malone, il s'agit de passer de l'humain dans la boucle à "l'ordinateur dans le groupe", l'IA faisant partie d'un organe de décision plus large et n'étant pas le seul décideur à la table.

Ce concept me rappelle l'histoire d'un collègue qui, à l'époque, vendait des idées analytiques. Son client expliquait que lorsque les dirigeants s'asseyaient pour prendre une décision, ils prenaient une pile imprimée d'analyses et d'idées générées par l'IA et les empilaient sur un siège de la salle de conférence. Ces informations ne représentaient qu'une voix, un vote, dans un groupe plus important d'humains, et n'avaient jamais le dernier mot. Le reste du groupe savait que ces informations apportaient une intelligence spécifique à la table, mais qu'elles ne seraient pas le seul facteur décisif.

Alors, comment l'I.A. s'est-elle emparée du manteau du décideur unilatéral ? Et pourquoi "l'intelligence artificielle dans le groupe" n'est-elle pas devenue la pratique de facto ? Beaucoup d'entre nous supposent que l'IA et les mathématiques qui la sous-tendent sont objectivement vraies. Les raisons en sont diverses : notre vénération sociétale pour la technologie, l'évolution du marché vers des informations basées sur des données, la volonté d'agir plus rapidement et plus efficacement et, surtout, l'acceptation du fait que les humains ont souvent tort et que les ordinateurs n'ont généralement pas tort.

Cependant, il n'est pas difficile de trouver des exemples réels montrant que les données et les modèles qu'elles alimentent sont défectueux, et que les chiffres sont une représentation directe du monde biaisé dans lequel nous vivons. Pendant trop longtemps, nous avons considéré que l'intelligence artificielle était en quelque sorte au-dessus de ces défauts.

L'I.A. devrait faire l'objet du même examen minutieux que celui que nous accordons à nos collègues. Considérez-la comme un être imparfait qui est le produit d'autres êtres imparfaits, pleinement capable de faire des erreurs. En traitant l'IA comme un être sensible, nous pouvons l'aborder avec un niveau d'inspection critique qui minimise les conséquences involontaires et fixe des normes plus élevées pour des résultats équitables et puissants.

En d'autres termes, si un médecin vous refusait des soins critiques ou si un courtier vous refusait un prêt, ne voudriez-vous pas obtenir une explication et trouver un moyen de changer le résultat ? Pour rendre l'IA essentielle, nous devons supposer que les algorithmes sont tout aussi sujets aux erreurs que les humains qui les ont construits.

L'I.A. est déjà en train de remodeler notre monde. Nous devons nous préparer à sa propagation rapide sur la voie de la sensibilité en surveillant de près son impact, en posant des questions difficiles et en traitant l'IA comme un partenaire - et non comme le décideur final - dans toute conversation.

Triveni Gandhi est responsable de l'intelligence artificielle chez Dataiku.

Lesopinions exprimées dans les commentaires de Fortune.com sont uniquement celles de leurs auteurs et ne reflètent pas les opinions et les croyances deFortune.

Autres commentaires à lire absolument publiés parFortune:

Récession ou résilience ? Voici comment les États-Unis, l'Europe et l'Asie s'en sortent.
Patagonia : "Nous renversons le capitalisme en faisant de la Terre notre seul actionnaire".
Comment les régulateurs allemands ont battu la SEC dans la course à la réglementation des crypto-monnaies et m'ont convaincu d'y établir mon entreprise.
La gestion à la semaine pourrait être la solution à la méfiance des employeurs vis-à-vis du travail à distance
Ne gâchez pas l'alchimie unique qui existe entre les universités et les entreprises pharmaceutiques américaines.