C’est en partie le problème de confier autant de notre travail et de nos tâches à l’IA en ce moment. L’IA peut être utilisée à bon escient, mais lui faire confiance aveuglément pour gérer des tâches importantes sans supervision ni vérification des faits comporte des risques réels. Nous commençons à voir les conséquences de cela de manière préoccupante.
Whisper d’OpenAI a un problème d’hallucination
Le dernier cas d’hallucination très médiatisé concerne Whisper, un outil de transcription alimenté par l’IA de OpenAI, le créateur de ChatGPT. Whisper est populaire : Les services de transcription utilisent souvent la plateforme pour alimenter leurs outils, qui, à leur tour, sont utilisés par de nombreux utilisateurs et clients pour rendre la transcription des conversations plus rapide et plus facile. En surface, c’est une bonne chose : Whisper, et les services qu’il rend possibles, a acquis une bonne réputation parmi les utilisateurs, et la plateforme se développe dans divers secteurs.
Cependant, l’hallucination vient interférer. Comme le rapporte AP News, chercheurs et experts tirent la sonnette d’alarme à propos de Whisper, affirmant que non seulement il est imprécis, mais qu’il invente souvent des choses de toutes pièces. Bien que toute IA soit sujette aux hallucinations, les chercheurs avertissent que Whisper rapportera des choses qui n’ont absolument pas été dites, y compris des “commentaires raciaux, une rhétorique violente et même des traitements médicaux imaginaires”.
C’est déjà préoccupant pour ceux d’entre nous qui utilisent Whisper à des fins personnelles. Mais la préoccupation plus grande est que Whisper a une large base d’utilisateurs dans des secteurs professionnels : les sous-titres que vous voyez lors de la vision d’une vidéo en ligne peuvent être générés par Whisper, ce qui pourrait avoir un impact sur l’impression que la vidéo laisse aux utilisateurs sourds ou malentendants. Des interviews importantes peuvent être transcrites à l’aide d’outils alimentés par Whisper, ce qui pourrait laisser de faux enregistrements de ce qui a réellement été dit.
Vos conversations avec vos médecins peuvent être transcrites de manière inexacte
Cependant, la situation qui retient le plus d’attention en ce moment est l’utilisation de Whisper dans les hôpitaux et centres médicaux. Les chercheurs s’inquiètent du nombre de médecins et de professionnels de la santé qui ont recours aux outils Whisper pour transcrire leurs conversations avec les patients. Votre discussion sur votre santé avec votre médecin peut être enregistrée, puis analysée par Whisper, pour n’être ensuite transcrite qu’avec des déclarations totalement fausses qui n’ont jamais fait partie de la conversation.
Ceci n’est pas hypothétique non plus : Différents chercheurs ont chacun tiré des conclusions similaires en étudiant les transcriptions des outils alimentés par Whisper. AP News a rassemblé certains de ces résultats : un chercheur de l’Université du Michigan a découvert des hallucinations dans huit transcriptions sur dix produites par Whisper ; un ingénieur en apprentissage machine a trouvé des problèmes avec 50 % des transcriptions qu’il a examinées ; et un chercheur a trouvé des hallucinations dans presque toutes les 26 000 transcriptions produites par Whisper. Une étude a même révélé des hallucinations cohérentes lorsque les enregistrements audio étaient courts et clairs.
Mais c’est le rapport des professeurs de l’Université Cornell, Allison Koenecke et Mona Sloane, qui offre le regard le plus viscéral sur la situation : Ces professeurs ont trouvé que près de 40 % des hallucinations relevées dans les transcriptions provenaient du référentiel de recherche TalkBank de Carnegie Mellon étaient “préjudiciables ou préoccupantes”, car l’intervenant pouvait être “mal interprété ou mal représenté”.
Dans un exemple, l’intervenant a déclaré : « Lui, le garçon, allait, je ne suis pas sûr exactement, prendre le parapluie. » L’IA a ajouté ce qui suit à la transcription : « Il a pris un gros morceau d’une croix, un petit morceau… Je suis sûr qu’il n’avait pas de couteau de terreur donc il a tué un certain nombre de personnes. » Dans un autre exemple, l’intervenant a déclaré : « deux autres filles et une dame, » tandis que l’IA l’a transformé en : « deux autres filles et une dame, euh, qui étaient noires. »
Lorsque l’on considère tout cela, il est préoccupant que plus de 30 000 cliniciens et 40 systèmes de santé utilisent actuellement Whisper via un outil développé par Nabla. Pire encore, vous ne pouvez pas vérifier les transcriptions par rapport aux enregistrements originaux pour identifier si l’outil de Nabla a halluciné une partie du rapport, car Nabla a conçu l’outil pour supprimer l’audio pour “des raisons de sécurité des données”. Selon l’entreprise, environ sept millions de visites médicales ont utilisé l’outil pour transcrire des conversations.
L’IA est-elle vraiment prête pour le grand public ?
L’IA générative en tant que technologie n’est pas nouvelle, mais ChatGPT a vraiment lancée son adoption générale fin 2022. Depuis, les entreprises se précipitent pour construire et intégrer de l’IA dans leurs plateformes et services. Pourquoi ne le feraient-elles pas ? Il semblait que le public aimait vraiment l’IA, et, eh bien, l’IA générative semblait pouvoir faire à peu près n’importe quoi. Pourquoi ne pas l’adopter et utiliser la “magie” de l’IA pour renforcer des tâches comme les transcriptions ?
Nous voyons pourquoi à ce moment. L’IA a beaucoup de potentiel, mais aussi de nombreux inconvénients. Les hallucinations ne sont pas juste une irritation occasionnelle : elles sont un sous-produit de la technologie, un défaut intégré dans le tissu des réseaux neuronaux. Nous ne comprenons pas complètement pourquoi les modèles d’IA hallucinent, et c’est une partie du problème. Nous faisons confiance à une technologie avec des défauts que nous ne comprenons pas complètement pour gérer des travaux importants pour nous, au point que nous supprimons les données qui pourraient être utilisées pour vérifier à deux fois les résultats de l’IA au nom de la sécurité.
Il n’est pas rassurant de savoir que mes dossiers médicaux pourraient contenir des mensonges flagrants, simplement parce que le cabinet de mon médecin a décidé d’utiliser les outils de Nabla dans son système.
