L’IA PaLM de Google est bien plus étrange que consciente

La semaine dernière, Google a mis l’un de ses ingénieurs en congé administratif après avoir affirmé avoir rencontré la sensibilité de la machine sur un agent de dialogue nommé LaMDA. Parce que la sensibilité de la machine est un incontournable des films, et parce que le rêve de la personnalité artificielle est aussi vieux que la science elle-même, l’histoire est devenue virale, attirant beaucoup plus d’attention que pratiquement n’importe quelle histoire sur le traitement du langage naturel (PNL) n’a jamais reçu. C’est une honte. L’idée que LaMDA est sensible est un non-sens : LaMDA n’est pas plus conscient qu’une calculatrice de poche. Plus important encore, le fantasme idiot de la sensibilité des machines a de nouveau été autorisé à dominer la conversation sur l’intelligence artificielle alors que des développements beaucoup plus étranges et plus riches, et plus potentiellement dangereux et beaux, sont en cours.

Le fait que LaMDA en particulier ait été au centre de l’attention est, franchement, un peu étrange. LaMDA est un agent de dialogue. Le but des agents de dialogue est de vous convaincre que vous parlez à une personne. Les chatbots tout à fait convaincants sont loin d’être une technologie révolutionnaire à ce stade. Des programmes tels que Project December sont déjà capables de recréer des êtres chers décédés en utilisant le traitement du langage naturel. Mais ces simulations ne sont pas plus vivantes qu’une photographie de votre arrière-grand-père décédé.

Il existe déjà des modèles bien plus puissants et mystificateurs que LaMDA. LaMDA fonctionne sur jusqu’à 137 milliards de paramètres, qui sont, d’une manière générale, les modèles de langage qu’un NLP basé sur un transformateur utilise pour créer une prédiction de texte significative. Récemment, j’ai parlé avec les ingénieurs qui ont travaillé sur le dernier modèle de langage de Google, PaLM, qui compte 540 milliards de paramètres et est capable d’effectuer des centaines de tâches distinctes sans être spécifiquement formé pour les effectuer. C’est une véritable intelligence artificielle générale, dans la mesure où elle peut s’appliquer à différentes tâches intellectuelles sans entraînement spécifique, « out of the box » en quelque sorte.

Certaines de ces tâches sont évidemment utiles et potentiellement transformatrices. Selon les ingénieurs – et, pour être clair, je n’ai pas vu PaLM en action moi-même, car ce n’est pas un produit – si vous lui posez une question en bengali, il peut répondre à la fois en bengali et en anglais. Si vous lui demandez de traduire un morceau de code de C en Python, il peut le faire. Il peut résumer du texte. Cela peut expliquer les blagues. Ensuite, il y a la fonction qui a lancé ses propres développeurs, et qui demande une certaine distance et un sang-froid intellectuel pour ne pas paniquer. Palm peut raisonner. Ou, pour être plus précis – et la précision compte beaucoup ici – PaLM peut effectuer la raison.

La méthode par laquelle PaLM raisonne est appelée “incitation à la chaîne de pensée”. Sharan Narang, l’un des ingénieurs à la tête du développement de PaLM, m’a dit que les grands modèles de langage n’ont jamais été très bons pour faire des sauts logiques à moins d’avoir été explicitement formés pour le faire. Donner à un grand modèle de langage la réponse à un problème mathématique, puis lui demander de reproduire les moyens de résoudre ce problème mathématique a tendance à ne pas fonctionner. Mais dans l’incitation à la chaîne de pensée, vous expliquez la méthode pour obtenir la réponse au lieu de donner la réponse elle-même. L’approche est plus proche de l’enseignement aux enfants que de la programmation de machines. « Si vous leur disiez simplement que la réponse est 11, ils seraient confus. Mais si vous le cassez, ils font mieux », a déclaré Narang.

Google illustre le processus dans l’image suivante :

Ajoutant à l’étrangeté générale de cette propriété est le fait que les ingénieurs de Google eux-mêmes ne comprennent pas comment ou pourquoi PaLM est capable de cette fonction. La différence entre PaLM et d’autres modèles pourrait être la puissance de calcul brute en jeu. Cela pourrait être le fait que seulement 78% de la langue sur laquelle PaLM a été formé est l’anglais, élargissant ainsi les significations disponibles pour PaLM par opposition à d’autres grands modèles de langage, tels que GPT-3. Ou cela pourrait être le fait que les ingénieurs ont changé la façon dont ils symbolisent les données mathématiques dans les entrées. Les ingénieurs ont leurs suppositions, mais eux-mêmes n’ont pas l’impression que leurs suppositions sont meilleures que celles des autres. En termes simples, PaLM “a démontré des capacités que nous n’avons jamais vues auparavant”, m’a dit Aakanksha Chowdhery, membre de l’équipe PaLM qui est aussi proche que n’importe quel ingénieur de la compréhension de PaLM.

Rien de tout cela n’a rien à voir avec la conscience artificielle, bien sûr. “Je ne fais pas d’anthropomorphisme”, a déclaré Chowdhery sans ambages. “Nous prédisons simplement la langue.” La conscience artificielle est un rêve lointain qui reste fermement ancré dans la science-fiction, car nous n’avons aucune idée de ce qu’est la conscience humaine ; il n’y a pas de thèse falsifiable fonctionnelle de la conscience, juste un tas de notions vagues. Et s’il n’y a aucun moyen de tester la conscience, il n’y a aucun moyen de la programmer. Vous ne pouvez demander à un algorithme de faire que ce que vous lui dites de faire. Tout ce que nous pouvons inventer pour comparer les machines aux humains, ce sont de petits jeux, comme le jeu d’imitation de Turing, qui finalement ne prouvent rien.

Là où nous sommes arrivés, c’est plutôt quelque part de plus étranger que la conscience artificielle. D’une manière étrange, un programme comme PaLM serait plus facile à comprendre s’il était simplement sensible. Nous savons au moins ce que détaille l’expérience de la conscience. Toutes les fonctions de PaLM que j’ai décrites jusqu’à présent ne proviennent que de la prédiction de texte. Quel mot a du sens ensuite ? C’est ça. C’est tout. Pourquoi cette fonction entraînerait-elle des sauts aussi énormes dans la capacité à donner du sens ? Cette technologie fonctionne par substrat qui sous-tend non seulement tout langage mais tout sens (ou y a-t-il une différence ?), et ces substrats sont fondamentalement mystérieux. PalM peut posséder des modalités qui transcendent notre compréhension. Qu’est-ce que PaLM comprend qu’on ne sait pas lui demander ?

Utiliser un mot comme comprendre est difficile à cette jonction. L’un des problèmes rencontrés dans la prise en compte de la réalité du traitement du langage naturel est la machine de battage médiatique de l’IA, qui, comme tout dans la Silicon Valley, se survend. Google, dans ses supports promotionnels, affirme que PaLM fait preuve d’une “compréhension impressionnante du langage naturel”. Mais que signifie le mot entente signifie dans ce contexte? Je suis moi-même partagé entre deux idées : d’une part, PalM et d’autres grands modèles de langage sont capables de comprendre dans le sens où si vous leur dites quelque chose, sa signification s’enregistre. D’un autre côté, cela n’a rien à voir avec la compréhension humaine. “Je trouve que notre langage n’est pas bon pour exprimer ces choses”, reconnaît Zoubin Ghahramani, vice-président de la recherche chez Google. “Nous avons des mots pour cartographier le sens entre les phrases et les objets, et les mots que nous utilisons sont des mots comme entente† Le problème est que, dans un sens étroit, vous pourriez dire que ces systèmes comprennent tout comme une calculatrice comprend l’addition, et dans un sens plus profond, ils ne comprennent pas. Nous devons prendre ces mots avec un grain de sel. Inutile de dire que les conversations sur Twitter et le réseau d’information viral en général ne sont pas particulièrement doués pour prendre les choses avec un grain de sel.

Ghahramani est enthousiasmé par l’inconnu troublant de tout cela. Il travaille dans le domaine de l’intelligence artificielle depuis 30 ans, mais m’a dit qu’en ce moment, c’était “la période la plus excitante pour être sur le terrain” précisément à cause de “la vitesse à laquelle nous sommes surpris par la technologie”. Il voit un énorme potentiel pour l’IA en tant qu’outil dans les cas d’utilisation où les humains sont franchement très mauvais dans les choses, mais où les ordinateurs et les systèmes d’IA sont très bons dans ce domaine. “Nous avons tendance à penser à l’intelligence d’une manière très centrée sur l’humain, et cela nous amène à toutes sortes de problèmes”, a déclaré Ghahramani. « La première est que nous anthropomorphosons des technologies qui sont des comparateurs de modèles statistiques stupides. Un autre problème est que nous essayons d’imiter les capacités humaines plutôt que de compléter les capacités humaines. Les humains ne sont pas construits pour trouver le sens dans les séquences génomiques, par exemple, mais les grands modèles de langage peuvent l’être. Les grands modèles de langage peuvent trouver un sens là où nous ne pouvons trouver que le chaos.

Même ainsi, d’énormes dangers sociaux et politiques sont en jeu ici, aux côtés de possibilités encore difficiles à imaginer pour la beauté. Les grands modèles de langage ne produisent pas de conscience, mais ils produisent des imitations convaincantes de la conscience, qui ne feront que s’améliorer considérablement et continueront à semer la confusion chez les gens. Quand même un ingénieur de Google ne peut pas faire la différence entre un agent de dialogue et une vraie personne, quel espoir y aura-t-il quand ce truc atteindra le grand public ? Contrairement à la sensibilité de la machine, ces questions sont réelles. Y répondre nécessitera une collaboration sans précédent entre humanistes et technologues. La nature même du sens est en jeu.

Donc, non, Google n’a pas de conscience artificielle. Au lieu de cela, il construit de grands systèmes de langage extrêmement puissants dans le but ultime, comme le dit Narang, “d’activer un modèle qui peut se généraliser sur des millions de tâches et ingérer des données sur plusieurs modalités”. Franchement, il suffit de s’inquiéter sans les robots de science-fiction jouant sur les écrans dans nos têtes. Google n’a pas l’intention de transformer PaLM en un produit. “Nous ne devrions pas nous devancer en termes de capacités”, a déclaré Ghahramani. “Nous devons aborder toute cette technologie de manière prudente et sceptique.” L’intelligence artificielle, en particulier l’IA dérivée de l’apprentissage en profondeur, a tendance à augmenter rapidement à travers des périodes de développement choquant, puis à stagner. (Voir les voitures autonomes, l’imagerie médicale, etc.) Lorsque les sauts se produisent, cependant, ils se produisent rapidement et de manière inattendue. Gharamani m’a dit que nous devons réaliser ces sauts en toute sécurité. Il a raison. On parle ici d’une machine à sens généralisé : il serait bon d’être prudent.

Le fantasme de la sensibilité par l’intelligence artificielle n’est pas seulement faux ; c’est ennuyant. C’est le rêve de l’innovation par le biais des idées reçues, l’avenir de ceux dont l’esprit n’a jamais échappé au charme des feuilletons de science-fiction des années 1930. Les questions que nous imposent les dernières technologies d’IA sont les plus profondes et les plus simples ; ce sont des questions auxquelles, comme toujours, nous ne sommes absolument pas préparés à faire face. Je crains que les êtres humains n’aient tout simplement pas l’intelligence nécessaire pour faire face aux retombées de l’intelligence artificielle. La frontière entre notre langage et le langage des machines s’estompe, et notre capacité à comprendre la distinction se dissout dans le flou.

Leave a Comment

Your email address will not be published.