GPT est là pour rester. Où va-t-il nous mener ?

GPT se déroule devant nous, et nous ne manquons pas un battement. Alors que nous explorons le potentiel et les limites de cette nouvelle technologie, sera-t-elle à la hauteur du battage médiatique ?

Depuis son lancement fin novembre, ChatGPT a conquis le cœur et l'esprit des gens du monde entier pour sa capacité à générer des réponses de type humain. Cependant, comme pour toute nouvelle technologie, il y a souvent un écart entre le battage médiatique et la réalité. Et l'IA générative, en particulier, est tout à fait la machine à battage médiatique naturelle.

Nous comprenons le scepticisme - les grands modèles de langage sont excellents pour paraître plausibles, même lorsqu'ils sont faux. Mais à vrai dire, nous sommes très optimistes. Au cours des huit dernières semaines, nous avons créé des fonctionnalités alimentées par l'IA et les avons livrées à 160 clients bêta, et les retours ont été extrêmement prometteurs. À tel point qu'en début de semaine, notre directeur de l'apprentissage automatique, Fergal Reid, et moi avons publié un épisode spécial sur le podcast pour partager nos idées sur ce que nous avons construit et ce que nous avons appris.

Cette fois-ci, nous allons au-delà de l'intercom, et même au-delà du service client. Dans l'épisode d'aujourd'hui, nous nous penchons sur tout ce qui concerne GPT - du scepticisme à son rôle dans les communications d'entreprise, de la perturbation du travail créatif à l'avenir des interfaces utilisateur.

Voici quelques-uns des principaux plats à emporter :

• Ce n'est pas seulement la technologie qui s'améliore - nous comprenons mieux ce qu'il faut construire, comment le personnaliser et l'intégrer, et toutes ces dynamiques font avancer l'industrie.
• Peut-être que l'avenir des interfaces homme-machine sera facilité par des robots personnalisés alimentés par l'IA qui comprennent les intentions des utilisateurs et médiatisent leurs interactions.
• Ces modèles ont débloqué de nombreuses nouvelles capacités et trompent quelqu'un en un coup d'œil, mais ils manquent toujours du raisonnement de bon sens nécessaire pour réussir le test de Turing.
• GPT peut perturber l'industrie du service client, mais si l'automatisation augmente la productivité de l'agent, elle peut finalement débloquer des capacités qui améliorent leur valeur pour l'entreprise.

Assurez-vous de ne manquer aucun temps fort en suivant Intercom on Product sur Apple Podcasts, Spotify, YouTube ou en saisissant le flux RSS dans le lecteur de votre choix. Ce qui suit est une transcription légèrement modifiée de l'épisode.

Au-delà du battage médiatique

Des Traynor : Bonjour et bienvenue sur le podcast Intercom. Je suis rejoint, encore une fois, par Fergal, et nous allons parler de tout ce qui concerne GPT. Fergal, cela fait huit semaines entières depuis le lancement de ChatGPT. Déjà, les gens ont construit des produits utiles contre cela, et déjà nous avons eu une vague de sceptiques disant qu'il s'agit d'un jouet, qu'il est immature, qu'il n'est prêt à rien, ce qui n'est que des réactions classiques de la nouvelle technologie. Où est ta tête ? Le scepticisme est-il fondé ? Avons-nous franchi une falaise perceptive qui compte vraiment ?

Fergal Reid : Oui, je pense qu'il y a une certaine légitimité au scepticisme. Ces choses sont des machines de battage médiatique presque naturelles. C'est tellement facile de le regarder et de le voir faire quelque chose qui semble bon. Sauf si vous creusez vraiment dedans, ça a l'air merveilleux. Et puis, quand vous creusez dedans, vous vous dites: "Ah, c'est faux, je me sens induit en erreur." Ces machines sont conçues pour générer des choses plausibles, et si elles sont plausibles, mais que le mal est un problème pour vous, cela peut être très décevant. Je comprends donc la position par défaut du scepticisme avec laquelle beaucoup de gens se tournent vers cette technologie.

"ChatGPT, tel qu'il est sur Internet aujourd'hui, pourrait être un jouet, mais cela ne signifie pas que nous ne pouvons pas prendre la technologie sous-jacente et créer des fonctionnalités commerciales incroyablement précieuses à partir de cela"

Cependant, nous avons toujours été très optimistes sur l'IA générative, et depuis notre dernière conversation, nous avons créé certaines fonctionnalités, nous les avons livrées en version bêta, nous avons eu quelque 160 clients sur notre version bêta qui utilisent ces fonctionnalités : résumé, certains fonctionnalités du compositeur plus expérimentales pour essayer de rendre les gens plus rapides. Et puis nous avons une vague d'autres fonctionnalités sous forme de prototype qui ne sont pas encore tout à fait là - des choses de grande valeur - mais nous pensons que nous voyons une ligne de mire à cela. Et donc, nous comprenons le scepticisme, nous étions optimistes, et maintenant nous avons des données - l'utilisation réelle des clients, de vrais clients nous disant qu'il y a un travail particulier qu'ils veulent faire, qu'ils font toute la journée tous les jours, et c'est transformateur pour que. Et cela, pour moi, fait que la position du scepticisme commence à paraître un peu fragile.

Des: Le fait que les gens utilisent en fait la chose pour faire une partie de leur travail au quotidien.

Fergal : Ouais. C'est l'arbitre ultime. Il est très difficile d'être sceptique lorsque les gens l'utilisent réellement, et pas seulement comme un jouet. Il y a une ligne de logique là-bas. Nous avons vu des articles dans The Atlantic et des endroits comme celui-là où les gens disent : « Hé, regardez, ce truc est plus un jouet qu'un véritable produit de valeur. Et ChatGPT, tel qu'il est sur Internet aujourd'hui, pourrait être un jouet, mais cela ne signifie pas que nous ne pouvons pas prendre la technologie sous-jacente et créer des fonctionnalités commerciales incroyablement précieuses à partir de cela.

Mon équipe a probablement été l'une des nombreuses équipes à le faire au cours des derniers mois, pour dire "Wow, cela apporte une réelle valeur ajoutée", et je pense que nous sommes probablement l'une des plus grandes entreprises de service client qui a réussi eu un cycle de développement où nous avons en fait mis cela entre les mains de centaines de clients et obtenu des commentaires de celui-ci. Et ils nous ont vraiment dit : « Oui, cela me fait vraiment gagner du temps ; cela rend mon travail plus rapide. Oui, le scepticisme devient plus difficile à soutenir. C'est un argument. Je pense que vous pouvez également attaquer le scepticisme d'un point de vue différent : nous avons vu beaucoup de fils de tweet et d'articles sceptiques à propos de cette technologie parce que la génération précédente n'a pas franchi le gouffre et n'a pas été transformatrice. Et ils sont sceptiques parce que les nouvelles technologies sont toujours surfaites. Mais ce ne sont pas de bons arguments. Ce sont des arguments qui ont raison pendant un certain temps, puis qui deviennent terriblement faux. Vous pouvez échouer ici en étant trop optimiste, mais vous pouvez échouer tout autant en étant-

Dés : Vide et pessimiste.

Fergal : Exactement. Vide et pessimiste.

"Il y a tellement de dynamiques qui se produisent en même temps qui vont se nourrir et se magnifier"

Des : Le parallèle que vous voyez est celui des gens qui rejettent chaque nouvelle idée de startup dont ils ont entendu parler. Et le fait est que 90% des startups ne fonctionnent pas. Donc, 90% du temps, vous êtes parfait et avez l'air vraiment intelligent. Ensuite, vous en mettez une de côté qui va devenir une entreprise d'un billion de dollars, et tout le monde se dit : "Bien, il s'avère que..." Je pense que c'est Nat Friedman qui a dit : "Les pessimistes ont l'air intelligents, les optimistes s'enrichissent", ou quelque chose comme ça. . Et il y a une part de vérité là-dedans lorsque vous accordez du poids à chaque opinion : la mesure dans laquelle vous vous trompez lorsque vous vous trompez réduit à néant la mesure dans laquelle vous avez légèrement raison simplement en étant sceptique vis-à-vis de la technologie.

Fergal : Oui, à 100 %. Écoutez, je crois en l'IA et sa valeur. Je pense que nous avons suffisamment de preuves de valeur réelle. Au cours de la dernière décennie, nous avons vu la tendance de l'apprentissage automatique et de l'IA en général augmenter et augmenter. Nous avons de nouvelles capacités. Je pense que mon équipe a suffisamment de preuves qu'il existe au moins certaines fonctionnalités déverrouillées pour GPT-3.5 et pour d'autres grands modèles de langage qui n'existaient pas il y a six mois. Je crois qu'il y a un surplomb; il y a beaucoup plus de produits que nous pourrions construire maintenant qui n'ont pas encore été construits qu'il n'y en avait. Alors oui, nous sommes optimistes et nous commençons à voir des clients à qui nous avons envoyé la version bêta pour nous dire : "Ouais, ça marche, c'est génial."

Nous n'avons pas tout à fait traversé le dernier morceau de celui-ci. Nous savons que cela est transformateur en termes de valeur fondamentale pour les tâches que nos clients consacrent 99 % de leur temps à effectuer. Ainsi, nous expédions la fonction de résumé et d'autres fonctionnalités pour gagner du temps dans la boîte de réception. Mais il y a de grandes choses qui arrivent ici que nous n'avons pas encore construites, sur lesquelles nous travaillons en interne, mais nous ne les avons pas vues sur le marché. Et donc, nous pensons que la véritable excitation de cela est toujours à venir.

Des: Il y a une certaine hiérarchie de transformation sur laquelle je suis sûr que quelqu'un me corrigera dans les commentaires, mais nous avons déjà mis en place des fonctionnalités en direct pour transformer des flux de travail spécifiques, et en transformant, nous entendons réduire le coût de cette opération à 5% de ce que c'était autrefois. Dans le cas, par exemple, du résumé. Ensuite, cela pourrait transformer des flux de travail très courants. Ensuite, il peut s'agir de transformer le travail, puis de transformer l'organisation, et tout en haut, de transformer l'entreprise. Mais il est assez clair que nous identifions de plus en plus de cas d'utilisation où nous pouvons apporter beaucoup de valeur que nous progressons à travers cette transformation, pour moi, inévitable du monde du service client.

"Nous sommes allés en interne chez nos clients et avons dû clôturer le recrutement bêta beaucoup plus tôt que prévu car c'était l'une des plus grandes réponses que nous ayons jamais eues"

Ferga : Absolument. Il y a tellement de façons que cela change en parallèle. Il y a tellement de dynamiques qui se produisent en même temps qui vont se nourrir et se magnifier mutuellement. La première est plutôt évidente : la technologie disponible s'améliore. Cela ne s'arrête pas. OpenAI et d'autres acteurs comme Anthropic construisent constamment de nouveaux modèles, et ils sont passionnants. Cela ne s'arrête pas. Donc, c'est une dynamique. Et il y a une autre dynamique, c'est que nous nous améliorons dans la construction de produits autour de ceux-ci. Nous nous améliorons à prendre ces modèles et à déterminer le genre de choses pour lesquelles ils sont bons. Et il y a une autre dynamique, c'est que nous nous améliorons à les personnaliser, à créer les bonnes invites et à les intégrer dans nos systèmes existants. Et puis les attentes de nos clients sont de plus en plus élevées.

Nous avons vraiment constaté que, depuis ChatGPT, il y a eu cette énorme vague d'intérêt de la part de nos clients. Ils peuvent voir la promesse et croire qu'il y a quelque chose ici. Avec la bêta, nous sommes allés en interne chez nos clients et avons dû clôturer le recrutement de la bêta bien plus tôt que prévu car c'était l'une des plus grandes réponses que nous ayons jamais reçues. Les gens voulaient être dessus. Donc, toutes ces choses ensemble vont grossir beaucoup plus que n'importe laquelle d'entre elles à elles seules, à mon avis.

Des : C'est intéressant de voir comment vous décomposez cela. La technologie s'améliore, les capacités des entreprises s'améliorent, et c'est simplement l'adopter dans des cas locaux. Et puis la capacité des entreprises à réfléchir ou à conceptualiser de nouveaux produits et opportunités en utilisant cette technologie s'améliore. Même avec les attentes des clients de la technologie. Nous ne sommes probablement qu'à un an des personnes qui s'attendent à pouvoir développer du texte dans un champ de texte, par exemple. Vous voyez en quelque sorte ces choses surgir partout.

Fergal : Si même un an. Évidemment, beaucoup d'entre nous ont vu l'annonce de Microsoft concernant l'intégration de ces fonctionnalités dans Word, etc. Et cela va changer rapidement si les grands outils de productivité de bureau font cela. Cela pourrait être très rapide.

L'essor de l'assistant IA

Des : Voici un type de scepticisme différent auquel je vais m'attaquer – un qui résonne légèrement en moi, de toute façon. Je pense que Kevin Cannon a eu un tweet amusant où il a dit : "Le futur est composé de personnes utilisant GPT pour développer des choses comme" Je veux le travail" dans une jolie lettre comme "Cher Monsieur" ou "Madame", bla, bla , bla… Et puis le destinataire, en cliquant sur le bouton de résumé, pour voir que la personne vient de dire : « Je veux le poste, voici mon CV », ou quoi que ce soit. Dans un certain sens, vous seriez tenté de les regarder et de vous demander, à quoi bon tout cela ? Le langage formel, l'écriture professionnelle et l'anglais des affaires sont-ils devenus un conduit inutile vers la manière théâtrale dont nous communiquons tous, alors qu'à l'avenir, je vous enverrai simplement l'invite, et vous répondrez avec une invite, comme, "Je veux que le travail." "Vous ne pouvez pas avoir le travail."

Fergal : Ouais. Question difficile. C'est sérieusement spéculatif. Je vais vous donner quelques avis. Il y a probablement certains contextes, non ? Disons un document légal. Vous pouvez dire à quelqu'un de votre équipe juridique : « Hé, j'ai besoin d'un contrat. Il doit faire X, Y et Z. Cette demande se transformera en 10 pages de trucs juridiques. Le destinataire dira : "Oh, est-ce qu'il fait les trois choses qu'il a dit qu'il ferait ?" Et leur équipe juridique sera, "Oui, c'est le cas." C'est une extrémité de l'extrême où il y a une grande expansion et compression, mais dans certains cas étranges, la clause numéro 13 à la page deux peut se retrouver devant le tribunal, et ainsi de suite. Alors clairement, ça compte. Nous ne pouvons pas nous en débarrasser. Nous ne pouvons pas nous contenter de ces quatre puces. Nous avons besoin de tout cela. Vous ne le considérez peut-être pas comme matériel lorsque vous l'écrivez, mais cela peut le devenir plus tard. Cela ressemble à un extrême où c'est comme "Non, on dirait que ça doit être là", quelque chose pour traiter tous ces cas extrêmes.

Et l'autre extrême est probablement une situation où le défenseur et le destinataire ne se soucient pas de ces détails. Les deux ne se soucieront jamais de ces détails, et ils observent simplement des grâces sociales ou des formalités telles que "c'est ainsi que vous écrivez une lettre commerciale". J'écris à une grande entreprise, je ferais mieux d'écrire une lettre commerciale », et peut-être que ce genre de choses va disparaître.

Des: De la même manière, je pense que l'analogie pour moi serait lorsque les conversations par e-mail sont passées à SMS, iMessage ou WhatsApp. Pense à toutes les conneries que tu ne dis plus. "J'espère que cela vous trouvera bien", ou quoi que ce soit. Toute cette merde est partie.

Fergal : Les contraintes de Twitter, le format, le médium, vous autorisent à être plus concis. Je pense que c'est une vraie dynamique. La façon dont nous communiquons et dont nous écrivons un article du centre d'aide n'est peut-être pas la meilleure façon de l'écrire. Peut-être devrions-nous être plus brefs. Dans l'équipe d'apprentissage automatique, il y a une autre façon de penser à cela. L'avenir du monde va passer par des intermédiaires. Et il était une fois, c'était évident pour tout le monde. Votre navigateur Web avait un agent utilisateur qui le liait et tout. Et comme je l'ai dit, c'est votre agent qui navigue sur cet Internet bizarre avec tous ces liens et tout pour vous. Il fera des choses pour vous, reviendra et vous dira des choses. Et puis, tout ça est centralisé et maintenant vous avez un moteur de recherche et ainsi de suite.

« Ce serait une chose si nous n'avions vu que la génération d'images DALL·E 2. Mais non, nous assistons à des transformations dans la synthèse audio, la synthèse d'images, la compréhension de texte, la synthèse de texte et la compression de texte »

Il y a une vieille idée dans le futurisme technologique et la science-fiction et ainsi de suite, que vous aurez probablement un agent qui vous comprend, votre intention, ce que vous voulez, et qui est assez intelligent pour comprendre ce qu'il faut porter à votre attention et ce qu'il ne faut pas pour. Donc peut-être qu'à l'avenir, la façon dont cela se passera ressemble plus à ça. Si vous voulez connaître un détail particulier, le logiciel de votre côté est assez intelligent pour le mettre dans la version résumée de celui-ci. Mais c'est assez intelligent pour savoir que vous ne voulez pas non plus connaître ce détail et le laisser de côté.

Peut-être vivrons-nous dans un avenir où les interfaces utilisateur changeront, où mon interface utilisateur avec une entreprise ou une tâche particulière n'est pas vraiment contrôlée par cette entreprise ou cette tâche comme c'est le cas aujourd'hui. Au lieu de cela, il est personnalisé pour moi. Cela semble très fantaisiste, mais je pense que cela va se produire rapidement. Ces modèles de langage sont très puissants, ils commencent à être utilisés pour écrire du code, etc. Nous avons vu des prototypes là-bas où les gens travaillent sur des modèles qui comprennent suffisamment bien un site Web pour prendre une phrase en anglais et naviguer sur le site Web pour vous. Et puis, se dirige-t-on vers un futur où c'est comme ça que tout le monde interagit avec les sites Web ? Vous n'avez plus besoin d'un site web ?

Des : Est-ce le nouveau référencement ? S'assurer que votre GPT peut vous comprendre ?

Fergal : Ouais. Peut-être que les sites Web se transforment en quelque chose qui ressemble plus à une API exposée publiquement, et c'est quelque chose avec l'interface utilisateur et le formatage car l'interface utilisateur est formatée par les agents.

Des : Nous parlons tous à Siri ou autre.

« C'est peut-être à cela que ressemblera l'avenir avec les bots. Nous avons tous un bot personnalisé pour nous qui gère l'interfaçage et vous n'avez pas vraiment besoin de vous soucier autant de cette couche intermédiaire »

Fergal : Oui, et je pense que Google et Apple peuvent voir cet avenir. Nous ne connaissons pas la chronologie, mais encore une fois, l'outil de réflexion que j'utilise toujours est le suivant : et si vous aviez un humain très intelligent qui vous comprenait, qui avait travaillé avec vous, peut-être un assistant personnel, et que vous faisiez l'interface avec eux, et vous vouliez réserver des vacances? Que vous demanderaient-ils à ce sujet ? Et dans la moitié des choses que vous voyez sur booking.com ou autre, ils ne vont pas vous demander ça - ils vont juste réserver les vacances pour vous et peut-être revenir avec des questions de clarification : "Oh, tu voulais aller et rester dans un appartement, mais il n'y a pas de place là-bas. Un hôtel fera-t-il l'affaire ? Mais c'est une interface utilisateur adaptable. Encore une fois, je ne me concentre pas trop sur ChatGPT et sur ce qui vient d'être expédié. Vous prenez un an ou deux. Ça va trop vite. Si vous êtes sceptique à cause des limitations actuelles, vous allez-

Des: Votre scepticisme ratera la cible.

Fergal : Exactement. Les transformateurs sont extrêmement puissants et les architectures de transformateurs que les gens utilisent sont extrêmement puissantes. Nous avons vu plusieurs modalités s'améliorer ici. Ce serait une chose si tout ce que nous avions vu était la génération d'image DALL·E 2. Mais non, nous assistons à des transformations dans la synthèse audio, la synthèse d'images, la compréhension de texte, la synthèse de texte, la compression de texte. Nous assistons à tant d'avancées parallèles. Il peut écrire du code. Il va probablement être en mesure de travailler un site Web très bientôt. Alors peut-être que c'est à ça que ressemblera l'avenir avec les bots. Nous avons tous un bot personnalisé pour nous qui gère l'interfaçage et vous n'avez pas vraiment besoin de vous soucier autant de cette couche intermédiaire.

Des: Une scène de super prototype que j'ai vue sur Twitter était quelqu'un qui a formé un bot à parler de sa propre voix, je crois, et à appeler un numéro et à naviguer dans un arbre téléphonique bancaire, à communiquer efficacement avec un agent, à demander à avoir tous leurs opérations de change remboursées ou quelque chose. Quelque chose qui est le genre de norme où il suffit de demander et ils le font. Il est allé jusqu'au bout. Et littéralement, ils ont juste dit "Allez-y" et sont partis. C'était évidemment super artificiel, peut-être super fermé, mais c'était toujours un cas d'utilisation très réel de bout en bout exécuté automatiquement.

Fergal : Je pense que c'est un domaine vraiment intéressant. Nous parlons beaucoup de la façon dont le service client va changer, et où nos têtes vont toujours, c'est ce qui se passera lorsque vous avez un bot comme ChatGPT mais personnalisé pour votre entreprise et vraiment excellent pour répondre aux questions et le coût des problèmes de service client va baisser. Mais il y a un autre côté à cela. Comment le service client changera-t-il lorsque l'utilisateur dispose d'un bot capable de gérer les interactions avec le service client et n'abandonne pas ou ne se fatigue pas ? Et il y a potentiellement un grand changement là-bas.

Des: Le nouveau B2B va être bot-to-bot, essentiellement.

Fergal : Peut-être. Il faudra peut-être un certain temps avant que les utilisateurs ne disposent de ce type de technologie, mais c'est une chose intéressante à considérer.

L'énigme de l'authenticité

Des : Comment pensez-vous généralement de ce monde à double face de la création et, finalement, de ce qui pourrait être considéré comme une tromperie – cela ressemble à une peinture, mais ce n'est pas une peinture, elle a été générée – par rapport à la détection, l'idée que les gens peuvent dire , "Hé, j'ai vraiment écrit ce code à la main, ce n'est pas du code généré." À quel point est-il important pour l'humanité de naviguer dans ce monde ? Il y a une scène célèbre dans Westworld, une usine de robots occidentaux, où un gars veut-

Fergal : C'est un remake d'un vieux truc.

Des: Oh, c'est ça ? Nouvelles pour moi. Je ne savais pas que c'était un remake d'un vieux truc. Mais dans Westworld, il y a une scène où un gars tombe sur une femme, a une conversation avec elle, puis, à la fin, il dit : "Je dois demander, es-tu réel ?" Sa réponse est: "Si vous devez demander, pourquoi est-ce important?" Et je pense qu'il y a quelque chose là-bas. Dépasser notre capacité de détection sera-t-il considéré comme la définition de l'authentique ? L'authenticité est-elle encore une chose? Dans l'exemple de la banque, comment une personne dira-t-elle : "Hey, Fergal, est-ce vraiment vous, ou est-ce un bot que vous avez formé ?" Surtout si vous l'avez entraîné à répondre à cette question.

Fergal : Il y a là de grandes questions. Il y a au moins cinq questions là-dedans dont j'ai probablement perdu la trace. Vous pourriez parler du test de Turing, un article très prémonitoire sur la façon dont nous allons pouvoir dire quand un ordinateur est devenu correctement intelligent, et puis un test était un test dysfonctionnel - si un juge humain peut discerner de manière fiable entre les deux via une interface texte ou autre, on pourrait dire que ce n'est pas intelligent. Et quand cela passe, nous devrions accepter qu'il est fonctionnellement intelligent. C'est souvent déformé, mais son article ressemblait plus à "Ça fait quelque chose de vraiment intéressant si ça arrive à ce point." Et c'est une façon d'aborder les choses de manière fonctionnelle.

"Racontez une histoire où il se passe beaucoup de choses, puis posez-lui une sorte de question complexe et conséquente à ce sujet, et elle se déclenchera quand même"

Des : Et nous avons dépassé cela, je dirais. Environ.

Fergal : Il y a toujours des gros titres sur quelque chose qui réussit le test de Turing. Je pense que la formulation originale est quelque chose comme un interrogateur qualifié ou quelque chose comme ça. Nous n'en sommes pas encore là. Si quelqu'un est formé pour poser les bonnes questions, ce genre de choses tombera rapidement en panne. Il n'a pas le modèle du monde profond qu'un humain a.

Des : D' accord. Comment feriez-vous le tour de poser une question autoréférentielle ? Vous demanderiez à quelqu'un de faire trébucher linguistiquement ?

Fergal : La technologie s'améliore. Mais cela ressemble plus à la mise en place d'un domaine complexe. Racontez une histoire où il se passe beaucoup de choses, puis posez-lui une sorte de question complexe et conséquente à ce sujet, et elle sera toujours déclenchée. Ça va trébucher d'une manière qu'un enfant ne ferait pas. Mais je pense que la bonne façon de penser à cela est que vous avez affaire à une intelligence extraterrestre. Vous voulez appeler cela de l'intelligence, mais cela va être façonné différemment. Donc, ça va être un tas de choses qu'un enfant de sept ans ne serait pas capable d'écrire - je serai capable d'écrire un programme informatique, mais ce que vous pourriez appeler le raisonnement de bon sens n'est pas encore là. Cela dit, philosophiquement, il s'agit de savoir si cette chose est vivante et détecte des choses. Et non, clairement pas, avec la plupart des définitions que la plupart des gens utiliseraient. Mais c'est un peu virer dans la philosophie des questions d'IA.

Pour revenir à votre point de départ, que se passe-t-il si vous souhaitez créer des CAPTCHA pour ces systèmes ? A quoi cela ressemble-t-il? Oui, les gens ont des moyens de filigraner et de détecter si ce texte est produit par ces modèles, mais je ne sais pas si ce sera fiable si vous avez un modèle qui est vraiment bon pour injecter la bonne quantité de bruit.

Une chose que je mettrais en garde quiconque dans ce domaine est qu'il existe des systèmes d'apprentissage automatique et il y a comme, "comment puis-je faire en sorte que mon système d'apprentissage automatique ait une qualité suffisamment bonne pour qu'il atteigne mon seuil de détection d'image de 99% dans la vraie vie?" C'est une norme. Et il y a cette toute autre norme : comment construire mon système d'apprentissage automatique pour qu'il fonctionne bien par rapport à une entrée contradictoire ? C'est un tout autre jeu de balle.

"Pendant un certain temps, au moins, tout grand joueur avec un grand modèle de langage essaiera de vous arrêter si vous l'utilisez pour des tâches néfastes comme celle-là"

Dés : Conception défensive.

Fergal : Conception défensive. Comment puis-je me défendre contre une entrée contradictoire? Et en général, c'est vraiment difficile. Si vous me disiez : « Oh, j'ai un nouveau système d'apprentissage automatique sophistiqué qui détectera la fraude ou protégera mon système dans un environnement complexe », je serais extrêmement sceptique. Il existe des systèmes de détection de fraude, mais c'est différent de quelqu'un qui essaie d'attaquer le système d'apprentissage automatique.

Je pense que toute cette question de détecter quand vous parlez à un bot, quand vous parlez à un grand modèle de langage alors qu'il ne veut pas que vous le fassiez, ça va être difficile. Et si nous nous retrouvons dans une situation future où le service client est inondé par des bots prétendant être des utilisateurs, cela va être difficile à gérer. Mais j'imagine que pendant un certain temps, au moins, tout gros joueur avec un grand modèle de langage essaiera de vous arrêter si vous l'utilisez pour des tâches néfastes comme celle-là. Et il y aura un certain contrôle là-bas, car ces modèles d'une telle qualité sont difficiles à héberger et à exécuter vous-même sur n'importe quel type de matériel de modèle grand public. Il peut y avoir une certaine responsabilité.

Perturbations imminentes

Des : Si nous zoomons un peu, nous ne sommes probablement pas très loin de pouvoir générer une musique au son plausible. Musique de lobby, ce genre de chose.

Fergal : Ouais. Muzak.

Des : Muzak, exactement. Et dans une certaine mesure, il y a des chansons de formules générales – je pense que quelque chose comme 65 chansons numéro un ont les mêmes quatre accords ou quelque chose comme ça, ou des chansons les mieux classées de toute façon. Et, évidemment, les romans de Dan Brown suivent tous un format simple. Cela ne veut pas dire que c'est mauvais, mais dans quelle mesure la société change-t-elle lorsque tout ce qui est exprimé dans une certaine mesure sous forme de formule peut être reproduit, et finalement, vous pouvez en obtenir une version à 0 $ ? Le Da Vinci Code est toujours le Da Vinci Code, c'est un très bon livre selon n'importe quelle définition normale, mais vous pouvez maintenant en obtenir la version bon marché pour 0 $ ou cinq cents ou autre. Et puis, vous pensez que cela se produit dans tous les types de créativité. Encore une fois, cela ne veut pas dire que les sorties de ces technologies seront comparables, mais elles seront potentiellement 1% du prix. Comment pensez-vous que le monde change dans ce genre de futur ?

« C'est le paradoxe de Jevons – parfois, faire quelque chose moins cher signifie que vous finissez par en faire beaucoup plus. Ces dynamiques sont vraiment difficiles à prévoir »

Fergal : Je pense de différentes manières. Vous pouvez regarder des analogies avec le passé. Vous pouvez regarder la peinture, puis la photographie est arrivée, et tout à coup, il était facile de capturer une image de paysage mais-

Des: Je suis sûr que les peintres n'aimaient pas ça, n'est-ce pas ?

Fergal : Je ne connais pas assez bien l'histoire, mais en général, il y a un titulaire qui est contrarié chaque fois qu'il y a des perturbations.

Des: Je pense que c'était la même chose avec la radio ou les cassettes - les musiciens en direct disaient: "Eh bien, yo, c'était notre concert."

Fergal : Ouais. Chaque cinéma avait un pianiste qui jouait la bande originale, et cela a disparu. Les accordeurs de gramophones et de pianos, le métier à tisser et les luddites… Les exemples en sont innombrables. Et je pense qu'il y a d'autres domaines confrontés à des perturbations imminentes, et il y aura des conversations difficiles sur ce qui est précieux. De même, avec le support client, vous devez être sensible. Il y a toujours de meilleurs résultats et de moins bons résultats. Les gens pourraient regarder les grands modèles de langage s'améliorer dans l'écriture de code et dire : "Hé, en tant que programmeur, cette compétence précieuse dans laquelle j'ai investi des années, ça ne va plus être utile."

"Y aura-t-il moins de représentants du support client dans un monde avec beaucoup d'automatisation, ou y en aura-t-il plus parce que la valeur qu'ils peuvent apporter à une entreprise a été amplifiée ?"

Il y a différentes manières d'y penser. Vous pouvez y penser en termes d'AWS. Nous utilisons beaucoup Amazon chez Intercom, et probablement, si nous devions faire tout ce que nous avons fait sans AWS, cela nous coûterait plus d'ordres de grandeur de temps de programmeur pour le faire. Cela signifie-t-il que nous embauchons moins de programmeurs en conséquence ? Eh bien, cela signifie probablement que nous ne serions pas viables en tant qu'entreprise sans cette technologie habilitante. C'est le paradoxe de Jevons - parfois, faire quelque chose moins cher signifie que vous finissez par en faire beaucoup plus. Ces dynamiques sont vraiment difficiles à prévoir. Y aura-t-il moins de représentants du service client dans un monde où l'automatisation est importante, ou y en aura-t-il plus parce que la valeur qu'ils peuvent apporter à une entreprise a été amplifiée ?

Des : Lorsque nous prenons toutes les choses réelles, nous voyons en fait la valeur qu'elles apportent, et vous vous dites : « J'en veux plus.

Fergal : Vous en voulez plus ; vous en avez besoin de plus. Tout à coup, c'est comme, "Wow, que pourrions-nous débloquer en termes de valeur pour notre entreprise si nous avions beaucoup de ces représentants?" Chacun pourrait faire 10 fois plus qu'il ne le fait actuellement. On ne sait jamais. Je pense que c'est quelque chose qui passe parfois inaperçu. Les gens réagissent toujours aux perturbations technologiques et disent toujours : « Oh, vous pouvez gravir les échelons et obtenir un meilleur emploi. Vous pouvez devenir chef de produit si c'est là où vous voulez aller. » Et c'est potentiellement une façon. Mais une autre façon est que le simple fait de devenir beaucoup plus productif dans ce que vous faites actuellement peut transformer la quantité de travail que vous devez faire.

Des: Ou plus d'entreprises deviennent possibles à cause de cela.

Fergal : Plus d'entreprises deviennent possibles. C'est la meilleure chose. Je pense que tout cela va se dérouler avec des choses comme l'art de l'IA. De toute évidence, il y a un débat autour du plagiat et de la violation du droit d'auteur. Si quelqu'un va former DALL·E 2 sur tout un tas d'images, est-ce que c'est une violation du droit d'auteur ? Et s'ils apprenaient le style d'un artiste et que vous lui demandiez de produire un travail comme le leur ? Est-ce une violation du droit d'auteur ? Et il y a probablement beaucoup de choses que les systèmes juridiques et la société doivent comprendre là-bas. Une chose qui, à mon avis, manque parfois au débat est que même si vous décidez que c'est une violation du droit d'auteur d'entraîner les modèles actuels - et nous n'acceptons pas cela avec les humains ; les humains sont autorisés à regarder les choses et à copier leur style – quelqu'un construira toujours des modèles entraînés sur un travail ouvert et autorisé, et ils deviendront assez bons pour générer des images. Je pense que ce navire a navigué dans une certaine mesure.

Jusqu'où peut-il aller?

Des : Pour jeter quelques aiguilles ici, vous avez cité AWS comme un exemple où nous n'avons pas une équipe de serveurs massive ici. Nous n'avons pas de classeurs remplis de serveurs. Votre équipe d'IA est-elle plus petite à cause de l'existence d'OpenAI, Anthropic, et tout ça ? S'ils n'existaient pas, construiriez-vous une version IA de l'équipe serveur ?

Fergal : Ouais, je veux dire, c'est une sacrée question. Il y a différentes façons de le voir. L'équipe d'IA est-elle perturbée ? Et nous avons fait des allers-retours à ce sujet. Regardons la version actuelle des grands modèles de langage. Je jouais récemment avec GPT en tant que recommandateur de films. C'est comme, "Hey, j'aime regarder X et Y. Suggérez-moi quelque chose?" Et ce n'est pas mal. Je suis sûr que ce n'est pas aussi bon qu'un recommandateur bien réglé qui a toutes les meilleures données, mais ça fait beaucoup mieux que de choisir des films au hasard. Et ça va sortir, ça va cracher comme si c'était un raisonnement. Et son raisonnement, comme tout ce qu'il fait, est plausible, mais ce n'est pas mauvais. Donc, encore une fois, même si la technologie n'est pas géniale maintenant - je ne me précipiterais pas pour produire un recommandateur de film ou quoi que ce soit - et si ça devenait 10 fois ou 100 fois mieux ? Et si vous lui donniez beaucoup plus de données d'entraînement ou un meilleur régime d'entraînement ?

"Il y a des tonnes d'opportunités avec le mariage de cette nouvelle capacité dans des choses spécifiques pour lesquelles elle est bonne avec beaucoup d'échafaudages, beaucoup de produits autour de cela"

Des: Attendez juste GPT-4.

Fergal : Ouais, GPT-6, à quoi ça ressemble, n'est-ce pas ? Quels que soient les 10 milliards de dollars que vous achetez en informatique et en renforcement, en apprenant la rétroaction humaine, si c'est bien ce qui se passe. Et si cela arrive ? Allez-vous toujours construire un système de recommandation ? Quelqu'un vous demande un système de recommandation, allez-vous le faire ? Sam Altman a donné des conférences à ce sujet. Imaginez que nous puissions faire en sorte que ce soit au niveau humain. If you had something that was human-level general intelligence, would you need a machine learning team anymore? Or would you just sit down like, “Hi, how's it going? Today I'm going to teach you how to be a movie recommender.” You've got to give lots of examples, and it's got to be able to consume a data set about movies. But maybe it's just like, “Hey, AI system, write the code to consume the data set about movies.” Je ne sais pas.

“You're getting into big questions, Des. And maybe that's just where all our heads are going at the moment. But you can get into big questions about, like, by the time that's disrupted, what percentage of current human economic activity is disrupted?”

Des: Yeah, totally correct.

Fergal: But that's a very bullish case. Maybe we hit some asymptote before then, and I certainly don't think we're near that point at the moment. I think you still need your machine learning team. And I think we're certainly in this happy Jevons Paradox for a while where a lot of stuff is unlocked, and maybe we're doing slightly different work than we were before – we're certainly doing a lot more prompt engineering – but these systems are not yet good enough to just train-

Des: Yeah. To outsource the whole thing to OpenAI, and they'll solve our problems.

“If you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that”

Fergal: Right, yeah. I really hesitate to speculate about when. Just to give you one super concrete limitation. All these models have a prompt size. The amount of context you can pass to it with a prompt is limited. And that limit is baked in pretty low down. And so, a lot of the stuff the team is doing at the moment is around, “Hey, how do we work around that? How do we give them a relevant article?” And we're using more traditional machine learning techniques – traditional as in, invented five years ago. The classic stuff.

There are tons of opportunities with the marriage of this new capability in specific things it's good at with a lot of scaffolding, a lot of product work around that. I think there will be disruption, and it feels like extremely disruptive tech to me, particularly when you project a few years out. But we don't know how big it'll be. And I don't think anyone knows how big it'll be yet. Maybe the folks in OpenAI do. But if you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that. There's certainly no consensus on it.

Des: There was that quote from Sam Altman where he was asked something – I think it was some irrelevant question about challenges in San Francisco or something like that – and his answer was, “When you believe that artificial general intelligence is as close as I do, you struggle to think about any other problem.” When I read that, I was like, “Okay, well, he's certainly leaned a certain way.” Now, he could still be thinking in 20 years, but some societal problems are kind of irrelevant against the greater potential wave of what could be happening here.

“There's clearly a pitfall to avoid and an attractive pitfall to fall into”

Fergal: Yeah. Full disclaimer mode now. I think there's a lot of merit to that style of thinking, personally. I remembered there were times in the history of computation when it was like, “Oh, if you've got a million dollars to solve a computing problem and you need to solve it as soon as possible, what you need to do is sit with the million dollars for two years and then buy the fastest computer that the million could buy.

Des: I remember my own career. In 2006 or 2007, mobile websites were all the thing. Pre-iPhone, right? And people were talking about WAP and JMI files or JNI files, and everyone hyped up their mobile strategy. And literally, by the time I finished working out what I thought was the right recommendation for a client, the iPhone had launched. And I was like, “You know what? Ne vous inquiétez pas. Sit on your hands. Apple's going to solve this entire problem.” And sure enough, two months later, “Hey, it turns out all our websites are mobile-ready.” Sometimes, a tech wave can be so big that any temporal thing you do will just be irrelevant against the magnitude of what's going to happen.

Fergal: Yeah, if you believe AGI is close, I guess I can logically see that position. Now, clearly, it seems like there's a terrible mistake to make there where-

Des: Yeah, where we're wrong, and you've probably just been sitting on your hands.

Fergal: You've given yourself a license to ignore terrible, terrible things. So obviously, you've got to wait, and I'm not making any judgment on that. But yeah, there's clearly a pitfall to avoid and an attractive pitfall to fall into. I think it's very hard to bet against increasingly general intelligence. And I don't know timelines and stuff, but I think there are big questions for people to think about. Now, that's definitely way outside customer support or customer service.

Des: No, yeah. Well, look, thank you very much. We'll check in in six weeks to find out that this podcast is yet again out of date. We'll see where we're at again. But for now, thank you very much.

Fergal: Thanks, Des.