GPT ist gekommen, um zu bleiben. Wohin wird es uns führen?

GPT entfaltet sich vor uns und wir verpassen keinen Takt. Wenn wir das Potenzial und die Grenzen dieser neuen Technologie untersuchen, wird sie dem Hype gerecht?

Seit seiner Einführung Ende November hat ChatGPT die Herzen und Gedanken von Menschen auf der ganzen Welt für seine Fähigkeit erobert, menschenähnliche Antworten zu generieren. Wie bei jeder neuen Technologie klafft jedoch oft eine Lücke zwischen Hype und Realität. Und insbesondere die generative KI ist eine ganz natürliche Hype-Maschine.

Wir verstehen die Skepsis – große Sprachmodelle sind großartig darin, plausibel zu erscheinen, selbst wenn sie falsch sind. Aber ehrlich gesagt sind wir sehr optimistisch. In den letzten acht Wochen haben wir KI-gestützte Funktionen entwickelt und an 160 Beta-Kunden ausgeliefert, und das Feedback war überwältigend vielversprechend. So sehr, dass unser Director of Machine Learning, Fergal Reid, und ich Anfang dieser Woche eine spezielle Episode im Podcast veröffentlicht haben, um unsere Erkenntnisse darüber zu teilen, was wir gebaut und was wir gelernt haben.

Dieses Mal gehen wir über Intercom und sogar über den Kundenservice hinaus. In der heutigen Folge befassen wir uns mit allem, was mit GPT zu tun hat – von der Skepsis bis zu seiner Rolle in der Geschäftskommunikation, von der Unterbrechung der kreativen Arbeit bis zur Zukunft der Benutzeroberflächen.

Hier sind einige der wichtigsten Erkenntnisse:

• Es ist nicht nur die Technologie, die sich verbessert – wir verstehen immer besser, was wir bauen, wie wir es anpassen und integrieren können, und all diese Dynamiken treiben die Branche voran.
• Vielleicht wird die Zukunft der Mensch-Maschine-Schnittstellen durch personalisierte KI-gestützte Bots erleichtert, die die Absichten der Benutzer verstehen und ihre Interaktionen vermitteln.
• Diese Modelle haben viele neue Fähigkeiten freigeschaltet und täuschen jemanden auf den ersten Blick, aber ihnen fehlt immer noch der gesunde Menschenverstand, der erforderlich ist, um den Turing-Test zu bestehen.
• GPT kann die Kundendienstbranche stören, aber wenn die Automatisierung die Produktivität des Agenten erhöht, kann sie letztendlich Funktionen freisetzen, die ihren Wert für das Unternehmen steigern.

Stellen Sie sicher, dass Sie keine Highlights verpassen, indem Sie Intercom on Product auf Apple Podcasts, Spotify, YouTube folgen oder den RSS-Feed in Ihrem bevorzugten Player abrufen. Was folgt, ist eine leicht bearbeitete Abschrift der Episode.

Jenseits des Hypes

Des Traynor: Hallo und willkommen zum Intercom-Podcast. Fergal gesellt sich wieder zu mir, und wir werden über alles reden, was mit GPT zu tun hat. Fergal, seit dem Start von ChatGPT sind ganze acht Wochen vergangen. Die Leute haben bereits nützliche Produkte dagegen gebaut, und wir hatten bereits eine Welle von Skeptikern, die sagten, dies sei ein Spielzeug, es sei unreif, es sei noch nicht bereit für irgendetwas, was nur klassische Reaktionen auf neue Technologien sind. Was denkst Du gerade? Ist die Skepsis begründet? Haben wir eine Wahrnehmungsklippe überschritten, die wirklich wichtig ist?

Fergal Reid: Ja, ich denke, die Skepsis hat eine gewisse Berechtigung. Diese Dinger sind fast natürliche Hype-Maschinen. Es ist einfach so einfach, es anzusehen und zu sehen, wie es etwas tut, das gut erscheint. Wenn Sie sich nicht wirklich damit beschäftigen, sieht es wunderbar aus. Und dann, wenn du dich damit auseinandersetzt, denkst du: „Ah, das ist falsch, ich fühle mich irregeführt.“ Diese Maschinen sind darauf ausgelegt, plausible Dinge zu erzeugen, und wenn plausibel, aber falsch ein Problem für Sie ist, kann es sehr enttäuschend sein. Daher verstehe ich die Standardposition der Skepsis, mit der viele Leute zu dieser Technologie kommen.

„ChatGPT, wie es heute im Internet verfügbar ist, mag ein Spielzeug sein, aber das bedeutet nicht, dass wir die zugrunde liegende Technologie nicht nehmen und daraus unglaublich wertvolle Geschäftsfunktionen entwickeln können.“

Wir waren jedoch immer sehr optimistisch in Bezug auf generative KI, und seit unserem letzten Gespräch haben wir einige Funktionen entwickelt, wir haben sie in die Beta-Version geliefert, wir hatten über 160 Kunden in unserer Beta, die diese Funktionen verwenden: Zusammenfassung, einige Features im Composer sind experimenteller, um zu versuchen, Menschen schneller zu machen. Und dann haben wir eine Welle von anderen Features in Prototypform, die noch nicht ganz da sind – Dinge mit großem Preis-Leistungs-Verhältnis – aber wir glauben, dass wir eine Sichtlinie dazu sehen. Wir verstehen also die Skepsis, wir waren optimistisch, und jetzt haben wir Daten – echte Kundennutzung, echte Kunden, die uns sagen, dass es einen bestimmten Job gibt, den sie machen wollen, den sie jeden Tag den ganzen Tag machen, und das ist transformativ für das. Und das lässt für mich die Position der Skepsis etwas wackelig erscheinen.

Des: Die Tatsache, dass die Leute das Ding tatsächlich verwenden, um Teile ihrer Arbeit täglich zu erledigen.

Fergal: Ja. Das ist der ultimative Schiedsrichter. Es ist sehr schwierig, skeptisch zu sein, wenn die Leute es tatsächlich benutzen und nicht nur als Spielzeug. Es gibt eine Logik da draußen. Wir haben einige Artikel in The Atlantic und ähnlichen Orten gesehen, wo die Leute sagten: „Hey, schau, das Ding ist eher ein Spielzeug als ein wirklich wertvolles Produkt.“ Und ChatGPT, wie es heute im Internet verfügbar ist, mag ein Spielzeug sein, aber das bedeutet nicht, dass wir die zugrunde liegende Technologie nicht nehmen und daraus unglaublich wertvolle Geschäftsfunktionen entwickeln können.

Mein Team war wahrscheinlich eines von mehreren Teams, die das in den letzten Monaten getan haben, um zu sagen: „Wow, das liefert echten Mehrwert“, und ich denke, wir sind wahrscheinlich eines der größeren Unternehmen im Kundenservice, das erfolgreich ist Wir hatten einen Entwicklungszyklus, in dem wir dies tatsächlich in die Hände von Hunderten von Kunden gebracht und Feedback dazu erhalten haben. Und sie haben uns wirklich gesagt: „Ja, das spart mir wirklich Zeit; das macht meine Arbeit schneller.“ Ja, die Skepsis wird schwerer aufrechtzuerhalten. Das ist ein Argument. Ich denke, Sie können die Skepsis auch von einer anderen Position aus angreifen: Wir haben viele Tweet-Threads und Artikel gesehen, die dieser Technologie gegenüber skeptisch sind, weil die vorherige Generation den Abgrund nicht überquert hat und nicht transformativ war. Und sie sind skeptisch, weil neue Technologien immer überbewertet werden. Aber das sind keine guten Argumente. Das sind Argumente, die für eine Weile richtig sind und dann furchtbar falsch werden. Sie können hier scheitern, wenn Sie zu optimistisch sind, aber Sie können genauso scheitern, wenn Sie...

Des: Leer und pessimistisch.

Fergal: Genau. Leer und pessimistisch.

„Es passieren so viele Dynamiken gleichzeitig, die sich gegenseitig beeinflussen und verstärken werden.“

Des: Die Parallele, die Sie sehen, sind Leute, die jede neue Startup-Idee verwerfen, von der sie jemals gehört haben. Und die Sache ist die, dass 90 % der Startups nicht funktionieren. In 90 % der Fälle liegen Sie genau richtig und sehen richtig schick aus. Dann ruiniert man ein Geschäft, das zu einem Billionen-Dollar-Geschäft wird, und alle sagen: „Richtig, es stellt sich heraus …“ Ich glaube, es war Nat Friedman, der sagte: „Pessimisten klingen schlau, Optimisten werden reich“ oder so ähnlich . Und es ist etwas Wahres daran, wenn Sie jede Meinung tatsächlich gewichten: Das Ausmaß, in dem Sie falsch liegen, wenn Sie falsch liegen, übertrifft das Ausmaß, in dem Sie geringfügig Recht haben, nur weil Sie technisch skeptisch sind.

Fergal: Ja, 100 %. Sehen Sie, ich glaube an KI und ihren Wert. Ich denke, wir haben genug Beweise für echten Wert. In den letzten zehn Jahren beobachten wir, dass der Trend des maschinellen Lernens und der KI im Allgemeinen immer weiter zunimmt. Wir haben neue Fähigkeiten. Ich denke, mein Team hat genügend Beweise dafür, dass zumindest einige Funktionen für GPT-3.5 und für andere große Sprachmodelle freigeschaltet sind, die vor sechs Monaten noch nicht da waren. Ich glaube, es gibt einen Überhang; Es gibt viel mehr Produkte, die wir jetzt bauen könnten, die noch nicht gebaut wurden, als es gab. Also ja, wir sind optimistisch und beginnen, Kunden zu sehen, denen wir Beta geliefert haben, um uns zu sagen: „Ja, das funktioniert, das ist großartig.“

Wir haben das letzte Stück noch nicht ganz überquert. Wir wissen, dass dies in Bezug auf den Kernwert für die Aufgaben, mit denen unsere Kunden 99 % ihrer Zeit verbringen, transformativ ist. Daher liefern wir die Zusammenfassungsfunktion und andere Funktionen aus, um Zeit im Posteingang zu sparen. Aber es kommen große Dinge hierher, die wir noch nicht gebaut haben, an denen wir intern arbeiten, aber wir haben sie noch nicht auf einem Markt gesehen. Wir glauben also, dass die eigentliche Aufregung noch bevorsteht.

Des: Es gibt eine Transformationshierarchie, bei der mich sicher jemand in den Kommentaren korrigieren wird, aber wir haben bereits Live-Funktionen eingeführt, um bestimmte Workflows zu transformieren, und durch die Transformation wollen wir die Kosten dafür auf 5 % reduzieren was es einmal war. Im Fall von, sagen wir, Zusammenfassung. Dann könnte es sehr gängige Arbeitsabläufe verändern. Dann verändert es vielleicht den Job, dann die Organisation und ganz oben das Geschäft. Aber es ist ziemlich klar, da wir immer mehr Anwendungsfälle identifizieren, in denen wir viel Wert liefern können, dass wir uns durch diese für mich unvermeidliche Transformation der Welt des Kundenservices nach oben weben.

„Wir sind intern zu unseren Kunden gegangen und mussten die Beta-Rekrutierung viel früher abschließen, als wir wollten, weil es eine der größten Rückmeldungen war, die wir je erhalten haben.“

Fergal: Absolut. Es gibt so viele Möglichkeiten, wie sich dies parallel ändert. Es passieren so viele Dynamiken gleichzeitig, die sich gegenseitig beeinflussen und verstärken werden. Der erste ist ziemlich offensichtlich: Die verfügbare Technologie wird immer besser. Das hört nicht auf. OpenAI und andere Spieler wie Anthropic bauen ständig neue Modelle, und sie sind aufregend. Das hört nicht auf. Das ist also eine Dynamik. Und es gibt noch eine weitere Dynamik, nämlich dass wir immer besser darin werden, Produkte um diese herum zu entwickeln. Wir werden immer besser darin, diese Modelle zu nehmen und herauszufinden, worin sie gut sind. Und es gibt noch eine weitere Dynamik: Wir werden immer besser darin, sie anzupassen, die richtigen Eingabeaufforderungen zu erstellen und sie in unsere bestehenden Systeme zu integrieren. Und dann werden die Erwartungen unserer Kunden immer höher.

Wir haben wirklich festgestellt, dass es seit ChatGPT eine riesige Welle des Interesses unserer Kunden gibt. Sie können das Versprechen sehen und glauben, dass hier etwas ist. Mit der Beta sind wir intern zu unseren Kunden gegangen und mussten die Beta-Rekrutierung viel früher abschließen, als wir wollten, weil es eine der größten Reaktionen war, die wir je bekommen haben. Die Leute wollten dabei sein. Also, all diese Dinge zusammen werden meiner Meinung nach viel mehr vergrößern als jedes einzelne von ihnen.

Des: Es ist interessant, wie Sie das aufschlüsseln. Die Technologie verbessert sich, die Fähigkeiten der Unternehmen verbessern sich, und das ist nur die Übernahme in lokalen Fällen. Und dann verbessert sich die Fähigkeit der Unternehmen, mithilfe dieser Technologie über neue Produkte und Möglichkeiten nachzudenken oder diese zu konzipieren. Gleiches gilt für die Erwartungen der Kunden an die Technologie. Wir sind wahrscheinlich nur noch ein Jahr davon entfernt, dass Leute erwarten, Text innerhalb eines Textfelds erweitern zu können, um nur ein einfaches Beispiel zu nennen. Sie sehen diese Dinge irgendwie überall auftauchen.

Fergal: Wenn schon ein Jahr. Offensichtlich haben viele von uns die Microsoft-Ankündigung gesehen, diese Funktionen in Word und so zu integrieren. Und es wird sich schnell ändern, wenn die großen Mainstream-Office-Produktivitätstools dies tun. Es könnte wirklich schnell gehen.

Der Aufstieg des KI-Assistenten

Des: Hier ist eine andere Art von Skepsis, die ich angreifen werde – eine, die mich sowieso leicht anspricht. Ich glaube, Kevin Cannon hatte einen lustigen Tweet, in dem er sagte: „Die Zukunft besteht aus Leuten, die GPT verwenden, um Dinge wie ‚Ich will den Job‘ in einen liebenswerten Brief wie ‚Sehr geehrter Herr‘ oder ‚Madame‘ zu erweitern, bla, bla , bla… Und dann klickt der Empfänger auf die Zusammenfassungsschaltfläche, um zu sehen, dass die Person gerade gesagt hat: „Ich will den Job, hier ist mein Lebenslauf“ oder was auch immer. In gewisser Weise wären Sie versucht, sie anzusehen und zu sagen, was zum Teufel soll das alles? Sind formale Sprache, professionelles Schreiben und Geschäftsenglisch zu einem sinnlosen Kanal für die theatralische Art und Weise geworden, wie wir alle kommunizieren, wenn ich Ihnen in Zukunft einfach die Aufforderung schicke und Sie mit einer Aufforderung antworten, wie „Ich möchte die Arbeit." „Du kannst den Job nicht haben.“

Fergal: Ja. Schwere Frage. Es ist ernsthaft spekulativ. Ich gebe Ihnen einige Meinungen. Es gibt wahrscheinlich bestimmte Kontexte, oder? Sagen wir ein juristisches Dokument. Sie können zu jemandem in Ihrer Rechtsabteilung sagen: „Hey, ich brauche einen Vertrag. Es muss X, Y und Z erledigen.“ Diese Anfrage wird zu 10 Seiten juristischen Zeugs. Der Empfänger wird sagen: „Oh, tut es die drei Dinge, die es versprochen hat?“ Und ihr Rechtsteam wird sagen: „Ja, das tut es.“ Dies ist das eine Ende des Extrems, wo es große Expansion und Komprimierung gibt, aber in einem seltsamen Randfall kann Klausel Nummer 13 auf Seite zwei vor Gericht auftauchen und so weiter. Also klar, das zählt. Wir können es nicht loswerden. Wir können nicht nur diese vier Stichpunkte haben. Das alles brauchen wir. Sie halten es vielleicht nicht für wesentlich, wenn Sie es schreiben, aber es kann später wesentlich werden. Das fühlt sich wie ein Extrem an, wo es heißt: „Nein, es fühlt sich an, als müsste das da sein“, etwas, um mit all diesen Grenzfällen fertig zu werden.

Und das andere Extrem ist wahrscheinlich eine Situation, in der sich der Verteidiger und der Empfänger nicht um diese Details kümmern. Beide werden sich nie um diese Details kümmern, und sie beachten nur einige gesellschaftliche Anstandsregeln oder Formalitäten von „So schreibt man einen Geschäftsbrief. Ich schreibe an eine große Firma, ich schreibe besser einen Geschäftsbrief“, und vielleicht verschwindet das Zeug.

Des: Genauso denke ich, dass die Analogie für mich wäre, wenn E-Mail-Konversationen zu SMS, iMessage oder WhatsApp verschoben würden. Denk an all den Scheiß, den du nicht mehr sagst. „Ich hoffe, es geht dir gut“, oder was auch immer. Der ganze Scheiß ist weg.

Fergal: Die Zwänge von Twitter, das Format, das Medium, geben Ihnen die Erlaubnis, knapper zu werden. Ich denke, das ist eine echte Dynamik. Die Art und Weise, wie wir kommunizieren und einen Help-Center-Artikel schreiben, ist möglicherweise nicht die optimale Art, ihn zu schreiben. Vielleicht sollten wir uns kürzer fassen. Im Team für maschinelles Lernen gibt es eine andere Denkweise darüber. Die Zukunft der Welt wird von Agenten vermittelt. Und es war einmal für jeden offensichtlich. Ihr Webbrowser hatte einen Benutzeragenten, der ihn und so weiter aneinanderreihte. Und wie ich schon sagte, es ist Ihr Agent, der für Sie durch dieses seltsame Internet mit all diesen Links und Sachen navigiert. Es wird Sachen für dich erledigen, zurückkommen und dir Dinge erzählen. Und dann wurde all das Zeug zentralisiert und jetzt haben Sie eine Suchmaschine und so weiter.

„Es wäre eine Sache, wenn wir nur die DALL·E 2-Bilderzeugung gesehen hätten. Aber nein, wir sehen Veränderungen in der Audiosynthese, Bildsynthese, Textverständnis, Textsynthese und Textkomprimierung.“

Es gibt eine alte Idee im Tech-Futurismus und Science-Fiction und so weiter, dass Sie wahrscheinlich einen Agenten haben werden, der Sie, Ihre Absichten und Ihre Wünsche versteht und klug genug ist, um herauszufinden, was Sie darauf aufmerksam machen soll und was nicht zu. Möglicherweise wird dies in Zukunft eher so verlaufen. Wenn Sie ein bestimmtes Detail wissen möchten, ist die Software auf Ihrer Seite intelligent genug, um dies in die zusammengefasste Version aufzunehmen. Aber es ist schlau genug zu wissen, dass Sie dieses Detail nicht wissen wollen und es wegzulassen.

Vielleicht leben wir in einer Zukunft, in der sich Benutzeroberflächen ändern, in der meine Benutzeroberfläche für ein bestimmtes Geschäft oder eine bestimmte Aufgabe nicht wirklich von diesem Geschäft oder dieser Aufgabe kontrolliert wird, wie es heute der Fall ist. Stattdessen ist es für mich personalisiert. Das klingt sehr ausgefallen, aber ich denke, es wird schnell gehen. Diese Sprachmodelle sind sehr leistungsfähig, sie werden allmählich zum Schreiben von Code usw. verwendet, und von hier aus ist es nur noch ein Katzensprung, um von mir aus Maßnahmen zu ergreifen. Wir haben da draußen einige Prototypen gesehen, bei denen Leute an Modellen arbeiten, die eine Website gut genug verstehen, um einen englischen Satz aufzunehmen und für Sie auf der Website zu navigieren. Und steuern wir dann auf eine Zukunft zu, in der jeder so mit Websites interagiert? Brauchen Sie noch eine Website?

Des: Ist das die neue SEO? Stellen Sie sicher, dass Ihr GPT Sie verstehen kann?

Fergal: Ja. Vielleicht verwandeln sich Websites in etwas, das eher wie eine öffentlich zugängliche API aussieht, und das ist etwas mit UI und Formatierung, weil die UI von den Agenten formatiert wird.

Des: Wir reden alle nur mit Siri oder was auch immer.

„Vielleicht sieht so die Zukunft mit Bots aus. Wir haben alle einen für uns personalisierten Bot, der die Schnittstellen übernimmt, und Sie müssen sich nicht wirklich so viele Gedanken über diese Zwischenschicht machen.“

Fergal: Ja, und ich denke, Google und Apple können diese Zukunft sehen. Wir kennen den Zeitplan nicht, aber das Denkwerkzeug, das ich immer benutze, ist: Was wäre, wenn Sie einen sehr klugen Menschen hätten, der Sie versteht, der mit Ihnen gearbeitet hat, vielleicht einen persönlichen Assistenten, und Sie wären mit ihnen verbunden, und? Sie wollten einen Urlaub buchen? Was würden sie dich dazu fragen? Und bei der Hälfte der Dinge, die Sie auf booking.com oder was auch immer sehen, werden sie Sie das nicht fragen – sie werden nur den Urlaub für Sie buchen und vielleicht mit klärenden Fragen zurückkommen: „Oh, Sie wollten Geh und bleib in einer Wohnung, aber da ist kein Platz. Reicht ein Hotel?“ Aber das ist eine anpassbare Benutzeroberfläche. Auch hier konzentriere ich mich nicht zu sehr auf ChatGPT und das, was gerade ausgeliefert wurde. Sie nehmen ein oder zwei Jahre Auszeit. Es bewegt sich zu schnell. Wenn Sie aufgrund der aktuellen Einschränkungen skeptisch sind, gehen Sie-

Des: Ihre Skepsis wird das Ziel verfehlen.

Fergal: Genau. Transformatoren sind extrem leistungsfähig, und die von Menschen verwendeten Transformatorarchitekturen sind äußerst leistungsfähig. Wir haben gesehen, dass sich hier mehrere Modalitäten verbessert haben. Es wäre eine Sache, wenn wir nur die DALL·E 2-Bilderzeugung gesehen hätten. Aber nein, wir sehen Veränderungen in der Audiosynthese, Bildsynthese, Textverständnis, Textsynthese, Textkomprimierung. Wir sehen so viele parallele Fortschritte. Es kann Code schreiben. Es wird wahrscheinlich bald in der Lage sein, eine Website zu betreiben. Vielleicht sieht die Zukunft mit Bots so aus. Wir alle haben einen für uns personalisierten Bot, der die Schnittstellen übernimmt, und Sie müssen sich nicht wirklich so viele Gedanken über diese Zwischenschicht machen.

Des: Eine Super-Prototyp-Szene, die ich auf Twitter gesehen habe, war jemand, der einen Bot darauf trainierte, mit seiner eigenen Stimme zu sprechen, glaube ich, und eine Nummer anzurufen und durch einen Bank-Telefonbaum zu navigieren, effektiv zu einem Agenten durchzukommen und darum zu bitten, alle ihre zu haben Devisentransaktionen erstattet oder so etwas. Etwas, das die Art von Standard ist, bei dem Sie nur fragen müssen, und sie tun es. Es ging bis zum Schluss durch. Und buchstäblich sagten sie nur: „Geh“ und gingen weg. Das war offensichtlich super erfunden, vielleicht super geschlossen, aber es war immer noch ein sehr realer Anwendungsfall, der automatisch durchgängig ausgeführt wurde.

Fergal: Ich denke, es ist ein wirklich interessantes Gebiet. Wir sprechen viel darüber, wie sich der Kundenservice verändern wird, und wo unsere Köpfe immer hingehen, ist das, was passieren wird, wenn Sie einen Bot wie ChatGPT haben, der jedoch an Ihr Unternehmen angepasst ist und wirklich gut darin ist, Fragen zu beantworten, und die Kosten für Kundenserviceprobleme sinken. Aber es gibt noch eine andere Seite. Wie wird sich der Kundenservice ändern, wenn der Benutzer einen Bot hat, der Kundenservice-Interaktionen verarbeiten kann und nicht aufgibt oder müde wird? Und dort gibt es möglicherweise eine große Veränderung.

Des: Das neue B2B wird im Grunde Bot-to-Bot sein.

Fergal: Vielleicht. Es kann eine Weile dauern, bis die Benutzer über diese Art von Technologie verfügen, aber es ist eine interessante Sache, darüber nachzudenken.

Das Authentizitätsrätsel

Des: Wie denken Sie im Allgemeinen über diese doppelseitige Welt der Schöpfung und letztendlich, was als Täuschung angesehen werden könnte – das sieht aus wie ein Gemälde, aber es ist kein Gemälde, es wurde erzeugt – im Vergleich zu Entdeckung, der Idee, die Menschen sagen können , „Hey, ich habe diesen Code wirklich von Hand geschrieben, das ist kein generierter Code.“ Wie wichtig ist es für die Menschheit, sich in dieser Welt zurechtzufinden? Es gibt eine berühmte Szene in Westworld, einer Fabrik für westliche Roboter, wo ein Typ...

Fergal: Es ist ein Remake einer alten Sache.

Des: Oh, ist es? Neuigkeiten für mich. Ich wusste nicht, dass es ein Remake eines alten Dings war. Aber in Westworld gibt es eine Szene, in der ein Typ auf eine Frau trifft, sich mit ihr unterhält und am Ende sagt: „Ich muss fragen, bist du echt?“ Ihre Antwort lautet: „Wenn Sie fragen müssen, warum ist das wichtig?“ Und ich denke, da ist etwas dran. Wird das Übertreffen unserer Erkennungsfähigkeit als die Definition von authentisch angesehen? Ist Authentizität überhaupt noch eine Sache? Wie wird eine Person im Banking-Beispiel sagen: „Hey, Fergal, bist du das wirklich oder ist das ein Bot, den du trainiert hast?“ Vor allem, wenn Sie ihm beigebracht haben, diese Frage zu beantworten.

Fergal: Da gibt es einige große Fragen. Da sind mindestens fünf Fragen drin, die ich wahrscheinlich aus den Augen verloren habe. Man könnte über den Turing-Test sprechen, ein sehr vorausschauendes Papier darüber, wie wir feststellen können, wann ein Computer richtig intelligent geworden ist, und dann war ein Test ein dysfunktionaler Test – wenn ein menschlicher Richter zuverlässig zwischen den beiden unterscheiden kann über eine Textschnittstelle oder was auch immer, wir könnten sagen, es ist nicht intelligent. Und wenn es das passiert, sollten wir akzeptieren, dass es funktional intelligent ist. Es wird oft falsch dargestellt, aber sein Artikel lautete eher: „Es macht etwas wirklich Interessantes, wenn es so weit kommt.“ Und das ist eine Art, Dinge funktional anzugehen.

„Erzählen Sie eine Geschichte, in der viel los ist, und stellen Sie ihr dann eine Art komplexe, folgerichtige Frage dazu, und es wird immer noch stolpern.“

Des: Und wir sind vorbei, würde ich sagen. So ungefähr.

Fergal: Es gibt immer Schlagzeilen darüber, dass etwas den Turing-Test besteht. Ich denke, die ursprüngliche Formulierung ist so etwas wie ein erfahrener Vernehmer oder so etwas. An diesem Punkt sind wir noch nicht. Wenn jemand darauf trainiert ist, die richtigen Fragen zu stellen, wird dieses Zeug schnell zusammenbrechen. Es hat nicht das tiefe Weltmodell, das ein Mensch hat.

Des: Richtig. Wie würden Sie den Trick machen, eine selbstbezogene Frage zu stellen? Sie würden jemanden bitten, es sprachlich zu stolpern?

Fergal: Die Technik wird darin immer besser. Aber es ist eher so, als würde man eine komplexe Domain einrichten. Erzählen Sie eine Geschichte, in der viel los ist, und stellen Sie ihr dann eine Art komplexe, konsequente Frage dazu, und es wird immer noch stolpern. Es wird auf eine Weise stolpern, die ein Kind nicht tun würde. Aber ich denke, der richtige Weg, darüber nachzudenken, ist, dass Sie es mit außerirdischer Intelligenz zu tun haben. Sie wollen es Intelligenz nennen, aber es wird anders geformt sein. Es wird also eine Menge Dinge geben, die ein siebenjähriges Kind nicht schreiben könnte – ich werde in der Lage sein, ein Computerprogramm zu schreiben, aber das, was man gesunden Menschenverstand nennen könnte, ist noch nicht da. Das heißt, philosophisch gesehen, geht es darum, ob dieses Ding lebt und Dinge wahrnimmt. Und nein, eindeutig nicht, bei den meisten Definitionen würden die meisten Menschen sie verwenden. Aber das ist eine Art Abbiegung in die Philosophie von KI-Fragen.

Um auf Ihren ursprünglichen Punkt zurückzukommen, was ist, wenn Sie CAPTCHAs für diese Systeme erstellen möchten? Wie sieht das aus? Ja, die Leute haben Möglichkeiten, Wasserzeichen zu setzen und zu erkennen, ob dieser Text von diesen Modellen erzeugt wird, aber ich weiß nicht, ob das zuverlässig ist, wenn Sie ein Modell haben, das wirklich gut darin ist, die richtige Menge an Rauschen zu injizieren.

Eine Sache, vor der ich jeden in diesem Bereich warnen möchte, ist, dass es maschinelle Lernsysteme gibt, und es gibt Fragen wie: „Wie kann ich dafür sorgen, dass mein maschinelles Lernsystem eine so gute Qualität hat, dass es im wirklichen Leben meine 99-prozentige Bilderkennungsschwelle erreicht?“ Das ist ein Standard. Und es gibt diesen ganz anderen Standard: Wie baue ich mein maschinelles Lernsystem so auf, dass es im Vergleich zu gegnerischen Eingaben gut funktioniert? Das ist ein ganz anderes Ballspiel.

„Zumindest für eine Weile wird jeder Big Player mit einem großen Sprachmodell versuchen, Sie aufzuhalten, wenn Sie es für solche schändlichen Aufgaben verwenden.“

Des: Defensives Design.

Fergal: Defensives Design. Wie verteidige ich mich gegen gegnerischen Input? Und im Allgemeinen ist das wirklich schwer. Wenn Sie mir sagen würden: „Oh, ich habe ein neues schickes maschinelles Lernsystem, das Betrug erkennt oder mein System in einer komplexen Umgebung schützt“, wäre ich äußerst skeptisch. Es gibt Betrugserkennungssysteme, aber das unterscheidet sich von jemandem, der versucht, das maschinelle Lernsystem anzugreifen.

Ich denke, dieses ganze Problem zu erkennen, wenn Sie mit einem Bot sprechen, wenn Sie mit einem großen Sprachmodell sprechen, wenn es Sie nicht will, das wird schwierig sein. Und wenn wir in Zukunft in eine Situation geraten, in der der Kundenservice von Bots überflutet wird, die sich als Benutzer ausgeben, wird es schwierig, damit umzugehen. Aber ich kann mir vorstellen, dass zumindest für eine Weile jeder große Player mit einem großen Sprachmodell versuchen wird, Sie aufzuhalten, wenn Sie es für solche schändlichen Aufgaben verwenden. Und es wird eine gewisse Kontrolle geben, da diese Modelle von so hoher Qualität schwierig zu hosten und selbst auf jeder Art von Hardware für Verbrauchermodelle zu betreiben sind. Es kann eine gewisse Verantwortlichkeit geben.

Drohende Störungen

Des: Wenn wir ein bisschen hochzoomen, sind wir wahrscheinlich nicht allzu weit davon entfernt, plausibel klingende Musik zu erzeugen. Lobbymusik, so was.

Fergal: Ja. Muzak.

Des: Muzak, genau. Und bis zu einem gewissen Grad gibt es allgemeine Formel-Songs – ich denke, so etwas wie 65 Nummer-Eins-Songs haben die gleichen vier Akkorde oder so etwas, oder sowieso Top-Chart-Songs. Und natürlich folgen alle Romane von Dan Brown einem einfachen Format. Das heißt nicht, dass es schlecht ist, aber inwieweit verändert sich die Gesellschaft, wenn alles, was bis zu einem gewissen Grad in einer formelhaften Natur ausgedrückt wird, repliziert werden kann, und Sie letztendlich eine 0-Dollar-Version davon erhalten können? The Da Vinci Code ist immer noch The Da Vinci Code, es ist nach jeder normalen Definition ein ziemlich gutes Buch, aber Sie können jetzt die billige Kellerversion davon für 0 $ oder fünf Cent oder was auch immer bekommen. Und dann denkst du daran, dass es in jeder Art von Kreativität passiert. Auch dies soll nicht heißen, dass die Ergebnisse dieser Technologien vergleichbar sind, aber sie werden möglicherweise 1 % des Preises betragen. Wie wird sich Ihrer Meinung nach die Welt in einer solchen Zukunft verändern?

„Es ist das Jevons-Paradoxon – manchmal bedeutet etwas billiger zu machen, dass man am Ende viel mehr davon macht. Diese Dynamik ist wirklich schwer vorherzusagen.“

Fergal: Ich denke sehr unterschiedlich. Sie können Analogien aus der Vergangenheit betrachten. Sie können sich Malerei ansehen, und dann kam die Fotografie, und plötzlich war es einfach, ein Landschaftsbild aufzunehmen, aber -

Des: Ich bin sicher, dass die Maler es nicht mochten, richtig?

Fergal: Ich kenne die Geschichte nicht gut genug, aber im Allgemeinen gibt es einen Amtsinhaber, der sich über jede Störung aufregt.

Des: Ich denke, es war dasselbe mit Radio- oder Kassettenbändern – Live-Musiker sagten: „Nun, yo, das war unser Gig.“

Fergal: Ja. Früher hatte jedes Kino einen Pianisten, der den Soundtrack spielte, und das ist weg. Grammophon- und Klavierstimmer, der Webstuhl und die Maschinenstürmer … Dafür gibt es unzählige Beispiele. Und ich denke, es gibt andere Bereiche, die unmittelbar vor einer Störung stehen, und es wird harte Gespräche darüber geben, was wertvoll ist. Ebenso müssen Sie beim Kundensupport sensibel sein. Es gibt immer bessere Ergebnisse und schlechtere Ergebnisse. Die Leute sehen sich vielleicht große Sprachmodelle an, die beim Schreiben von Code besser werden, und sagen: „Hey, als Programmierer, diese wertvolle Fähigkeit, in die ich Jahre investiert habe, meine Güte, sie wird nicht mehr nützlich sein.“

„Wird es in einer Welt mit viel Automatisierung weniger Kundenbetreuer geben oder werden es mehr sein, weil der Wert, den sie einem Unternehmen bringen können, vergrößert wurde?“

Es gibt verschiedene Möglichkeiten, darüber nachzudenken. Sie können es in Bezug auf AWS betrachten. Wir verwenden Amazon häufig bei Intercom, und wenn wir alles, was wir getan haben, ohne AWS tun müssten, würde es uns wahrscheinlich mehr Programmierzeit kosten, um dies zu tun. Bedeutet das, dass wir dadurch weniger Programmierer einstellen? Nun, es bedeutet wahrscheinlich, dass wir als Unternehmen ohne diese Technologie nicht durchführbar wären. Es ist das Jevons-Paradoxon – manchmal bedeutet etwas billiger zu machen, dass man am Ende viel mehr davon macht. Diese Dynamik ist wirklich schwer vorherzusagen. Wird es in einer Welt mit viel Automatisierung weniger Kundenbetreuer geben oder werden es mehr sein, weil der Wert, den sie einem Unternehmen bringen können, vergrößert wurde?

Des: Wenn wir all die echten Sachen nehmen, sehen wir tatsächlich den Wert, den sie bringen, und Sie sagen: „Ich will mehr davon.“

Fergal: Du willst mehr davon; davon braucht man mehr. Plötzlich ist es so: „Wow, was könnten wir in Bezug auf den Wert für unser Unternehmen freisetzen, wenn wir viele dieser Vertriebsmitarbeiter hätten?“ Jeder könnte 10-mal mehr leisten als er derzeit tut. Man weiß nie. Ich denke, das ist etwas, das manchmal vermisst wird. Die Leute reagieren immer auf technologische Disruption und sagen immer: „Oh, Sie können die Werteleiter erklimmen und einen besseren Job bekommen. Sie können Produktmanager werden, wenn Sie dorthin wollen.“ Und das ist möglicherweise ein Weg. Aber eine andere Möglichkeit ist, dass Sie einfach viel produktiver bei dem werden, was Sie derzeit tun, und die Menge davon, die Sie tun müssen, verändern kann.

Des: Oder mehr Geschäfte werden dadurch möglich.

Fergal: Mehr Geschäfte werden möglich. Das ist das Beste. Ich denke, das alles wird sich mit Dingen wie KI-Kunst entfalten. Offensichtlich gibt es eine Debatte über Plagiate und Urheberrechtsverletzungen. Wenn jemand hingeht und DALL·E 2 an einer ganzen Reihe von Bildern trainiert, war das eine Urheberrechtsverletzung? Und was wäre, wenn sie den Stil eines Künstlers lernen würden und Sie ihn dann bitten würden, Arbeiten wie ihre zu produzieren? Ist das eine Urheberrechtsverletzung? Und es gibt wahrscheinlich eine Menge Dinge, die Rechtssysteme und die Gesellschaft dort klären müssen. Eine Sache, die meiner Meinung nach manchmal in der Debatte fehlt, ist, dass selbst wenn Sie entscheiden, dass es eine Urheberrechtsverletzung ist, die aktuellen Modelle zu trainieren – und wir akzeptieren das bei Menschen nicht; Menschen dürfen sich die Dinge ansehen und ihren Stil kopieren – jemand wird immer noch Modelle bauen, die auf offene, zulässige Arbeit trainiert sind, und sie werden ziemlich gut darin werden, Bilder zu erzeugen. Ich denke, dass das Schiff bis zu einem gewissen Grad gesegelt ist.

Wie groß darf es werden?

Des: Um hier ein paar Nadeln wegzuwerfen, Sie haben AWS als ein Beispiel genannt, wo wir hier kein riesiges Serverteam haben. Wir haben keine Aktenschränke voller Server. Ist Ihr KI-Team aufgrund der Existenz von OpenAI, Anthropic und all dem kleiner? Wenn es sie nicht gäbe, würden Sie eine KI-Version des Serverteams bauen?

Fergal: Ja, ich meine, das ist eine höllische Frage. Es gibt verschiedene Betrachtungsweisen. Wird das KI-Team gestört? Und wir sind diesbezüglich hin und her gegangen. Sehen wir uns die aktuelle Version großer Sprachmodelle an. Ich habe kürzlich als Filmempfehlung mit GPT gespielt. Es ist wie: „Hey, ich schaue gerne X und Y. Schlagen Sie mir etwas vor?“ Und es ist nicht schlecht. Ich bin mir sicher, dass es nicht so gut ist wie ein gut abgestimmter Recommender, der die besten Daten hat, aber es ist viel besser als das zufällige Auswählen von Filmen. Und es wird ausgegeben, es wird ausgespuckt, als würde es argumentieren. Und seine Argumentation ist, wie alles, was es tut, plausibel, aber es ist nicht schlecht. Also noch einmal, selbst wenn die Technik jetzt nicht so toll ist – ich würde nicht hinauseilen, um daraus einen Filmempfehlungsgeber oder so etwas zu produzieren – was, wenn es 10-mal oder 100-mal besser wird? Was wäre, wenn Sie es mit viel mehr Trainingsdaten oder einem viel besseren Trainingsprogramm füttern?

„Es gibt jede Menge Möglichkeiten mit der Verbindung dieser neuen Fähigkeit in bestimmten Dingen, in denen sie gut ist, mit viel Gerüstbau, viel Produktarbeit darum herum.“

Des: Warte einfach auf GPT-4.

Fergal: Ja, GPT-6, wie auch immer das aussieht, richtig? Was auch immer Sie für 10 Milliarden Dollar an Computern und Verstärkung kaufen, um menschliches Feedback zu lernen, wenn das tatsächlich passiert. Und wenn das passiert? Bauen Sie immer noch ein Empfehlungssystem auf? Jemand fragt Sie nach einem Empfehlungssystem, machen Sie das? Sam Altman hat Vorträge darüber gehalten. Stellen Sie sich vor, wir könnten dies auf menschliche Ebene bringen. If you had something that was human-level general intelligence, would you need a machine learning team anymore? Or would you just sit down like, “Hi, how's it going? Today I'm going to teach you how to be a movie recommender.” You've got to give lots of examples, and it's got to be able to consume a data set about movies. But maybe it's just like, “Hey, AI system, write the code to consume the data set about movies.” Ich weiß nicht.

“You're getting into big questions, Des. And maybe that's just where all our heads are going at the moment. But you can get into big questions about, like, by the time that's disrupted, what percentage of current human economic activity is disrupted?”

Des: Yeah, totally correct.

Fergal: But that's a very bullish case. Maybe we hit some asymptote before then, and I certainly don't think we're near that point at the moment. I think you still need your machine learning team. And I think we're certainly in this happy Jevons Paradox for a while where a lot of stuff is unlocked, and maybe we're doing slightly different work than we were before – we're certainly doing a lot more prompt engineering – but these systems are not yet good enough to just train-

Des: Yeah. To outsource the whole thing to OpenAI, and they'll solve our problems.

“If you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that”

Fergal: Right, yeah. I really hesitate to speculate about when. Just to give you one super concrete limitation. All these models have a prompt size. The amount of context you can pass to it with a prompt is limited. And that limit is baked in pretty low down. And so, a lot of the stuff the team is doing at the moment is around, “Hey, how do we work around that? How do we give them a relevant article?” And we're using more traditional machine learning techniques – traditional as in, invented five years ago. The classic stuff.

There are tons of opportunities with the marriage of this new capability in specific things it's good at with a lot of scaffolding, a lot of product work around that. I think there will be disruption, and it feels like extremely disruptive tech to me, particularly when you project a few years out. But we don't know how big it'll be. And I don't think anyone knows how big it'll be yet. Maybe the folks in OpenAI do. But if you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that. There's certainly no consensus on it.

Des: There was that quote from Sam Altman where he was asked something – I think it was some irrelevant question about challenges in San Francisco or something like that – and his answer was, “When you believe that artificial general intelligence is as close as I do, you struggle to think about any other problem.” When I read that, I was like, “Okay, well, he's certainly leaned a certain way.” Now, he could still be thinking in 20 years, but some societal problems are kind of irrelevant against the greater potential wave of what could be happening here.

“There's clearly a pitfall to avoid and an attractive pitfall to fall into”

Fergal: Yeah. Full disclaimer mode now. I think there's a lot of merit to that style of thinking, personally. I remembered there were times in the history of computation when it was like, “Oh, if you've got a million dollars to solve a computing problem and you need to solve it as soon as possible, what you need to do is sit with the million dollars for two years and then buy the fastest computer that the million could buy.

Des: I remember my own career. In 2006 or 2007, mobile websites were all the thing. Pre-iPhone, right? And people were talking about WAP and JMI files or JNI files, and everyone hyped up their mobile strategy. And literally, by the time I finished working out what I thought was the right recommendation for a client, the iPhone had launched. And I was like, “You know what? Don't worry about it. Sit on your hands. Apple's going to solve this entire problem.” And sure enough, two months later, “Hey, it turns out all our websites are mobile-ready.” Sometimes, a tech wave can be so big that any temporal thing you do will just be irrelevant against the magnitude of what's going to happen.

Fergal: Yeah, if you believe AGI is close, I guess I can logically see that position. Now, clearly, it seems like there's a terrible mistake to make there where-

Des: Yeah, where we're wrong, and you've probably just been sitting on your hands.

Fergal: You've given yourself a license to ignore terrible, terrible things. So obviously, you've got to wait, and I'm not making any judgment on that. But yeah, there's clearly a pitfall to avoid and an attractive pitfall to fall into. I think it's very hard to bet against increasingly general intelligence. And I don't know timelines and stuff, but I think there are big questions for people to think about. Now, that's definitely way outside customer support or customer service.

Des: No, yeah. Well, look, thank you very much. We'll check in in six weeks to find out that this podcast is yet again out of date. We'll see where we're at again. But for now, thank you very much.

Fergal: Thanks, Des.