GPT veio para ficar. Onde isso nos levará?

O GPT está se desenrolando diante de nós e não estamos perdendo o ritmo. À medida que exploramos o potencial e as limitações desta nova tecnologia, ela estará à altura do hype?

Desde que foi lançado no final de novembro, o ChatGPT conquistou os corações e as mentes das pessoas em todo o mundo por sua capacidade de gerar respostas semelhantes às humanas. No entanto, como acontece com qualquer nova tecnologia, muitas vezes há uma lacuna entre o exagero e a realidade. E a IA generativa, em particular, é uma máquina de hype natural.

Entendemos o ceticismo – grandes modelos de linguagem são ótimos para parecer plausíveis, mesmo quando estão errados. Mas, verdade seja dita, estamos muito otimistas. Nas últimas oito semanas, construímos recursos baseados em IA e os enviamos para 160 clientes beta, e o feedback tem sido extremamente promissor. Tanto que no início desta semana, nosso diretor de aprendizado de máquina, Fergal Reid, e eu lançamos um episódio especial no podcast para compartilhar nossas percepções sobre o que construímos e o que aprendemos.

Desta vez, vamos além do Intercom e até mesmo além do atendimento ao cliente. No episódio de hoje, vamos nos aprofundar em todas as coisas GPT – do ceticismo ao seu papel nas comunicações empresariais, da interrupção do trabalho criativo ao futuro das interfaces do usuário.

Aqui estão alguns dos principais tópicos:

• Não é apenas a tecnologia que está melhorando – estamos entendendo melhor o que construir, como personalizar e integrar, e todas essas dinâmicas estão impulsionando o avanço da indústria.
• Talvez o futuro das interfaces homem-máquina seja facilitado por bots personalizados com inteligência artificial que entendem as intenções dos usuários e mediam suas interações.
• Esses modelos revelaram muitos novos recursos e enganam alguém à primeira vista, mas ainda carecem do raciocínio de bom senso necessário para passar no teste de Turing.
• A GPT pode atrapalhar o setor de atendimento ao cliente, mas se a automação aumentar a produtividade do agente, ela poderá desbloquear recursos que aumentam seu valor para os negócios.

Certifique-se de não perder nenhum destaque seguindo o Intercom on Product no Apple Podcasts, Spotify, YouTube ou acessando o feed RSS no player de sua escolha. O que se segue é uma transcrição levemente editada do episódio.

Além do hype

Des Traynor: Olá, bem-vindo ao podcast Intercom. Estou novamente acompanhado por Fergal, e vamos conversar sobre tudo sobre GPT. Fergal, já se passaram oito semanas inteiras desde o lançamento do ChatGPT. As pessoas já estão construindo produtos úteis contra isso, e já tivemos uma onda de céticos dizendo que isso é um brinquedo, é imaturo, nunca está pronto para nada, o que são apenas reações clássicas de novas tecnologias. Onde está sua cabeça? O ceticismo tem fundamento? Atravessamos algum penhasco perceptivo que realmente importa?

Fergal Reid: Sim, acho que há certa legitimidade no ceticismo. Essas coisas são máquinas de hype quase naturais. É tão fácil olhar para ele e vê-lo fazer algo que parece bom. A menos que você realmente se aprofunde, parece maravilhoso. E então, quando você se aprofunda, pensa: “Ah, está errado, me sinto enganado”. Essas máquinas são projetadas para gerar coisas plausíveis e, se plausíveis, mas erradas, são um problema para você, podem ser muito decepcionantes. Portanto, entendo a posição padrão de ceticismo com a qual muitas pessoas chegam a essa tecnologia.

“O ChatGPT, como está na internet hoje, pode ser um brinquedo, mas isso não significa que não podemos pegar a tecnologia subjacente e construir recursos de negócios incrivelmente valiosos a partir dela”

No entanto, sempre fomos muito otimistas com a IA generativa e, desde a última vez que conversamos, construímos alguns recursos, os enviamos para o Beta, tivemos 160 e poucos clientes em nosso Beta usando esses recursos: resumo, alguns recursos no compositor mais experimentais para tentar tornar as pessoas mais rápidas. E então temos uma onda de outros recursos em forma de protótipo que ainda não estão lá – coisas de alto valor – mas achamos que vemos uma linha de visão para isso. E assim, entendemos o ceticismo, éramos otimistas e agora temos dados - uso real do cliente, clientes reais nos dizendo que há um trabalho específico que desejam fazer, que fazem o dia todo, todos os dias, e é transformador para que. E isso, para mim, faz com que a posição do ceticismo comece a parecer um pouco instável.

Des: O fato de que as pessoas estão realmente usando a coisa para fazer partes de seu trabalho diariamente.

Fergal: Sim. Esse é o árbitro final disso. É muito difícil ser cético quando as pessoas estão realmente usando, e não apenas como um brinquedo. Há uma linha de lógica lá fora. Vimos alguns artigos no The Atlantic e em lugares como esse em que as pessoas dizem: “Ei, veja, isso é mais um brinquedo do que um produto realmente valioso”. E o ChatGPT, como está na Internet hoje, pode ser um brinquedo, mas isso não significa que não podemos pegar a tecnologia subjacente e criar recursos de negócios incrivelmente valiosos a partir dela.

Minha equipe provavelmente foi uma das várias equipes a fazer isso nos últimos meses, para dizer: "Uau, isso está agregando valor real", e acho que provavelmente somos uma das maiores empresas de atendimento ao cliente que conseguiu tivemos um ciclo de desenvolvimento em que realmente colocamos isso nas mãos de centenas de clientes e recebemos feedback dele. E eles realmente nos disseram: “Sim, isso está realmente me economizando tempo; isso está tornando meu trabalho mais rápido.” Sim, o ceticismo se torna mais difícil de sustentar. Esse é um argumento. Acho que você também pode atacar o ceticismo de uma posição diferente: vimos muitos tweets e artigos céticos sobre essa tecnologia porque a geração anterior não cruzou o abismo e não foi transformadora. E eles são céticos porque a nova tecnologia é sempre exagerada. Mas esses não são bons argumentos. Esses são argumentos que estão certos por um tempo e depois se tornam terrivelmente errados. Você pode falhar aqui por ser excessivamente otimista, mas pode falhar tanto por ser-

Des: Em branco e pessimista.

Fergal: Exatamente. Em branco e pessimista.

“Há tantas dinâmicas acontecendo ao mesmo tempo que vão se retroalimentar e ampliar umas às outras”

Des: O paralelo que você vê são as pessoas que destroem cada nova ideia de startup de que já ouviram falar. E o fato é que 90% das startups não dão certo. Então, 90% do tempo, você está certo e parece muito inteligente. Então você joga no lixo um que se torna um negócio de trilhões de dólares, e todo mundo fica tipo, “Certo, acontece que…” Acho que foi Nat Friedman quem disse, “Pessimistas parecem espertos, otimistas ficam ricos,” ou algo assim . E há alguma verdade nisso quando você realmente coloca peso em cada opinião: o grau em que você está errado quando está errado supera o grau em que você está minimamente certo apenas por ser cético em relação à tecnologia.

Fergal: Sim, 100%. Olha, eu acredito na IA e no seu valor. Acho que temos evidências suficientes de valor real. Na última década, vimos a tendência do aprendizado de máquina e da IA ​​em geral aumentar cada vez mais. Temos novas capacidades. Acho que minha equipe tem evidências suficientes de que existem pelo menos alguns recursos desbloqueados para GPT-3.5 e para outros modelos de linguagem grandes que não existiam seis meses atrás. Eu acredito que há uma saliência; há muito mais produtos que poderíamos construir agora que ainda não foram construídos do que antes. Então, sim, estamos otimistas e estamos começando a ver clientes que enviamos beta nos dizendo: “Sim, isso funciona, isso é ótimo”.

Ainda não cruzamos a última parte dele. Sabemos que isso é transformador em termos de valor central para as tarefas que nossos clientes gastam 99% do tempo realizando. Assim, enviamos o recurso de resumo e outros recursos para economizar tempo na caixa de entrada. Mas há grandes coisas chegando aqui que ainda não construímos, nas quais estamos trabalhando internamente, mas não as vimos em um mercado. E assim, achamos que a verdadeira emoção disso ainda está por vir.

Des: Existe alguma hierarquia de transformação que tenho certeza que alguém vai me corrigir nos comentários, mas já colocamos recursos ao vivo para transformar fluxos de trabalho específicos e, ao transformar, queremos reduzir o custo de fazer isso para 5% do o que já foi. No caso de, digamos, resumo. Então, pode estar transformando fluxos de trabalho muito comuns. Então, pode transformar o trabalho, depois transformar a organização e, no topo, transformar o negócio. Mas fica bem claro, à medida que identificamos mais e mais casos de uso em que podemos agregar muito valor, que estamos avançando nessa, para mim, inevitável transformação do mundo do atendimento ao cliente.

“Fomos internamente aos nossos clientes e tivemos que fechar o recrutamento beta muito antes do que queríamos porque foi uma das maiores respostas que já recebemos”

Fergal: Com certeza. Há tantas maneiras que isso está mudando em paralelo. Há tantas dinâmicas acontecendo ao mesmo tempo que vão se retroalimentar e ampliar umas às outras. A primeira é meio óbvia: a tecnologia disponível está cada vez melhor. Isso não está parando. OpenAI e outros players como Anthropic estão construindo novos modelos o tempo todo, e eles são empolgantes. Isso não está parando. Então, essa é uma dinâmica. E há outra dinâmica, que é que estamos melhorando na construção de produtos em torno deles. Estamos melhorando em pegar esses modelos e descobrir em que tipo de coisa eles são bons. E há outra dinâmica: estamos melhorando em personalizá-los, criando os prompts certos e integrando-os aos nossos sistemas existentes. E então as expectativas de nossos clientes estão ficando cada vez maiores.

Realmente descobrimos que, desde o ChatGPT, houve uma grande onda de interesse de nossos clientes. Eles podem ver a promessa e acreditar que há algo aqui. Com o beta, procuramos internamente nossos clientes e tivemos que fechar o recrutamento beta muito antes do que queríamos porque foi uma das maiores respostas que já recebemos. As pessoas queriam estar nele. Então, todas essas coisas juntas vão ampliar muito mais do que qualquer uma delas sozinha, na minha opinião.

Des: É interessante como você divide isso. A tecnologia está melhorando, as capacidades das empresas estão melhorando e isso é apenas adotá-la em casos locais. E a capacidade das empresas de pensar ou conceituar novos produtos e oportunidades usando essa tecnologia está melhorando. O mesmo com as expectativas do cliente em relação à tecnologia. Provavelmente, estamos a apenas um ano de distância das pessoas que esperam poder expandir o texto em um campo de texto, como um exemplo simples. Você meio que vê essas coisas surgindo em todos os lugares.

Fergal: Se até um ano. Obviamente, muitos de nós vimos o anúncio da Microsoft sobre trazer esses recursos para o Word e outras coisas. E vai mudar rapidamente se as grandes ferramentas de produtividade de escritório tradicionais fizerem isso. Pode ser muito rápido.

A ascensão do assistente de IA

Des: Aqui está um tipo diferente de ceticismo que eu vou cobrar – um que ressoa um pouco comigo, de qualquer maneira. Acho que Kevin Cannon tinha um tweet engraçado onde dizia: “O futuro é composto por pessoas que usam o GPT para expandir coisas como 'Eu quero o emprego' em uma carta adorável como 'Caro senhor' ou 'Madame', blá, blá , blá... E então o destinatário, clicando no botão de resumo, para ver que a pessoa acabou de dizer: 'Quero o emprego, aqui está meu currículo' ou o que quer que seja. De certa forma, você ficaria tentado a olhar para eles e pensar, qual é o sentido disso tudo? A linguagem formal, a escrita profissional e o inglês para negócios se tornaram um canal inútil para a maneira teatral com que todos nos comunicamos, quando, no futuro, eu apenas enviarei a você o prompt e você responderá com um prompt, como: "Quero o trabalho." “Você não pode ter o emprego.”

Fergal: Sim. Pergunta difícil. É seriamente especulativo. Vou te dar algumas opiniões. Provavelmente existem certos contextos, certo? Digamos que um documento legal. Você pode dizer a alguém da sua equipe jurídica: “Ei, preciso de um contrato. Tem que fazer X, Y e Z.” Esse pedido se transformará em 10 páginas de material legal. O destinatário dirá: "Oh, ele faz as três coisas que disse que faria?" E a equipe jurídica deles será: “Sim, tem”. Este é um extremo onde há grande expansão e compressão, mas em algum caso estranho, a cláusula número 13 na página dois pode aparecer no tribunal, e assim por diante. Então, claramente, isso importa. Não podemos nos livrar disso. Não podemos ter apenas esses quatro pontos. Precisamos de tudo isso. Você pode não considerá-lo material quando estiver escrevendo, mas pode se tornar material mais tarde. Isso parece um extremo onde é como, “Não, parece que isso tem que estar lá”, algo para lidar com todos esses casos extremos.

E o outro extremo é provavelmente uma situação em que o defensor e o destinatário não se importam com esses detalhes. Ambos nunca vão se importar com esses detalhes e estão apenas observando algumas graças sociais ou formalidades de “é assim que você escreve uma carta comercial. Estou escrevendo para uma grande empresa, é melhor escrever uma carta comercial”, e talvez essas coisas desapareçam.

Des: Da mesma forma, acho que a analogia para mim seria quando as conversas por e-mail mudassem para SMS, iMessage ou WhatsApp. Pense em toda a merda que você não está mais dizendo. “Espero que isso o encontre bem”, ou o que quer que seja. Toda essa merda se foi.

Fergal: As restrições do Twitter, o formato, o meio, permitem que você seja mais conciso. Eu acho que é uma dinâmica real. A maneira como nos comunicamos e a maneira como escrevemos um artigo da central de ajuda pode não ser a maneira ideal de escrevê-lo. Talvez devêssemos ser mais breves. Na equipe de aprendizado de máquina, há outra maneira de pensar sobre isso. O futuro do mundo vai ser intermediado por agentes. E uma vez, isso era óbvio para todos. Seu navegador da web tinha um agente de usuário conectando-o e outras coisas. E como eu disse, é o seu agente navegando naquela estranha internet com todos esses links e outras coisas para você. Ele fará coisas para você, voltará e lhe contará coisas. E então, todas essas coisas centralizadas e agora você tem um mecanismo de busca e assim por diante.

“Seria uma coisa se tudo o que tivéssemos visto fosse a geração de imagens DALL·E 2. Mas não, estamos vendo transformações na síntese de áudio, síntese de imagem, compreensão de texto, síntese de texto e compressão de texto”

Existe uma velha ideia no futurismo tecnológico e na ficção científica e assim por diante, de que você provavelmente terá um agente que entende você, sua intenção, o que você deseja e é inteligente o suficiente para descobrir o que chamar sua atenção e o que não para. Então, possivelmente, no futuro, a maneira como isso acontece é mais assim. Se você quiser saber um detalhe específico, o software ao seu lado é inteligente o suficiente para colocar isso na versão resumida dele. Mas é inteligente o suficiente para saber que você também não quer saber esse detalhe e deixá-lo de fora.

Talvez vivamos em um futuro onde as interfaces de usuário mudam, onde minha interface de usuário para um determinado negócio ou tarefa não é realmente controlada por esse negócio ou tarefa como é hoje. Em vez disso, é personalizado para mim. Isso parece muito chique, mas acho que vai acontecer rápido. Esses modelos de linguagem são muito poderosos, eles estão começando a ser usados ​​para escrever código e assim por diante, e é um salto muito curto daqui para agir de mim. Vimos alguns protótipos por aí em que as pessoas estão trabalhando em modelos que entendem um site bem o suficiente para entender uma frase em inglês e navegar no site para você. E então, estamos caminhando para um futuro em que é assim que todos interagem com os sites? Você precisa mais de um site?

Des: Este é o novo SEO? Certificar-se de que seu GPT pode entendê-lo?

Fergal: Sim. Talvez os sites se transformem em algo que se pareça mais com uma API que é exposta publicamente, e isso é algo com interface do usuário e formatação porque a interface do usuário é formatada pelos agentes.

Des: Estamos todos conversando com a Siri ou qualquer outra coisa.

“Talvez seja assim o futuro com os bots. Todos nós temos um bot personalizado para nós que lida com a interface e você realmente não precisa se preocupar tanto com essa camada intermediária”

Fergal: Sim, e acho que o Google e a Apple podem ver esse futuro. Não sabemos a linha do tempo, mas, novamente, a ferramenta de pensamento que sempre uso é: e se você tivesse um humano muito inteligente que o compreendesse, que tivesse trabalhado com você, talvez um assistente pessoal, e você estivesse interagindo com eles e você queria reservar um feriado? O que eles te perguntariam sobre isso? E em metade das coisas que você vê no booking.com ou qualquer outra coisa, eles não vão te perguntar isso – eles vão apenas reservar as férias para você e talvez voltar com perguntas esclarecedoras: “Ah, você queria ir e ficar em um apartamento, mas não há espaço lá. Um hotel serve? Mas essa é uma interface de usuário adaptável. Mais uma vez, não me concentro muito no ChatGPT e no que acabou de ser enviado. Você leva um ano ou dois fora. Está se movendo muito rápido. Se você é cético por causa das limitações atuais, você vai-

Des: Seu ceticismo errará o alvo.

Fergal: Exatamente. Os transformadores são extremamente poderosos e as arquiteturas de transformadores que as pessoas usam são extremamente poderosas. Vimos várias modalidades melhorarem aqui. Seria uma coisa se tudo o que tivéssemos visto fosse a geração de imagens DALL·E 2. Mas não, estamos vendo transformações na síntese de áudio, síntese de imagem, compreensão de texto, síntese de texto, compressão de texto. Estamos vendo tantos avanços paralelos. Ele pode escrever código. Provavelmente será capaz de trabalhar em um site em breve. Então talvez seja assim que o futuro com os bots será. Todos nós temos um bot personalizado para nós que lida com a interface e você realmente não precisa se preocupar tanto com essa camada intermediária.

Des: Uma cena de super protótipo que vi no Twitter foi alguém que treinou um bot para falar com sua própria voz, acredito, e para ligar para um número e navegar em uma árvore de telefones bancários, entrar em contato efetivamente com um agente, solicitar que todos os seus transações de câmbio reembolsadas ou algo assim. Algo que é o tipo de padrão em que você só precisa pedir e eles fazem. Chegou até o fim. E, literalmente, eles apenas disseram: “Vá” e foram embora. Isso foi obviamente super planejado, talvez super fechado, mas ainda era um caso de uso muito real executado de ponta a ponta automaticamente.

Fergal: Acho que é uma área muito interessante. Falamos muito sobre como o atendimento ao cliente vai mudar, e onde nossas cabeças sempre vão é o que acontecerá quando você tiver um bot como o ChatGPT, mas personalizado para o seu negócio e realmente ótimo em responder perguntas, e o custo dos problemas de atendimento ao cliente cairá. Mas há um outro lado disso. Como o atendimento ao cliente mudará quando o usuário tiver um bot que pode lidar com as interações de atendimento ao cliente e não desiste ou se cansa? E há potencialmente uma grande mudança aí.

Des: O novo B2B vai ser bot-to-bot, basicamente.

Fergal: Talvez. Pode demorar um pouco até que os usuários tenham esse tipo de tecnologia, mas é uma coisa interessante a se considerar.

O enigma da autenticidade

Des: Como você geralmente pensa sobre esse mundo duplo de criação e, finalmente, o que pode ser visto como engano – isso parece uma pintura, mas não é uma pintura, foi gerado – versus detecção, a ideia de que as pessoas podem dizer , "Ei, eu realmente escrevi esse código à mão, não é um código gerado." Quão importante é para a humanidade navegar neste mundo? Há uma cena famosa em Westworld, uma fábrica de robôs ocidentais, onde um cara quer...

Fergal: É um remake de uma coisa antiga.

Des: Ah, é? Novidades para mim. Eu não sabia que era um remake de uma coisa antiga. Mas em Westworld, há uma cena em que um cara esbarra em uma mulher, conversa com ela e, no final, ele diz: “Tenho que perguntar, você é real?” A resposta dela é: “Se você precisa perguntar, por que isso importa?” E acho que tem alguma coisa aí. Ultrapassar nossa capacidade de detecção será visto como a definição de autêntico? A autenticidade ainda é uma coisa? No exemplo do banco, como uma pessoa dirá: “Ei, Fergal, é você mesmo ou é um bot que você treinou?” Especialmente se você treinou como responder a essa pergunta.

Fergal: Existem algumas grandes questões aí. Há pelo menos cinco perguntas que eu provavelmente perdi de vista. Você poderia falar sobre o teste de Turing, um artigo muito presciente sobre como seremos capazes de dizer quando um computador se tornou adequadamente inteligente e, em seguida, um teste foi um teste disfuncional - se um juiz humano puder discernir com segurança entre os dois via interface de texto ou qualquer outra coisa, podemos dizer que não é inteligente. E quando passar disso, devemos aceitar que é funcionalmente inteligente. É muito deturpado, mas seu artigo era mais como: “Está fazendo algo realmente interessante se chegar a esse ponto”. E essa é uma maneira de abordar as coisas funcionalmente.

“Conte uma história em que há muita coisa acontecendo e, em seguida, faça uma pergunta complexa e conseqüente sobre isso, e ainda assim ela tropeçará”

Des: E já passamos disso, eu diria. Por aí.

Fergal: Sempre há manchetes sobre algo que passou no teste de Turing. Acho que a formulação original é algo como um interrogador habilidoso ou algo assim. Ainda não estamos nesse ponto. Se alguém for treinado para fazer as perguntas certas, essas coisas vão quebrar rapidamente. Não tem o modelo de mundo profundo que um ser humano tem.

Des: Certo. Como você faria o truque de fazer uma pergunta autorreferencial? Você pediria a alguém para tropeçar linguisticamente?

Fergal: A tecnologia está melhorando nisso. Mas é mais como configurar um domínio complexo. Conte uma história em que há muita coisa acontecendo e, em seguida, faça uma pergunta complexa e consequente sobre isso, e ainda assim ela tropeçará. Ele vai tropeçar de uma forma que uma criança não faria. Mas acho que a maneira certa de pensar sobre isso é que você está lidando com inteligência alienígena. Você quer chamar isso de inteligência, mas ela terá uma forma diferente. Então, vai ser um monte de coisas que uma criança de sete anos não seria capaz de escrever – eu poderei escrever um programa de computador, mas o que você pode chamar de raciocínio de bom senso ainda não existe. Dito isso, filosoficamente, estamos falando sobre se essa coisa está viva e sentindo coisas. E não, claramente não, com a maioria das definições que a maioria das pessoas usaria. Mas isso é um desvio para a filosofia das questões de IA.

Voltando ao seu ponto original, e se você quiser criar CAPTCHAs para esses sistemas? O que isso parece? Sim, as pessoas têm maneiras de marcar d'água e detectar se esse texto é produzido por esses modelos, mas não sei se isso será confiável se você tiver um modelo realmente bom em injetar a quantidade certa de ruído.

Uma coisa que eu alertaria a qualquer um neste campo é que existem sistemas de aprendizado de máquina e tipo, “como faço para que meu sistema de aprendizado de máquina tenha qualidade boa o suficiente para atingir meu limite de detecção de imagem de 99% na vida real?” Esse é um padrão. E há todo esse outro padrão: como posso construir meu sistema de aprendizado de máquina para funcionar bem em comparação com a entrada adversária? Isso é um jogo totalmente diferente.

“Por um tempo, pelo menos, qualquer grande player com um grande modelo de linguagem tentará impedi-lo se você o estiver usando para tarefas nefastas como essa”

Des: Desenho defensivo.

Fergal: Desenho defensivo. Como faço para me defender contra a entrada adversária? E, em geral, isso é muito difícil. Se você me dissesse: “Ah, eu tenho um novo sistema sofisticado de aprendizado de máquina que detectará fraudes ou protegerá meu sistema em um ambiente complexo”, eu ficaria extremamente cético. Existem sistemas de detecção de fraude, mas isso é diferente de alguém tentando atacar o sistema de aprendizado de máquina.

Acho que toda essa questão de detectar quando você está falando com um bot, quando está falando com um grande modelo de linguagem quando ele não quer, isso vai ser difícil. E se no futuro acabarmos em uma situação em que o atendimento ao cliente está sendo inundado por bots que fingem ser usuários, será difícil lidar com isso. Mas imagino que por um tempo, pelo menos, qualquer grande player com um grande modelo de linguagem tentará impedi-lo se você o estiver usando para tarefas nefastas como essa. E haverá algum controle lá porque esses modelos de alta qualidade são difíceis de hospedar e rodar em qualquer tipo de hardware de modelo de consumidor. Pode haver alguma responsabilidade.

Interrupções iminentes

Des: Se aumentarmos um pouco o zoom, provavelmente não estaremos muito longe de sermos capazes de gerar uma música com som plausível. Música de lobby, esse tipo de coisa.

Fergal: Sim. Muzak.

Des: Muzak, exatamente. E, até certo ponto, existem canções com fórmulas gerais - acho que algo como 65 canções número um têm os mesmos quatro acordes ou algo assim, ou canções de sucesso de qualquer maneira. E, obviamente, todos os romances de Dan Brown seguem um formato simples. Isso não significa que seja ruim, mas até que ponto a sociedade muda quando qualquer coisa que é expressa em algum grau em uma natureza formulada pode ser replicada e, finalmente, você pode obter uma versão $ 0 dela? O Código Da Vinci ainda é O Código Da Vinci, é um livro muito bom por qualquer definição normal, mas agora você pode obter a versão do porão de barganha por US $ 0 ou cinco centavos ou qualquer outra coisa. E então, você pensa nisso acontecendo em todo tipo de criatividade. Novamente, isso não quer dizer que os resultados dessas tecnologias serão comparáveis, mas serão potencialmente 1% do preço. Como você acha que o mundo muda nesse tipo de futuro?

“É o paradoxo de Jevons – às vezes, fazer algo mais barato significa que você acaba fazendo muito mais. Essas dinâmicas são realmente difíceis de prever”

Fergal: Eu penso de muitas maneiras diferentes. Você pode olhar para analogias do passado. Você pode olhar para a pintura, e então a fotografia apareceu, e de repente ficou fácil capturar uma imagem de paisagem, mas

Des: Tenho certeza que os pintores não gostaram, certo?

Fergal: Não conheço a história bem o suficiente, mas geralmente há algum titular que fica chateado sempre que há interrupção.

Des: Acho que foi o mesmo com o rádio ou as fitas cassete - os músicos ao vivo diziam: "Bem, esse foi o nosso show."

Fergal: Sim. Todo cinema tinha um pianista que tocava a trilha sonora, e acabou. Os afinadores de gramofones e pianos, o tear e os luditas… São inúmeros os exemplos disso. E acho que há outras áreas enfrentando uma interrupção iminente e haverá conversas difíceis sobre o que é valioso. Da mesma forma, com o suporte ao cliente, você precisa ser sensível. Sempre há resultados melhores e resultados piores. As pessoas podem olhar para grandes modelos de linguagem melhorando a escrita de código e pensar: “Ei, como programador, essa habilidade valiosa na qual investi anos adquirindo, caramba, não será mais útil”.

“Haverá menos representantes de suporte ao cliente em um mundo com muita automação ou haverá mais porque o valor que eles podem trazer para um negócio foi ampliado?”

Existem diferentes maneiras de pensar sobre isso. Você pode pensar nisso em termos de AWS. Usamos muito a Amazon na Intercom e, provavelmente, se tivéssemos que fazer tudo o que fizemos sem a AWS, isso nos custaria mais ordens de magnitude de tempo de programador para fazê-lo. Isso significa que contratamos menos programadores como resultado? Bem, isso provavelmente significa que não seríamos viáveis ​​como um negócio sem essa tecnologia capacitadora. É o paradoxo de Jevons – às vezes, fazer algo mais barato significa que você acaba fazendo muito mais. Essas dinâmicas são realmente difíceis de prever. Haverá menos representantes de suporte ao cliente em um mundo com muita automação ou haverá mais porque o valor que eles podem trazer para um negócio foi ampliado?

Des: Quando pegamos todas as coisas reais, na verdade vemos o valor que elas trazem, e você pensa: “Quero mais disso”.

Fergal: Você quer mais disso; você precisa mais disso. De repente, é como: “Uau, o que poderíamos desbloquear em termos de valor para o nosso negócio se tivéssemos muitos desses representantes?” Cada um poderia fazer 10 vezes mais do que faz atualmente. Nunca se sabe. Acho que isso é algo que às vezes se perde. As pessoas sempre respondem à disrupção tecnológica e sempre falam: “Ah, você pode subir na escala de valor e conseguir um emprego melhor. Você pode se tornar um gerente de produto se for para onde você quer ir.” E isso é potencialmente uma maneira. Mas outra maneira é que apenas ficar muito mais produtivo no que você faz atualmente pode transformar a quantidade que você precisa fazer.

Des: Ou mais negócios se tornam possíveis por causa disso.

Fergal: Mais negócios se tornam possíveis. Essa é a melhor coisa. Acho que tudo isso vai acontecer com coisas como arte de IA. Obviamente, há um debate sobre plágio e violação de direitos autorais. Se alguém vai e treina DALL · E 2 em um monte de fotos, isso foi violação de direitos autorais? E se eles aprendessem o estilo de um artista e então você pedisse para produzir um trabalho como o deles? Isso é violação de direitos autorais? E provavelmente há muitas coisas que os sistemas jurídicos e a sociedade precisam descobrir por aí. Uma coisa que acho que às vezes falta no debate é que, mesmo que você decida que é violação de direitos autorais treinar os modelos atuais - e não aceitamos isso com humanos; os humanos podem olhar para as coisas e copiar seu estilo – alguém ainda construirá modelos treinados em um trabalho aberto e permitido e ficará muito bom em gerar imagens. Acho que esse navio navegou até certo ponto.

Quão grande pode ir?

Des: Para jogar fora algumas agulhas aqui, você mencionou a AWS como um exemplo em que não temos uma grande equipe de servidores aqui. Não temos arquivos cheios de servidores. Sua equipe de IA é menor por causa da existência de OpenAI, Anthropic e tudo isso? Se eles não existissem, você criaria uma versão AI da equipe do servidor?

Fergal: Sim, quero dizer, essa é uma pergunta e tanto. Existem diferentes maneiras de olhar para isso. A equipe de IA está sendo interrompida? E nós fomos e voltamos sobre isso. Vejamos a versão atual dos modelos de linguagem grandes. Eu estava jogando com o GPT recentemente como um recomendador de filmes. É como, “Ei, eu gosto de assistir X e Y. Sugira-me algo?” E não é ruim. Tenho certeza de que não é tão bom quanto um recomendador bem ajustado que possui todos os melhores dados, mas está se saindo muito melhor do que escolher filmes aleatoriamente. E vai produzir, vai cuspir como se fosse um raciocínio. E seu raciocínio, como tudo que faz, é plausível, mas não é ruim. Então, novamente, mesmo que a tecnologia não seja ótima agora – eu não sairia correndo para produzir um recomendador de filme ou algo assim – e se ficar 10 ou 100 vezes melhor? E se você fornecer muito mais dados de treinamento ou um regime de treinamento muito melhor?

“Existem inúmeras oportunidades com o casamento desse novo recurso em coisas específicas em que ele é bom com muitos andaimes, muito trabalho de produto em torno disso”

Des: Basta aguardar GPT-4.

Fergal: Sim, GPT-6, o que quer que pareça, certo? Quaisquer que sejam os 10 bilhões de dólares que comprem para você em computação e reforço, aprendendo feedback humano, se isso for, de fato, o que acontecer. E se isso acontecer? Você ainda constrói um sistema de recomendação? Alguém te pede um sistema de recomendação, você faz isso? Sam Altman deu palestras sobre isso. Imagine que poderíamos fazer isso chegar ao nível humano. If you had something that was human-level general intelligence, would you need a machine learning team anymore? Or would you just sit down like, “Hi, how's it going? Today I'm going to teach you how to be a movie recommender.” You've got to give lots of examples, and it's got to be able to consume a data set about movies. But maybe it's just like, “Hey, AI system, write the code to consume the data set about movies.” Não sei.

“You're getting into big questions, Des. And maybe that's just where all our heads are going at the moment. But you can get into big questions about, like, by the time that's disrupted, what percentage of current human economic activity is disrupted?”

Des: Yeah, totally correct.

Fergal: But that's a very bullish case. Maybe we hit some asymptote before then, and I certainly don't think we're near that point at the moment. I think you still need your machine learning team. And I think we're certainly in this happy Jevons Paradox for a while where a lot of stuff is unlocked, and maybe we're doing slightly different work than we were before – we're certainly doing a lot more prompt engineering – but these systems are not yet good enough to just train-

Des: Yeah. To outsource the whole thing to OpenAI, and they'll solve our problems.

“If you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that”

Fergal: Right, yeah. I really hesitate to speculate about when. Just to give you one super concrete limitation. All these models have a prompt size. The amount of context you can pass to it with a prompt is limited. And that limit is baked in pretty low down. And so, a lot of the stuff the team is doing at the moment is around, “Hey, how do we work around that? How do we give them a relevant article?” And we're using more traditional machine learning techniques – traditional as in, invented five years ago. The classic stuff.

There are tons of opportunities with the marriage of this new capability in specific things it's good at with a lot of scaffolding, a lot of product work around that. I think there will be disruption, and it feels like extremely disruptive tech to me, particularly when you project a few years out. But we don't know how big it'll be. And I don't think anyone knows how big it'll be yet. Maybe the folks in OpenAI do. But if you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that. There's certainly no consensus on it.

Des: There was that quote from Sam Altman where he was asked something – I think it was some irrelevant question about challenges in San Francisco or something like that – and his answer was, “When you believe that artificial general intelligence is as close as I do, you struggle to think about any other problem.” When I read that, I was like, “Okay, well, he's certainly leaned a certain way.” Now, he could still be thinking in 20 years, but some societal problems are kind of irrelevant against the greater potential wave of what could be happening here.

“There's clearly a pitfall to avoid and an attractive pitfall to fall into”

Fergal: Yeah. Full disclaimer mode now. I think there's a lot of merit to that style of thinking, personally. I remembered there were times in the history of computation when it was like, “Oh, if you've got a million dollars to solve a computing problem and you need to solve it as soon as possible, what you need to do is sit with the million dollars for two years and then buy the fastest computer that the million could buy.

Des: I remember my own career. In 2006 or 2007, mobile websites were all the thing. Pre-iPhone, right? And people were talking about WAP and JMI files or JNI files, and everyone hyped up their mobile strategy. And literally, by the time I finished working out what I thought was the right recommendation for a client, the iPhone had launched. And I was like, “You know what? Don't worry about it. Sit on your hands. Apple's going to solve this entire problem.” And sure enough, two months later, “Hey, it turns out all our websites are mobile-ready.” Sometimes, a tech wave can be so big that any temporal thing you do will just be irrelevant against the magnitude of what's going to happen.

Fergal: Yeah, if you believe AGI is close, I guess I can logically see that position. Now, clearly, it seems like there's a terrible mistake to make there where-

Des: Yeah, where we're wrong, and you've probably just been sitting on your hands.

Fergal: You've given yourself a license to ignore terrible, terrible things. So obviously, you've got to wait, and I'm not making any judgment on that. But yeah, there's clearly a pitfall to avoid and an attractive pitfall to fall into. I think it's very hard to bet against increasingly general intelligence. And I don't know timelines and stuff, but I think there are big questions for people to think about. Now, that's definitely way outside customer support or customer service.

Des: No, yeah. Well, look, thank you very much. We'll check in in six weeks to find out that this podcast is yet again out of date. We'll see where we're at again. But for now, thank you very much.

Fergal: Thanks, Des.