GPT este aici pentru a rămâne. Unde ne va duce?

GPT se desfășoară în fața noastră și nu pierdem nicio ritm. Pe măsură ce explorăm potențialul și limitările acestei noi tehnologii, se va ridica la înălțimea hype-ului?

De când a fost lansat la sfârșitul lunii noiembrie, ChatGPT a captat inimile și mințile oamenilor din întreaga lume pentru capacitatea sa de a genera răspunsuri asemănătoare oamenilor. Cu toate acestea, ca în orice tehnologie nouă, există adesea un decalaj între hype și realitate. Și AI generativă, în special, este o mașină de hype destul de naturală.

Înțelegem scepticismul – modelele mari de limbaj sunt grozave să pară plauzibile, chiar și atunci când greșesc. Dar adevărul să fie spus, suntem foarte optimiști. În ultimele opt săptămâni, am creat funcții bazate pe inteligență artificială și le-am livrat către 160 de clienți beta, iar feedback-ul a fost copleșitor de promițător. Atât de mult încât la începutul acestei săptămâni, directorul nostru de învățare automată, Fergal Reid, și cu mine am lansat un episod special pe podcast pentru a ne împărtăși cunoștințele despre ceea ce am construit și ce am învățat.

De data aceasta, mergem dincolo de Intercom și chiar dincolo de serviciul pentru clienți. În episodul de astăzi, ne aprofundăm în toate aspectele GPT – de la scepticism la rolul său în comunicațiile de afaceri, de la întreruperea muncii creative la viitorul interfețelor cu utilizatorul.

Iată câteva dintre concluziile cheie:

• Nu doar tehnologia se îmbunătățește – înțelegem din ce în ce mai bine ce să construim, cum să o personalizăm și să o integrăm, iar toate aceste dinamici conduc industria înainte.
• Poate că viitorul interfețelor om-mașină va fi facilitat de roboții personalizați, bazați pe inteligență artificială, care înțeleg intențiile utilizatorilor și mediază interacțiunile acestora.
• Aceste modele au deblocat multe capacități noi și păcălesc pe cineva dintr-o privire, dar încă le lipsește raționamentul de bun simț necesar pentru a trece testul Turing.
• GPT poate perturba industria de servicii pentru clienți, dar dacă automatizarea crește productivitatea agentului, poate debloca în cele din urmă capabilități care le sporesc valoarea pentru afacere.

Asigurați-vă că nu ratați niciun moment important urmărind Intercom on Product pe Apple Podcasturi, Spotify, YouTube sau accesând feedul RSS din playerul dorit. Ceea ce urmează este o transcriere ușor editată a episodului.

Dincolo de hype

Des Traynor: Bună, și bun venit la podcastul Intercom. Mi se alătură, din nou, Fergal și vom vorbi despre toate lucrurile GPT. Fergal, au trecut opt ​​săptămâni întregi de când s-a lansat ChatGPT. Deja, oamenii au construit produse utile împotriva ei și deja am avut un val de sceptici care spun că aceasta este o jucărie, este imatură, nu este pregătită pentru nimic niciodată, ceea ce este doar reacții clasice de tehnologie nouă. Unde iți este capul? Este scepticismul fondat? Am traversat vreo stâncă perceptivă care contează cu adevărat?

Fergal Reid: Da, cred că scepticismul are o anumită legitimitate. Aceste lucruri sunt aproape naturale mașini de hype. Este atât de ușor să te uiți la el și să-l vezi făcând ceva care pare bine. Dacă nu te bagi cu adevărat în ea, arată minunat. Și apoi, când săpați în asta, ești de genul: „Ah, este greșit, mă simt indus în eroare”. Aceste mașini sunt concepute pentru a genera lucruri plauzibile și, dacă sunt plauzibile, dar greșit este o problemă pentru dvs., poate fi foarte dezamăgitor. Așa că înțeleg poziția implicită de scepticism cu care mulți oameni vin la această tehnologie.

„ChatGPT, așa cum este astăzi pe internet, ar putea fi o jucărie, dar asta nu înseamnă că nu putem prelua tehnologia de bază și construi funcții de afaceri incredibil de valoroase din asta.”

Cu toate acestea, am fost întotdeauna foarte optimiști în ceea ce privește IA generativă și, de când am vorbit ultima dată, am construit câteva funcții, le-am expediat în versiunea beta, am avut 160 de clienți în versiunea beta care folosesc aceste funcții: rezumat, unele Caracteristicile compozitorului sunt mai experimentale pentru a încerca să facă oamenii mai rapid. Și apoi avem un val de alte caracteristici sub formă de prototip care nu sunt încă acolo – lucruri de mare valoare – dar credem că vedem o linie de vedere în acest sens. Și așa, înțelegem scepticismul, am fost optimiști și acum avem date – utilizarea reală a clienților, clienții reali care ne spun că există o anumită treabă pe care doresc să o facă, pe care o fac toată ziua în fiecare zi și este transformatoare pentru acea. Și asta, pentru mine, face ca poziția de scepticism să înceapă să pară puțin șovăitoare.

Des: Faptul că oamenii folosesc de fapt acest lucru pentru a-și face anumite părți ale muncii lor zilnic.

Fergal: Da. Acesta este arbitrul suprem al acestui lucru. Este foarte dificil să fii sceptic când oamenii îl folosesc de fapt și nu doar ca o jucărie. Există o linie de logică acolo. Am văzut câteva articole în The Atlantic și locuri de genul ăsta în care oamenii spun: „Hei, uite, chestia asta este mai mult o jucărie decât un produs cu adevărat valoros”. Și ChatGPT, așa cum este astăzi pe internet, ar putea fi o jucărie, dar asta nu înseamnă că nu putem prelua tehnologia de bază și construi funcții de afaceri incredibil de valoroase din asta.

Echipa mea a fost probabil una dintre mai multe echipe care au făcut asta în ultimele luni, pentru a spune: „Uau, asta oferă valoare reală” și cred că suntem probabil una dintre cele mai mari companii de servicii pentru clienți care a avut succes a avut un ciclu de dezvoltare în care am primit acest lucru în mâinile a sute de clienți și am primit feedback de la acesta. Și ne-au spus cu adevărat: „Da, asta mă economisește cu adevărat timp; asta îmi face munca mai rapidă.” Da, scepticismul devine mai greu de susținut. Acesta este un argument. Cred că poți ataca scepticismul și dintr-o altă poziție: am văzut o mulțime de fire de tweet și articole sceptice cu privire la această tehnologie, deoarece generația anterioară nu a trecut prăpastia și nu a fost transformatoare. Și sunt sceptici pentru că noile tehnologii sunt întotdeauna supraevaluate. Dar acestea nu sunt argumente bune. Acestea sunt argumente care sunt corecte pentru un timp și apoi devin teribil de greșite. Poți eșua aici fiind prea optimist, dar poți eșua la fel de mult fiind...

Des: Blank și pesimist.

Fergal: Exact. Gol și pesimist.

„Sunt atât de multe dinamici care se petrec în același timp, care se vor alimenta și se vor mări reciproc”

Des: Paralela pe care o vedeți este oamenii care strică orice idee nouă de startup despre care au auzit vreodată. Și chestia este că 90% dintre startup-uri nu funcționează. Deci, în 90% din timp, ești perfect și arăți foarte inteligent. Apoi stricați una care continuă să fie o afacere de un trilion de dolari și toată lumea spune: „Bine, se pare...” Cred că Nat Friedman a spus: „Pesimiștii sună inteligenți, optimiștii se îmbogățesc” sau ceva de genul ăsta. . Și există ceva adevăr în asta atunci când puneți de fapt greutate în spatele fiecărei păreri: gradul în care greșiți atunci când greșiți determină gradul în care aveți dreptate minoră doar prin faptul că sunteți sceptic la tehnologie.

Fergal: Da, 100%. Uite, cred în AI și în valoarea ei. Cred că avem suficiente dovezi ale valorii reale. În ultimul deceniu, observăm creșterea și creșterea tendinței învățării automate și AI în general. Avem noi capabilități. Simt că echipa mea are suficiente dovezi că există cel puțin unele capabilități deblocate pentru GPT-3.5 și pentru alte modele de limbă mari care nu existau acum șase luni. Cred că există o surplomă; Există mult mai multe produse pe care le-am putea construi acum și care nu au fost încă construite decât erau. Deci, da, suntem optimiști și începem să vedem clienți pe care i-am livrat în versiune beta și ne spun: „Da, funcționează, este grozav”.

Nu prea am depășit ultima bucată din ea. Știm că acest lucru este transformator în ceea ce privește valoarea de bază pentru sarcinile pe care clienții noștri își petrec 99% din timp. Prin urmare, livrăm funcția de rezumat și alte funcții pentru a economisi timp în căsuța de e-mail. Dar sunt lucruri mari care vin aici pe care încă nu le-am construit, la care lucrăm intern, dar nu le-am văzut acolo pe o piață. Și așa, credem că adevărata emoție a acestui lucru încă mai vine.

Des: Există o ierarhie de transformare pe care sunt sigur că cineva mă va corecta în comentarii, dar am pus deja funcții live pentru a transforma anumite fluxuri de lucru și, prin transformare, ne propunem să reducem costul de a face acest lucru la 5% din ce a fost cândva. În cazul, să zicem, rezumat. Apoi, ar putea fi transformarea fluxurilor de lucru foarte comune. Apoi, ar putea fi transformarea locului de muncă, apoi transformarea organizației și, în partea de sus, este transformarea afacerii. Dar este destul de clar pe măsură ce identificăm din ce în ce mai multe cazuri de utilizare în care putem oferi o mulțime de valoare pe care ne-am țesut drumul prin această, pentru mine, inevitabila transformare a lumii serviciilor pentru clienți.

„Ne-am adresat clienților noștri și a trebuit să închidem recrutarea beta mult mai devreme decât ne-am dorit, deoarece a fost unul dintre cele mai mari răspunsuri pe care le-am primit vreodată”

Fergal: Absolut. Există atât de multe moduri în care acest lucru se schimbă în paralel. Există atât de multe dinamici care se petrec în același timp, care se vor alimenta și se vor mări reciproc. Prima este oarecum evidentă: tehnologia disponibilă este din ce în ce mai bună. Asta nu se oprește. OpenAI și alți jucători precum Anthropic construiesc noi modele tot timpul și sunt incitanți. Asta nu se oprește. Deci, aceasta este o dinamică. Și există o altă dinamică, care este că suntem din ce în ce mai buni în construirea produselor în jurul acestora. Suntem din ce în ce mai buni să luăm acele modele și să ne dăm seama la ce tip de lucru sunt buni. Și există o altă dinamică, și anume că suntem din ce în ce mai buni în a le personaliza, a construi prompturile potrivite și a le integra în sistemele noastre existente. Și atunci așteptările clienților noștri sunt din ce în ce mai mari.

Am descoperit cu adevărat că, de la ChatGPT, tocmai a existat acest val uriaș de interes din partea clienților noștri. Ei pot vedea promisiunea și pot crede că este ceva aici. Cu versiunea beta, ne-am dus la clienții noștri și a trebuit să închidem recrutarea beta mult mai devreme decât ne-am dorit, deoarece a fost unul dintre cele mai mari răspunsuri pe care le-am primit vreodată. Oamenii au vrut să fie pe ea. Deci, toate aceste lucruri împreună vor mări mult mai mult decât oricare dintre ele singure, după părerea mea.

Des: Este interesant cum defalci asta. Tehnologia se îmbunătățește, capacitățile întreprinderilor se îmbunătățesc și asta înseamnă doar adoptarea acesteia în cazurile locale. Și apoi capacitatea companiilor de a gândi sau de a conceptualiza noi produse și oportunități folosind această tehnologie se îmbunătățește. La fel cu așteptările clienților de la tehnologie. Probabil că suntem la doar un an distanță de oamenii care se așteaptă să poată extinde textul într-un câmp de text, ca un exemplu simplu. Cum vezi că aceste lucruri apar peste tot.

Fergal: Dacă chiar și un an. Evident, mulți dintre noi am văzut anunțul Microsoft despre aducerea acestor funcții în Word și altele. Și se va schimba rapid dacă instrumentele mari de productivitate de birou fac acest lucru. Ar putea fi foarte rapid.

Ascensiunea asistentului AI

Des: Iată un alt tip de scepticism la care voi acuza – unul care rezonează ușor cu mine, oricum. Cred că Kevin Cannon a avut un tweet amuzant în care a spus: „Viitorul este compus din oameni care folosesc GPT pentru a extinde lucruri precum „Vreau postul” într-o scrisoare minunată precum „Stimate domnule” sau „Doamnă”, bla, bla. , bla... Și apoi destinatarul, făcând clic pe butonul de rezumat, pentru a vedea că persoana tocmai a spus: „Vreau postul, iată CV-ul meu”, sau orice altceva. Într-un anumit sens, ai fi tentat să te uiți la ele și să spui, ce dracu are rostul în toate astea? Limba formală și scrierea profesională și engleza de afaceri au devenit o cale inutilă către modul teatral în care comunicăm cu toții, când, în viitor, vă voi trimite doar solicitarea, iar dvs. veți răspunde cu un mesaj, cum ar fi „Vreau loc de munca." „Nu poți avea slujba.”

Fergal: Da. Întrebare grea. Este serios speculativ. Iti dau cateva pareri. Probabil că există anumite contexte, nu? Să zicem un document legal. Puteți spune cuiva din echipa dumneavoastră juridică: „Hei, am nevoie de un contract. Trebuie să facă X, Y și Z.” Solicitarea se va transforma în 10 pagini de chestii legale. Destinatarul va spune: „Oh, face cele trei lucruri pe care a spus că le va face?” Și echipa lor juridică va fi „Da, așa este”. Acesta este un capăt al extremei în care există o expansiune și o compresie mare, dar într-un caz ciudat, clauza numărul 13 de la pagina a doua poate apărea în instanță și așa mai departe. Deci clar, asta contează. Nu putem scăpa de ea. Nu putem avea doar acele patru puncte. Avem nevoie de toate astea. S-ar putea să nu îl considerați material atunci când îl scrieți, dar poate deveni material mai târziu. Se simte ca o extremă în care este de genul „Nu, se simte că trebuie să fie acolo”, ceva care să se ocupe de toate acele cazuri marginale.

Iar cealaltă extremă este probabil o situație în care apărătorului și destinatarului nu le pasă de acele detalii. Amândoi nu le va păsa niciodată de aceste detalii și doar respectă unele grații sociale sau formalități de „așa scrieți o scrisoare de afaceri. Scriu unei companii mari, mai bine scriu o scrisoare de afaceri” și poate că lucrurile astea vor dispărea.

Des: În același mod, cred că analogia pentru mine ar fi atunci când conversațiile prin e-mail s-au mutat în SMS, iMessage sau WhatsApp. Gândește-te la toate prostiile pe care nu le mai spui. „Sper că asta te va găsi bine” sau orice altceva. Tot rahatul acela a dispărut.

Fergal: Constrângerile Twitter, formatul, mediul, vă oferă permisiunea de a fi concis. Cred că este o adevărată dinamică. Modul în care comunicăm și modul în care scriem un articol din centrul de ajutor poate să nu fie modalitatea optimă de a-l scrie. Poate ar trebui să fim mai scurti. În echipa de învățare automată, există un alt mod de a gândi acest lucru. Viitorul lumii va fi intermediat de agenți. Și odată ca niciodată, asta era evident pentru toată lumea. Browserul dvs. web a avut un agent de utilizator care le-a înșirat și altele. Și așa cum spun, este agentul tău care merge și navighează pe acel internet ciudat cu toate aceste link-uri și chestii pentru tine. Va face lucruri pentru tine, se va întoarce și îți va spune lucruri. Și apoi, toate aceste lucruri au fost centralizate și acum aveți motor de căutare și așa mai departe.

„Un lucru ar fi dacă tot ce am fi văzut ar fi generația de imagini DALL·E 2. Dar nu, vedem transformări în sinteza audio, sinteza imaginilor, înțelegerea textului, sinteza textului și compresia textului”

Există o veche idee în tehnologia futurismului și science fiction și așa mai departe, că probabil vei avea un agent care te înțelege pe tine, intenția ta, ceea ce vrei și este suficient de inteligent pentru a-ți da seama ce să aduci în atenție și ce nu. la. Deci, posibil, în viitor, modul în care se desfășoară asta este mai degrabă așa. Dacă doriți să aflați un anumit detaliu, software-ul de partea dvs. este suficient de inteligent pentru a-l pune în versiunea rezumată a acestuia. Dar este destul de inteligent să știi că nu vrei să cunoști și acel detaliu și să-l omiți.

Poate că vom trăi într-un viitor în care interfețele utilizatorului se vor schimba, în care interfața mea cu utilizatorul pentru o anumită afacere sau sarcină nu este cu adevărat controlată de acea afacere sau de acea sarcină așa cum este astăzi. În schimb, este personalizat pentru mine. Sună foarte fantezist, dar cred că se va întâmpla repede. Aceste modele de limbaj sunt foarte puternice, încep să fie folosite pentru a scrie cod și așa mai departe, și este un hop foarte scurt de aici pentru a lua măsuri de la mine. Am văzut câteva prototipuri acolo în care oamenii lucrează la modele care înțeleg un site web suficient de bine pentru a prelua o propoziție în engleză și a naviga pe site pentru tine. Și atunci, ne îndreptăm către un viitor în care toată lumea interacționează astfel cu site-urile web? Mai ai nevoie de un site web?

Des: Acesta este noul SEO? Vrei să te asiguri că GPT te poate înțelege?

Fergal: Da. Poate că site-urile web se transformă în ceva care arată mai mult ca un API care este expus public și asta este ceva cu UI și formatare, deoarece UI este formatat de agenți.

Des: Toți vorbim doar cu Siri sau orice altceva.

„Poate că așa va arăta viitorul cu roboții. Cu toții avem un bot personalizat pentru noi care se ocupă de interfața și nu trebuie să vă faceți atât de mult griji cu privire la acel strat intermediar”

Fergal: Da, și cred că Google și Apple pot vedea acest viitor. Nu știm cronologia, dar, din nou, instrumentul de gândire pe care îl folosesc întotdeauna este: dacă ai avea un om foarte inteligent care te-a înțeles, care a lucrat cu tine, poate un asistent personal și ai fi interfațat cu ei și ai vrut să rezervi o vacanță? Ce te-ar întreba despre asta? Și în jumătate din lucrurile pe care le vezi pe booking.com sau orice altceva, ei nu te vor întreba asta – doar vor rezerva vacanța pentru tine și poate reveni cu întrebări clarificatoare: „O, ai vrut să du-te și stai într-un apartament, dar nu e loc acolo. Va face un hotel?” Dar aceasta este o interfață de utilizator adaptabilă. Din nou, nu mă concentrez prea mult pe ChatGPT și pe ceea ce tocmai a fost expediat. Ieși un an sau doi. Se mișcă prea repede. Dacă ești sceptic din cauza limitărilor actuale, vei...

Des: Scepticismul tău va rata obiectivul.

Fergal: Exact. Transformatoarele sunt extrem de puternice, iar arhitecturile transformatoarelor folosite de oameni sunt extrem de puternice. Am văzut mai multe modalități îmbunătățite aici. Un lucru ar fi dacă tot ce am văzut ar fi fost generația de imagini DALL·E 2. Dar nu, vedem transformări în sinteza audio, sinteza imaginilor, înțelegerea textului, sinteza textului, compresia textului. Vedem atât de multe progrese paralele. Poate scrie cod. Probabil că va putea funcționa un site web destul de curând. Deci, poate așa va arăta viitorul cu roboții. Cu toții avem un bot personalizat pentru noi care se ocupă de interfața și nu trebuie să vă faceți atât de mult griji cu privire la acel strat intermediar.

Des: O scenă super-prototip pe care am văzut-o pe Twitter a fost cineva care a antrenat un bot să vorbească cu propria lui voce, cred, și să sune un număr și să navigheze într-un arbore de telefon bancar, să ajungă efectiv la un agent, să solicite să aibă toate tranzacții valutare rambursate sau așa ceva. Ceva care este genul de standard în care trebuie doar să întrebi și ei o fac. A ajuns până la capăt. Și, la propriu, au spus doar „Du-te” și au plecat. Acest lucru a fost evident super inventat, poate super închis, dar a fost totuși un caz de utilizare foarte real, de la capăt la capăt, executat automat.

Fergal: Cred că este o zonă cu adevărat interesantă. Vorbim multe despre cum se va schimba serviciul pentru clienți și unde ne îndreaptă mereu capul este ceea ce se va întâmpla atunci când aveți un bot precum ChatGPT, dar personalizat pentru afacerea dvs. și foarte bun în a răspunde la întrebări, iar costul problemelor legate de serviciul clienți va scădea. Dar există o altă latură. Cum se va schimba serviciul pentru clienți atunci când utilizatorul are un bot care poate gestiona interacțiunile cu serviciul clienți și nu renunță sau obosește? Și există potențial o mare schimbare acolo.

Des: Noul B2B va fi de la bot la bot, practic.

Fergal: Poate. Ar putea trece ceva timp până când utilizatorii au acest tip de tehnologie, dar este un lucru interesant de luat în considerare.

Enigma autenticității

Des: Cum te gândești, în general, la această lume cu două fețe a creației și, în cele din urmă, la ceea ce ar putea fi văzut ca înșelăciune – aceasta arată ca o pictură, dar nu este o pictură, a fost generată – versus detectie, ideea pe care oamenii o pot spune , „Hei, chiar am scris manual acel cod, nu este cod generat.” Cât de important este pentru umanitate să navigheze în această lume? Există o scenă faimoasă în Westworld, o fabrică de roboți occidentali, în care un tip vrea să...

Fergal: Este un remake al unui lucru vechi.

Des: Oh, așa-i? Noutăți pentru mine. Nu știam că este un remake al unui lucru vechi. Dar în Westworld, există o scenă în care un tip se lovește de o femeie, are o conversație cu ea și apoi, în cele din urmă, el spune: „Trebuie să întreb, ești adevărat?” Răspunsul ei este: „Dacă trebuie să întrebi, de ce contează?” Și cred că e ceva acolo. Depășirea capacității noastre de detectare va fi văzută ca definiție a autenticului? Autenticitatea mai este un lucru? În exemplul bancar, cum va spune o persoană: „Hei, Fergal, ești de fapt tu, sau este un bot pe care l-ai antrenat?” Mai ales dacă l-ai instruit cum să răspundă la această întrebare.

Fergal: Există câteva întrebări mari acolo. Există cel puțin cinci întrebări pe care probabil le-am pierdut evidența. Ai putea vorbi despre testul Turing, o lucrare foarte pregnant despre cum vom putea spune când un computer a devenit inteligent corespunzător, iar apoi un test a fost un test disfuncțional – dacă un judecător uman poate discerne în mod fiabil între cele două prin interfață text sau orice altceva, am putea spune că nu este inteligent. Și când trece peste asta, ar trebui să acceptăm că este inteligent funcțional. Este denaturat foarte mult, dar lucrarea lui a fost mai degrabă de genul „Face ceva cu adevărat interesant dacă ajunge la acel punct”. Și acesta este un mod de a aborda lucrurile funcțional.

„Spune o poveste în care se întâmplă multe și apoi pune-i un fel de întrebare complexă, cu consecințe, și tot se va împiedica”

Des: Și am trecut de asta, aș spune. Cam în jur.

Fergal: Există întotdeauna titluri despre ceva care trece testul Turing. Cred că formula originală este ceva de genul unui interogator calificat sau ceva de genul. Nu suntem încă în acel moment. Dacă cineva este instruit să pună întrebările potrivite, aceste lucruri se vor strica rapid. Nu are modelul lumii profunde pe care îl are un om.

Des: Corect. Cum ai face trucul de a pune o întrebare autoreferențială? Ați cere pe cineva să-l împiedice din punct de vedere lingvistic?

Fergal: Tehnologia este din ce în ce mai bună la asta. Dar este mai mult ca configurarea unui domeniu complex. Spune o poveste în care se întâmplă multe și apoi pune-i un fel de întrebare complexă, cu consecințe, și tot se va împiedica. Se va împiedica într-un mod în care un copil nu ar face-o. Dar cred că modul corect de a gândi la asta este că ai de-a face cu inteligență extraterestră. Vrei să-i spui inteligență, dar va fi modelată diferit. Deci, vor fi o grămadă de lucruri pe care un copil de șapte ani nu le-ar putea scrie – voi putea scrie un program de calculator, dar ceea ce ați putea numi raționament de bun simț nu există încă. Acestea fiind spuse, din punct de vedere filozofic, este vorba despre faptul că acest lucru este viu și simte lucruri. Și nu, clar că nu, cu majoritatea definițiilor pe care le-ar folosi majoritatea oamenilor. Dar asta este un fel de virare în filozofia întrebărilor AI.

Pentru a reveni la punctul dvs. inițial, ce se întâmplă dacă doriți să construiți CAPTCHA-uri pentru aceste sisteme? Cum arată asta? Da, oamenii au modalități de a marca și de a detecta dacă acel text este produs de aceste modele, dar nu știu dacă va fi de încredere dacă aveți un model care este foarte bun la injectarea cantității potrivite de zgomot.

Un lucru pe care l-aș avertiza pe oricine în acest domeniu este că există sisteme de învățare automată și există de genul „Cum pot face ca sistemul meu de învățare automată să aibă o calitate suficient de bună încât să atingă pragul meu de detectare a imaginii de 99% în viața reală?” Acesta este un standard. Și există un alt standard: cum îmi construiesc sistemul de învățare automată pentru a funcționa bine în comparație cu input-ul adversar? Acesta este un joc cu totul diferit.

„Pentru o vreme, cel puțin, orice jucător important cu un model de limbă mare va încerca să te oprească dacă îl folosești pentru sarcini nefaste ca asta”

Des: Design defensiv.

Fergal: Design defensiv. Cum mă apăr împotriva intrărilor adverse? Și, în general, este foarte greu. Dacă mi-ați spune: „Oh, am un nou sistem de învățare automată de lux care va detecta frauda sau îmi va proteja sistemul într-un mediu complex”, aș fi extrem de sceptic. Există sisteme de detectare a fraudelor, dar asta este diferit de cineva care încearcă să atace sistemul de învățare automată.

Cred că toată această problemă a detectării când vorbești cu un bot, când vorbești cu un model de limbă mare când nu dorește, va fi greu. Și dacă ajungem în viitor într-o situație în care serviciul pentru clienți este inundat de roboții care se prefac a fi utilizatori, va fi dificil de rezolvat. Dar îmi imaginez că pentru o vreme, cel puțin, orice jucător mare cu un model de limbaj mare va încerca să te oprească dacă îl folosești pentru sarcini nefaste ca asta. Și va exista un oarecare control acolo, deoarece aceste modele de o calitate atât de înaltă sunt dificil de găzduit și de rulat pe orice fel de chestii hardware pentru modele de consum. Poate exista o oarecare responsabilitate.

Perturbații care se profilează

Des: Dacă mărim puțin, probabil că nu suntem prea departe de a putea genera muzică cu sunet plauzibil. Muzica de lobby, genul ăsta de lucruri.

Fergal: Da. Muzak.

Des: Muzak, exact. Și într-o oarecare măsură, există cântece cu formule generale – cred că ceva de genul 65 de cântece numărul unu au aceleași patru acorduri sau ceva de genul acesta, sau oricum melodii de top. Și, evident, romanele lui Dan Brown urmează toate un format simplu. Asta nu înseamnă că este rău, dar în ce măsură se schimbă societatea atunci când orice lucru care este exprimat într-o anumită măsură într-o natură formulă poate fi replicat și, în cele din urmă, poți obține o versiune de 0 USD? Codul Da Vinci este încă Codul lui Da Vinci, este o carte destul de bună după orice definiție normală, dar acum puteți obține versiunea la subsol la chilipir pentru 0 USD sau cinci cenți sau orice altceva. Și apoi, te gândești că se întâmplă în orice tip de creativitate. Din nou, acest lucru nu înseamnă că rezultatele acestor tehnologii vor fi comparabile, dar vor fi potențial de 1% din preț. Cum crezi că se schimbă lumea într-un asemenea viitor?

„Este paradoxul lui Jevons – uneori, a face ceva mai ieftin înseamnă că ajungi să faci mult mai mult. Acele dinamice sunt foarte greu de prezis”

Fergal: Gândesc în multe moduri diferite. Puteți privi analogii din trecut. Te poți uita la pictură, apoi a apărut fotografia și dintr-o dată a fost ușor să captezi o imagine de peisaj, dar...

Des: Sunt sigur că pictorilor nu le-a plăcut, nu?

Fergal: Nu cunosc destul de bine istoria, dar, în general, există un titular care este supărat ori de câte ori există o întrerupere.

Des: Cred că a fost la fel și cu casetele de radio sau casete – muzicienii live au spus: „Ei bine, yo, acesta a fost concertul nostru”.

Fergal: Da. Fiecare cinema obișnuia să aibă un pianist care să cânte coloana sonoră, iar asta a dispărut. Acordatori de gramofon și pian, războaiele de țesut și ludiții... Există nenumărate exemple în acest sens. Și cred că există și alte domenii care se confruntă cu o întrerupere iminentă și vor exista conversații dure despre ceea ce este valoros. La fel, cu asistența pentru clienți, trebuie să fii sensibil. Există întotdeauna rezultate mai bune și rezultate mai rele. Oamenii ar putea privi modelele mari de limbaj care se îmbunătățesc la scrierea codului și ar putea spune: „Hei, ca programator, această abilitate valoroasă în care am investit ani de zile, Doamne, nu va mai fi utilă.”

„Vor fi mai puțini reprezentanți de asistență pentru clienți într-o lume cu multă automatizare sau vor fi mai mulți deoarece valoarea pe care o pot aduce unei afaceri a fost mărită?”

Există diferite moduri de a gândi la asta. Vă puteți gândi la asta în termeni de AWS. Folosim Amazon foarte mult la Intercom și, probabil, dacă ar trebui să facem tot ce am făcut fără AWS, ne-ar costa mai multe ordine de mărime din timpul programatorului pentru a face acest lucru. Înseamnă asta că angajăm mai puțini programatori ca urmare? Ei bine, probabil înseamnă că nu am fi fezabil ca o afacere fără această tehnologie care permite. Este paradoxul lui Jevons – uneori, a face ceva mai ieftin înseamnă că ajungi să faci mult mai mult. Dinamica aceea este foarte greu de prezis. Vor fi mai puțini reprezentanți de asistență pentru clienți într-o lume cu multă automatizare sau vor fi mai mulți deoarece valoarea pe care o pot aduce unei afaceri a fost mărită?

Des: Când luăm toate lucrurile reale, vedem de fapt valoarea pe care le aduc, iar tu spui: „Vreau mai mult din asta”.

Fergal: Vrei mai mult din asta; ai nevoie de mai mult din asta. Dintr-o dată este de genul: „Uau, ce am putea debloca în ceea ce privește valoarea afacerii noastre dacă am avea o mulțime de acei repetari?” Fiecare ar putea face de 10 ori mai mult decât fac în prezent. Nu stii niciodata. Cred că asta e ceva ce ratează uneori. Oamenii răspund mereu la întreruperile tehnologice și vorbesc mereu despre: „O, poți să urci pe scara valorii și să obții un loc de muncă mai bun. Poți deveni manager de produs dacă acolo vrei să ajungi.” Și acesta este potențial un singur mod. Dar un alt mod este că doar devenirea mult mai productivă în ceea ce faceți în prezent poate transforma cantitatea pe care trebuie să o faceți.

Des: Sau mai multe afaceri devin posibile din cauza asta.

Fergal: Devin posibile mai multe afaceri. Ăsta e cel mai bun lucru. Cred că toate acestea se vor desfășura cu lucruri precum arta AI. Evident, există o dezbatere despre plagiat și încălcarea drepturilor de autor. Dacă cineva merge și antrenează DALL·E 2 cu o grămadă de imagini, a fost acea încălcare a drepturilor de autor? Și dacă ar învăța stilul unui artist și apoi i-ai cere să producă lucrări ca ale lor? Asta este o încălcare a drepturilor de autor? Și probabil că există o mulțime de lucruri pe care sistemele juridice și societatea trebuie să le descopere acolo. Un lucru cred că lipsește uneori din dezbatere este că, chiar dacă decideți că este o încălcare a drepturilor de autor să antrenați modelele actuale – și nu acceptăm asta cu oamenii; oamenilor li se permite să privească lucrurile și să le copieze stilul – cineva va construi totuși modele antrenate pe lucrări deschise, permise și vor deveni destul de buni la generarea de imagini. Cred că acea navă a navigat într-o anumită măsură.

Cât de mare poate merge?

Des: Pentru a arunca câteva ace aici, ați menționat AWS ca exemplu în care nu avem o echipă masivă de servere aici. Nu avem dulapuri pline cu servere. Este echipa ta AI mai mică din cauza existenței OpenAI, Anthropic și toate astea? Dacă nu ar exista, ai construi o versiune AI a echipei de server?

Fergal: Da, vreau să spun, asta e o întrebare al naibii. Există diferite moduri de a-l privi. Echipa AI este perturbată? Și am mers înainte și înapoi pe asta. Să ne uităm la versiunea actuală a modelelor de limbaj mari. Recent, m-am jucat cu GPT ca recomandator de filme. Este de genul „Hei, îmi place să mă uit la X și Y. Îmi sugerați ceva?” Și nu e rău. Sunt sigur că nu este la fel de bun ca un recomandator bine reglat care are toate cele mai bune date, dar se descurcă mult mai bine decât alegerea aleatorie a filmelor. Și va ieși, va scuipa ca și cum ar fi un raționament. Și raționamentul său, ca tot ceea ce face, este plauzibil, dar nu e rău. Deci, din nou, chiar dacă tehnologia nu este grozavă acum – nu m-aș grăbi să produc un recomandator de film din ea sau altceva – ce se întâmplă dacă devine de 10 ori sau de 100 de ori mai bună? Ce se întâmplă dacă îi furnizați mult mai multe date de antrenament sau un regim de antrenament mult mai bun?

„Există o mulțime de oportunități cu căsătoria acestei noi capacități în lucruri specifice la care se pricepe cu multă schelă, multă muncă de produs în jurul asta”

Des: Așteptați GPT-4.

Fergal: Da, GPT-6, indiferent cum arată, nu? Orice 10 miliarde de dolari te cumpără din calcul și consolidare, învățând feedback uman, dacă asta este, de fapt, ceea ce se întâmplă. Și dacă se întâmplă asta? Mai mergi și construiești un sistem de recomandare? Cineva îți cere un sistem de recomandare, te duci să faci asta? Sam Altman a susținut discuții despre asta. Imaginează-ți că am putea face ca asta să fie la nivel uman. If you had something that was human-level general intelligence, would you need a machine learning team anymore? Or would you just sit down like, “Hi, how's it going? Today I'm going to teach you how to be a movie recommender.” You've got to give lots of examples, and it's got to be able to consume a data set about movies. But maybe it's just like, “Hey, AI system, write the code to consume the data set about movies.” Nu știu.

“You're getting into big questions, Des. And maybe that's just where all our heads are going at the moment. But you can get into big questions about, like, by the time that's disrupted, what percentage of current human economic activity is disrupted?”

Des: Yeah, totally correct.

Fergal: But that's a very bullish case. Maybe we hit some asymptote before then, and I certainly don't think we're near that point at the moment. I think you still need your machine learning team. And I think we're certainly in this happy Jevons Paradox for a while where a lot of stuff is unlocked, and maybe we're doing slightly different work than we were before – we're certainly doing a lot more prompt engineering – but these systems are not yet good enough to just train-

Des: Yeah. To outsource the whole thing to OpenAI, and they'll solve our problems.

“If you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that”

Fergal: Right, yeah. I really hesitate to speculate about when. Just to give you one super concrete limitation. All these models have a prompt size. The amount of context you can pass to it with a prompt is limited. And that limit is baked in pretty low down. And so, a lot of the stuff the team is doing at the moment is around, “Hey, how do we work around that? How do we give them a relevant article?” And we're using more traditional machine learning techniques – traditional as in, invented five years ago. The classic stuff.

There are tons of opportunities with the marriage of this new capability in specific things it's good at with a lot of scaffolding, a lot of product work around that. I think there will be disruption, and it feels like extremely disruptive tech to me, particularly when you project a few years out. But we don't know how big it'll be. And I don't think anyone knows how big it'll be yet. Maybe the folks in OpenAI do. But if you put 100X more resources into model training or dataset creation, what return do you get? Is it 10X, a 100X, a 1000X? I don't know if anyone knows that. There's certainly no consensus on it.

Des: There was that quote from Sam Altman where he was asked something – I think it was some irrelevant question about challenges in San Francisco or something like that – and his answer was, “When you believe that artificial general intelligence is as close as I do, you struggle to think about any other problem.” When I read that, I was like, “Okay, well, he's certainly leaned a certain way.” Now, he could still be thinking in 20 years, but some societal problems are kind of irrelevant against the greater potential wave of what could be happening here.

“There's clearly a pitfall to avoid and an attractive pitfall to fall into”

Fergal: Yeah. Full disclaimer mode now. I think there's a lot of merit to that style of thinking, personally. I remembered there were times in the history of computation when it was like, “Oh, if you've got a million dollars to solve a computing problem and you need to solve it as soon as possible, what you need to do is sit with the million dollars for two years and then buy the fastest computer that the million could buy.

Des: I remember my own career. In 2006 or 2007, mobile websites were all the thing. Pre-iPhone, right? And people were talking about WAP and JMI files or JNI files, and everyone hyped up their mobile strategy. And literally, by the time I finished working out what I thought was the right recommendation for a client, the iPhone had launched. And I was like, “You know what? Don't worry about it. Sit on your hands. Apple's going to solve this entire problem.” And sure enough, two months later, “Hey, it turns out all our websites are mobile-ready.” Sometimes, a tech wave can be so big that any temporal thing you do will just be irrelevant against the magnitude of what's going to happen.

Fergal: Yeah, if you believe AGI is close, I guess I can logically see that position. Now, clearly, it seems like there's a terrible mistake to make there where-

Des: Yeah, where we're wrong, and you've probably just been sitting on your hands.

Fergal: You've given yourself a license to ignore terrible, terrible things. So obviously, you've got to wait, and I'm not making any judgment on that. But yeah, there's clearly a pitfall to avoid and an attractive pitfall to fall into. I think it's very hard to bet against increasingly general intelligence. And I don't know timelines and stuff, but I think there are big questions for people to think about. Now, that's definitely way outside customer support or customer service.

Des: No, yeah. Well, look, thank you very much. We'll check in in six weeks to find out that this podcast is yet again out of date. We'll see where we're at again. But for now, thank you very much.

Fergal: Thanks, Des.