Interfon pe produs: cum ChatGPT a schimbat totul

Poate că sunteți cu adevărat pasionați de rețelele neuronale profunde și de procesarea limbajului natural, poate că sunteți doar un pasionat de tehnologie - sunt șanse să fi dat deja peste ChatGPT, noul chatbot al OpenAI. hype-ul este în creștere, dar întrebarea rămâne: este într-adevăr un schimbător de joc sau este prea devreme pentru a spune?

Într-un episod recent, directorul nostru de învățare automată, Fergal Reid, a aruncat puțină lumină asupra celor mai recente descoperiri în tehnologia rețelelor neuronale. Am vorbit despre DALL-E, GPT-3 și dacă hypeul din jurul AI este doar atât sau dacă a fost ceva. Ne-a spus că lucrurile încep să se extindă. Și tocmai așa, suntem din nou la asta.

ChatGPT, prototipul de chatbot de inteligență artificială al OpenAI, a fost lansat săptămâna trecută și a făcut rondul pe holurile internetului, inspirând reacții uimite de la tehno-pozitiviști îndrăgostiți până la tehno-sceptici perpetui. Botul este alimentat de GPT-3.5, un AI care generează text și, conform OpenAI, poate genera text într-un format de dialog, care „face posibil să se răspundă la întrebări ulterioare, să-și recunoască greșelile, să provoace premise incorecte și respinge cererile nepotrivite.”

Deși este încă devreme pentru a-l vedea aplicat pentru utilizări în lumea reală, este, fără îndoială, foarte promițător. De fapt, pentru Fergal Reid, schimbarea capacității pe care am văzut-o în ultimul an sugerează că acest spațiu ar putea fi „la fel de mare ca internetul”. Și acesta este motivul pentru care am decis să vă aducem un episod special despre aceste ultime evoluții din lumea AI, ce înseamnă ele și dacă este timpul să le aplicăm în scenarii din viața reală, cum ar fi asistența pentru clienți.

Iată câteva dintre concluziile noastre preferate din conversație:

• Împingând scara și antrenând aceste modele cu din ce în ce mai multe date, acești roboți au început să prezinte schimbări calitative, cum ar fi învățarea conceptelor abstracte fără învățare supravegheată.
• În acest moment, ChatGPT funcționează cel mai bine în problemele în care este ușor să validezi răspunsul sau în contexte creative în care nu există un răspuns corect.
• În timp ce vedem capacități de raționament dramatic mai bune de la aceste modele, ele încă au probleme cu halucinațiile - dacă nu știu ceva, ei inventează.
• Dacă solicitați aceste modele cu mesajul „să gândim pas cu pas”, ratele de acuratețe cresc și veți obține intrări mai bune decât doar ca acesta să dea instantaneu răspunsul.
• Interfețele noastre tehnologice devin treptat mai conversaționale și abia începem să vedem că calitatea înțelegerii limbajului natural devine suficient de bună pentru a le debloca.
• Există multe aplicații interesante ale acestei tehnologii în sprijin, cum ar fi creșterea agenților, dar mai este de făcut înainte ca aceasta să poată fi implementată.

Dacă îți place discuția noastră, vezi mai multe episoade din podcastul nostru. Puteți urmări pe iTunes, Spotify, YouTube sau puteți prelua fluxul RSS în playerul dorit. Ceea ce urmează este o transcriere ușor editată a episodului.

Marele debut al ChatGPT

Des Traynor: Hei, Fergal.

Fergal Reid: Bună, băieți. Cum stă treaba? Mulțumesc că m-ai primit înapoi.

Des Traynor: Bine. E bine să te am înapoi. Te-am avut doar acum cinci săptămâni pe podcast pentru a vorbi despre lucruri care se întâmplă cu AI. Și te-ai întors din nou pentru că s-au întâmplat mai multe lucruri.

Fergal Reid: Au fost cinci săptămâni încărcate.

Des Traynor: Au fost cinci săptămâni pline și șapte zile aglomerate. Acum șapte zile a fost miercuri, 30 noiembrie, și am primit un e-mail cu o invitație la o versiune beta deschisă pentru un lucru numit ChatGPT. Ce s-a întâmplat?

„A devenit viral, a devenit sălbatic și toată lumea s-a entuziasmat”

Fergal Reid: Ce sa întâmplat? Deci, este o întrebare interesantă. OpenAI și-a lansat cel mai recent sistem de învățare automată, sistemul AI, și l-au lansat foarte public și a fost ChatGPT. Și este destul de asemănător cu oferta lor actuală, GPT-3, GPT-3.5, dar a fost împachetat diferit, nu a fost nevoie să puneți un card de credit în ea și cred că toată lumea a văzut că „Uau, a fost un uriaș schimbarea capacității aici recent.” Și a devenit viral, a devenit sălbatic și toată lumea s-a entuziasmat cu adevărat. Și cam în același timp, ei și-au lansat cel mai recent model GPT-3.5, cum ar fi davinci-003, care face multe aceleași lucruri și poate este puțin mai puțin bun să spună: „Hei, sunt un model de limbă mare și nu pot face asta pentru tine.” Dar este similar în ceea ce privește capacitatea.

Des Traynor: Să facem niște definiții rapide pentru a pune la punct pe toată lumea. OpenAI este, evident, instituția care lucrează mult pe AI și ML. Ai spus GPT: ce înseamnă asta?

Fergal Reid: De fapt, nu-mi amintesc. Transformator de uz general sau ceva de genul ăsta [Generative Pre-Trained Transformer].

Des Traynor: Dar acest nume înseamnă ceva?

Fergal Reid: Da, cred că piesa cheie este transformatorul. Multă vreme, oamenii au încercat să-și dea seama: „Hei, care este cel mai bun mod de a antrena rețele neuronale care se ocupă de sarcinile de procesare a textului și a limbajului natural?” Și a trecut mult timp, au existat aceste LSTM [memorie pe termen scurt] care combinau structura pe termen scurt a textului tău cu structura pe termen lung a propoziției tale și modele de secvență, iar toată lumea lucra la acestea. .

„Pe măsură ce transmiteți din ce în ce mai multe date de antrenament, acestea par să prezinte schimbări calitative în ceea ce privește ceea ce pot face. Deci, este de genul „Hei, asta pare să înțeleagă””

Și apoi, Google a publicat o lucrare destul de revoluționară, „Attention Is All You Need”, cu o teză destul de mare: „Hei, în loc de aceste modele tradiționale de secvență, iată un nou mod de a face asta, un nou model”, pe care ei îl numesc modelul transformatorului sau arhitectura transformatorului. Când vă uitați la un anumit cuvânt, modelul va învăța alte părți ale propoziției pe care ar trebui să le priviți împreună cu acel cuvânt. Puteți învăța lucrurile puțin mai eficient decât cu modelele de secvență și le puteți antrena mai rapid, mai eficient și le puteți scala mai departe.

Deci, toată lumea a început să folosească transformatoare pentru tot felul de date secvențe. Și apoi, un lucru la care OpenAI a contribuit cu adevărat a fost ideea că puteți lua aceste arhitecturi de transformatoare și puteți crește cu adevărat scara. Puteți adăuga mult mai multe date de antrenament și mult mai multe calcule la ele. Și poate foarte surprinzător, și chiar cred că acesta este cheia, pe măsură ce împingeți din ce în ce mai multe date de antrenament, acestea par să prezinte schimbări calitative în ceea ce privește ceea ce pot face. Deci, este de genul „Hei, asta pare să înțeleagă.” Sau pot spune „fă asta mai fericit” sau „face asta mai trist”, care este un concept foarte abstract. Unde a învățat asta? Nu i-am dat această învățare supravegheată în care codificați într-o definiție a tristeții sau a fericirii. Tocmai a început să învețe aceste concepte abstracte și aceste abstracții din mase de date de antrenament.

Practic, OpenAI și alții au împins acea piesă de scalare din ce în ce mai mult și mai mult. Sunt și alte lucruri. Cu GPT-3.5, ei îl antrenează puțin diferit pentru a încerca să îl alinieze mai mult. Dar, practic, lucrul mare aici este o mulțime de scară, o mulțime de date de antrenament și, de fapt, un fel de modele simple. Puteți face lucruri remarcabile pe care în urmă cu 20 de ani, oamenii ar fi spus: „Ei bine, un computer nu va face niciodată asta; nu va putea niciodată să-mi scrie o melodie”, iar acum este de genul: „Ce fel de melodie ți-ar plăcea?” „Fă sunetul mai fericit.” Deci, da, este un moment remarcabil pentru că multe lucruri pe care le credeam că sunt doar domeniul inteligenței umane au nevoie doar de tone de date de antrenament și de un model mare.

ChatGPT poate fi creativ?

Des: Și apoi, ceea ce s-a întâmplat de miercurea trecută a fost că Twitter – și apoi șapte zile mai târziu, internetul general sau mass-media – au prins asta. Am văzut tot felul de utilizări remarcabile în ceea ce privește pur și simplu nu mi-am putut imagina că acest lucru este posibil. Am văzut „scrieți-mi instrucțiuni pentru a copia un DVD într-un stil al unei melodii Taylor Swift în care este supărată pentru că s-a despărțit de iubitul ei” sau ceva de genul ăsta. Dar de fapt are o încercare. Și apoi, i-am văzut pe alții de genul „cum instalezi Intercom pe iOS” și devine relativ corect. Și totul între ele. Și lucrul nebunesc pe care l-am văzut este că, pentru oricare dintre aceste lucruri, puteți să vă întoarceți și să spuneți: „Acum, dă-mi asta în stilul unui gangster din anii 1940 și spune-l în germană” și „Acum traduce germană în spaniolă. , dar adaugă și mai multă furie”, sau orice altceva. Și face toate aceste lucruri imediat, într-o întârziere de aproape zero secunde și, în toate cazurile, puteți vedea la ce se întâmplă.

Un exemplu personal pe care îl folosesc este că atunci când încerci să-i spui copilului tău o poveste înainte de culcare, poți rămâne fără unghiuri. Există doar atât de multe moduri diferite în care, de exemplu, trei dragoni ar putea intra într-o pădure și se pot pierde. Cu toate acestea, GPT-3 este de fapt grozav pentru a-mi oferi încă 10 povești. Ceea ce am observat este că, pentru cea mai lungă perioadă de timp, cu povestea AI, chiar și recent ca ani în urmă, oamenii spuneau: „Este grozav pentru anumite lucruri, dar nu există nicio modalitate de a aborda creativitatea.” Este corect să spunem că ne simțim de fapt în lumea inversă aici?

Fergal: Da. Adică, când oamenii vorbesc despre inteligență artificială, întotdeauna este: „Ei bine, primele lucruri pe care le va face sunt acele sarcini manuale, manuale”. Și apoi oamenii vor avea tot acest timp pentru a merge și a face aceste lucruri extrem de creative...

Des: Du-te într-o pădure și...

Fergal: Fă artă tot timpul, poezie frumoasă. Și apoi, este de genul: „Oh, wow. Acele sarcini manuale necesită o viziune foarte dură și procesarea lucrurilor de rezolvat. Dar creativitatea, unde nu există un răspuns greșit și nu există nicio penalizare pentru a greși... Da, poezia nu este perfectă, dar este în regulă, iar imaginea redată DALL·E 2 s-ar putea să nu fie exact ceea ce ai avut în minte, dar tot e o imagine frumoasă și poți alege 1 din 10, chestia aia funcționează.

„Acest lucru pare că este foarte bun la acest tip de piesa intuitivă și este foarte bun la a păcăli piesa noastră intuitivă. Deci, când te uiți la el dintr-o privire, pare corect”

Des: Și poți vedea și la ce se întâmplă. Cred că un lucru pe care oamenii nu-și dau seama este că îți dă înapoi ceea ce era probabil în capul tău, pentru că oricum vei vedea. Când spun: „Dă-mi instrucțiuni să deschid un cont bancar în stilul unui cântec Rage Against the Machine”, văd: „Da, ne vom lupta pentru a deschide contul și ne vom înfuria pe toți. noapte." Și pot să văd ce face. Nici măcar nu aplic o scală de precizie acolo, sunt doar ca „Ah, ai încercat” și îi dai credit pentru asta.

Fergal: Da, cred că este probabil adevărat. În ce măsură suntem buni la a judeca aproape incidentele din punct de vedere al informațiilor nefactuale? Poate că nu suntem atât de buni la asta. Poate că nu ne pasă profund de asta. Și vreau să spun, va trebui să intrăm în această problemă a faptului, dar chiar și atunci când îi pui o întrebare concretă... Să presupunem că îi pui o întrebare de asistență pentru clienți. L-am întrebat recent pe unul despre autentificarea cu doi factori: „Cum resetați autentificarea cu doi factori interfon?” Și răspunsul pe care l-am primit a fost de genul „Wow, acesta este un răspuns grozav”. Și mă uit la asta și „stai, nu așa îți resetați 2FA”. Și este o adresă URL frumoasă, are referința la articolul din centrul nostru de ajutor și a fost inventată.

„Cred că majoritatea oamenilor, inclusiv noi înșine, cărora li se năvălesc mințile, îi surprind ideea de plauzibil la prima vedere”

Oamenii vorbesc despre oameni și creierul uman și avem această parte intuitivă care este foarte bună la recunoașterea tiparelor, iar apoi avem partea logică, analitică, de raționament, care este mai lentă și mai precisă. Acest lucru pare că este foarte bun la genul ăsta de piese intuitive și este foarte bun la păcălirea piesei noastre intuitive. Așa că atunci când îl privești dintr-o privire, pare corect și până când nu aplici cu adevărat raționamentul sistemic mai lent, poate fi greu să vezi asta. Și cred că acea piesă intuitivă, acea speculație, este probabil pe care ne bazăm mai mult pentru a judeca eforturile creative, arta, imaginile și sonetele. Cel puțin inițial. Și așa, este foarte bun în a genera lucruri care sunt plauzibile la prima vedere, dar apoi poate, când îți faci timp să te gândești la asta, tu...

Des: Vezi problemele. Și să fii plauzibil la prima vedere este foarte important pentru că cred că majoritatea oamenilor, inclusiv pe noi, cărora le este suflat mințile, îi surprind ideea de plauzibil la prima vedere. Îi acordați mult credit pentru asta, în ciuda faptului că s-ar putea să nu aibă prea multă aplicabilitate în lumea reală. Nu vei agăța niciodată acel tablou într-un muzeu și nu vei citi niciodată acel sonet, indiferent de sonet și nu vei câștiga niciodată un premiu pentru acel roman.

Văd că mulți oameni ca agenții de marketing de conținut spun lucruri de genul „Acest lucru îmi va schimba munca pentru totdeauna”. Și eu zic: „Da, dar poate nu în modul în care crezi tu. Dacă crezi că slujba ta va fi pur și simplu să tastezi solicitări și să apeși pe fila, este posibil ca slujba ta să nu existe.” În mod similar, văd manageri pe Twitter spunând: „Oh, asta va face sezonul de evaluare a performanței mult mai ușor.” În toate aceste cazuri, sunt ca...

Fergal: E ceva în neregulă cu asta.

„Este posibil ca contribuția cu adevărat mare pe care această tehnologie o aduce umanității să fie o conversație sinceră despre cantitatea de muncă pe care o putem elimina”

Des: Exact. Toți spuneți cu voce tare partea liniștită aici, dacă slujba dvs. implică de fapt să scrieți BS fals care ar putea fi...

Fergal: De ce o faci în primul rând?

Des: Ce faci? Exact. Înțeleg că, de exemplu, marketingul de conținut, ar putea exista motive pentru care trebuie doar să vă clasați pentru anumite cuvinte, dar nu confundați asta cu meșteșugul de a scrie de fapt.

Fergal: Adică, este posibil să fie un lucru bun. Este posibil ca slujbele de prostie, lucruri pe care persoana simte că nu au nicio valoare, cum ar fi aceste recenzii de performanță, să le transmită GPT. Și apoi, după un timp, toată lumea realizează că asta se întâmplă, iar persoana de cealaltă parte spune: „Ei bine, o voi preda GPT-ului pentru a o analiza.” Și poate că atunci putem avea o conversație sinceră despre care este nucleul care este de fapt cu adevărat valoros și cum să eliminăm munca.

Des: De ce facem toate prostiile astea performative?

Fergal: Da, este posibil ca contribuția cu adevărat mare pe care această tehnologie o aduce umanității să fie o conversație sinceră despre cantitatea de muncă pe care o putem elimina. Și asta ar putea fi grozav. Asta ar putea fi o transformare masivă.

Problema cu halucinațiile chatbot

Des: Vorbind despre aplicațiile reale, ceva care îmi vine în minte, cel puțin experiența mea în mod direct, și chiar ceea ce ați spus despre cazul de utilizare 2FA, este că nu îl puteți implementa direct astăzi într-o mulțime de zone în care există o soluție definitivă. răspunsul corect, mai ales dacă riscul de a da un răspuns greșit este destul de mare. Așa că nu doriți ca acest lucru să consume dosare medicale și să scuipe diagnostice, deoarece vă pot garanta că diagnosticul va fi foarte bine scris, va suna cu adevărat credibil pentru un profan și ar avea probabil o probabilitate scăzută de acuratețe. Nu știm probabilitatea de acuratețe, dar aceasta va varia în funcție de intrări.

Fergal: M-ar speria foarte mult dacă cineva ar veni la mine și ar spune: „Hei, Fergal, vrem ca echipa ta să înceapă să folosească asta pentru diagnosticul medical. Ar fi minunat." Ar fi extrem de înfricoșător.

„Un lucru este că această tehnologie are absolut probleme cu ceea ce mulți oameni numesc halucinații, unde dacă nu știe ceva, pur și simplu inventează.”

Des: Dar există și alte cazuri de utilizare, poate mai puțin grave, dar la fel de inexacte, în care le puteți folosi pentru a diagnostica o concluzie într-un caz legal. Din nou, sunt sigur că ar suna bine și l-ar încheia în limbajul potrivit, dar în cele din urmă nu ar ști cu adevărat ce spune. I-am cerut să-mi dea idei despre cum să construiesc un client de e-mail modern care să concureze și să câștige în spațiul productivității. Și se citește foarte bine, dar doar atunci când îl zgârie, realizezi că de fapt nu este nimic acolo. Este doar cuvânt care sună frumos după cuvânt care sună frumos fără păreri deosebit de clare. Asta, pentru mine, mă face să mă întreb cum am putea face acest lucru mai aplicabil.

Fergal: Înainte de a intra în asta, sunt două lucruri care cred că sunt utile să le tachinem aici. Un lucru este că această tehnologie are absolut probleme cu ceea ce mulți oameni numesc halucinații, unde dacă nu știe ceva, doar inventează. Acest lucru este pernicios și există o mulțime de domenii în care o probabilitate de 1% de halucinație este o problemă. Și tuturor ne-ar plăcea dacă această probabilitate ar fi zero. Dar, în același timp, acuratețea a crescut față de situația în care era cea mai avansată tehnologie în urmă cu un an, față de locul în care era acum trei ani. Este absolut mai bine să vă ofere răspunsul corect de multe ori. Este dramatic mai bun la „înțelegere”. Mă chinui să spun: „Oh, este doar recunoașterea modelelor, nu înțelege nimic”, sau cel puțin, mă chinui să spun asta fără „Ce vrei să spui prin înțelegere?”

Ne aflăm cu siguranță pe o traiectorie în care, deși încă va inventa lucrurile, și aceasta este o mare problemă, devine din ce în ce mai bine să vă ofere răspunsul corect atunci când are răspunsul corect. Și așa, cum arată curba aceea? Este dificil de despachetat în acest moment, dar obținem modele dramatic mai bune, care sunt mult mai bune în a face ceea ce trebuie, în timp ce, uneori, fac ceva catastrofal greșit. Ar trebui să fim atenți la ambele lucruri. Da, acest lucru este foarte greu de implementat în multe setări de producție în acest moment, cel puțin fără unele tulburări sau unele avantaje în jurul lui, dar de asemenea devine mult mai bine. Dacă întrebați ceva care este foarte bine acoperit pe Wikipedia, este din ce în ce mai bine.

Un exemplu final în acest sens este programarea computerelor. Îi poți cere o provocare de programare pe care nu a văzut-o, iar dacă îi ceri să genereze un întreg modul sau sistem, se cam luptă, ai un fel de punct de rupere. Dar dacă îi cereți să scrie o funcție, chiar și una nouă, inventată, în afara eșantionului, s-ar putea să vă dea un răspuns greșit, dar șansele ca aceasta să vă dea ceva util au crescut mult.

Des: Spuneai înainte, practic trece de prima etapă a interviului nostru de programare, un fel de întrebare bazată pe matrice. Doar o dă în cuie.

„Toată lumea începe să vorbească despre faptul că gramatica câinelui nu este foarte bună și asta este foarte important, dar nu pierde din vedere faptul că câinele vorbește”

Fergal: Da. Exact. Avem o provocare de programare de rezolvare a problemelor pentru inginerii care vin la Intercom. A trebuit să le așez eu în urmă cu câțiva ani și ne străduim foarte mult să ne asigurăm că nu este disponibil pe internet. Și dacă este, încercăm să repetăm ​​și să o schimbăm. Și nu suntem prea la îndemână, așa că nu pot garanta că nu este acolo. Dar acest lucru a generat o soluție care tocmai a reușit, și care este un fel de problemă de „inginer senior la tabla albă pentru o jumătate de oră”. Și o primește dintr-o singură lovitură, o singură mișcare.

Des: Zero secunde.

Fergal: Zero secunde. Și asta e foarte impresionant. Și, la fel ca jumătate din restul lumii, m-am jucat și cu ChatGPT sau GPT-3.5 și i-am pus o mulțime de alte întrebări de concurs de programare sau întrebări de programare, care sunt destul de sigur că sunt în afara eșantionului. , și face o treabă foarte bună. Și aceasta este o schimbare calitativă a preciziei. Trebuie să vă verificați codul și să vă asigurați că nu este greșit, dar este foarte interesant și interesant.

Foarte interesantă este și ideea că are capabilități de introspecție cel puțin rudimentare. Dacă scrie o eroare, puteți spune: „Hei, există o eroare. Il poti repara?" Și uneori, îți oferă o explicație frumoasă despre asta. Și toate aceste modele sunt antrenate pentru a face este predicția simbolului; prezice următoarele câteva cuvinte. Cel puțin în mod tradițional, pentru că bănuiesc că s-a schimbat puțin în ultimul an, dar cea mai mare parte a antrenamentului este doar pentru a prezice următorul simbol, a prezice următorul cuvânt. Și se întâmplă ceva uimitor aici – doar făcând asta la scară, ajungi la un anumit nivel de înțelegere.

Nu vreau ca asta să se piardă în discuția mai largă despre halucinații, care este reală, și poate că oamenii nu i-au acordat suficientă atenție săptămâna trecută. Dar există această metaforă, și nu-mi amintesc cine a venit cu ea, a unui câine care vorbește, și cineva îți spune că vrea să te întâlnești cu noul lor câine care vorbește, iar tu spui: „Câinii nu pot vorbi. ” Dar ajungi la câine și câinele are o conversație cu tine. Toată lumea începe să vorbească despre faptul că gramatica câinelui nu este foarte bună și asta este foarte important, dar nu pierde din vedere faptul că câinele vorbește. Chestia cu halucinațiile pentru mine este că. Se simte ca o schimbare majoră – poate că nu o putem pune în producție, dar cine știe unde va fi peste un an, doi sau trei ani.

„Aceasta este ca chestia cu mașinile care se conduce singur, nu? Trebuie să fii gata să preiei în orice moment”

Des: Da, chestia cu halucinațiile, pentru mine, nu o face deloc inutilă. Și haideți să fim pesimiști și să spunem că, având în vedere o descriere de cinci paragrafe a unui pacient, vă poate oferi imediat un diagnostic precis de 70%. Și în majoritatea acestor întrebări de diagnosticare, există un test rapid care poate verifica dacă este sau nu adevărat, cum ar fi „Se pare că ai X, iată testul rapid pentru X”, și se dovedește dacă a fost corect sau greșit - aceasta este încă o schimbare masivă a productivității. Dacă presupunem că lucrul este încă defectuos, dar încercăm să profităm de precizia de 70%, probabil că există încă lucruri pe care le poate face și care vor fi extrem de valoroase.

Fergal: Am două gânduri despre asta. Primul gând este că cineva ar trebui să studieze asta pentru că este posibil ca acest lucru să fie net negativ, că noul sistem cu omul în buclă, doctorul și IA, are o probabilitate mai mare de eroare catastrofală, deoarece cel obosit, suprasolicitat. Doctorul uneori nu face diligența lor, dar există un sistem atrăgător, dar incorect în fața lor. Este ca chestia cu mașinile care se conduce singur, nu? Trebuie să fii pregătit să preiei în orice moment. Pot exista zone în acel regim în care sistemul în ansamblu cu umanul este de fapt mai rău decât doar...

Des: Oamenii pot de fapt supraîncredere.

Fergal: Oamenii pot supraîncrede. Cum îl numesc? Normalizarea deviantei. Oamenii studiază acest lucru în contextul dezastrelor din reactoare nucleare și altele. Ce a mers prost? „Oh, ne-am obișnuit cu această comandă rapidă, iar comanda rapidă nu a fost întotdeauna validă”, etc. Ăsta e un lucru pe care l-aș spune. Dar apoi, contrapunctul, când ne gândim la lucruri medicale, este că o parte a lumii nu are acces la un medic. Deci nu știu unde să trag acea limită. Este o graniță greu de trasat. În cele din urmă, pe traiectorie, aceste lucruri probabil vor deveni din ce în ce mai bune și suficient de bune încât, în cele din urmă, în ansamblu, sistemul depășește orice au oamenii în prezent.

Antrenează chatbot-i pas cu pas

Des: Spuneai că atunci când generează cod, poți spune: „Hei, asta e boogie”. Un alt exemplu pe care l-am văzut și care a fost popular pe Twitter pentru o vreme a fost „Vorbește-mă prin gândurile tale rând cu rând” sau orice altceva. Este aproape ca și cum i-ai spune cum să gândească la lucruri sau i-ai oferi informații noi și apoi nu-l forțezi să-și reconsidere opinia. Ce se întâmplă acolo?

Fergal: Cred că se întâmplă ceva fascinant acolo și trebuie să vorbim chiar la vârf aici. Acest lucru este o speculație și sunt un spectator – nu fac această lucrare. Cred că Google a publicat destul de recent o lucrare despre modul în care modelele lingvistice mari se pot auto-îmbunătăți, așa că cred că există ceva fascinant acolo care merită despachetat.

Primul lucru este că, poate cu aproximativ un an în urmă, oamenii au descoperit că, deși aceste modele ar greși foarte mult lucrurile, le-ați putea îndemna cu clasicul „să gândim pas cu pas”. Ai avea un model și i-ai putea pune o întrebare simplă de matematică, cum ar fi „Alice și Bob au trei batoane de ciocolată și îi dau trei lui Eve” sau ceva de genul. „Câte au mai rămas?” Aceste lucruri se luptă cu matematica de bază, așa că deseori ar greși astfel de lucruri. Dar ai putea spune ceva de genul „Să gândim pas cu pas”, iar asta a forțat-o să-și ia raționamentul pas cu pas pe parcurs. Și ratele de precizie au crescut când ai făcut asta, ceea ce are sens. Este antrenat să completeze text. Și astfel, pas cu pas, fiecare pas este conceput...

Des: Este aproape ca și cum nu multiplicați probabilitatea de eșec. Pentru că atunci, dacă rulați fiecare pas cu o probabilitate ca acesta să fie corect de 90% și la cinci pași, dintr-o dată, probabilitatea este corectă de doar 50%.

Fergal: Poate. Adică, este dificil să speculăm ce se întâmplă exact în interior, dar posibil așa ceva. Dar a existat recent o lucrare foarte interesantă în care spunea: „Hei, știm că putem îmbunătăți acuratețea spunând „hai să ne gândim pas cu pas”. Și o putem folosi pentru a obține rezultate mai bune decât să o avem doar intuitiv, da instantaneu raspunsul. Puteți folosi asta pentru a construi un nou set de date de antrenament și pentru a reinstrui modelul pentru a-și îmbunătăți acuratețea. Acest lucru, pentru mine, este fascinant pentru că aceste lucruri se pot auto-îmbunătăți, cel puțin într-o oarecare măsură.

„Există o lume foarte interesantă aici, în care modelele de limbaj și NLP încep să semene puțin mai mult cu lumea AlphaGo. Cred că este o perioadă foarte interesantă și este foarte greu de spus care sunt limitele aici”

Am văzut recent un demo la un eveniment Microsoft în care au arătat Copilot sau unul din acele modele, poate davinci, nu au specificat, făcând ceva cu un prompt Python unde i-au dat o problemă de limbaj natural, un pic ca problema noastră de programare a intercomului , și apoi a cerut sistemului să sintetizeze codul și să pună codul într-un prompt Python, iar când a greșit, sistemul a încercat să execute codul și a văzut că este greșit, așa că a mai durat încă o încercare și încă una până l-a primit dreapta. Există o lume foarte interesantă aici în care modelele de limbaj și NLP încep să semene puțin mai mult cu lumea AlphaGo. Cred că este o perioadă foarte interesantă și este foarte greu de spus care sunt limitele aici.

Cred că există o mulțime de lucruri la care, pentru o lungă perioadă de timp, oamenii din lingvistică sau ceva ar fi spus: „În AI, nu vom putea niciodată să răspundem la acestea într-o schemă mare” sau ceva de genul. Ca „Tractorul a coborât pe drum și s-a transformat într-un câmp. Vă rog să explicați ce s-a întâmplat în acea glumă.” Calculatoarele erau proaste la asta din punct de vedere istoric. „Tractorul magic a coborât pe drum și s-a transformat într-un câmp.” Un ușor modificator ca acesta schimbă sensul. Și devine foarte bun la asta în unele domenii. Îi poți pune întrebări semantice de bază sau îi poți cere să speculeze. Până acum vreo doi sau trei ani, de câte ori vedeam un nou sistem de învățare automată, arăta întotdeauna magic și uimitor la început și, de fiecare dată când intrați în el și sub capotă, spuneai: „Oh, este doar regresie logistică. .” Odată ce am înțeles asta, a fost mult mai puțin impresionant. Și mă chinui să fac asta aici. Poate pentru că este atât de greu de înțeles complexitatea modelului. Dar aceste lucruri se simt ca capacități calitativ diferite de cele pe care le-am avut noi.

Boții AI versus Google

Des: Înainte de a intra în asistență, despre care ne vom scufunda în profunzime, am văzut comentarii care spun că acesta este un moment la fel de mare pentru internet ca și Google. Am văzut, de asemenea, aș spune că luarea de apă rece, adică „nu vă lăsați păcăliți, generarea de versuri ale melodiilor este în cel mai bun caz un truc”. Și, evident, există un spectru de apetit, în funcție de dacă ești sau nu tehno-pozitivist sau orice altceva. Ce părere aveți despre Google? Este acesta potențial la fel de mare ca Google? Este aceasta o amenințare pentru Google? Gânduri despre cum ar putea reacționa Google?

Fergal: Deci, voi fi foarte speculativ aici, intrând în futurism total și alte chestii. Sunt foarte optimist în ceea ce privește inteligența artificială și învățarea automată. Simt că schimbarea capacității pe care am văzut-o în ultimul an și, cu siguranță, dacă extrapolezi înainte încă un an sau doi, este la fel de mare ca internetul. Potentialul. Și va trebui să ne dăm seama cum să producem aceste lucruri. Va trebui depusă o mulțime de muncă cu privire la modul în care îi constrângeți să răspundă dintr-o bază de cunoștințe și așa mai departe. Dar suma totală de noi capabilități pe care le-am dobândit și probabil că le vom obține, mi se pare la fel de mare ca internetul. S-ar putea să greșesc, dar acolo aș...

Des: Acesta este ordinul de mărime. Deci, mai mare decât Google.

„Cred că este un moment Sputnik – oamenii se vor uita la asta și vor merge, Wow, ceva vine aici”

Fergal: Da, cred că da. Nu doar ChatGPT, care tocmai a apărut săptămâna trecută. Dar progresul total pare că vedem capacități dramatic mai bune la raționament, raționament elementar și raționament care poate fi greșit, dar uneori destul de convingător. Nu aș fi crezut dacă mi-ați fi spus despre succesul său în provocările de programare în urmă cu cinci ani. Deci cred că e ceva mare aici. Există o mulțime de productivitate care poate fi deblocată și este foarte greu de spus unde se va opri asta. Și, de asemenea, cred că există bucle de feedback aici. Simt că acesta este un moment Sputnik. Cu ChatGPT, puteți spune: „Hei, tehnologia nu este cu mult mai bună” sau „devine exagerat”, dar nu subestima capacitatea de frecare scăzută de a putea intra și te juca cu ceva. Toată lumea poate face asta. Și cred că este un moment Sputnik – oamenii se vor uita la asta și vor spune: „Uau, vine ceva aici”.

Des: Referință Sputnik aici, îmi pare rău.

Fergal: Asta a fost, Doamne, în anii cincizeci. Rușii au pus acest satelit în spațiu care a orbitat în jurul Pământului și a transmis semnale radio. Și oamenii din întreaga lume ar putea să-și acorde brusc radioul și să primească acest semnal de la Sputnik. Și aceasta este narațiunea care se spune în general în vest. Oamenii s-au trezit brusc și au spus: „Uau, există o schimbare de capacitate aici de care nu eram conștienți”. Și apoi, se presupune, asta a provocat cursa spațială și Apollo și toate chestiile astea. Așa că simt că poate reacția încă se manifestă, dar văd atât de mulți oameni care nu au fost cu adevărat atenți la asta, care sunt brusc entuziasmați de asta. Poate că hype-ul se va stinge. Suntem în mijlocul ei, așa că este greu de prezis. Dar dacă nu este asta, va fi altceva în curând.

ChatGPT poate alimenta asistența pentru clienți?

Des: Dar asistența pentru clienți? Intercomul este o platformă de asistență pentru clienți, iar potențialul pe care GPTChat, GPT-3.5 sau oricare dintre aceste tehnologii pot face asistența mai bună, mai rapidă, mai ieftină, mai de succes sau mai mult de la capăt la capăt este ceva la care suntem mereu peste tot. Știu că te-ai gândit la asta din punct de vedere al suportului. Mai devreme, am vorbit despre cum există medii în care un răspuns incorect este foarte, foarte rău și sunt medii în care este de fapt destul de tolerabil. Avem 25.000 de clienți. Unele sunt bănci, care probabil nu își permit. Other people would happily afford one because it means they can support all their customers faster. What do you think about this technology as it applies to support?

“We made a conscious design decision very early on that it would never say anything that hadn't been explicitly curated by the team”

Fergal: Yeah. We try and pay a lot of attention to changes in developments in this space. We were looking at GPT-3 pretty early, and our initial thoughts were that the accuracy was not quite there yet. The hallucination problem is a big problem to just nakedly say, “Hey, it has consumed the Intercom help center. Let's ask questions about resetting my two-factor authentication.” It just failed. We've been looking at the GPT-3.5 family and some other models recently. We have resolution bots in production. It's not using language models that are as large – they're maybe medium language models, embeddings, and so on. And it gets very good accuracy at the sort of thing it does. We made a conscious design decision very early on that it would never say anything that hadn't been explicitly curated by the team. I think that worked well for a lot of businesses because it might deliver the wrong answer sometimes – we try carefully to control that – but it's always going to deliver you a relevant answer or an answer that's not going to mislead you.

Des: Yeah, and specifically, the way in which it gets it wrong is it might give you a wrong correct answer. The thing it gives you will be something that somebody in your company has said: “This is a correct, cohesive piece of text.” It just might not be the right one for the question.

Fergal: And we encourage our customers to always write the answer in such a way that, “Oh, to reset your account, do the following thing.” So if it is delivered wrongly, at least the end user is not disoriented.

Des: Yes, they don't go and do it for no reason.

Fergal: They can go like, “Oh, this is a stupid bot. It gave me the wrong answer,” as opposed to, “I am misled, and I'm now going to waste a bunch of time…” So initially, with GPT-3, we were like, “Oh, it's really cool but difficult to see the end-to-end usage of this.” It's been a couple of years, and I'm not aware of anyone who has deployed GPT-3 in a total end-to-end way to answer the customer's questions.

Des: End-to-end meaning no agent in the mix. Because the risk there is that there'll be an unknown unknown. If someone goes to your business and asks a question that you didn't see because GPT dealt with it, gave it the wrong answer, and the customer goes off and does the wrong thing, no one actually knows what's happened except for the bot. And the bot doesn't even know it's wrong because it doesn't know if it's spoofing or not. So you end up in a potentially dangerous world.

Fergal: Exactly, and we've quite carefully designed the resolution bot to avoid getting into those situations. We calibrate it, we check that, when it says something helped the customer, it did help the customer, and we have ways of checking that between explicit and implicit customer feedback. But it's conservatively designed.

“The probability of giving the wrong answer and totally making stuff up is too high, at least to use it for end users in a naked way”

At some point, these open domain question-answering things or something you could build on the top of GPT-3.5 will get good enough that, for a certain portion of our customers, that equation changes where it's like, “Hey, I'm not answering medically critical things,” and the inaccuracy rate has fallen. It was 90% accurate; now it's 99% accurate; now it's 99.9%. How commonly it gives you the wrong answer will eventually fall below the critical threshold where it's like, “Hey, just being able to take this out of the box is worth it. I don't have to go and curate these answers.” So that will probably come. When will that come, is it here today, or has it come in the last few weeks with davinci-003 and ChatGPT is obviously something we've been assessing.

And it's certainly a work in progress because you always have to go and play with the prompts. When you interface with ChatGPT or GPT-3, we could take an end user's question and ramp it in something that says, “Hey, you're a very conservative customer support agent. If you don't know something or you're not completely sure, you always say, 'I don't know,'” and you reason with it step by step, and you're super conservative, and maybe we can wrap it to get the benefit of the deeper natural language understanding, which these models have, and the deeper ability to synthesize and rewrite text, which can be beautiful. It can be really nice. Maybe we can get those benefits and constrain the hallucinations and the errors enough.

Des: Is that another version of walking through this line by line?

Fergal: Yeah.

Des: Is that whole field what people call prompt engineering?

Fergal: Prompt engineering. We're joking that the machine learning team at Intercom is going to be a prompt engineering team, and we're joking about that as we play with it. But there are people who really sweat the prompts and have gotten really good at prompt engineering. It's a real thing, and it makes it difficult to say, “Oh, this new tech is definitely not good enough,” because what will the best prompts be in six months? That said, we don't think it's here yet. All the prompt engineering we've done on davinci in the last week can get it to be more conservative, but not enough. The probability of giving the wrong answer and totally making stuff up is too high, at least to use it for end users in a naked way.

Support agent augmentation

Des: We talked earlier about the doctor augmentation question. Is there a version of it where you can do it from the agent augmentation question?

Fergal: Well, at Intercom, we've been thinking about this area very deeply for an extended period, and in the last few months, we have had internal discussions about the future of the customer support inbox and generative models – models that generate stuff as opposed to just classify things – and we believe that their time is coming for support augmentation, and I think that seeing ChatGPT explode recently and all the excitement about it is evidence of that. It's evidence that these things are getting good. And there are a lot of things you can do in the inbox or in a context like the inbox to constrain and sand off the rougher edges of these things.

An example might be to curate the responses it's allowed to give and use the generative model to predict what should happen, but only actually allow the suggestion to present to the teammate, like a macro or a conversation response, and hopefully provide a beautiful interface to make it easy for them. Alternatively, to have it go and search for a new knowledge base, and there are techniques you can use to try and constrain it to that. And then, maybe show, “This is the answer that our bot wrote from your knowledge base,” and side by side with that, “Here is the original source article,” so that the customer support rep can look at them side by side-

Des: And see if it adds up.

Fergal: Yeah, and see if it adds up.

“They have to go and find the article themselves, then they have to read it and check the answer, and then they have to copy paste it and reformat it. So maybe there's a productivity boost”

Des: So there's an angle where the AI explains its epistemological basis for how it concludes this. And in that world, if you're a support rep, you don't even need to know if it's actually right – you just need to know if the logic stacks up. Obviously, it'd be better if you knew if it was right, as well. But if it says, “Hey, I read how to reset a 2FA article linked here. I suggest that this is how you reset 2FA,” you're probably, “That's the right article to read.”

Fergal: The problem is that when they get it wrong, they're so good at seeming right that they'll-

Des: Invent the idea of the article.

Fergal: Yeah, yeah, totally. And so, you might need to go beyond that. You might need to have the untrusted part of the interface, which is maybe the composer, and it pre-fills something, and there's also a trusted part of the interface beside that, maybe just above it, that shows the original source article, the relevant paragraph. And so, you can look at both.

Obviously, we study customer support flow very carefully and closely, and we absolutely have some support agents where it's like, “Okay, I got the question,” and they have to go and find an article themselves. Some expert ones know it, they're instantly there, and they know exactly where to go. Maybe they've got a macro that does it, but then maybe someone who's newer in the company and they're still being trained in, or maybe it's only part of their job, they have to go and find the article themselves, then they have to read it and check the answer, and then they have to copy paste it and reformat it. So maybe there's a productivity boost. Maybe you can make someone twice as efficient or something.

Des: All that agent behavior will also inform the system. If you put it live and agents are forever going “Wrong, right, wrong, right,” all that feeds back in, and then it gets better. Or, if they're rewriting the answer to be more accurate, I assume we can learn from that. And then, very quickly, the system converges on all the right answers.

“There are a lot of trade-offs. It's very easy to say we want a system that will learn in production. But then it's like okay, who has to maintain that? Who has to debug that?”

Fergal: We could certainly build a system that does all of those things. GPT-3.5 won't nakedly do it. If you decide to build on it as a building block, not even an assessment, is that the right system to build on? Its capability is very good, but it's not the only generative model in town. But whatever we build on, and we're getting really into the roadmap, we would potentially build a learning loop. With most of our tech at the moment where we do that, we absolutely gather feedback. There are some parts of the resolution bot like predictive answers, where it predicts things to end users, where it actually does use what the users say, like, “that helps” as a training signal, and potentially we can end up building that.

There are a lot of trade-offs. It's very easy to say, “We want a system that will learn in production. But then it's like, “Okay, who has to maintain that? Who has to debug that?” Sometimes it's easier to get it to a stable stage and then lock it. So, it depends. We did metrics and analytics whenever we upgrade. We're getting into the details of our models and how we check the accuracy and calibrate them, and stuff.

Des: I know our inbox has this feature where, based on what you've said before, if I jump in the inbox, before I've said anything to try and start a conversation, it'll say, “Hey, I'm Des, co-founder of Intercom, thrilled to be chatting with you.” Whatever my most common thing is, that's automatically pre-written for me.

Fergal: Yep. Smart replies.

Des: Am I right in saying that it's just the mini version in some sense of what we're describing here? Because we were really just going for salutations and maybe ends and maybe handoffs, and the common boilerplate of a support conversation should be there for you. And that, alone, is a productivity boost. But the idea that we could get one degree sharper, and somewhere in the middle of all that boilerplate is, “Here's the meat of the answer,” is where you're talking about going, right?

“We believe its time is coming, and we're trying to figure out the best ways to make people more efficient and to leverage it in a production setting that actually works for people”

Fergal: Yeah, totally. And again, to separate things out – there's just the change in the world, an increased capability, GPT-3.5, and then there's the stuff that we're working on as we grind away on this problem and try to deliver things that will make it better for our customers. I think the capabilities have really improved, but we're still figuring out if we can use this. Is there a shortcut to where we want to go? Maybe we can use these capabilities as building blocks, there are loads of ways to potentially use them as building blocks. But in terms of the direction we were going on already anyway, there are a lot of things agents do such as greetings where it's very obvious. We don't ever want to annoy people. We don't ever want to have an agent read through a bunch of text and then be like, “Oh, that's useless. Why did you do that?” It reduces their trust in the system. It slows them down. We want to help them out.

Deci, pentru răspunsuri inteligente, am început cu salutări. Era doar un lucru evident de făcut. Putem spune foarte ușor când veți dori probabil un salut – intrați într-o conversație nouă și nimeni nu a mai spus nimic utilizatorului final. Este foarte evident. Era o bucată de fruct care agăța jos. Oamenilor le-a plăcut foarte mult interfața cu utilizatorul. Este ușor și are frecare scăzută. Acum, putem face doar o singură sugestie acolo și există uneori când este greu de spus pentru sistem. În acest moment, avem acest flux de macro-uri, iar oamenii folosesc foarte mult macro-urile. Ei trebuie să aleagă care dintre macrocomenzi. Ar trebui să sugerăm aceste macrocomenzi oamenilor în mod proactiv? Poate că nu vrem să completăm în prealabil compozitorul, poate vrem să arătăm doar câteva sugestii de macrocomenzi care sunt contextuale. Există o mulțime de fluxuri care sunt repetitive. Am lucrat la lucruri precum găsirea fluxului, încercând să înțelegem pașii obișnuiți prin care parcurg oamenii.

Presupun că marele mesaj este că credem că acest tip de tehnologie generativă trebuie să fie modelat și făcut bine, astfel încât să nu fie enervant, astfel încât să nu vă ofere lucruri greșite și să vă inducă în eroare și, cu siguranță, să nu vă împingă mai multă muncă sau stres. decât ai avea fără el. Credem că vine timpul și încercăm să găsim cele mai bune modalități de a face oamenii mai eficienți și de a le folosi într-un cadru de producție care funcționează de fapt pentru oameni.

AI-ML dincolo de suport

Des: Vorbim de sprijin. Ce alte industrii credeți că vor vedea valoarea acestui lucru în primele zile? Se pare că suportul este un mediu bogat în ținte pentru acest tip de tehnologie, dar există și altele?

Fergal: Evident, suntem optimiști în ceea ce privește sprijinul. Sunt atât de multe lucruri care sunt scrise. Este de genul „Oh, agentul recunoaște destul de devreme că aceasta este o problemă de felul următor”, cum ar fi resetarea contului meu sau ceva de genul acesta. Există atât de multă structură în acea zonă. Există o combinație între structura problemelor reale ale clienților și tehnologia care este foarte bună să se ocupe de limbajul natural și să-l remodeleze. Putem vedea un buton pe care îl poți apăsa pentru a face ceea ce este în compozitor mai formal, sau un buton pentru a-l face mai scuze, nu? Credem că este o zonă foarte, foarte interesantă în acest moment. Nu vreau să intru în totul în mod total speculativ. Dar chiar și înainte de aceasta, echipa de învățare automată a fost toată în acest domeniu. Suntem mari credincioși în sprijin.

Asistență din afara, orice în care există o structură în sarcină și un aprobator uman care este capabil să discearnă când un răspuns este corect sau greșit. Aceasta va părea o intuiție ciudată, dar în informatică sau criptografie, acordăm atenție anumitor tipuri de probleme în care este ușor să verificați că un răspuns este corect, dar greu să găsiți acel răspuns. Clasele de complexitate, tot felul de lucruri. Dar da, oamenii sunt interesați de astfel de probleme. Nu pot să nu cred că există o intuiție similară aici. Aveți o provocare în care este destul de ușor pentru un om să verifice dacă un răspuns este corect sau nu, dar este laborios pentru ei să se uite la asta și să-l descopere. Sau poate echipei nu îi pasă dacă răspunsul este suficient de corect pentru că nu există un lucru corect, cum ar fi „Scrie-mi o poezie despre X, Y”.

Des: Acea clasă de probleme în care fie validarea răspunsului este foarte ieftină, dar crearea acestuia este foarte costisitoare, fie nu există un răspuns valid.

Fergal: Și, de asemenea, răspunsul ar putea fi diferit în șase luni sau un an. S-ar putea ca într-un an, răspunsul să fie ceva mai degrabă de genul „Oricand un computer poate verifica dacă răspunsul este corect sau nu”. Sau s-ar putea ca oricând domeniul este suficient de simplu, sistemul de învățare automată vă va oferi cu siguranță sau foarte probabil să vă dea răspunsul corect. Este un lucru în evoluție. Cred că este greu să stabilești limite în acest moment.

„Ce trimitem în ianuarie?”

Alte domenii precum programarea computerelor, de exemplu. Persoana care stă acolo la terminalul lor trebuie să revizuiască codul oricum și poate face asta și poate exista o eroare subtilă undeva în codul tău. Uneori este mai ușor să scrii singur codul decât să identifici o eroare subtilă. Dar de multe ori, dacă te uiți la fluxul de lucru al unui programator de computer, este de genul „Oh, știu cum să fac asta, dar nu-mi amintesc exact cum să folosesc această bibliotecă. Mă duc pe Google pentru asta. Mă duc la Stack overflow.” Și ideea este că atunci când vezi răspunsul numărul trei pe Stack Over, vei spune: „Oh, da, așa este. Asta vreau." Există un întreg flux de lucru ca acesta care ocupă o mare parte din timpul programatorului, iar acel Copilot vine și există un sfârșit în jurul acestuia. Și apoi reformatați codul pentru a se potrivi. Este extrem de puternic.

Am început să vorbim despre „Ce este Copilot pentru asistența clienților?” Avem prototipuri și sunt multe cu care te poți juca. Poate că nu răspunzi la întrebarea completă, îi dai doar răspunsul de două sau trei cuvinte, îl scrie și apoi îl modifici și îți spui: „Fă-l mai formal, fă-l mai lung, fă atât mai scurt.” Se pare că putem face multe acolo.

Des: Și ce trimitem în ianuarie?

Fergal: Va trebui să cenzurez această parte a conversației. Vom expedia ceva.

Des: Da, pun pariu. Bine. Acest lucru a fost grozav. Ne vom înregistra, cred, în încă două săptămâni, când toată lumea se va schimba din nou. Dar dacă nu, ar putea dura câteva luni. Multumesc foarte mult.

Fergal: Până când acest lucru va fi publicat pe web, sunt sigur că va fi depășit și va părea prostesc. Dar asta este natura acestei afaceri.

Des: Absolut. De aceea lucrezi la asta.

Fergal: De aceea lucrăm. Este incitant.