อินเตอร์คอมในผลิตภัณฑ์: ChatGPT เปลี่ยนทุกอย่างได้อย่างไร

บางทีคุณอาจสนใจเกี่ยวกับโครงข่ายประสาทเทียมเชิงลึกและการประมวลผลภาษาธรรมชาติ หรือคุณอาจเป็นเพียงผู้ที่ชื่นชอบเทคโนโลยี โอกาสที่คุณอาจบังเอิญเจอ ChatGPT ซึ่งเป็นแชทบ็อตใหม่ล่าสุดของ OpenAI โฆษณากำลังเพิ่มขึ้น แต่คำถามยังคงอยู่: เป็นตัวเปลี่ยนเกมจริงหรือเร็วเกินไปที่จะบอก?

ในตอนล่าสุด Fergal Reid ผู้อำนวยการฝ่ายแมชชีนเลิร์นนิงของเราได้ให้ความกระจ่างเกี่ยวกับความก้าวหน้าล่าสุดในเทคโนโลยีโครงข่ายประสาทเทียม เราได้พูดคุยเกี่ยวกับ DALL-E, GPT-3 และดูว่าโฆษณารอบ ๆ AI นั้นเป็นเพียงแค่นั้นหรือมีบางอย่างที่เกี่ยวข้องหรือไม่ เขาบอกเราว่าสิ่งต่าง ๆ กำลังเริ่มขยายขนาด และเช่นเดียวกับที่เรากำลังทำมันอีกครั้ง

ChatGPT ซึ่งเป็นแชตบอตปัญญาประดิษฐ์ต้นแบบของ OpenAI เปิดตัวเมื่อสัปดาห์ที่แล้ว และได้รับการเผยแพร่ไปทั่วในห้องโถงของอินเทอร์เน็ต ทำให้เกิดปฏิกิริยาที่น่าประหลาดใจตั้งแต่ผู้ที่คลั่งไคล้เทคโนโพสิทีฟผู้คลั่งไคล้ในเทคโนโลยีตลอดกาล บอทนี้ขับเคลื่อนโดย GPT-3.5 ซึ่งเป็น AI ที่สร้างข้อความ และตาม OpenAI มันสามารถสร้างข้อความในรูปแบบไดอะล็อก ซึ่ง "ทำให้สามารถตอบคำถามที่ตามมา ยอมรับข้อผิดพลาด ท้าทายสถานที่ที่ไม่ถูกต้อง และ ปฏิเสธคำขอที่ไม่เหมาะสม”

แม้ว่าจะยังเร็วเกินไปที่จะนำไปใช้กับการใช้งานจริง แต่ก็มีแนวโน้มที่ดีอย่างไม่ต้องสงสัย อันที่จริง สำหรับ Fergal Reid แล้ว การเปลี่ยนแปลงในด้านความสามารถที่เราได้เห็นในปีที่แล้วบ่งชี้ว่าพื้นที่นี้อาจ “ใหญ่พอๆ กับอินเทอร์เน็ต” และนี่คือเหตุผลที่เราตัดสินใจนำเสนอตอนพิเศษเกี่ยวกับการพัฒนาล่าสุดในโลกของ AI ความหมาย และถึงเวลาหรือยังที่จะใช้มันในสถานการณ์จริง เช่น การสนับสนุนลูกค้า

นี่คือประเด็นที่เราโปรดปรานจากการสนทนา:

• ด้วยการขยายขนาดและฝึกโมเดลเหล่านี้ด้วยข้อมูลมากขึ้นเรื่อยๆ บอทเหล่านี้จึงเริ่มแสดงการเปลี่ยนแปลงเชิงคุณภาพ เช่น การเรียนรู้แนวคิดเชิงนามธรรมโดยไม่มีการเรียนรู้แบบมีผู้สอน
• ขณะนี้ ChatGPT ทำงานได้ดีที่สุดในปัญหาที่ง่ายต่อการตรวจสอบคำตอบหรือบริบทที่สร้างสรรค์ซึ่งไม่มีสิ่งที่เรียกว่าคำตอบที่ถูกต้อง
• แม้ว่าเราจะเห็นความสามารถในการให้เหตุผลที่ดีขึ้นอย่างมากจากโมเดลเหล่านี้ แต่โมเดลเหล่านี้ก็ยังมีปัญหาเกี่ยวกับอาการประสาทหลอน ถ้าพวกเขาไม่รู้อะไรบางอย่าง
• หากคุณแจ้งโมเดลเหล่านี้ด้วยข้อความ "ลองคิดทีละขั้นตอน" อัตราความแม่นยำจะเพิ่มขึ้นและคุณจะได้รับอินพุตที่ดีกว่าการให้คำตอบในทันที
• อินเทอร์เฟซเทคโนโลยีของเราค่อยๆ มีการสนทนามากขึ้น และเราเพิ่งเริ่มเห็นว่าคุณภาพของการเข้าใจภาษาธรรมชาติดีพอที่จะปลดล็อกได้
• มีแอปพลิเคชันที่น่าสนใจมากมายของเทคโนโลยีนี้ในการสนับสนุน เช่น การเสริมตัวแทน แต่ยังมีงานที่ต้องทำก่อนที่จะนำไปใช้ได้

หากคุณชอบการสนทนาของเรา ลองดูตอนอื่นๆ ของพอดแคสต์ของเรา คุณสามารถติดตามบน iTunes, Spotify, YouTube หรือคว้าฟีด RSS ในเครื่องเล่นที่คุณเลือก สิ่งต่อไปนี้คือการถอดเทปของตอนนี้เล็กน้อย

การเปิดตัวครั้งยิ่งใหญ่ของ ChatGPT

เดส เทรย์เนอร์: เฮ้ เฟอร์กัล

Fergal Reid: สวัสดีทุกคน เป็นอย่างไรบ้าง? ขอบคุณที่ให้ฉันกลับมา

เดส เทรย์นอร์: ดี เป็นเรื่องดีที่มีคุณกลับมา เราให้คุณชอบเมื่อห้าสัปดาห์ที่ผ่านมาในพอดแคสต์เพื่อพูดคุยเกี่ยวกับสิ่งที่เกิดขึ้นกับ AI และคุณกลับมาอีกครั้งเพราะมีเรื่องเกิดขึ้นมากมาย

Fergal Reid: ห้าสัปดาห์ที่ยุ่งวุ่นวาย

Des Traynor: ห้าสัปดาห์ยุ่งกับเจ็ดวันยุ่งมาก เมื่อเจ็ดวันก่อนคือวันพุธที่ 30 พฤศจิกายน และฉันได้รับอีเมลพร้อมคำเชิญให้เข้าร่วมเบต้าแบบเปิดสำหรับสิ่งที่เรียกว่า ChatGPT เกิดอะไรขึ้น

“มันแพร่ระบาดไปทั่ว และทุกคนตื่นเต้นมาก”

เฟอร์กัล เรด: เกิดอะไรขึ้น? จึงเป็นคำถามที่น่าสนใจ OpenAI เปิดตัวระบบแมชชีนเลิร์นนิงล่าสุดของพวกเขา นั่นคือระบบ AI และพวกเขาเผยแพร่สู่สาธารณะอย่างมาก และนั่นก็คือ ChatGPT และมันก็ค่อนข้างคล้ายกับข้อเสนอปัจจุบันของพวกเขา GPT-3, GPT-3.5 แต่มันถูกบรรจุแตกต่างกัน คุณไม่จำเป็นต้องใส่บัตรเครดิตเข้าไป และฉันคิดว่าทุกคนเพิ่งเห็นว่า "ว้าว มีจำนวนมาก เปลี่ยนขีดความสามารถที่นี่เมื่อเร็ว ๆ นี้” และมันก็แพร่ระบาดไปทั่ว และทุกคนก็ตื่นเต้นมาก และในช่วงเวลาเดียวกัน พวกเขาเปิดตัวโมเดล GPT-3.5 ล่าสุด เช่น davinci-003 ซึ่งทำสิ่งเดียวกันหลายอย่าง และอาจพูดไม่ค่อยดีนักว่า “เฮ้ ฉันเป็นโมเดลภาษาขนาดใหญ่และ ทำแบบนั้นให้คุณไม่ได้” แต่ก็ใกล้เคียงกันในด้านความสามารถ

Des Traynor: เรามานิยามสั้นๆ เพื่อให้ทุกคนเข้าใจตรงกัน เห็นได้ชัดว่า OpenAI เป็นสถาบันที่ทำงานด้าน AI และ ML เป็นจำนวนมาก คุณพูดว่า GPT: นั่นหมายถึงอะไร

Fergal Reid: ฉันจำไม่ได้จริงๆ หม้อแปลงเอนกประสงค์หรืออะไรทำนองนั้น [Generative Pre-Trained Transformer]

Des Traynor: แต่ชื่อนั้นมีความหมายอะไรไหม?

Fergal Reid: ใช่ ฉันคิดว่าชิ้นส่วนสำคัญคือหม้อแปลง เป็นเวลานานแล้วที่ผู้คนพยายามหาว่า "เฮ้ วิธีที่ดีที่สุดในการฝึกอบรมโครงข่ายประสาทเทียมที่จัดการกับข้อความและงานประมวลผลภาษาธรรมชาติคืออะไร" และเป็นเวลานานแล้ว มี LSTM [หน่วยความจำระยะสั้นแบบยาว] เหล่านี้ที่รวมโครงสร้างระยะสั้นของข้อความของคุณเข้ากับโครงสร้างระยะยาวของประโยค และแบบจำลองลำดับ และทุกคนก็ทำงานเกี่ยวกับสิ่งเหล่านั้น .

“เมื่อคุณส่งข้อมูลการฝึกอบรมมากขึ้นเรื่อยๆ ดูเหมือนว่าข้อมูลเหล่านี้จะแสดงการเปลี่ยนแปลงเชิงคุณภาพในแง่ของสิ่งที่พวกเขาสามารถทำได้ ก็เลยแบบว่า 'เฮ้ นี่ดูเหมือนจะเข้าใจนะ'”

จากนั้น Google ก็ตีพิมพ์บทความปฏิวัติวงการเรื่อง "Attention Is All You Need" โดยมีวิทยานิพนธ์ที่ค่อนข้างใหญ่: "เฮ้ แทนที่จะใช้โมเดลลำดับแบบเดิม นี่เป็นวิธีใหม่ในการทำโมเดลใหม่" ซึ่งพวกเขาเรียกว่า โมเดลหม้อแปลงหรือสถาปัตยกรรมของหม้อแปลง เมื่อคุณดูคำเฉพาะ แบบจำลองจะเรียนรู้ส่วนอื่นๆ ของประโยคที่คุณควรดูร่วมกับคำนั้นด้วย คุณสามารถเรียนรู้สิ่งต่าง ๆ ได้อย่างมีประสิทธิภาพมากกว่าโมเดลลำดับเล็กน้อย และคุณสามารถฝึกได้เร็วขึ้น มีประสิทธิภาพมากขึ้น และปรับขนาดได้มากขึ้น

ดังนั้น ทุกคนจึงเริ่มใช้ตัวแปลงสำหรับข้อมูลลำดับทุกประเภท จากนั้น สิ่งหนึ่งที่ OpenAI มีส่วนสนับสนุนจริงๆ ก็คือแนวคิดที่ว่าคุณสามารถใช้สถาปัตยกรรมทรานส์ฟอร์มเมอร์เหล่านี้และขยายขนาดให้ใหญ่ขึ้นได้ คุณสามารถเพิ่มข้อมูลการฝึกอบรมและวิธีคำนวณได้มากขึ้น และบางทีอาจเป็นเรื่องที่น่าแปลกใจมาก และฉันคิดว่านี่เป็นสิ่งสำคัญจริงๆ เมื่อคุณส่งข้อมูลการฝึกอบรมมากขึ้นเรื่อยๆ ข้อมูลเหล่านี้ดูเหมือนจะแสดงการเปลี่ยนแปลงเชิงคุณภาพในแง่ของสิ่งที่พวกเขาสามารถทำได้ มันก็เหมือนกับว่า “เฮ้ ดูเหมือนว่าจะเข้าใจแล้ว” หรือฉันสามารถพูดว่า "ทำให้สิ่งนี้มีความสุขมากขึ้น" หรือ "ทำให้สิ่งนี้เศร้าลง" ซึ่งเป็นแนวคิดที่เป็นนามธรรมมาก มันเรียนมาจากไหน? เราไม่ได้ให้การเรียนรู้ภายใต้การดูแลนี้แก่คุณซึ่งคุณเขียนโค้ดในคำจำกัดความของความเศร้าหรือความสุข เพิ่งเริ่มเรียนรู้แนวคิดเชิงนามธรรมและนามธรรมเหล่านี้จากข้อมูลการฝึกอบรมจำนวนมาก

โดยพื้นฐานแล้ว OpenAI และอื่น ๆ เพิ่งผลักดันชิ้นส่วนที่ปรับขนาดนั้นมากขึ้นเรื่อย ๆ มีอย่างอื่นด้วย ด้วย GPT-3.5 พวกเขาฝึกความแตกต่างเล็กน้อยเพื่อพยายามปรับให้สอดคล้องกันมากขึ้น แต่โดยพื้นฐานแล้ว สิ่งที่ยิ่งใหญ่ในที่นี้คือสเกลจำนวนมาก ข้อมูลการฝึกอบรมจำนวนมาก และจริงๆ แล้วก็คือโมเดลง่ายๆ คุณสามารถทำสิ่งที่น่าทึ่งได้ ซึ่งเมื่อ 20 ปีก่อน ผู้คนมักจะพูดว่า “คอมพิวเตอร์ไม่มีวันทำสิ่งนี้ได้ มันจะไม่สามารถเขียนเพลงให้ฉันได้” และตอนนี้มันก็เหมือนกับว่า “คุณต้องการเพลงแบบไหน?” “ทำให้เสียงมีความสุขมากขึ้น” ใช่ มันเป็นช่วงเวลาที่น่าทึ่งเพราะมีหลายสิ่งหลายอย่างที่เราคิดว่าเป็นขอบเขตของสติปัญญาของมนุษย์เท่านั้น ต้องการข้อมูลการฝึกอบรมจำนวนมากและแบบจำลองขนาดใหญ่

ChatGPT สร้างสรรค์ได้ไหม

Des: แล้วสิ่งที่เกิดขึ้นตั้งแต่วันพุธที่แล้วก็คือ Twitter – และอีกเจ็ดวันต่อมา อินเทอร์เน็ตทั่วไปหรือสื่อ – จับได้สิ่งนี้ ฉันเคยเห็นการใช้งานที่โดดเด่นตรงไปตรงมาทุกประเภทในแง่ของฉันไม่สามารถจินตนาการได้ว่าจะเป็นไปได้ ฉันเห็น "เขียนคำแนะนำในการคัดลอกดีวีดีในสไตล์เพลงของ Taylor Swift ที่เธอโกรธเพราะเธอเลิกกับแฟน" หรืออะไรทำนองนั้น แต่จริงๆแล้วมันมีที่มาที่ไป จากนั้นฉันเคยเห็นคนอื่นชอบ "คุณติดตั้ง Intercom บน iOS ได้อย่างไร" และมันก็ค่อนข้างถูกต้องเช่นกัน และทุกสิ่งในระหว่างนั้น และสิ่งที่บ้าๆ ที่ฉันเคยเห็นก็คือ สำหรับสิ่งเหล่านี้ คุณสามารถย้อนกลับและพูดว่า "เอาล่ะ ให้ฉันพูดแบบนั้นในแบบของนักเลงยุค 1940 แล้วพูดเป็นภาษาเยอรมัน" และ "ตอนนี้แปลภาษาเยอรมันเป็นภาษาสเปน แต่ยังเพิ่มความโกรธให้มากขึ้นด้วย” หรืออะไรก็ตาม และมันทำสิ่งเหล่านี้ทันที ภายในเวลา 0 วินาทีค่อนข้างมาก และในทุกกรณี คุณจะเห็นว่ามันทำไปเพื่ออะไร

ตัวอย่างส่วนตัวอย่างหนึ่งที่ฉันใช้คือ เมื่อคุณพยายามเล่านิทานให้ลูกฟังก่อนนอน คุณอาจไม่มีมุมมอง มีวิธีที่แตกต่างกันมากเท่านั้น ตัวอย่างเช่น มังกรสามตัวสามารถเข้าไปในป่าและหลงทางได้ อย่างไรก็ตาม GPT-3 นั้นยอดเยี่ยมจริงๆ ที่ให้อีก 10 เรื่อง สิ่งที่ฉันสังเกตเห็นเป็นเวลานานที่สุดกับเรื่องราวของ AI แม้เมื่อหลายปีก่อน ผู้คนมักจะพูดว่า “มันยอดเยี่ยมสำหรับสิ่งที่เฉพาะเจาะจง แต่ไม่มีทางที่มันจะจัดการกับความคิดสร้างสรรค์ได้” มันยุติธรรมไหมที่จะบอกว่ามันให้ความรู้สึกเหมือนเราอยู่ในโลกที่ผกผันที่นี่?

เฟอร์กัล: ใช่ ฉันหมายความว่า เมื่อผู้คนพูดถึง AI ก็มักจะ "อืม สิ่งแรกที่จะทำคืองานที่ต้องทำด้วยตนเอง" แล้วมนุษย์ก็จะมีเวลาทั้งหมดไปทำสิ่งสร้างสรรค์เหล่านี้-

Des: เข้าไปในป่าและ-

Fergal: สร้างงานศิลปะตลอดเวลา บทกวีที่สวยงาม แล้วก็แบบว่า "โอ้ว้าว งานที่ต้องทำด้วยตนเองเหล่านี้ต้องการการมองเห็นที่หนักหน่วงและการประมวลผลสิ่งต่างๆ เพื่อแก้ไข แต่ความคิดสร้างสรรค์ที่ไม่มีคำตอบผิด และไม่มีบทลงโทษสำหรับการตอบผิด... ใช่ บทกวีไม่ได้ค่อนข้างสมบูรณ์แบบ แต่ไม่เป็นไร และภาพ DALL·E 2 ที่เรนเดอร์อาจไม่ตรงกับที่คุณคิดไว้ แต่ก็ยังเป็นภาพที่สวยงามและคุณสามารถเลือก 1 จาก 10 สิ่งนั้นใช้ได้

“สิ่งนี้ดูเหมือนว่าจะดีมากกับชิ้นส่วนที่หยั่งรู้ได้ และมันก็ดีมากในการหลอกชิ้นส่วนที่หยั่งรู้ของเรา ดังนั้นเมื่อคุณดูอย่างรวดเร็ว มันดูถูกต้อง”

Des: และคุณก็สามารถเห็นได้ว่ามีไว้เพื่ออะไรเช่นกัน ฉันคิดว่าสิ่งหนึ่งที่ผู้คนไม่รู้ก็คือการให้สิ่งที่อยู่ในหัวของคุณกลับคืนมา เพราะคุณจะได้เห็นมันอยู่ดี เมื่อฉันพูดว่า “ขอคำแนะนำในการเปิดบัญชีธนาคารในแบบของเพลง Rage Against the Machine” ฉันเห็น “ใช่ เราจะต่อสู้เพื่อเปิดบัญชี และเราจะโกรธทุกคน กลางคืน." และฉันเห็นได้ว่ามันกำลังทำอะไรอยู่ ฉันไม่ได้ใช้มาตราส่วนความแม่นยำเลยด้วยซ้ำ ฉันแค่พูดว่า “อ่า คุณทำไปแล้ว” และคุณให้เครดิตสำหรับสิ่งนั้น

Fergal: ใช่ ฉันคิดว่าน่าจะจริง เราเก่งแค่ไหนในการตัดสินว่าเกือบพลาดในแง่ของข้อมูลที่ไม่เป็นข้อเท็จจริง? เราอาจจะไม่ได้เก่งขนาดนั้น บางทีเราอาจไม่ได้สนใจมันมากนัก และฉันหมายความว่าเราจะต้องเข้าสู่ประเด็นข้อเท็จจริงนี้ แต่แม้ว่าคุณจะถามคำถามที่เป็นข้อเท็จจริง ... สมมติว่าคุณถามคำถามสนับสนุนลูกค้า เมื่อเร็ว ๆ นี้ฉันถามคนหนึ่งเกี่ยวกับการตรวจสอบสิทธิ์สองปัจจัย "คุณจะรีเซ็ตการตรวจสอบสิทธิ์สองปัจจัยภายในเครื่องของคุณได้อย่างไร" และคำตอบที่ฉันได้รับคือ "ว้าว นั่นเป็นคำตอบที่ดี" และฉันดูมันแล้ว "เดี๋ยวก่อน นั่นไม่ใช่วิธีรีเซ็ต 2FA ของคุณ" และเป็น URL ที่สวยงาม มีการอ้างอิงถึงบทความในศูนย์ช่วยเหลือของเรา และนั่นก็ถูกสร้างขึ้นด้วย

“ฉันคิดว่าคนส่วนใหญ่ รวมถึงตัวเราด้วย ที่กำลังรู้สึกปลงตก กำลังทำให้พวกเขารู้สึกประทับใจเมื่อมองแวบแรก”

ผู้คนพูดถึงมนุษย์และสมองของมนุษย์ และเรามีส่วนที่หยั่งรู้ซึ่งเก่งมากในการจดจำรูปแบบ จากนั้นเราก็มีส่วนที่เป็นตรรกะ การวิเคราะห์ การใช้เหตุผลที่ช้ากว่าและแม่นยำกว่า สิ่งนี้ดูเหมือนว่าจะดีมากกับชิ้นส่วนที่หยั่งรู้ได้ และมันดีมากที่หลอกชิ้นส่วนที่หยั่งรู้ได้ของเรา ดังนั้นเมื่อคุณดูอย่างรวดเร็ว มันก็ดูถูกต้อง และจนกว่าคุณจะใช้เหตุผลเชิงระบบที่ช้ากว่านั้นจริงๆ ก็อาจเป็นเรื่องยากที่จะเห็นสิ่งนั้น และฉันคิดว่าชิ้นส่วนที่ใช้งานง่าย การคาดเดานั้นน่าจะเป็นสิ่งที่เราพึ่งพามากขึ้นในการตัดสินความพยายามสร้างสรรค์ ศิลปะ รูปภาพ และโคลง อย่างน้อยในขั้นต้น ดังนั้น มันจึงดีมากในการสร้างสิ่งที่ดูน่าเชื่อถือได้ในแวบแรก แต่บางที เมื่อคุณใช้เวลาคิดเกี่ยวกับมันจริงๆ คุณ-

Des: ดูปัญหา และการมีเหตุผลในแวบแรกนั้นสำคัญมาก เพราะฉันคิดว่าคนส่วนใหญ่ รวมถึงตัวเราด้วย ที่กำลังคิดไม่ตก คุณให้เครดิตกับมันมากแม้ว่ามันอาจจะไม่ได้นำไปใช้ในโลกแห่งความเป็นจริงมากนัก คุณจะไม่มีวันแขวนภาพวาดนั้นไว้ในพิพิธภัณฑ์ และคุณจะไม่ได้อ่านโคลงนั้นจริงๆ และคุณจะไม่มีวันได้รับรางวัลสำหรับนวนิยายเรื่องนั้น

ฉันเห็นคนจำนวนมากเช่นนักการตลาดเนื้อหาพูดว่า "สิ่งนี้จะเปลี่ยนงานของฉันไปตลอดกาล" และฉันก็แบบว่า “ใช่ แต่อาจจะไม่ใช่อย่างที่คุณคิด หากคุณคิดว่างานของคุณเป็นเพียงการพิมพ์ข้อความแจ้งและกดแท็บ เป็นไปได้ว่างานของคุณอาจไม่มีอยู่จริง” ในทำนองเดียวกัน ฉันเห็นผู้จัดการบน Twitter พูดว่า "โอ้ นั่นจะทำให้ฤดูกาลทบทวนประสิทธิภาพง่ายขึ้นมาก" ในทุกกรณี ฉันชอบ-

Fergal: มีบางอย่างผิดปกติกับสิ่งนั้น

“เป็นไปได้ว่าผลงานชิ้นใหญ่ที่เทคโนโลยีนี้มอบให้กับมนุษยชาติคือการสนทนาอย่างตรงไปตรงมาเกี่ยวกับปริมาณงานที่เราสามารถกำจัดได้”

เดส: แน่นอน พวกคุณทุกคนกำลังพูดเรื่องเงียบ ๆ ออกมาดัง ๆ ถ้างานของคุณเกี่ยวข้องกับการเขียน BS ปลอมจริง ๆ นั่นอาจจะเป็น-

Fergal: ทำไมคุณถึงทำอย่างนั้นตั้งแต่แรก?

เดส : ทำอะไรอยู่? อย่างแน่นอน. ฉันเข้าใจดีว่าในกรณีของการตลาดเนื้อหา อาจมีเหตุผลว่าทำไมคุณเพียงแค่ต้องจัดอันดับสำหรับคำบางคำ แต่อย่าเข้าใจผิดว่าเป็นงานฝีมือของการเขียนจริง ๆ

Fergal: ฉันหมายถึง เป็นไปได้ว่านี่เป็นสิ่งที่ดี เป็นไปได้ว่างานไร้สาระ สิ่งที่คนๆ นั้นรู้สึกว่าไม่มีค่า เช่น การตรวจสอบประสิทธิภาพ สามารถส่งต่อให้ GPT ได้ หลังจากนั้นไม่นาน ทุกคนก็ตระหนักได้ว่านั่นคือสิ่งที่เกิดขึ้น และคนที่อยู่อีกฝั่งก็พูดว่า "ฉันจะส่งต่อให้ GPT วิเคราะห์" และบางทีเราอาจพูดคุยกันอย่างตรงไปตรงมาเกี่ยวกับสิ่งที่เป็นเคอร์เนลที่มีค่าจริง ๆ และวิธีกำจัดการทำงาน

Des: ทำไมเราถึงทำเรื่องไร้สาระแบบนี้?

Fergal: ใช่ เป็นไปได้ว่าผลงานชิ้นใหญ่ที่เทคโนโลยีนี้มอบให้มนุษยชาติคือการสนทนาอย่างตรงไปตรงมาเกี่ยวกับปริมาณงานที่เราสามารถกำจัดได้ และนั่นอาจเป็นเรื่องที่ดี นั่นอาจเปลี่ยนแปลงได้อย่างมาก

ปัญหาภาพหลอนของแชทบอท

Des: พูดคุยเกี่ยวกับแอปพลิเคชันจริง บางอย่างที่อยู่ในใจของฉัน อย่างน้อยที่สุดก็ประสบการณ์โดยตรงของฉัน และแม้กระทั่งสิ่งที่คุณพูดเกี่ยวกับกรณีการใช้งาน 2FA คือคุณไม่สามารถปรับใช้ได้โดยตรงในหลายๆ พื้นที่ที่มีข้อสรุป คำตอบที่ถูกต้อง โดยเฉพาะอย่างยิ่งหากมีความเสี่ยงสูงที่จะตอบผิด ดังนั้นคุณไม่ต้องการให้สิ่งนี้ใช้เวชระเบียนและคายการวินิจฉัยออกมา เพราะฉันรับรองได้ว่าการวินิจฉัยจะเขียนได้ดีจริงๆ ฟังดูน่าเชื่อถือสำหรับคนทั่วไป และมีความเป็นไปได้น้อยที่จะมีความแม่นยำ เราไม่ทราบความน่าจะเป็นของความแม่นยำ แต่จะแตกต่างกันไปตามอินพุต

เฟอร์กัล: มันคงจะทำให้ฉันกลัวมากแน่ๆ ถ้ามีคนมาหาฉันแล้วพูดว่า “เฮ้ เฟอร์กัล เราต้องการให้ทีมของคุณเริ่มใช้สิ่งนี้เพื่อการวินิจฉัยทางการแพทย์ มันจะดีมาก” นั่นจะน่ากลัวมาก

“สิ่งหนึ่งคือเทคโนโลยีนี้มีปัญหาอย่างแน่นอนกับสิ่งที่หลายคนเรียกว่าภาพหลอน ซึ่งถ้ามันไม่รู้อะไรเลย มันก็แค่สร้างมันขึ้นมา”

Des: แต่มีกรณีการใช้งานอื่นๆ ที่อาจจะร้ายแรงน้อยกว่า แต่ไม่ถูกต้องพอๆ กัน ซึ่งคุณสามารถใช้เพื่อวินิจฉัยข้อสรุปในคดีความได้ อีกครั้ง ฉันแน่ใจว่ามันจะฟังดูดี และมันจะห่อมันด้วยภาษาต้นแบบที่ถูกต้องทั้งหมด แต่สุดท้ายก็ยังไม่รู้ว่ามันพูดอะไรจริงๆ ฉันได้ขอให้เสนอแนวคิดเกี่ยวกับวิธีสร้างไคลเอนต์อีเมลสมัยใหม่เพื่อแข่งขันและชนะในพื้นที่การผลิต และมันก็อ่านได้ดีมาก แต่เมื่อคุณเกามันเท่านั้นที่คุณรู้ว่ามันไม่มีอะไรเลย เป็นเพียงคำที่ฟังดูดีหลังจากคำที่ฟังดูไพเราะโดยไม่มีความคิดเห็นที่แหลมคมเป็นพิเศษ สำหรับฉันนั้นทำให้ฉันสงสัยเกี่ยวกับวิธีที่เราจะทำให้สิ่งนี้ใช้ได้มากขึ้น

Fergal: ก่อนที่เราจะพูดถึงเรื่องนั้น มีสองสิ่งที่ฉันคิดว่าเป็นประโยชน์ในการหยอกล้อที่นี่ สิ่งหนึ่งคือเทคโนโลยีนี้มีปัญหาอย่างมากกับสิ่งที่หลายคนเรียกว่าภาพหลอน ซึ่งถ้ามันไม่รู้อะไรเลย มันก็แค่สร้างมันขึ้นมา นั่นเป็นอันตรายและมีหลายโดเมนที่ความน่าจะเป็น 1% ของอาการประสาทหลอนเป็นตัวทำลายข้อตกลง และเราทุกคนจะรักถ้าความน่าจะเป็นนั้นเป็นศูนย์ แต่ในขณะเดียวกัน ความแม่นยำก็เพิ่มขึ้นเมื่อเทียบกับเมื่อ 3 ปีก่อนที่ล้ำสมัยเมื่อเทียบกับเมื่อ 3 ปีก่อน การให้คำตอบที่ถูกต้องในหลายๆ ครั้งจะดีกว่าอย่างแน่นอน ดีกว่าอย่างมากที่ "ความเข้าใจ" ฉันลำบากใจที่จะพูดว่า “โอ้ มันแค่ทำการจดจำรูปแบบเท่านั้น ไม่เข้าใจอะไรเลย” หรืออย่างน้อยที่สุด ฉันก็ลำบากที่จะพูดแบบนั้นโดยไม่พูดว่า “คุณหมายถึงอะไรโดยความเข้าใจ”

เรากำลังอยู่บนเส้นทางที่แน่นอน แม้ว่ามันจะยังคงสร้างสิ่งต่างๆ ขึ้นมา และนั่นเป็นปัญหาใหญ่ แต่การให้คำตอบที่ถูกต้องแก่คุณนั้นดีขึ้นเรื่อยๆ เมื่อมีคำตอบที่ถูกต้อง แล้วเส้นโค้งนั้นมีลักษณะอย่างไร? เป็นเรื่องยากที่จะแกะกล่องในขณะนี้ แต่เราได้โมเดลที่ดีขึ้นอย่างมาก ซึ่งดีกว่ามากในการทำสิ่งที่ถูกต้อง ในขณะที่บางครั้งก็ยังทำสิ่งที่ผิดพลาดอย่างมหันต์ เราควรใส่ใจทั้งสองสิ่ง ใช่ มันยากมากที่จะนำไปใช้ในการตั้งค่าการผลิตจำนวนมากในขณะนี้ อย่างน้อยก็ปราศจากความขุ่นมัวหรือค่าใช้จ่ายบางอย่างรอบ ๆ ตัว แต่มันก็ดีขึ้นมากเช่นกัน หากคุณถามบางสิ่งที่ครอบคลุมใน Wikipedia เป็นอย่างดี มันจะดีขึ้นเรื่อยๆ

ตัวอย่างสุดท้ายคือการเขียนโปรแกรมคอมพิวเตอร์ คุณสามารถขอความท้าทายในการเขียนโปรแกรมที่ไม่เคยพบมาก่อน และหากคุณขอให้สร้างโมดูลหรือระบบทั้งหมด มันก็จะลำบากหน่อย คุณมีจุดแตกหัก แต่ถ้าคุณขอให้เขียนฟังก์ชัน แม้แต่อันใหม่ที่สร้างขึ้นมาซึ่งไม่ได้อยู่ในตัวอย่าง มันอาจจะให้คำตอบที่ผิด แต่โอกาสที่จะให้สิ่งที่มีประโยชน์แก่คุณก็มีมากขึ้น

Des: ก่อนหน้านี้คุณพูดโดยพื้นฐานแล้ว มันผ่านขั้นตอนแรกในการสัมภาษณ์การเขียนโปรแกรมของเราไปแล้ว ซึ่งเป็นคำถามประเภทอาร์เรย์ มันแค่ตอกตะปู

“ทุกคนเริ่มพูดถึงว่าไวยากรณ์ของสุนัขไม่ค่อยดีนัก และนั่นสำคัญมาก แต่อย่ามองข้ามข้อเท็จจริงที่ว่าสุนัขกำลังพูดอยู่”

เฟอร์กัล: ใช่ อย่างแน่นอน. เรามีความท้าทายในการเขียนโปรแกรมเพื่อแก้ปัญหาสำหรับวิศวกรที่เรียนอินเตอร์คอม ฉันต้องนั่งด้วยตัวเองเมื่อสองสามปีก่อน และเราพยายามอย่างมากเพื่อให้แน่ใจว่าไม่มีให้บริการบนอินเทอร์เน็ต และถ้าเป็นเช่นนั้น เราจะพยายามทำซ้ำและเปลี่ยนแปลง และเราไม่สามารถเร่งความเร็วได้ ดังนั้นฉันจึงรับประกันไม่ได้ว่าจะไม่มีอยู่จริง แต่สิ่งนี้สร้างวิธีแก้ปัญหาที่ได้ผล และนั่นคือปัญหาประเภท "วิศวกรอาวุโสที่กระดานไวท์บอร์ดเป็นเวลาครึ่งชั่วโมง" และทำได้ในนัดเดียว ครั้งเดียว

Des: ศูนย์วินาที

Fergal: ศูนย์วินาที และนั่นก็น่าประทับใจมาก และเช่นเดียวกับคนอื่นๆ อีกครึ่งหนึ่งของโลก ฉันเคยเล่น ChatGPT หรือ GPT-3.5 มาแล้ว และฉันได้ให้คำถามเกี่ยวกับการแข่งขันเขียนโปรแกรมหรือคำถามเกี่ยวกับการเขียนโปรแกรมอื่นๆ มากมาย ซึ่งฉันค่อนข้างมั่นใจว่าไม่ใช่ตัวอย่าง และมันทำงานได้ดีมาก และนั่นคือการเปลี่ยนแปลงเชิงคุณภาพในด้านความแม่นยำ คุณต้องตรวจสอบรหัสของคุณและตรวจสอบให้แน่ใจว่ามันไม่ผิด แต่นั่นน่าสนใจและน่าตื่นเต้นมาก

น่าตื่นเต้นมากเช่นกันคือความคิดที่ว่าอย่างน้อยก็มีความสามารถในการพิจารณาเบื้องต้น ถ้ามันเขียนว่าบั๊ก คุณสามารถพูดว่า “เฮ้ มีบั๊ก คุณซ่อมได้หรือไม่?" และบางครั้งก็ให้คำอธิบายที่สวยงามแก่คุณ และแบบจำลองทั้งหมดเหล่านี้ได้รับการฝึกฝนให้ทำคือการทำนายโทเค็น ทำนายคำสองสามคำถัดไป อย่างน้อยตามธรรมเนียม เพราะฉันเดาว่ามันเปลี่ยนไปเล็กน้อยในปีที่แล้ว แต่การฝึกอบรมจำนวนมากเป็นเพียงการทำนายโทเค็นถัดไป ทำนายคำถัดไป และมีบางสิ่งที่น่าอัศจรรย์เกิดขึ้นที่นี่ เพียงแค่ทำในระดับนั้น คุณจะได้รับความเข้าใจในระดับหนึ่ง

ฉันไม่ต้องการให้เรื่องนี้หายไปในการอภิปรายในวงกว้างเกี่ยวกับอาการประสาทหลอน ซึ่งเป็นเรื่องจริง และผู้คนอาจไม่ได้ให้ความสนใจมากพอเมื่อสัปดาห์ที่แล้ว แต่มีคำเปรียบเปรยนี้ และฉันจำไม่ได้ว่าใครเป็นคนคิดขึ้นมา พูดถึงสุนัขพูดได้ และมีคนบอกคุณว่าพวกเขาต้องการให้คุณไปพบกับสุนัขพูดได้ตัวใหม่ของพวกเขา และคุณก็แบบว่า “สุนัขพูดไม่ได้ ” แต่คุณไปหาสุนัขและสุนัขก็คุยกับคุณ ทุกคนเริ่มพูดว่าไวยากรณ์ของสุนัขไม่ค่อยดีนัก และนั่นสำคัญมาก แต่อย่าละเลยความจริงที่ว่าสุนัขกำลังพูด สิ่งที่หลอนสำหรับผมก็คือ สิ่งนี้ให้ความรู้สึกเหมือนเป็นการเปลี่ยนแปลงครั้งใหญ่ – อาจไม่ใช่การเปลี่ยนแปลงที่เราสามารถผลิตได้ แต่ใครจะไปรู้ว่ามันจะเป็นเช่นไรในหนึ่งปี สองปี หรือสามปี

“นี่มันเหมือนกับรถยนต์ไร้คนขับใช่ไหม? คุณต้องพร้อมที่จะรับช่วงต่อได้ทุกเมื่อ”

Des: ใช่แล้ว ภาพหลอนสำหรับฉัน มันไม่ได้ทำให้มันไร้ประโยชน์เลย ลองมองโลกในแง่ร้ายและพูดว่าการอธิบายผู้ป่วย 5 ย่อหน้าสามารถให้การวินิจฉัยที่แม่นยำ 70% ได้ทันที และในคำถามการวินิจฉัยส่วนใหญ่ จะมีแบบทดสอบสั้นๆ ที่สามารถตรวจสอบได้ว่าจริงหรือไม่ เช่น "ฟังดูเหมือนคุณมี X นี่คือแบบทดสอบด่วนสำหรับ X" และปรากฎว่าถูกหรือผิด – นั่นยังคงเป็นการเปลี่ยนแปลงประสิทธิภาพการทำงานครั้งใหญ่ หากเราถือว่าสิ่งนั้นยังมีข้อบกพร่อง แต่พยายามใช้ประโยชน์จากความแม่นยำ 70% อาจยังมีสิ่งที่สามารถทำได้ซึ่งจะมีค่ามหาศาล

Fergal: ฉันมีสองความคิดเกี่ยวกับเรื่องนี้ ความคิดแรกคือต้องมีคนศึกษาเรื่องนี้เพราะมันเป็นไปได้ว่าสิ่งนี้เป็นลบสุทธิ ระบบใหม่ที่มีมนุษย์อยู่ในลูป แพทย์และ AI มีความเป็นไปได้สูงที่จะเกิดข้อผิดพลาดร้ายแรงเนื่องจากเหนื่อยและทำงานหนักเกินไป แพทย์บางครั้งไม่ได้ทำอย่างขยันหมั่นเพียร แต่ก็มีระบบที่น่าดึงดูดแต่ไม่ถูกต้องอยู่ข้างหน้าพวกเขา นี่มันเหมือนกับรถไร้คนขับใช่ไหม? คุณต้องพร้อมที่จะเข้ายึดครองได้ทุกเมื่อ อาจมีบางพื้นที่ในระบอบนั้นที่ระบบโดยรวมกับมนุษย์แย่กว่าแค่การ-

Des: ผู้คนสามารถไว้วางใจได้จริงๆ

Fergal: ผู้คนสามารถไว้วางใจได้ พวกเขาเรียกว่าอะไร? การทำให้เป็นปกติของความเบี่ยงเบน ผู้คนศึกษาสิ่งนี้ในบริบทของภัยพิบัติจากเตาปฏิกรณ์นิวเคลียร์และสิ่งต่างๆ เกิดอะไรขึ้น? “โอ้ เราเคยชินกับทางลัดนี้แล้ว และทางลัดก็ใช่ว่าจะใช้ได้เสมอไป” เป็นต้น นั่นคือสิ่งหนึ่งที่ฉันจะพูด แต่ในทางกลับกัน เมื่อเราคิดถึงเรื่องทางการแพทย์ ก็คือ บางส่วนของโลกไม่สามารถเข้าถึงแพทย์ได้ เลยไม่รู้จะวาดขอบเขตตรงไหน มันยากที่จะวาดขอบเขต ในที่สุด ระหว่างทาง สิ่งเหล่านี้น่าจะดีขึ้นเรื่อย ๆ และดีพอที่จะทำให้ระบบโดยรวมมีประสิทธิภาพดีกว่าสิ่งที่ผู้คนมีอยู่ในปัจจุบัน

ฝึกแชทบอททีละขั้นตอน

Des: คุณกำลังบอกว่าเมื่อมันสร้างโค้ด คุณสามารถพูดว่า “เฮ้ นั่นมันบูกี้” อีกตัวอย่างหนึ่งที่ฉันเห็นว่าเป็นที่นิยมใน Twitter อยู่พักหนึ่งคือ "พูดคุยกับฉันผ่านความคิดของคุณทีละบรรทัด" หรืออะไรก็ตาม เกือบจะเหมือนกับว่าคุณกำลังบอกวิธีคิดเกี่ยวกับสิ่งต่างๆ หรือคุณกำลังให้ข้อมูลใหม่และไม่บังคับให้พิจารณาความคิดเห็นใหม่ เกิดอะไรขึ้นที่นั่น?

เฟอร์กัล: ฉันคิดว่ามีบางอย่างที่น่าสนใจเกิดขึ้นที่นั่น และเราต้องคุยกันให้ถึงที่สุดที่นี่ นี่เป็นการคาดเดาและฉันเป็นผู้ชม - ฉันไม่ได้ทำงานนี้ ฉันคิดว่า Google ตีพิมพ์บทความเมื่อไม่นานมานี้เกี่ยวกับวิธีที่โมเดลภาษาขนาดใหญ่สามารถพัฒนาตนเองได้ ดังนั้นฉันคิดว่ามีบางสิ่งที่น่าสนใจที่ควรค่าแก่การแกะกล่อง

สิ่งแรกคือเมื่อประมาณหนึ่งปีที่แล้ว ผู้คนค้นพบว่าแม้ว่าโมเดลเหล่านี้จะผิดพลาดอยู่มาก แต่คุณก็อาจบอกพวกเขาด้วยประโยคคลาสสิก “ลองคิดทีละขั้นตอน” คุณจะมีแบบจำลองและสามารถถามคำถามทางคณิตศาสตร์ง่ายๆ เช่น “อลิซกับบ็อบมีช็อกโกแลตแท่งสามแท่งและพวกเขาให้สามแท่งแก่อีฟ” หรืออะไรทำนองนั้น “พวกมันเหลืออยู่กี่ตัว” สิ่งเหล่านี้ต่อสู้กับคณิตศาสตร์พื้นฐาน ดังนั้นมันมักจะผิดพลาด แต่คุณสามารถพูดประมาณว่า “มาคิดกันทีละขั้น” และนั่นบังคับให้ต้องแสดงเหตุผลทีละขั้นไปพร้อมกัน และอัตราความแม่นยำก็เพิ่มขึ้นเมื่อคุณทำแบบนั้น ซึ่งก็สมเหตุสมผลดี ได้รับการฝึกฝนให้กรอกข้อความ ดังนั้น ทีละขั้นตอน แต่ละขั้นตอนได้รับการออกแบบ ...

Des: เกือบจะเหมือนกับว่าคุณไม่ได้คูณความน่าจะเป็นที่จะล้มเหลว เพราะอย่างนั้น หากคุณกำลังดำเนินการแต่ละขั้นตอนด้วยความน่าจะเป็นที่จะถูกต้อง 90% และใน 5 ขั้นตอนในทันที ความน่าจะเป็นจะถูกเพียง 50% เท่านั้น

เฟอร์กัล: บางที ฉันหมายความว่า เป็นการยากที่จะคาดเดาว่าเกิดอะไรขึ้นภายในกันแน่ แต่อาจเป็นอย่างนั้น แต่เมื่อเร็ว ๆ นี้มีรายงานที่น่าสนใจมากซึ่งมีลักษณะเหมือน "เฮ้ เรารู้ว่าเราสามารถปรับปรุงความแม่นยำได้ด้วยการพูดว่า 'มาคิดกันทีละขั้น'" และเราสามารถใช้สิ่งนั้นเพื่อให้ได้ผลลัพธ์ที่ดีกว่าเพียงแค่ใช้มันโดยสัญชาตญาณ ให้คำตอบทันที คุณสามารถใช้ข้อมูลนั้นเพื่อสร้างชุดข้อมูลการฝึกใหม่และฝึกโมเดลใหม่เพื่อปรับปรุงความแม่นยำ สำหรับผมถือว่าน่าทึ่งเพราะสิ่งเหล่านี้สามารถพัฒนาตนเองได้อย่างน้อยก็ในระดับหนึ่ง

“มีโลกที่น่าสนใจมากที่นี่ ซึ่งโมเดลภาษาและ NLP เริ่มดูเหมือนโลกของ AlphaGo มากขึ้น ฉันคิดว่ามันเป็นช่วงเวลาที่น่าตื่นเต้นมากและยากที่จะบอกว่าขีดจำกัดคืออะไร”

เมื่อเร็ว ๆ นี้ฉันเห็นการสาธิตในงาน Microsoft ที่พวกเขาแสดง Copilot หรือหนึ่งในโมเดลเหล่านั้น อาจจะเป็น davinci พวกเขาไม่ได้ระบุ กำลังทำอะไรบางอย่างกับ Python prompt ที่พวกเขาให้ปัญหาภาษาธรรมชาติ เหมือนกับปัญหาการเขียนโปรแกรมอินเตอร์คอมของเรา แล้วขอให้ระบบสังเคราะห์โค้ดและใส่โค้ดลงใน Python prompt และเมื่อมันผิด ระบบก็พยายามรันโค้ดและเห็นว่ามันผิด ก็เลยลองใหม่อีกจนได้ ขวา. มีโลกที่น่าสนใจมากที่นี่ ซึ่งโมเดลภาษาและ NLP เริ่มดูเหมือนโลกของ AlphaGo มากขึ้น ฉันคิดว่ามันเป็นช่วงเวลาที่น่าตื่นเต้นมากและยากที่จะบอกว่าขีดจำกัดคืออะไร

ฉันคิดว่ามีหลายสิ่งหลายอย่างที่คนในภาษาศาสตร์หรือบางสิ่งบางอย่างมักจะพูดว่า "ใน AI เราจะไม่สามารถตอบคำถามเหล่านี้ในรูปแบบที่ยิ่งใหญ่ได้" หรืออะไรทำนองนั้น เช่น “รถแทรกเตอร์ไปตามถนนและกลายเป็นทุ่งนา โปรดอธิบายสิ่งที่เกิดขึ้นในเรื่องตลกนั้น” คอมพิวเตอร์ไม่ดีในอดีต “รถแทรกเตอร์วิเศษไปตามถนนและกลายเป็นทุ่ง” การปรับเปลี่ยนเล็กน้อยเช่นนั้นจะเปลี่ยนความหมาย และมันก็ดีขึ้นเรื่อยๆ ในบางโดเมน คุณสามารถถามคำถามความหมายพื้นฐานหรือขอให้คาดเดา จนกระทั่งเมื่อประมาณสองหรือสามปีที่แล้ว เมื่อใดก็ตามที่ฉันเห็นระบบแมชชีนเลิร์นนิงใหม่ มันดูมหัศจรรย์และน่าทึ่งเสมอในตอนเริ่มต้น และเมื่อใดก็ตามที่คุณเข้าไปใช้งานและภายใต้ประทุน คุณจะชอบ "โอ้ มันเป็นแค่การถดถอยโลจิสติก ” พอเข้าใจแล้ว ก็ประทับใจน้อยลงมาก และฉันก็ลำบากที่จะทำที่นี่ อาจเป็นเพราะมันยากที่จะเข้าใจความซับซ้อนของโมเดล แต่สิ่งเหล่านี้รู้สึกเหมือนเป็นความสามารถเชิงคุณภาพที่แตกต่างจากที่เราเคยมี

บอท AI กับ Google

Des: ก่อนที่เราจะรับการสนับสนุน ซึ่งเราจะเจาะลึกลงไป ฉันเคยเห็นความคิดเห็นที่บอกว่านี่เป็นช่วงเวลาที่ยิ่งใหญ่สำหรับอินเทอร์เน็ตเช่นเดียวกับ Google นอกจากนี้ ฉันยังเห็นคำว่า Cold Water Take ซึ่งก็คือ "อย่าหลงกล การสร้างเนื้อเพลงแบบสุ่มเป็นกลไกที่ดีที่สุด" และเห็นได้ชัดว่ามีความอยากอาหารหลากหลายขึ้นอยู่กับว่าคุณเป็นนักเทคโนโพสิวิสต์หรืออะไรก็ตาม คุณคิดอย่างไรกับ Google สิ่งนี้อาจใหญ่เท่ากับ Google หรือไม่ นี่เป็นภัยคุกคามต่อ Google หรือไม่ คิดว่า Google จะตอบสนองอย่างไร?

Fergal: ดังนั้น ฉันจะคาดเดาอย่างสุดโต่งที่นี่ เข้าสู่โลกแห่งอนาคตและสิ่งต่างๆ ฉันรั้นมากเกี่ยวกับ AI และการเรียนรู้ของเครื่อง ฉันรู้สึกว่าการเปลี่ยนแปลงในความสามารถที่เราได้เห็นในปีที่แล้ว และแน่นอนว่าถ้าคุณคาดการณ์ล่วงหน้าไปอีกปีหรือสองปี นั้นยิ่งใหญ่พอๆ กับอินเทอร์เน็ต ศักยภาพ และเราจะต้องหาวิธีการผลิตสิ่งเหล่านี้ จะต้องทำงานมากมายเกี่ยวกับวิธีที่คุณบังคับให้พวกเขาตอบจากฐานความรู้และอื่นๆ แต่ผลรวมของความสามารถใหม่ๆ ที่เราได้รับและน่าจะรู้สึกว่าใหญ่พอๆ กับอินเทอร์เน็ต ฉันอาจจะผิด แต่นั่นคือสิ่งที่ฉันจะ-

Des: นั่นคือลำดับความสำคัญ ใหญ่กว่า Google

“ฉันคิดว่ามันเป็นช่วงเวลาแห่งสปุตนิก ผู้คนจะดูสิ่งนี้และพูดว่า ว้าว มีบางอย่างกำลังมาถึงที่นี่”

เฟอร์กัล: ใช่ ฉันคิดอย่างนั้น ไม่ใช่แค่ ChatGPT ที่เพิ่งออกมาเมื่อสัปดาห์ที่แล้ว แต่ความคืบหน้าทั้งหมดทำให้เรารู้สึกว่าความสามารถในการให้เหตุผลดีขึ้นอย่างมาก การให้เหตุผลเบื้องต้นและการให้เหตุผลที่อาจผิดพลาดได้ แต่บางครั้งก็ค่อนข้างน่าสนใจ ฉันจะไม่เชื่อถ้าคุณบอกฉันเกี่ยวกับความสำเร็จในการเขียนโปรแกรมความท้าทายเมื่อห้าปีที่แล้ว ดังนั้นฉันคิดว่ามีบางสิ่งที่ยิ่งใหญ่ที่นี่ มีผลผลิตมากมายที่สามารถปลดล็อกได้ และยากที่จะบอกว่าจะหยุดที่จุดใด และฉันคิดว่ามีวงจรป้อนกลับที่นี่ ฉันรู้สึกว่านี่เป็นช่วงเวลาแห่งสปุตนิก ด้วย ChatGPT คุณสามารถพูดว่า "เฮ้ เทคโนโลยีไม่ได้ดีไปกว่านี้แล้ว" หรือ "มันกำลังล้นหลาม" แต่อย่าดูถูกความสามารถของแรงเสียดทานต่ำในการเข้าไปเล่นอะไรบางอย่าง ทุกคนสามารถทำได้ และฉันคิดว่ามันเป็นช่วงเวลาแห่งสปุตนิก ผู้คนจะดูสิ่งนี้และพูดว่า "ว้าว มีบางอย่างกำลังมาถึงที่นี่"

Des: การอ้างอิง Sputnik ที่นี่ ขออภัย

Fergal: พระเจ้าของฉัน ย้อนกลับไปในยุค 50 ชาวรัสเซียส่งดาวเทียมดวงนี้ไปในอวกาศที่โคจรรอบโลกและส่งสัญญาณวิทยุกระจายเสียง และผู้คนทั่วโลกก็สามารถเปิดวิทยุและรับสัญญาณนี้จาก Sputnik ได้ในทันที และนี่คือเรื่องเล่าที่เล่ากันโดยทั่วไปในตะวันตก จู่ๆ ผู้คนก็ตื่นขึ้นและพูดว่า “ว้าว มีการเปลี่ยนแปลงความสามารถที่นี่โดยที่เราไม่รู้ตัว” และจากนั้นก็สมมุติว่าสิ่งนี้ทำให้เกิดการแข่งขันในอวกาศและอพอลโลและอะไรพวกนั้น ดังนั้นฉันจึงรู้สึกว่าบางทีปฏิกิริยายังเล่นอยู่ แต่ฉันเห็นผู้คนจำนวนมากที่ไม่ได้ให้ความสนใจกับสิ่งนี้จริงๆ และจู่ๆ ก็ตื่นเต้นกับมัน บางทีโฆษณาอาจจะตายลง เราอยู่ตรงกลาง ดังนั้นจึงเป็นเรื่องยากที่จะคาดเดา แต่ถ้าไม่เป็นเช่นนั้น อย่างอื่นจะตามมาในเร็วๆ นี้

ChatGPT รองรับลูกค้าได้หรือไม่

Des: แล้วฝ่ายสนับสนุนลูกค้าล่ะ? Intercom เป็นแพลตฟอร์มการสนับสนุนลูกค้า และศักยภาพที่ GPTChat, GPT-3.5 หรือเทคโนโลยีใดๆ เหล่านี้สามารถให้การสนับสนุนได้ดีขึ้น เร็วขึ้น ถูกลง ประสบความสำเร็จมากขึ้น หรือแบบ end-to-end มากขึ้นนั้นเป็นสิ่งที่เรามองข้ามมาโดยตลอด ฉันรู้ว่าคุณคิดเกี่ยวกับเรื่องนี้จากมุมมองของฝ่ายสนับสนุน ก่อนหน้านี้ เราได้พูดถึงว่ามีสภาพแวดล้อมที่คำตอบที่ไม่ถูกต้องนั้นเลวร้ายมาก และมีสภาพแวดล้อมที่ยอมรับได้จริงๆ ได้อย่างไร เรามีลูกค้า 25,000 ราย บางแห่งเป็นธนาคารซึ่งอาจไม่สามารถจ่ายได้ Other people would happily afford one because it means they can support all their customers faster. What do you think about this technology as it applies to support?

“We made a conscious design decision very early on that it would never say anything that hadn't been explicitly curated by the team”

Fergal: Yeah. We try and pay a lot of attention to changes in developments in this space. We were looking at GPT-3 pretty early, and our initial thoughts were that the accuracy was not quite there yet. The hallucination problem is a big problem to just nakedly say, “Hey, it has consumed the Intercom help center. Let's ask questions about resetting my two-factor authentication.” It just failed. We've been looking at the GPT-3.5 family and some other models recently. We have resolution bots in production. It's not using language models that are as large – they're maybe medium language models, embeddings, and so on. And it gets very good accuracy at the sort of thing it does. We made a conscious design decision very early on that it would never say anything that hadn't been explicitly curated by the team. I think that worked well for a lot of businesses because it might deliver the wrong answer sometimes – we try carefully to control that – but it's always going to deliver you a relevant answer or an answer that's not going to mislead you.

Des: Yeah, and specifically, the way in which it gets it wrong is it might give you a wrong correct answer. The thing it gives you will be something that somebody in your company has said: “This is a correct, cohesive piece of text.” It just might not be the right one for the question.

Fergal: And we encourage our customers to always write the answer in such a way that, “Oh, to reset your account, do the following thing.” So if it is delivered wrongly, at least the end user is not disoriented.

Des: Yes, they don't go and do it for no reason.

Fergal: They can go like, “Oh, this is a stupid bot. It gave me the wrong answer,” as opposed to, “I am misled, and I'm now going to waste a bunch of time…” So initially, with GPT-3, we were like, “Oh, it's really cool but difficult to see the end-to-end usage of this.” It's been a couple of years, and I'm not aware of anyone who has deployed GPT-3 in a total end-to-end way to answer the customer's questions.

Des: End-to-end meaning no agent in the mix. Because the risk there is that there'll be an unknown unknown. If someone goes to your business and asks a question that you didn't see because GPT dealt with it, gave it the wrong answer, and the customer goes off and does the wrong thing, no one actually knows what's happened except for the bot. And the bot doesn't even know it's wrong because it doesn't know if it's spoofing or not. So you end up in a potentially dangerous world.

Fergal: Exactly, and we've quite carefully designed the resolution bot to avoid getting into those situations. We calibrate it, we check that, when it says something helped the customer, it did help the customer, and we have ways of checking that between explicit and implicit customer feedback. But it's conservatively designed.

“The probability of giving the wrong answer and totally making stuff up is too high, at least to use it for end users in a naked way”

At some point, these open domain question-answering things or something you could build on the top of GPT-3.5 will get good enough that, for a certain portion of our customers, that equation changes where it's like, “Hey, I'm not answering medically critical things,” and the inaccuracy rate has fallen. It was 90% accurate; now it's 99% accurate; now it's 99.9%. How commonly it gives you the wrong answer will eventually fall below the critical threshold where it's like, “Hey, just being able to take this out of the box is worth it. I don't have to go and curate these answers.” So that will probably come. When will that come, is it here today, or has it come in the last few weeks with davinci-003 and ChatGPT is obviously something we've been assessing.

And it's certainly a work in progress because you always have to go and play with the prompts. When you interface with ChatGPT or GPT-3, we could take an end user's question and ramp it in something that says, “Hey, you're a very conservative customer support agent. If you don't know something or you're not completely sure, you always say, 'I don't know,'” and you reason with it step by step, and you're super conservative, and maybe we can wrap it to get the benefit of the deeper natural language understanding, which these models have, and the deeper ability to synthesize and rewrite text, which can be beautiful. It can be really nice. Maybe we can get those benefits and constrain the hallucinations and the errors enough.

Des: Is that another version of walking through this line by line?

Fergal: Yeah.

Des: Is that whole field what people call prompt engineering?

Fergal: Prompt engineering. We're joking that the machine learning team at Intercom is going to be a prompt engineering team, and we're joking about that as we play with it. But there are people who really sweat the prompts and have gotten really good at prompt engineering. It's a real thing, and it makes it difficult to say, “Oh, this new tech is definitely not good enough,” because what will the best prompts be in six months? That said, we don't think it's here yet. All the prompt engineering we've done on davinci in the last week can get it to be more conservative, but not enough. The probability of giving the wrong answer and totally making stuff up is too high, at least to use it for end users in a naked way.

Support agent augmentation

Des: We talked earlier about the doctor augmentation question. Is there a version of it where you can do it from the agent augmentation question?

Fergal: Well, at Intercom, we've been thinking about this area very deeply for an extended period, and in the last few months, we have had internal discussions about the future of the customer support inbox and generative models – models that generate stuff as opposed to just classify things – and we believe that their time is coming for support augmentation, and I think that seeing ChatGPT explode recently and all the excitement about it is evidence of that. It's evidence that these things are getting good. And there are a lot of things you can do in the inbox or in a context like the inbox to constrain and sand off the rougher edges of these things.

An example might be to curate the responses it's allowed to give and use the generative model to predict what should happen, but only actually allow the suggestion to present to the teammate, like a macro or a conversation response, and hopefully provide a beautiful interface to make it easy for them. Alternatively, to have it go and search for a new knowledge base, and there are techniques you can use to try and constrain it to that. And then, maybe show, “This is the answer that our bot wrote from your knowledge base,” and side by side with that, “Here is the original source article,” so that the customer support rep can look at them side by side-

Des: And see if it adds up.

Fergal: Yeah, and see if it adds up.

“They have to go and find the article themselves, then they have to read it and check the answer, and then they have to copy paste it and reformat it. So maybe there's a productivity boost”

Des: So there's an angle where the AI explains its epistemological basis for how it concludes this. And in that world, if you're a support rep, you don't even need to know if it's actually right – you just need to know if the logic stacks up. Obviously, it'd be better if you knew if it was right, as well. But if it says, “Hey, I read how to reset a 2FA article linked here. I suggest that this is how you reset 2FA,” you're probably, “That's the right article to read.”

Fergal: The problem is that when they get it wrong, they're so good at seeming right that they'll-

Des: Invent the idea of the article.

Fergal: Yeah, yeah, totally. And so, you might need to go beyond that. You might need to have the untrusted part of the interface, which is maybe the composer, and it pre-fills something, and there's also a trusted part of the interface beside that, maybe just above it, that shows the original source article, the relevant paragraph. And so, you can look at both.

Obviously, we study customer support flow very carefully and closely, and we absolutely have some support agents where it's like, “Okay, I got the question,” and they have to go and find an article themselves. Some expert ones know it, they're instantly there, and they know exactly where to go. Maybe they've got a macro that does it, but then maybe someone who's newer in the company and they're still being trained in, or maybe it's only part of their job, they have to go and find the article themselves, then they have to read it and check the answer, and then they have to copy paste it and reformat it. So maybe there's a productivity boost. Maybe you can make someone twice as efficient or something.

Des: All that agent behavior will also inform the system. If you put it live and agents are forever going “Wrong, right, wrong, right,” all that feeds back in, and then it gets better. Or, if they're rewriting the answer to be more accurate, I assume we can learn from that. And then, very quickly, the system converges on all the right answers.

“There are a lot of trade-offs. It's very easy to say we want a system that will learn in production. But then it's like okay, who has to maintain that? Who has to debug that?”

Fergal: We could certainly build a system that does all of those things. GPT-3.5 won't nakedly do it. If you decide to build on it as a building block, not even an assessment, is that the right system to build on? Its capability is very good, but it's not the only generative model in town. But whatever we build on, and we're getting really into the roadmap, we would potentially build a learning loop. With most of our tech at the moment where we do that, we absolutely gather feedback. There are some parts of the resolution bot like predictive answers, where it predicts things to end users, where it actually does use what the users say, like, “that helps” as a training signal, and potentially we can end up building that.

There are a lot of trade-offs. It's very easy to say, “We want a system that will learn in production. But then it's like, “Okay, who has to maintain that? Who has to debug that?” Sometimes it's easier to get it to a stable stage and then lock it. So, it depends. We did metrics and analytics whenever we upgrade. We're getting into the details of our models and how we check the accuracy and calibrate them, and stuff.

Des: I know our inbox has this feature where, based on what you've said before, if I jump in the inbox, before I've said anything to try and start a conversation, it'll say, “Hey, I'm Des, co-founder of Intercom, thrilled to be chatting with you.” Whatever my most common thing is, that's automatically pre-written for me.

Fergal: Yep. Smart replies.

Des: Am I right in saying that it's just the mini version in some sense of what we're describing here? Because we were really just going for salutations and maybe ends and maybe handoffs, and the common boilerplate of a support conversation should be there for you. And that, alone, is a productivity boost. But the idea that we could get one degree sharper, and somewhere in the middle of all that boilerplate is, “Here's the meat of the answer,” is where you're talking about going, right?

“We believe its time is coming, and we're trying to figure out the best ways to make people more efficient and to leverage it in a production setting that actually works for people”

Fergal: Yeah, totally. And again, to separate things out – there's just the change in the world, an increased capability, GPT-3.5, and then there's the stuff that we're working on as we grind away on this problem and try to deliver things that will make it better for our customers. I think the capabilities have really improved, but we're still figuring out if we can use this. Is there a shortcut to where we want to go? Maybe we can use these capabilities as building blocks, there are loads of ways to potentially use them as building blocks. But in terms of the direction we were going on already anyway, there are a lot of things agents do such as greetings where it's very obvious. We don't ever want to annoy people. We don't ever want to have an agent read through a bunch of text and then be like, “Oh, that's useless. Why did you do that?” It reduces their trust in the system. It slows them down. We want to help them out.

ดังนั้น สำหรับการตอบกลับอย่างชาญฉลาด เราเริ่มต้นด้วยการทักทาย มันเป็นสิ่งที่ชัดเจนที่จะทำ เราสามารถบอกได้อย่างง่ายดายว่าเมื่อใดที่คุณอาจต้องการคำทักทาย – คุณเข้าสู่การสนทนาใหม่และไม่มีใครพูดอะไรกับผู้ใช้ปลายทางมาก่อน มันชัดเจนมาก นั่นคือผลไม้ห้อยต่ำ คนชอบอินเตอร์เฟซผู้ใช้มาก ง่ายและมีแรงเสียดทานต่ำ ตอนนี้เราได้รับคำแนะนำเพียงข้อเดียว และมีบางครั้งที่ระบบไม่สามารถบอกได้ ในขณะนี้ เรามีมาโครโฟลว์นี้ และผู้คนใช้มาโครเป็นจำนวนมาก พวกเขาต้องเลือกมาโครใด เราควรแนะนำมาโครเหล่านั้นให้กับผู้คนในเชิงรุกหรือไม่? บางทีเราไม่ต้องการเติมผู้แต่งไว้ล่วงหน้า บางทีเราต้องการแสดงคำแนะนำมาโครตามบริบท มีหลายกระแสที่ซ้ำซาก เรากำลังทำงานเกี่ยวกับสิ่งต่างๆ เช่น การค้นหาโฟลว์ พยายามทำความเข้าใจขั้นตอนทั่วไปที่ผู้คนต้องผ่าน

ฉันเดาว่าข้อความสำคัญคือเราเชื่อว่าเทคโนโลยีเชิงกำเนิดประเภทนี้จำเป็นต้องได้รับการปรับแต่งและทำให้ดี เพื่อไม่ให้น่ารำคาญ เพื่อไม่ให้เกิดสิ่งผิดๆ ทำให้คุณเข้าใจผิด และไม่กดดันคุณให้ทำงานหรือเครียดมากขึ้น กว่าที่คุณจะไม่มีมัน เราเชื่อว่าเวลานั้นกำลังจะมาถึง และเรากำลังพยายามหาวิธีที่ดีที่สุดในการทำให้ผู้คนมีประสิทธิภาพมากขึ้นและใช้ประโยชน์จากมันในการตั้งค่าการผลิตที่ใช้งานได้จริงสำหรับผู้คน

AI-ML อยู่นอกเหนือการสนับสนุน

Des: เรากำลังพูดถึงการสนับสนุน คุณคิดว่าอุตสาหกรรมอื่น ๆ จะเห็นคุณค่าของสิ่งนี้ในช่วงแรก ๆ หรือไม่? ดูเหมือนว่าการสนับสนุนเป็นสภาพแวดล้อมที่มีเป้าหมายมากมายสำหรับเทคโนโลยีประเภทนี้ แต่มีอย่างอื่นอีกไหม

Fergal: แน่นอน เรากำลังรั้นในแนวรับ มีหลายอย่างที่เขียน มันเหมือนกับว่า “โอ้ ตัวแทนค่อนข้างรู้ตั้งแต่เนิ่นๆ ว่านี่เป็นปัญหาประเภทต่อไปนี้” เช่น การรีเซ็ตบัญชีของฉันหรืออะไรทำนองนั้น มีโครงสร้างมากมายในบริเวณนั้น มีการผสมผสานระหว่างโครงสร้างปัญหาของลูกค้าที่แท้จริงเข้ากับเทคโนโลยีที่จัดการกับภาษาธรรมชาติได้ดีมากและปรับรูปร่างใหม่ เราสามารถเห็นปุ่มที่คุณสามารถกดเพื่อทำให้สิ่งที่อยู่ในผู้แต่งเป็นทางการมากขึ้น หรือปุ่มเพื่อทำให้เป็นการขอโทษมากขึ้น ใช่ไหม? เราคิดว่ามันเป็นพื้นที่ที่น่าตื่นเต้นมากในขณะนี้ ฉันไม่ต้องการที่จะเข้าไปในทุกสิ่งที่เก็งกำไรโดยสิ้นเชิง แต่ก่อนหน้านี้ ทีมแมชชีนเลิร์นนิงก็อยู่ในพื้นที่นี้ทั้งหมด เราเป็นผู้ศรัทธาที่ยิ่งใหญ่ในการสนับสนุน

การสนับสนุนจากภายนอก สิ่งใดก็ตามที่มีโครงสร้างในงานและผู้อนุมัติที่เป็นมนุษย์ที่สามารถแยกแยะได้ว่าคำตอบนั้นถูกหรือผิด สิ่งนี้ดูเหมือนจะเป็นสัญชาตญาณแปลก ๆ แต่ในวิทยาการคอมพิวเตอร์หรือการเข้ารหัส เราให้ความสนใจกับปัญหาบางประเภทซึ่งง่ายต่อการตรวจสอบคำตอบว่าถูกต้อง แต่ยากที่จะหาคำตอบนั้น คลาสที่ซับซ้อน อะไรพวกนั้น แต่ใช่ ผู้คนสนใจปัญหาแบบนั้น ฉันอดไม่ได้ที่จะคิดว่ามีสัญชาตญาณที่คล้ายกันที่นี่ คุณมีความท้าทายที่ค่อนข้างง่ายสำหรับมนุษย์ในการตรวจสอบว่าคำตอบนั้นถูกต้องหรือไม่ แต่มันยากสำหรับพวกเขาที่จะไปค้นหาคำตอบนั้น หรือทีมงานอาจไม่สนใจว่าคำตอบนั้นถูกต้องเพียงพอหรือไม่ เพราะไม่มีสิ่งที่เรียกว่าถูกต้อง เช่น “เขียนบทกวีเกี่ยวกับ X, Y ให้ฉันหน่อย”

Des: ประเภทของปัญหาที่การตรวจสอบคำตอบนั้นถูกมาก แต่การสร้างมันมีราคาแพงมาก หรือไม่มีคำตอบที่ถูกต้อง

Fergal: และอีกอย่าง คำตอบอาจแตกต่างออกไปในหกเดือนหรือหนึ่งปี อาจเป็นไปได้ว่าในหนึ่งปี คำตอบอาจเป็นอะไรที่มากกว่านั้น เช่น “เมื่อใดก็ตามที่คอมพิวเตอร์สามารถตรวจสอบได้ว่าคำตอบนั้นถูกต้องหรือไม่” หรืออาจเป็นไปได้ว่าเมื่อใดก็ตามที่โดเมนนั้นเรียบง่ายเพียงพอ ระบบการเรียนรู้ของเครื่องจะให้คำตอบที่ถูกต้องแก่คุณอย่างแน่นอน มันเป็นสิ่งที่พัฒนา ฉันคิดว่ามันยากที่จะกำหนดขีดจำกัดในตอนนี้

“เราจะจัดส่งอะไรในเดือนมกราคม”

โดเมนอื่นๆ เช่น การเขียนโปรแกรมคอมพิวเตอร์ เป็นต้น คนที่นั่งอยู่ที่นั่นที่เทอร์มินัลต้องตรวจสอบโค้ดอยู่ดี และพวกเขาก็สามารถทำเช่นนั้นได้ และอาจมีจุดบกพร่องเล็กๆ น้อยๆ ในโค้ดของคุณ บางครั้งการเขียนโค้ดด้วยตัวเองอาจง่ายกว่าการระบุจุดบกพร่องเล็กน้อย แต่บ่อยครั้ง ถ้าคุณดูขั้นตอนการทำงานของโปรแกรมเมอร์คอมพิวเตอร์ มันก็เหมือนกับว่า "โอ้ ฉันรู้วิธีการทำ แต่ฉันจำไม่ได้ว่าจะใช้ไลบรารีนี้อย่างไร ฉันจะไปหา Google ฉันจะไปที่ Stack overflow” และแนวคิดก็คือเมื่อคุณเห็นคำตอบข้อสามใน Stack Over คุณจะรู้สึกว่า “ใช่แล้ว ใช่เลย นั่นคือสิ่งที่ฉันต้องการ." มีเวิร์กโฟลว์ทั้งหมดเช่นนั้นซึ่งกินเวลาส่วนใหญ่ของโปรแกรมเมอร์ และ Copilot นั้นมาพร้อมและมีจุดสิ้นสุดของสิ่งนั้น แล้วฟอร์แมตโค้ดใหม่ให้พอดี ซึ่งมีประสิทธิภาพมาก

เราเริ่มพูดคุยเกี่ยวกับ “Copilot สำหรับการสนับสนุนลูกค้าคืออะไร” เรามีต้นแบบและมีหลายสิ่งหลายอย่างที่คุณสามารถเล่นได้ บางทีคุณอาจไม่ตอบคำถามแบบเต็ม คุณแค่ให้คำตอบสองหรือสามคำแก่มัน มันเขียนออกมา จากนั้นคุณแก้ไขมัน และคุณก็แบบว่า “ทำให้เป็นทางการมากขึ้น ทำให้ยาวขึ้น ทำให้ ที่สั้นกว่า” รู้สึกเหมือนมีอะไรมากมายที่เราสามารถทำได้ที่นั่น

Des: และเราจะจัดส่งอะไรในเดือนมกราคม?

Fergal: จะต้องเซ็นเซอร์ส่วนนี้ของการสนทนา เราจะส่งบางสิ่งบางอย่าง

เดส: ใช่ ฉันพนันเลย ตกลง. นี้ได้รับที่ดี เราจะเช็คอิน ฉันเดาว่าอีกสองสัปดาห์เมื่อโลกทั้งหมดเปลี่ยนไปอีกครั้ง แต่ถ้าไม่ ก็อาจใช้เวลาสองสามเดือน ขอบคุณมาก ๆ.

Fergal: เมื่อถึงเวลานี้บนเว็บ ฉันแน่ใจว่ามันจะล้าสมัยและดูโง่เขลา แต่นั่นคือธรรมชาติของธุรกิจนี้

เดส: แน่นอน นั่นเป็นเหตุผลที่คุณกำลังทำงานกับมัน

Fergal: นั่นเป็นเหตุผลที่เรากำลังทำงาน มันน่าตื่นเต้น.