Kinzen 的首席執行官 Mark Little 與虛假信息作鬥爭

在這個虛假信息時代，巨魔農場、假新聞和仇恨言論猖獗，真相越來越難被發現。 內容審核可以幫助我們保護在線社區免受其後果嗎？

假新聞並不是最近才出現的現象，但社交媒體平台為它們提供了完美的回音室，讓它們以前所未有的規模惡化和傳播，並產生非常現實的後果。 但傳統的事實核查和自動內容過濾器無法與虛假信息和錯誤信息背後的力量相匹敵。 這將需要一個全新的解決方案來解決這個問題，而馬克·利特爾是領導這項工作的人之一。

Mark 是一位屢獲殊榮的記者和數字媒體創新者，在廣播新聞領域擁有超過 20 年的職業生涯——從他第一次報導都柏林監獄騷亂，到他對飽受戰爭蹂躪的阿富汗的獲獎報導。 2010 年，在註意到年輕人如何使用社交媒體報導正在發生的事情后，他創立了 Storyful，這是世界上第一家將傳統新聞機構與經過驗證的用戶生成內容相結合的社交媒體新聞專線。 2015 年，在將 Storyful 出售給新聞集團後，Mark 加入 Twitter，擔任 Twitter 在歐洲的媒體和合作夥伴關係副總裁。

一年後，馬克辭去了他的職務，因為他意識到一個新的威脅正在出現——從社會媒體覺醒的民主浪潮開始的東西正在被破壞。 這些平台背後的算法和商業模式被武器化，以產生和傳播宣傳和陰謀論。 他與當時正在為 Facebook 管理全球新聞合作夥伴關係的記者同事 Áine Kerr 一起著手解決這個問題，於是 Kinzen 誕生了。

“為了應對挑戰，他們將機器學習和人類分析相結合，可以將響應規模擴大到全球水平”

從那時起，他們一直在努力應對這種威脅，並保護在線社區免受危險的錯誤信息和仇恨言論的影響，從而對現實世界造成傷害。 為了應對這一挑戰，他們將機器學習和人類分析相結合，可以將響應規模擴大到全球水平。 馬克仍然對社交媒體網絡的民主潛力持樂觀態度，但他是第一個承認它迫切需要重新設計的人。 這就是更精確的內容審核的用武之地。

在今天的節目中，我們與馬克坐下來討論新聞業的發展、錯誤信息的興起，以及我們可以做些什麼來保護在線社區免受有害內容的侵害。

以下是我們最喜歡的談話內容：

• 失敗是建立在自己創業的過程中的。 成為偉大企業家的秘訣不是生存，而是韌性。
• 在過去的幾年中，我們看到了“algospeak”的興起，當在線社區更改某些詞以避免被內容審核算法標記時，就會發生這種情況。
• 馬克不主張立法禁止虛假信息，而是提倡更精確的內容審核，在檢測有害內容的同時允許最大程度的言論自由。
• 在接下來的幾年裡，馬克相信更多的平台將嘗試分散權力，讓人們為他們想在網上看到的內容設置自己的過濾器。
• 通過結合人類分析和機器學習，他們可以檢測諸如諷刺、俚語或“algospeak”之類的東西，並在全球範圍內對其進行擴展。

如果您喜歡我們的討論，請查看我們播客的更多劇集。 您可以關注 iTunes、Spotify、YouTube 或在您選擇的播放器中獲取 RSS 提要。 以下是該劇集的輕微編輯記錄。

政治覺醒

Liam Geraghty：馬克，非常感謝您加入我們。 非常歡迎你參加這個節目。

馬克·利特爾：我很高興，利亞姆。 感謝您的款待。

Liam：在創立 Kinzen 之前，您已經經歷了一段非凡的旅程。 你對新聞的興趣從何而來？

“我癡迷於世界是如何運作的，以及為什麼某些人似乎看到了即將發生的事情”

馬克：嗯，我是那些非常早熟的孩子之一。 在大約六七歲的時候，我曾經在早上和父親一起為《愛爾蘭時報》而戰。 大約九歲或十歲時，我意識到我從來沒有足夠的天賦來成為我真正的熱情，那就是成為利物浦的中鋒。 基本上，我記得的事情是有人，我想我的宗教老師，在我大約 14 歲的時候在成績單上向我指出。 他說我過早地憤世嫉俗，對世界有強烈的好奇心，有一定的懷疑態度，並且熱衷於改變。

我癡迷於這個世界是如何運作的，以及為什麼某些人似乎看到了政治或商業接下來會發生什麼。 這就是從新聞業開始的核心，並且在我的整個職業生涯中一直伴隨著我。

利亞姆：你家的政治很重要嗎？

馬克：當然。 這是前面和中心。 在 1970 年代和 1980 年代長大，如果你對政治不感興趣，你就沒有意識到或清醒。 那時我們生活在愛爾蘭，那裡仍然是一個非常倒退的教會主導的社會。 我們仍然是歐洲的窮人。 移民創歷史新高； 失業率創歷史新高。 放眼國外，當我在八十年代成長為一名學生活動家時，我的意思是……一切都在發生。 在世界各地，感覺就像正在發生的一切都發生了構造變化。

一切都如此重要，以至於我在 80 年代直到柏林牆倒塌之前一直在深思核災難。 這只是為了讓您了解在極度焦慮的時期中活著的重要性。 但如果你有政治頭腦，也會有巨大的興奮和挑戰。

倫敦社會動盪

利亞姆：我沒看錯，你的第一次演出是在英國共產黨雜誌的廣告部？

馬克：是的，這很有趣。 那時，有很多左翼人士非常熱衷於文化，並受到 Glasnost 和 Perestroika 所發生的事情的影響。 有一群人會被稱為新左派或歐洲共產主義者，我對那本雜誌很著迷。 它被稱為今天的馬克思主義。

我在停車場和麥當勞工作，碰巧碰巧碰巧說：“嘿，今天有沒有人參加馬克思主義？” 事實證明，其中一項工作甚至不是銷售廣告——它是收集廣告。 我不得不打電話給保加利亞的格蘭諾拉麥片生產商和生產蒲團和廣告假期的人，並稍微威脅他們，要求他們承諾支付廣告費用。 那是 87 年倫敦的夏天。 我要去見 Red Wedge 和 Billy Bragg。 礦工罷工剛剛結束，撒切爾夫人確實是國際舞台上最大的人物。

“當時政治無處不在。 感覺就像我們周圍的氧氣一樣”

87 年住在倫敦並成為左翼運動的一員——不一定是共產黨，這有點出路——真的讓我大開眼界，因為我是一名學生激進分子。 我必須在像工會大會這樣的地方，會見一些真正在英國創造變革的前沿人物。 我還學會瞭如何翻轉漢堡和烹製完美的麥樂雞。

87 年的同一個夏天是愛爾蘭共和軍運動達到頂峰的時候。 我在這個停車場工作，我的工作之一是在凌晨 4:00 或 5:00 左右開車到長期停車場檢查是否有車超過一個星期，因為他們擔心愛爾蘭共和軍打算在那里安放炸彈。 所以我，一個愛爾蘭年輕人和巴基斯坦同事，我們倆都負責向早上來的特別部門報告什麼車已經停在那裡太久了。 再次提醒一下，當時政治無處不在。 這有點像我們周圍的氧氣。

“我太年輕了，當我繼續在華盛頓找到一份重要工作時，我被告知要留鬍子或穿藍色衣服，這顯然會讓你看起來更老。”

利亞姆：哇，這太瘋狂了。 所有這一切對你的新聞事業和轉向國家廣播公司來說都是有意義的。 我的意思是，你剛從大學畢業就去愛爾蘭的國家廣播公司工作了。

馬克：我太年輕了，當我在華盛頓找到一份重要的工作時，有人告訴我也許留鬍子或穿藍色衣服，這顯然會讓你看起來更老。 大學畢業後，我意識到我不想從政。 在一天結束的時候，我並不是特別有意識形態。 我不是黨派。 正如我所說，我對變化著迷。 我去 DCU 上了一門新聞課程，在那門課程結束之前，RTE 就在為人們做廣告，所以我做到了。

在大約 24 小時內，我的第一份報告是關於北都柏林 Phibsborough 的監獄騷亂。 我在屋頂上，不得不在手機上播放 6:00 點的新聞，相信我，這在當時是一項巨大的技術創新。 我太糟糕了，當我回到辦公室時，我的老闆說，“不要聽那個。 這不會激勵你的未來。” 但在那個階段，有機會開始就重大問題進行報告是夢想成真。

新一波新聞業

利亞姆：你的新聞職業生涯跨越了近 20 年，對嗎？

馬克：沒錯。

利亞姆：是什麼促使你在事業取得巨大成功後離開新聞業，成為華盛頓記者並主持黃金時段，愛爾蘭的大型節目之一？

馬克：嗯，我開始意識到事情發生了變化，用一句老話來說。 新聞和新聞的生產方式已經從像我這樣的人，電視上的人，站在戰區。 我記得在阿富汗南部的坎大哈，當時我非常沮喪，因為我坐在那裡聽有人為我解釋當地發生的事情。 突然間，我意識到過去的新聞黃金時代是非常不民主的。 是像我這樣的人，看門人，告訴家裡的人在晚上某個時間坐下來聽我，電視上的那個人，告訴他們什麼是真實的，什麼是真實的。

“如果我們能夠在這些平台上將老式的講故事、講真話和新聞與革命性的新民主覺醒結合起來會發生什麼？”

與此同時，我看到 Twitter 和 YouTube 出現了，我記得那是 2009 年伊朗的一場抗議選舉。每個外國記者都有一個觸動他們的故事——伊朗就是我的故事。 我記得看到 17 或 18 歲的孩子使用社交媒體傳遞最發自內心、最真實的報導，然後想，“天哪，這將改變一切。”

我的大多數同時代人都對這場民主革命感到害怕和恐懼。 但我看到了這個機會。 如果我們可以在這些平台上將老式的講故事、講真話和新聞與革命性的新民主覺醒結合起來會發生什麼？ 展望未來25年，我想，“如果我現在不這樣做，我會後悔一輩子。” 你必須想想偉大的古老猶太宗教典籍《塔木德》所說的：“如果不是我，那是誰？ 更待何時？” 我有那個時刻，沒有回頭路了。

利亞姆：所以你開始創作 Storyful。 我喜歡 Storyful 的偉大標語，“來自社交媒體噪音的新聞”。 從新聞業到創業是什麼感覺？

馬克：就像冬天看水一樣。 你想，“去游泳不是很好嗎？” 然後你跳進去，你被寒冷麻痺了。 我們無法通過 Storyful 籌集一年的資金。 我以為我們要倒閉了。 這是殘酷的。 我把所有的東西都押在了這個企業上——我的名譽、我所有的錢，而且看起來它已經倒閉了。

“成為偉大企業家的秘訣不是生存。 是韌性。 失敗是建立在模型中的”

我記得一個平安夜，開車去看望我的家人，感受到世界對我的壓力，我意識到我最糟糕的想法，“我們會倒閉，但我會找到一份工作並從中恢復過來。 ” 而且我了解到，當你面對最嚴重的恐懼時，尤其是在早期創業時，它永遠不會再困擾你，因為你已經面對它了。 這是可能發生的最壞情況。

我開始意識到，作為一名記者，我關心的是生存。 我必須是一名戰地記者。 我記得那些日子我可以在我是否會被殺或受傷的一小部分工作，但我從來沒有想過韌性，當你每天都必須起床並且很難時會發生什麼。 這是最大的不同。 成為偉大企業家的秘訣不是生存。 是韌性。 失敗是建立在模型中的——這是你必須忍受的。 這是思維方式的真正轉變。 有很多相似之處，但需要在思維方式上做出很大改變。

利亞姆：那是什麼感覺？ 因為，正如你所說，很多記者都有點害怕它。 但這是一種全新的新聞形式，我們當時可能並不知道。

“我們開始與當地見證歷史的人們開展合作”

馬克：嗯，我們可以看到它在實踐中發生，而人們試圖在理論上進行工作。 例如，在 2010 年在突尼斯開始並經過埃及和敘利亞的阿拉伯起義期間，我們看到，在我們位於愛爾蘭的小型創業公司中，當地的民主活動家試圖從阿勒頗等地傳播故事。 他們開始意識到我們正在觀察他們，並會做一些事情，比如傾斜相機以顯示尖塔，這將幫助我們定位該圖像。 他們會通過張貼報紙並告訴我們今天是什麼日子以及他們在什麼位置來幫助我們。我們開始與當地的歷史目擊者開展合作。

而且，當然，我們帶來了新聞的嚴謹性。 當奧薩馬·本·拉登在巴基斯坦被殺時，我們立即利用衛星圖像分析墜毀並降落在大院的直升機的性質。 我們可以將記者引導到實際位置，因為它被錯誤地歸屬。

這種新形式的開源新聞是民主的，因為我們的主要來源是當地的人們，而不是其他記者。 但與此同時，它與我們對問責制的調查性新聞一樣嚴格。 它不是偶然出現的，但我們當然不打算創造一種新的新聞形式。 它從這種覺醒有機地演變而來，這是第一波社交媒體的主導力量。 今天，許多 Storyful 的校友都在紐約時報、CNN、BBC 或華盛頓郵報等大型新聞機構工作，他們帶來了我們參與 Storyful 的新形式的新聞。

社交媒體武器化

利亞姆： 2013 年，你將 Storyful 賣給了新聞集團，搬到紐約幫助過渡，但最終回到都柏林擔任都柏林 Twitter 的董事總經理。 您是否渴望在 Storyful 的背後做下一件大事？

馬克：不是。 我的意思是，當你想一想時，我的職業生涯是為《今日馬克思主義》、魯珀特·默多克、傑克·多爾西和愛爾蘭納稅人工作。 至少從意識形態的角度來看，我有一個相當不錯的範圍。 我來自 Storyful，對 Twitter 非常著迷。 我愛上了 Twitter，它改變了我的生活，我想進入這台機器的核心。 我沒有再創業的願望。 事實上，我問過我的另一位同時代人，另一位媒體初創公司的創始人，允許我不要再這樣做了。

在那個階段，Twitter 是一家相當大的公司。 我想看看我是否可以為 Twitter 的業務帶來一些變化和活力。 這就是我選擇這樣做的原因。 這是一個真正的機會，可以進入一個改變了我業務中一切的平台，看看我是否能產生影響。 只是一個偶然，這意味著從紐約，我很高興，回到都柏林，這恰好是國際總部。 但我想從創業生活中休息一下，看看如果我在一家大公司裡會是什麼樣子。

“我看到了我們在阿拉伯起義中發現的許多問題，人們使用社交平台不是一種民主工具，而是一種武器”

Liam： Kinzen是從哪裡冒出來的？ 在某種程度上，它似乎是從 Storyful 的火焰中誕生的。

馬克：它源於對一家名為 Twitter 的大公司的挫敗感。 我喜歡在那里工作，但它運​​行得不是特別好。 最終，媒體合夥人團隊基本被淘汰。 我本可以繼續從事一份不錯的公司工作，但與此同時，那是 2016 年，美國總統大選剛剛舉行。 我已經看到了我們在阿拉伯起義中最早體現的許多問題，人們使用社交平台不是作為民主工具，而是作為武器。 他們利用 YouTube 和 Twitter 等平台上的視頻病毒式傳播來編造虛假故事，這些故事要么是宣傳要么是陰謀論。

互聯網的第一波浪潮是民主的覺醒。 然後，當 2016 年發生時，我意識到，“天哪！ 這正在變成一種武器。” 不僅僅是因為唐納德·特朗普——還有更深層次的問題，突然間，病毒式傳播、商業模式和算法被反對民主的人劫持。 那是我的出生地和想法，讓我回到了我最信任的同事，當時在 Facebook 工作的 Áine Kerr 那裡，他說：“如果我們做一些事情來把權力還給公民，讓他們是為了保護自己免受這種新出現的威脅嗎？” 我們都跳了起來。

首先，我們開始為人們提供他們可以控制的新聞源，但顯然，隨著我們的發展，就像每家初創公司一樣，這個想法也在演變。 第一波民主浪潮正在被互聯網上的一股新的黑暗力量所取代，這就是 Kinzen 背後的靈感。

Liam：對於不了解的聽眾，Kinzen 是什麼？ Kinzen的用戶是誰？

Mark：我們幫助大型科技平台和新興平台保護全球對話免受信息風險。 我們指的是危險的錯誤信息，它會造成現實世界的傷害、有組織的虛假信息以及仇恨和暴力言論。 我們的客戶是值得信賴的安全專家、政策專家以及這些公司內部的人，他們拼命地試圖領先於這些信息威脅和風險，而不是被動地進行事實核查。

“我們正在擴大針對這一特定信息危機的人類解決方案”

我們結合使用良好的老式人類分析和機器學習的後期階段來解決這些平檯面臨的棘手問題。 第一，人類無法擴展以匹配問題，並且機器沒有洞察力以多種語言和多種不同格式檢測這些信息風險。 這就是Kinzen試圖解決的問題。 我們正在擴大針對這一特定信息危機的人類解決方案。

利亞姆：所以，你從 Storyful 中汲取了那些編輯技巧，並將它們編碼到機器中，以賦予它們這些價值。

馬克：沒錯。 我們遵循人類和循環機器學習方法，這在過去幾年才真正成為可能，因為我們可以使用這些大型語言模型。 我們的分析師正在創建多種語言的機器可讀數據，這些數據已被推送到機器中。 機器正在轉錄、翻譯並試圖理解，而人類數據正在幫助它更快地學習。 這是一個小型專家組和真正先進的機器學習系統之間的美麗反饋循環，現在它們的能力比四年前要大得多。

遏制錯誤信息

利亞姆：目前錯誤信息的規模有多大？

“現在的關鍵問題不是人們是否在互聯網上說錯話； 這不是人與人之間的政治糾紛； 這甚至與唐納德特朗普或他在推特上得到的東西無關”

馬克：嗯，我認為現在正在發生的事情是它在變得更好之前變得更糟。 不是每個網上的人都會看到它，但在錯誤信息和虛假信息特別成問題的地方發生的事情是在生死攸關的地方。 現在，在印度，我們看到政府的支持者對穆斯林發表了幾乎種族滅絕的言論。 我們看到歐洲有組織的極端分子、極右翼團體和新納粹分子利用這些平台的病毒式傳播他們的信息。

顯然，我們在圍繞健康話題的陰謀論中看到了這一點，不僅僅是 COVID，還有人們試圖在主流對​​話中促進陰謀思維。 現在的關鍵問題不是人們是否在互聯網上說錯話； 這不是人與人之間的政治糾紛； 這甚至與唐納德特朗普或他在推特上得到的東西無關。 我們正在研究的是大量的語言和威脅，其中存在實際的現實世界傷害和可能的生死攸關的情況。

我們目前有 13 種語言，很快就會有 26 種語言。在巴西這樣的地方，10 月將舉行一場意義重大的選舉，這可能是 2020 年美國發生的事情的重演。 很多人認為我們是在試圖弄清楚什麼是真假。 這不僅僅是關於那個，甚至主要是關於那個——它是關於我們可以在哪裡阻止在線發生的事情，這些事情將對現實世界產生影響，並可能產生生死攸關的影響。

利亞姆：你提到了巴西的選舉，我在另一個播客上聽到 Áine Kerr 談到虛假信息演員開始意識到像“選舉欺詐”和“操縱選舉”這樣的短語正在提醒內容版主，他們可以取消他們的虛假聲明，所以然後這些演員開始用這些短語代替諸如“我們正在為乾淨的選舉而競選”之類的東西。 這就是人類版主可以進來發現這些變化並幫助當局攔截這些消息的地方。

“我們經常看到文字被修改和改變。 而且，當然，機器無法跟上這一點”

馬克：我們正在看到我們所說的“algospeak”的興起，即社區意識到可能存在內容審核算法來查看他們所說的內容，並且他們正試圖避免這種情況。 在大流行期間，我們看到反疫苗活動家使用 panini 這個詞而不是大流行。 最近，在德國，我們看到反vax 社區使用smurf 這個詞來表示疫苗，因為在德語中，這個詞的發音聽起來很像兒童電視角色的發音。 去年，在斯堪的納維亞半島，我們看到一個新納粹組織將與傳統兒童節相關的詞改成了種族誹謗。

我們經常看到文字被修改和改變。 而且，當然，機器無法跟上這一點。 當大流行之類的事情突然發生時，我們的語言中就會出現所有這些科學術語。 機器沒有趕上，這就是人工分析很重要的地方——糾正機器。

因此，在 Kinzen 內部，我們開始越來越多地看到機器開始關注語言的演變。 一個詞與另一個詞相連。 帶疫苗的藍精靈。 或者例如，在印度這樣的地方，我們看到反穆斯林活動家使用看似完全無害的詞語，但我們可以看到它們是恐嚇和仇恨言論模式的一部分。

這就是為什麼人的部分如此重要。 我們不提倡更多的內容審核。 我們不提倡法律或禁止錯誤信息。 我認為這絕對是錯誤的做法。 我們正在尋找更精確的內容審核，可以在危險的大海撈針中挑針，同時允許最大程度的言論自由。 這就是我們的長期目標。 我們不能通過法令和政府禁止內容來獲得安全。 我們需要重新設計平台，以便在內容審核中工作的機器和人類能夠更準確、更準確、更及時地提前解決問題，而不是對問題做出反應。

機器與人類的融合

利亞姆：錯誤信息是技術問題、人為問題，還是兩者兼而有之？

馬克：聽著，這是人們認為技術讓他們這樣做或讓世界變得愚蠢的存在問題之一。 我不這樣做。 我仍然是我們現在認為理所當然或開始非常不喜歡的技術的民主潛力的傳道者。 商業模式和算法最初使用社交媒體的方式確實利用了我們最糟糕的本能，但我認為我們可以重新設計這項技術以釋放我們最好的意圖。 其中一部分是擁有更好的過濾器，普通人在瀏覽互聯網時可以訪問。

“普通用戶在內容審核方面將擁有更大的權力和精確度”

目前，我們與技術平台內的集中審核團隊合作。 我的猜測是，在接下來的兩三年裡，越來越多的平台會嘗試下放權力，讓普通人設置過濾器。 他們可以說，“聽著，我不想在我的提要中聽到極端的語言”，或者其他人可能會說，“好吧，我願意。 我想看看對方在想什麼。” 普通用戶在內容審核方面將擁有更大的權力和精確度。 但這需要時間，而且我們才剛剛開始。 請記住，今天存在的大型平台將被一些 17 歲的年輕人正在孵化的新平台所取代。

我們必須意識到一些事態發展，這些事態發展可能會使問題在好轉之前變得更糟。 在 Kinzen，我們是音頻內容審核的先驅。 我們一直在分析錯誤信息、虛假信息和仇恨言論通過現場音頻和播客傳播的方式。 我們認為互聯網的口語層是我們在未來幾年需要高度重視的一個領域。

利亞姆：在我們結束之前，我打算問你這個問題。 只有無數小時的音頻。 這給您和事實核查人員帶來了什麼問題？

馬克：就像一場完美的風暴。 顯然，有了實時音頻，您就擁有了速度。 查看播客，其中許多都是數小時之久。 然後，最重要和最大的挑戰是語言。 有成千上萬種語言。 如果您正在分析印度的某些內容，您可能正在聽某人說印地語，但他們會時不時地跳入英語。 我們非常清楚的是，這就是機器學習如此迷人的地方。 你有自動語音識別。 但同樣，如果你知道你在尋找什麼人類信號，你可以調整它。 我們可以讓語言模型變得更好，進行優化，不僅可以聽出單詞的發音，還可以聽出語言之間的關係。

“我們能否開始將機器和人類配對來解釋語言的含義，而不僅僅是他們在說什麼，而是他們是如何說的？”

我是記者，對吧？ 我不是受過訓練的技術人員。 當我試圖跟上它時，很多這樣的東西讓我想知道。 但我認為對音頻來說重要的是我們正在尋找人們說話的方式。 他們的語氣。 例如，如果你把阿拉伯語寫下來，它是一種語言，但當你說它時，它是多種方言。 對我來說，這是最令人不安的，也是最令人興奮的。 我們能否開始將機器和人類配對來解釋語言的含義，而不僅僅是他們在說什麼，而是他們是如何說的？ 這是音頻審核的一大挑戰，但我也認為這是最令人興奮的挑戰之一。 只有人類能夠檢測到諸如諷刺、諷刺、俚語或“algospeak”之類的東西。 這就是為什麼我們的方法不僅更有效，而且最終更民主。 我們想要盡可能少的干預，但需要最高水平的精確度，而這正是人機結合至關重要的地方。

利亞姆：太棒了。 好吧，馬克，非常感謝你今天加入我。

馬克：利亞姆，這是我的榮幸。 讓我們很快再做一次。