Kinzen 的首席执行官 Mark Little 与虚假信息作斗争

在这个虚假信息时代，巨魔农场、假新闻和仇恨言论猖獗，真相越来越难被发现。 内容审核可以帮助我们保护在线社区免受其后果吗？

假新闻并不是最近才出现的现象，但社交媒体平台为它们提供了完美的回音室，让它们以前所未有的规模恶化和传播，并产生非常现实的后果。 但传统的事实核查和自动内容过滤器无法与虚假信息和错误信息背后的力量相匹敌。 这将需要一个全新的解决方案来解决这个问题，而马克·利特尔是领导这项工作的人之一。

Mark 是一位屡获殊荣的记者和数字媒体创新者，在广播新闻领域拥有 20 多年的职业生涯——从他第一次报道都柏林监狱骚乱，到他对饱受战争蹂躏的阿富汗的获奖报道。 2010 年，在注意到年轻人如何使用社交媒体报道正在发生的事情后，他创立了 Storyful，这是世界上第一家将传统新闻机构与经过验证的用户生成内容相结合的社交媒体新闻专线。 2015 年，在将 Storyful 出售给新闻集团后，Mark 加入 Twitter，担任 Twitter 在欧洲的媒体和合作伙伴关系副总裁。

一年后，马克辞去了他的职务，因为他意识到一个新的威胁正在出现——从社会媒体觉醒的民主浪潮开始的东西正在被破坏。 这些平台背后的算法和商业模式被武器化，以产生和传播宣传和阴谋论。 他与当时正在为 Facebook 管理全球新闻合作伙伴关系的记者同事 Áine Kerr 一起着手解决这个问题，于是 Kinzen 诞生了。

“为了应对挑战，他们将机器学习和人类分析相结合，可以将响应规模扩大到全球水平”

从那时起，他们一直在努力应对这种威胁，并保护在线社区免受危险的错误信息和仇恨言论的影响，从而对现实世界造成伤害。 为了应对这一挑战，他们将机器学习和人类分析相结合，可以将响应规模扩大到全球水平。 马克仍然对社交媒体网络的民主潜力持乐观态度，但他是第一个承认它迫切需要重新设计的人。 这就是更精确的内容审核的用武之地。

在今天的节目中，我们与马克坐下来讨论新闻业的发展、错误信息的兴起，以及我们可以做些什么来保护在线社区免受有害内容的侵害。

以下是我们最喜欢的谈话内容：

• 失败是建立在自己创业的过程中的。 成为伟大企业家的秘诀不是生存，而是韧性。
• 在过去的几年中，我们看到了“algospeak”的兴起，当在线社区更改某些词以避免被内容审核算法标记时，就会发生这种情况。
• 马克不主张立法禁止虚假信息，而是提倡更精确的内容审核，在检测有害内容的同时允许最大程度的言论自由。
• 在接下来的几年里，马克相信更多的平台将尝试分散权力，让人们为他们想在网上看到的内容设置自己的过滤器。
• 通过结合人类分析和机器学习，他们可以检测诸如讽刺、俚语或“algospeak”之类的东西，并在全球范围内对其进行扩展。

如果您喜欢我们的讨论，请查看我们播客的更多剧集。 您可以关注 iTunes、Spotify、YouTube 或在您选择的播放器中获取 RSS 提要。 以下是该剧集的轻微编辑记录。

政治觉醒

Liam Geraghty：马克，非常感谢您加入我们。 非常欢迎你参加这个节目。

马克·利特尔：我很高兴，利亚姆。 感谢您的款待。

Liam：在创立 Kinzen 之前，您已经经历了一段非凡的旅程。 你对新闻的兴趣从何而来？

“我痴迷于世界是如何运作的，以及为什么某些人似乎看到了即将发生的事情”

马克：嗯，我是那些非常早熟的孩子之一。 在大约六七岁的时候，我曾经在早上和父亲一起为《爱尔兰时报》而战。 大约九岁或十岁时，我意识到我从来没有足够的天赋来成为我真正的热情，那就是成为利物浦的中锋。 基本上，我记得的事情是有人，我想我的宗教老师，在我大约 14 岁的时候在成绩单上向我指出。 他说我过早地愤世嫉俗，对世界有强烈的好奇心，有一定的怀疑态度，并且热衷于改变。

我痴迷于这个世界是如何运作的，以及为什么某些人似乎看到了政治或商业接下来会发生什么。 这就是从新闻业开始的核心，并且在我的整个职业生涯中一直伴随着我。

利亚姆：你家的政治很重要吗？

马克：当然。 这是前面和中心。 在 1970 年代和 1980 年代长大，如果你对政治不感兴趣，你就没有意识到或清醒。 那时我们生活在爱尔兰，那里仍然是一个非常倒退的教会主导的社会。 我们仍然是欧洲的穷人。 移民创历史新高； 失业率创历史新高。 放眼国外，当我在八十年代成长为一名学生活动家时，我的意思是……一切都在发生。 在世界各地，感觉就像正在发生的一切都发生了构造变化。

一切都如此重要，以至于我在 80 年代直到柏林墙倒塌之前一直在深思核灾难。 这只是为了让您了解在极度焦虑的时期中活着的重要性。 但如果你有政治头脑，也会有巨大的兴奋和挑战。

伦敦社会动荡

利亚姆：我没看错，你的第一次演出是在英国共产党杂志的广告部？

马克：是的，这很有趣。 那时，有很多左翼人士非常热衷于文化，并受到 Glasnost 和 Perestroika 所发生的事情的影响。 有一群人会被称为新左派或欧洲共产主义者，我对那本杂志很着迷。 它被称为今天的马克思主义。

我在停车场和麦当劳工作，碰巧碰巧碰巧说：“嘿，今天有没有人参加马克思主义？” 事实证明，其中一项工作甚至不是销售广告——它是收集广告。 我不得不打电话给保加利亚的格兰诺拉麦片生产商和生产蒲团和广告假期的人，并稍微威胁他们，要求他们承诺支付广告费用。 那是 87 年伦敦的夏天。 我要去见 Red Wedge 和 Billy Bragg。 矿工罢工刚刚结束，撒切尔夫人确实是国际舞台上最大的人物。

“当时政治无处不在。 感觉就像我们周围的氧气一样”

87 年住在伦敦并成为左翼运动的一员——不一定是共产党，这有点出路——真的让我大开眼界，因为我是一名学生激进分子。 我必须在像工会大会这样的地方，会见一些真正在英国创造变革的前沿人物。 我还学会了如何翻转汉堡和烹制完美的麦乐鸡。

87 年的同一个夏天是爱尔兰共和军运动达到顶峰的时候。 我在这个停车场工作，我的工作之一是在凌晨 4:00 或 5:00 左右开车到长期停车场检查是否有车超过一个星期，因为他们担心爱尔兰共和军打算在那里安放炸弹。 所以我，一个爱尔兰年轻人和巴基斯坦同事，我们俩都负责向早上来的特别部门报告什么车已经停在那里太久了。 再次提醒一下，当时政治无处不在。 这有点像我们周围的氧气。

“我太年轻了，当我继续在华盛顿找到一份重要工作时，我被告知要留胡子或穿蓝色衣服，这显然会让你看起来更老。”

利亚姆：哇，这太疯狂了。 所有这一切对你的新闻事业和转向国家广播公司来说都是有意义的。 我的意思是，你刚从大学毕业就去爱尔兰的国家广播公司工作了。

马克：我太年轻了，当我在华盛顿找到一份重要的工作时，有人告诉我也许留胡子或穿蓝色衣服，这显然会让你看起来更老。 大学毕业后，我意识到我不想从政。 在一天结束的时候，我并不是特别有意识形态。 我不是党派。 正如我所说，我对变化着迷。 我去 DCU 上了一门新闻课程，在那门课程结束之前，RTE 就在为人们做广告，所以我做到了。

在大约 24 小时内，我的第一份报告是关于北都柏林 Phibsborough 的监狱骚乱。 我在屋顶上，不得不在手机上播放 6:00 点的新闻，相信我，这在当时是一项巨大的技术创新。 我太糟糕了，当我回到办公室时，我的老板说，“不要听那个。 这不会激励你的未来。” 但在那个阶段，有机会开始就重大问题进行报告是梦想成真。

新一波新闻业

利亚姆：你的新闻职业生涯跨越了近 20 年，对吗？

马克：没错。

利亚姆：是什么促使你在事业取得巨大成功后离开新闻业，成为华盛顿记者并主持黄金时段，爱尔兰的大型节目之一？

马克：嗯，我开始意识到事情发生了变化，用一句老话来说。 新闻和新闻的生产方式已经从像我这样的人，电视上的人，站在战区。 我记得在阿富汗南部的坎大哈，当时我非常沮丧，因为我坐在那里听有人为我解释当地发生的事情。 突然间，我意识到过去的新闻黄金时代是非常不民主的。 是像我这样的人，看门人，告诉家里的人在晚上某个时间坐下来听我，电视上的那个人，告诉他们什么是真实的，什么是真实的。

“如果我们能够在这些平台上将老式的讲故事、讲真话和新闻与革命性的新民主觉醒结合起来会发生什么？”

与此同时，我看到 Twitter 和 YouTube 出现了，我记得那是 2009 年伊朗的一场抗议选举。每个外国记者都有一个触动他们的故事——伊朗就是我的故事。 我记得看到 17 或 18 岁的孩子使用社交媒体传递最发自内心、最真实的报道，然后想，“天哪，这将改变一切。”

我的大多数同时代人都对这场民主革命感到害怕和恐惧。 但我看到了这个机会。 如果我们可以在这些平台上将老式的讲故事、讲真话和新闻与革命性的新民主觉醒结合起来会发生什么？ 展望未来25年，我想，“如果我现在不这样做，我会后悔一辈子。” 你必须想想伟大的古老犹太宗教典籍《塔木德》所说的：“如果不是我，那是谁？ 更待何时？” 我有那个时刻，没有回头路了。

利亚姆：所以你开始创作 Storyful。 我喜欢 Storyful 的伟大标语，“来自社交媒体噪音的新闻”。 从新闻业到创业是什么感觉？

马克：就像冬天看水一样。 你想，“去游泳不是很好吗？” 然后你跳进去，你被寒冷麻痹了。 我们无法通过 Storyful 筹集一年的资金。 我以为我们要倒闭了。 这是残酷的。 我把所有的东西都押在了这个企业上——我的名誉、我所有的钱，而且看起来它已经倒闭了。

“成为伟大企业家的秘诀不是生存。 是韧性。 失败是建立在模型中的”

我记得一个平安夜，开车去看望我的家人，感受到世界对我的压力，我意识到我最糟糕的想法，“我们会倒闭，但我会找到一份工作并从中恢复过来。 ” 而且我了解到，当你面对最严重的恐惧时，尤其是在早期创业时，它永远不会再困扰你，因为你已经面对它了。 这是可能发生的最坏情况。

我开始意识到，作为一名记者，我关心的是生存。 我必须是一名战地记者。 我记得那些日子我可以在我是否会被杀或受伤的一小部分工作，但我从来没有想过韧性，当你每天都必须起床并且很难时会发生什么。 这是最大的不同。 成为伟大企业家的秘诀不是生存。 是韧性。 失败是建立在模型中的——这是你必须忍受的。 这是思维方式的真正转变。 有很多相似之处，但需要在思维方式上做出很大改变。

利亚姆：那是什么感觉？ 因为，正如你所说，很多记者都有点害怕它。 但这是一种全新的新闻形式，我们当时可能并不知道。

“我们开始与当地见证历史的人们开展合作”

马克：嗯，我们可以看到它在实践中发生，而人们试图在理论上进行工作。 例如，在 2010 年在突尼斯开始并经过埃及和叙利亚的阿拉伯起义期间，我们看到，在我们位于爱尔兰的小型创业公司中，当地的民主活动家试图从阿勒颇等地传播故事。 他们开始意识到我们正在观察他们，并会做一些事情，比如倾斜相机以显示尖塔，这将帮助我们定位该图像。 他们会通过张贴报纸并告诉我们今天是什么日子以及他们在什么位置来帮助我们。我们开始与当地的历史目击者开展合作。

而且，当然，我们带来了新闻的严谨性。 当奥萨马·本·拉登在巴基斯坦被杀时，我们立即利用卫星图像分析坠毁并降落在大院的直升机的性质。 我们可以将记者引导到实际位置，因为它被错误地归属。

这种新形式的开源新闻是民主的，因为我们的主要来源是当地的人们，而不是其他记者。 但与此同时，它与我们对问责制的调查性新闻一样严格。 它不是偶然出现的，但我们当然不打算创造一种新的新闻形式。 它从这种觉醒有机地演变而来，这是第一波社交媒体的主导力量。 今天，许多 Storyful 的校友都在纽约时报、CNN、BBC 或华盛顿邮报等大型新闻机构工作，他们带来了我们参与 Storyful 的新形式的新闻。

社交媒体武器化

利亚姆： 2013 年，你将 Storyful 卖给了新闻集团，搬到纽约帮助过渡，但最终回到都柏林担任都柏林 Twitter 的董事总经理。 您是否渴望在 Storyful 的背后做下一件大事？

马克：不是。 我的意思是，当你想一想时，我的职业生涯是为《今日马克思主义》、鲁珀特·默多克、杰克·多尔西和爱尔兰纳税人工作。 至少从意识形态的角度来看，我有一个相当不错的范围。 我来自 Storyful，对 Twitter 非常着迷。 我爱上了 Twitter，它改变了我的生活，我想进入这台机器的核心。 我没有再创业的愿望。 事实上，我问过我的另一位同时代人，另一位媒体初创公司的创始人，允许我不要再这样做了。

在那个阶段，Twitter 是一家相当大的公司。 我想看看我是否可以为 Twitter 的业务带来一些变化和活力。 这就是我选择这样做的原因。 这是一个真正的机会，可以进入一个改变了我业务中一切的平台，看看我是否能产生影响。 只是一个偶然，这意味着从纽约，我很高兴，回到都柏林，这恰好是国际总部。 但我想从创业生活中休息一下，看看如果我在一家大公司里会是什么样子。

“我看到了我们在阿拉伯起义中发现的许多问题，人们使用社交平台不是一种民主工具，而是一种武器”

Liam： Kinzen是从哪里冒出来的？ 在某种程度上，它似乎是从 Storyful 的火焰中诞生的。

马克：它源于对一家名为 Twitter 的大公司的挫败感。 我喜欢在那里工作，但它运行得不是特别好。 最终，媒体合伙人团队基本被淘汰。 我本可以继续从事一份不错的公司工作，但与此同时，那是 2016 年，美国总统大选刚刚举行。 我已经看到了我们在阿拉伯起义中最早体现的许多问题，人们使用社交平台不是作为民主工具，而是作为武器。 他们利用 YouTube 和 Twitter 等平台上的视频病毒式传播来编造虚假故事，这些故事要么是宣传要么是阴谋论。

互联网的第一波浪潮是民主的觉醒。 然后，当 2016 年发生时，我意识到，“天哪！ 这正在变成一种武器。” 不仅仅是因为唐纳德·特朗普——还有更深层次的问题，突然间，病毒式传播、商业模式和算法被反对民主的人劫持。 那是我的出生地和想法，让我回到了我最信任的同事，当时在 Facebook 工作的 Áine Kerr 那里，他说：“如果我们做一些事情来把权力还给公民，让他们是为了保护自己免受这种新出现的威胁吗？” 我们都跳了起来。

首先，我们开始为人们提供他们可以控制的新闻源，但显然，随着我们的发展，就像每家初创公司一样，这个想法也在演变。 第一波民主浪潮正在被互联网上的一股新的黑暗力量所取代，这就是 Kinzen 背后的灵感。

Liam：对于不了解的听众，Kinzen 是什么？ Kinzen的用户是谁？

Mark：我们帮助大型科技平台和新兴平台保护全球对话免受信息风险。 我们指的是危险的错误信息，它会造成现实世界的伤害、有组织的虚假信息以及仇恨和暴力言论。 我们的客户是值得信赖的安全专家、政策专家以及这些公司内部的人，他们拼命地试图领先于这些信息威胁和风险，而不是被动地进行事实核查。

“我们正在扩大针对这一特定信息危机的人类解决方案”

我们结合使用良好的老式人类分析和机器学习的后期阶段来解决这些平台面临的棘手问题。 第一，人类无法扩展以匹配问题，并且机器没有洞察力以多种语言和多种不同格式检测这些信息风险。 这就是Kinzen试图解决的问题。 我们正在扩大针对这一特定信息危机的人类解决方案。

利亚姆：所以，你从 Storyful 中汲取了那些编辑技巧，并将它们编码到机器中，以赋予它们这些价值。

马克：没错。 我们遵循人类和循环机器学习方法，这在过去几年才真正成为可能，因为我们可以使用这些大型语言模型。 我们的分析师正在创建多种语言的机器可读数据，这些数据已被推送到机器中。 机器正在转录、翻译并试图理解，而人类数据正在帮助它更快地学习。 这是一个小型专家组和真正先进的机器学习系统之间的美丽反馈循环，现在它们的能力比四年前要大得多。

遏制错误信息

利亚姆：目前错误信息的规模有多大？

“现在的关键问题不是人们是否在互联网上说错话； 这不是人与人之间的政治纠纷； 这甚至与唐纳德特朗普或他在推特上得到的东西无关”

马克：嗯，我认为现在正在发生的事情是它在变得更好之前变得更糟。 不是每个网上的人都会看到它，但在错误信息和虚假信息特别成问题的地方发生的事情是在生死攸关的地方。 现在，在印度，我们看到政府的支持者对穆斯林发表了几乎种族灭绝的言论。 我们看到欧洲有组织的极端分子、极右翼团体和新纳粹分子利用这些平台的病毒式传播他们的信息。

显然，我们在围绕健康话题的阴谋论中看到了这一点，不仅仅是 COVID，还有人们试图在主流对话中促进阴谋思维。 现在的关键问题不是人们是否在互联网上说错话； 这不是人与人之间的政治纠纷； 这甚至与唐纳德特朗普或他在推特上得到的东西无关。 我们正在研究的是大量的语言和威胁，其中存在实际的现实世界伤害和可能的生死攸关的情况。

我们目前有 13 种语言，很快就会有 26 种。在巴西这样的地方，10 月将举行一场意义重大的选举，这可能是 2020 年美国发生的事情的重演。 很多人认为我们是在试图弄清楚什么是真假。 这不仅仅是关于那个，甚至主要是关于那个——它是关于我们可以在哪里阻止在线发生的事情，这些事情将对现实世界产生影响，并可能产生生死攸关的影响。

利亚姆：你提到了巴西的选举，我在另一个播客上听到 Áine Kerr 谈到虚假信息演员开始意识到像“选举欺诈”和“操纵选举”这样的短语正在提醒内容版主，他们可以取消他们的虚假声明，所以然后这些演员开始用这些短语代替诸如“我们正在为干净的选举而竞选”之类的东西。 这就是人类版主可以进来发现这些变化并帮助当局拦截这些消息的地方。

“我们经常看到文字被修改和改变。 而且，当然，机器无法跟上这一点”

马克：我们正在看到我们所说的“algospeak”的兴起，即社区意识到可能存在内容审核算法来查看他们所说的内容，并且他们正试图避免这种情况。 在大流行期间，我们看到反疫苗活动家使用 panini 这个词而不是大流行。 最近，在德国，我们看到反vax 社区使用smurf 这个词作为疫苗，因为在德语中，这个词的发音听起来很像儿童电视角色的发音。 去年，在斯堪的纳维亚半岛，我们看到一个新纳粹组织将与传统儿童节相关的词改成了种族诽谤。

我们经常看到文字被修改和改变。 而且，当然，机器无法跟上这一点。 当大流行之类的事情突然发生时，我们的语言中就会出现所有这些科学术语。 机器没有赶上，这就是人工分析很重要的地方——纠正机器。

因此，在 Kinzen 内部，我们开始越来越多地看到机器开始关注语言的演变。 一个词与另一个词相连。 带疫苗的蓝精灵。 或者例如，在印度这样的地方，我们看到反穆斯林活动家使用看似完全无害的词语，但我们可以看到它们是恐吓和仇恨言论模式的一部分。

这就是为什么人的部分如此重要。 我们不提倡更多的内容审核。 我们不提倡法律或禁止错误信息。 我认为这绝对是错误的做法。 我们正在寻找更精确的内容审核，可以在危险的大海捞针中挑针，同时允许最大程度的言论自由。 这就是我们的长期目标。 我们不能通过法令和政府禁止内容来获得安全。 我们需要重新设计平台，以便在内容审核中工作的机器和人类能够更准确、更准确、更及时地提前解决问题，而不是对问题做出反应。

机器与人类的融合

利亚姆：错误信息是技术问题、人为问题，还是两者兼而有之？

马克：听着，这是人们认为技术让他们这样做或让世界变得愚蠢的存在问题之一。 我不这样做。 我仍然是我们现在认为理所当然或开始非常不喜欢的技术的民主潜力的传道者。 商业模式和算法最初使用社交媒体的方式确实利用了我们最糟糕的本能，但我认为我们可以重新设计这项技术以释放我们最好的意图。 其中一部分是拥有更好的过滤器，普通人在浏览互联网时可以访问。

“普通用户在内容审核方面将拥有更大的权力和精确度”

目前，我们与技术平台内的集中审核团队合作。 我的猜测是，在接下来的两三年里，越来越多的平台会尝试下放权力，让普通人设置过滤器。 他们可以说，“听着，我不想在我的提要中听到极端的语言”，或者其他人可能会说，“好吧，我愿意。 我想看看对方在想什么。” 普通用户在内容审核方面将拥有更大的权力和精确度。 但这需要时间，而且我们才刚刚开始。 请记住，今天存在的大型平台将被一些 17 岁的年轻人正在孵化的新平台所取代。

我们必须意识到一些事态发展，这些事态发展可能会使问题在好转之前变得更糟。 在 Kinzen，我们是音频内容审核的先驱。 我们一直在分析错误信息、虚假信息和仇恨言论通过现场音频和播客传播的方式。 我们认为互联网的口语层是我们在未来几年需要高度重视的一个领域。

利亚姆：在我们结束之前，我打算问你这个问题。 只有无数小时的音频。 这给您和事实核查人员带来了什么问题？

马克：就像一场完美的风暴。 显然，有了实时音频，您就拥有了速度。 查看播客，其中许多都是数小时之久。 然后，最重要和最大的挑战是语言。 有成千上万种语言。 如果您正在分析印度的某些内容，您可能正在听某人说印地语，但他们会时不时地跳入英语。 我们非常清楚的是，这就是机器学习如此迷人的地方。 你有自动语音识别。 但同样，如果你知道你在寻找什么人类信号，你可以调整它。 我们可以让语言模型变得更好，进行优化，不仅可以听出单词的发音，还可以听出语言之间的关系。

“我们能否开始将机器和人类配对来解释语言的含义，而不仅仅是他们在说什么，而是他们是如何说的？”

我是记者，对吧？ 我不是受过训练的技术人员。 当我试图跟上它时，很多这样的东西让我想知道。 但我认为对音频来说重要的是我们正在寻找人们说话的方式。 他们的语气。 例如，如果你把阿拉伯语写下来，它是一种语言，但当你说它时，它是多种方言。 对我来说，这是最令人不安的，也是最令人兴奋的。 我们能否开始将机器和人类配对来解释语言的含义，而不仅仅是他们在说什么，而是他们是如何说的？ 这是音频审核的一大挑战，但我也认为这是最令人兴奋的挑战之一。 只有人类能够检测到诸如讽刺、讽刺、俚语或“algospeak”之类的东西。 这就是为什么我们的方法不仅更有效，而且最终更民主。 我们想要尽可能少的干预，但需要最高水平的精确度，而这正是人机结合至关重要的地方。

利亚姆：太棒了。 好吧，马克，非常感谢你今天加入我。

马克：利亚姆，这是我的荣幸。 让我们很快再做一次。