我们第一次谈话时，约普·迈恩德茨玛的状态不太好。当他描述一次谈话时，他流下了眼泪，在那次谈话中，他警告他的侄女，人工智能可能会导致社会崩溃。后来，她惊恐发作。“我每隔一天就哭一次，”他在荷兰乌得勒支的家中通过Zoom说。“每次和父母或朋友说再见，我都觉得这可能是最后一次。”
梅因德茨玛今年31岁，与人共同拥有一家数据库公司，她对人工智能感兴趣已经有几年了。但他真正开始担心这项技术可能对人类构成的威胁，是在今年3月，Open AI发布了最新的语言模型GPT-4。从那以后，他看到了ChatGPT聊天机器人的巨大成功，先是基于GPT-3，然后是gpt -4，向世界展示了人工智能的进步程度，大型科技公司竞相追赶。他还看到像杰弗里·辛顿(Geoffrey Hinton)这样被称为人工智能教父的先驱警告说，他们帮助创造的系统存在危险。迈因德茨玛表示:“人工智能能力的发展速度远远超过了几乎所有人的预测。“我们正面临社会崩溃的风险。我们正在冒着人类灭绝的风险。”
在我们谈话的一个月前，迈因德茨玛停止了工作。他已经被人工智能将摧毁人类文明的想法所吞噬，以至于他很难去想别的事情。他觉得，他必须做点什么来避免灾难。不久之后，他成立了Pause AI，这是一个草根抗议组织，顾名思义，该组织呼吁停止人工智能的发展。从那以后，他积累了一小群追随者，他们在布鲁塞尔、伦敦、旧金山和墨尔本举行了抗议活动。这些示威活动规模很小——每次不到10人——但迈因德茨玛一直在结交高层朋友。他说，他已经被邀请与荷兰议会和欧盟委员会的官员交谈。
人工智能可以消灭人类的想法听起来很极端。但这个想法在科技行业和主流政治中都越来越受欢迎。今年5月，辛顿辞去了在谷歌的职务，开始接受全球一轮采访。在采访中，他提出了随着技术的进步，人类不再能够控制人工智能的担忧。同月，行业领袖——包括人工智能实验室谷歌DeepMind、OpenAI和anthro皮克的首席执行官——签署了一封承认“灭绝风险”的信，英国首相里希·苏纳克(Rishi Sunak)成为第一位公开承认人工智能对人类构成生存风险的政府首脑。
Meindertsma和他的追随者们让我们得以一窥这些警告是如何渗透到整个社会的，创造了一种新的人工智能焦虑现象，并给了年轻一代——他们中的许多人已经对气候变化深感担忧——一个对未来感到恐慌的新理由。民调机构YouGov的一项调查发现，去年担心人工智能会导致世界末日的人的比例急剧上升。辛顿否认他希望人工智能的发展被暂时或无限期地停止。但他关于人工智能给人类带来风险的公开言论，导致一群年轻人觉得别无选择。
对不同的人来说，“生存风险”意味着不同的东西。“我个人担心的主要情况是大规模黑客攻击导致的社会崩溃，”迈因德茨玛说，他解释说，他担心人工智能被用来制造廉价和可获得的网络武器，这些武器可能被犯罪分子用来“有效地摧毁整个互联网”。专家表示，这种情况极不可能发生。但迈因德茨玛仍然担心银行和食品配送服务的弹性。“人们将无法在城市里找到食物。人们会反抗，”他说。“我认为会有数十亿人死亡。”
但这位Pause AI的创始人也担心，未来人工智能发展到足以被归类为“超级智能”，一旦它明白人类限制了人工智能的力量，它就会消灭文明。他呼应了辛顿的一个观点，即如果人类要求未来的超级智能人工智能系统实现任何目标，人工智能可能会在这个过程中创造出自己危险的子目标。
这种担忧可以追溯到几年前，通常被认为是瑞典哲学家、牛津大学教授尼克·博斯特罗姆(Nick Bostrom)提出的，他在21世纪初首次描述了如果一个超级智能的人工智能被要求制造尽可能多的回形针，可能会发生什么。博斯特罗姆在2014年的一次采访中说:“人工智能很快就会意识到，如果没有人类，情况会好得多，因为人类可能会决定关闭它。”此外，人体含有很多可以制成回形针的原子。未来，人工智能将努力实现一个只有很多回形针但没有人类的世界。”
人工智能研究是一个分裂的领域，一些可能会把迈因德茨玛的想法拆散的专家，似乎不愿意质疑他们。加州斯坦福大学人工智能安全中心联席主任克拉克·巴雷特表示:“由于进展迅速，我们不知道科幻小说有多少能成为现实。”巴雷特认为，人工智能帮助开发网络武器的未来是不可能的。他声称，到目前为止，人工智能还没有在这一领域表现出色。但他不太愿意否认这样一种观点，即一个进化得比人类更聪明的人工智能系统可能会恶意攻击我们。人们担心人工智能系统“可能会试图窃取我们所有的能量，或窃取我们所有的计算能力，或试图操纵人们做它想让我们做的事情。”他说，这在目前是不现实的。“但我们不知道未来会发生什么。所以我不能说这是不可能的。”
然而，其他人工智能研究人员对这种假设性辩论没有那么大的耐心。德国洪堡大学(Humboldt University)人工智能与社会实验室(AI and Society Lab)负责人特蕾莎?泽格尔(Theresa z
格尔)表示:“在我看来，人们声称有任何证据或可能性证明人工智能会有自我意识，并转而反对人类，这是一种有问题的说法。”“没有证据表明这种情况会出现，在其他科学领域，如果没有证据，我们不会讨论这个问题。”
专家之间缺乏共识，这足以让梅因德茨玛证明，他的组织要求全球停止人工智能的发展是合理的。他表示:“目前最明智的做法是暂停人工智能的开发，直到我们知道如何安全地构建人工智能。”他声称，人工智能能力的飞跃已经与安全研究脱节。主流学术界也在讨论人工智能产业的这两个部分之间的关系是如何演变的。布鲁塞尔自由大学(Free University)人工智能实验室(Artificial Intelligence Lab)负责人安?诺沃纳(Ann now
)表示:“我看到这种情况在过去几年里变得越来越严重。”“当你在80年代接受人工智能培训时，你必须了解应用领域，”她补充说，并解释说，人工智能研究人员花时间与在学校或医院工作的人交谈是很正常的，他们的系统将被使用。“(现在)很多人工智能人员都没有接受过与利益相关者就这是否符合道德或法律进行对话的培训。”
他说，梅因德茨玛设想，政府强制的暂停将由不同国家的政府在一次国际峰会上组织。当英国首相里希?苏纳克(Rishi Sunak)宣布英国将在今年秋天主办一场关于人工智能安全的全球峰会时，梅因德茨玛将其解读为一线希望。他认为，英国非常适合确保我们不会急于走向世界末日。“这是许多人工智能安全科学家的家。这是DeepMind目前所在的地方。已经有议员呼吁召开人工智能安全峰会，以防止灭绝。”然而，Sunak的声明也带有让英国成为人工智能行业中心的雄心——同时透露Palantir公司将把其新的欧洲总部设在伦敦——这意味着英国倡导全行业暂停的可能性很小。
Sunak愿意参与人工智能的生存风险，这意味着英国是Meindertsma关注的焦点。他的新成员吉迪恩·富特曼(Gideon Futerman)胳膊下夹着塑料包裹的横幅，半跑半走地经过英国议会大厦。他说，他乘坐的火车晚点了，并解释了自己迟到的原因。福特曼戴着小圆眼镜，穿着奇怪的袜子。Pause AI在英国的分公司经营得并不顺利。严格来说，这次抗议算不上抗议。此举意在表达对苏纳克峰会的支持，并向总理施压，要求他利用这次会议暂停谈判。但是今天在这里的这群人也显示了焦虑是如何在一些年轻人中积累起来的。提到人工通用智能，该组织的一条横幅上写着:“不要建立AGI”，这些字母用红墨水滴着，看起来像血。
这个群体很小。总共有7名抗议者，都是十几岁或二十出头的年轻人。他们对人工智能的体验各不相同。一个是政治专业的学生，另一个在致力于人工智能安全的非营利组织工作。其中一些人有抗议气候变化的背景。富特曼说:“气候变化和人工智能之间的一个主要相似之处是，有一些公司今天冒着人们的生命危险，甚至在未来冒着更多人的生命危险，主要是为了盈利。”他和迈恩德茨玛有同样的担忧，或者说是不同版本的担忧。他担心的一种未来情况是，领先的人工智能公司可能会开发出人工“超级”智能。如果这种情况真的发生了，他相信这些模型将大大减少人类对我们未来的影响。“他们的目标是建造一个世界末日装置，”他说。“在最坏的情况下，这可能会把我们消灭掉。”
在这群抗议者中，有一头红发的动物权利活动家本(Ben)，他拒绝透露自己的姓氏，因为他不希望自己的人工智能活动影响到他的职业生涯。在抗议之前，我们去喝了杯咖啡，讨论了他为什么加入Pause AI。“确实有一段时间，我觉得灭绝风险的争论是科幻小说或夸大其词，”他解释说，随着他变得更加活跃，左耳的耳环轻轻地晃动着。“然后随着ChatGPT和GPT-4的出现，我发现这些人工智能模型变得多么强大，以及它们的能力增长得有多快。”
Ben从未与Meindertsma直接沟通过;他通过伦敦的一个联合办公空间认识了Pause AI的同事。他认为，他的动物权利活动给了他一个模板，让他了解不同智力水平的不同物种之间的动态。他说:“很难预测如果有一个比人类更聪明的物种存在，世界会变成什么样子。”“但我们知道，我们与智力不如我们的物种的关系对其他物种来说并不好。如果你看看人类与其他动物的关系，有些动物是我们为了自己的目的而饲养和屠杀的。他们中的许多人已经灭绝了。”
他承认，Pause AI警告的一些情况可能永远不会发生。但他说，即使他们不这样做，强大的人工智能系统也可能会加剧技术在我们社会中已经加速的问题，比如劳工问题、种族和性别偏见。“担心人工智能灭绝的人也非常重视这些问题。”
我第二次和迈恩德茨玛谈话时，他的心情好多了。他有了新成员，他觉得全世界都在倾听。他刚刚从布鲁塞尔回来，受邀参加欧盟委员会(European Commission)的一次会议，但他拒绝公开他会见的官员的名字，以免影响双方关系。现在，他花了数周时间为英国举办全球峰会。“所以我觉得我们在短时间内取得了很大的进步，”他说。
随着Pause AI的想法越来越受欢迎，政界人士和人工智能公司仍在考虑如何应对，研究人员对他们的担忧是有助于为人工智能安全研究争取支持，还是只是传播对可能永远不会发生的未来情景的恐慌存在分歧。迈因德茨玛认为，智力就是力量，而这正是它的危险性所在。但据斯坦福大学的克拉克·巴雷特(Clark Barrett)说，每天，本应聪明的人类都试图为自己夺取更多的权力，却发现自己的努力受到专门为遏制权力而设计的机构和系统的阻碍。他可能不愿意预测人工智能将如何发展，但他确实相信，社会比Pause AI所认为的准备得更充分。“在防止人们担心的这种失控效应方面，我认为不应该低估某些障碍。”
