好文要文 从教皇的夹克到凝固汽油弹的配方：人工智能的快速增长有多令人担忧？ 谷歌老板说问题让他彻夜难眠，而数千人敦促暂停六个月创造“巨型”人工智能 丹·米尔莫和亚历克斯·赫恩 2023 年 4 月 23 日星期日 14:00 BST 当谷歌的老板承认对人工智能的负面潜力失眠时，也许是时候担心了。 Sundar Pichai 本月告诉 CBS 节目 60 Minutes，如果部署不当，AI 可能会“非常有害”，而且发展速度很快。“那会让我彻夜难眠吗？绝对是，”他说。 皮查伊应该知道。谷歌推出了 Bard，这是一个与 ChatGPT 现象相抗衡的聊天机器人，其母公司 Alphabet 拥有世界领先的英国人工智能公司 DeepMind。 他并不是唯一表达担忧的 AI 内部人士。上周，埃隆马斯克表示他与谷歌联合创始人拉里佩奇发生争执，因为佩奇“没有足够认真地对待人工智能安全”。马斯克告诉福克斯新闻，佩奇想要“数字超级智能，基本上是数字神，如果你愿意的话，尽快”。 那么，不受限制的 AI 开发会带来多大的危险？马斯克是智库未来生命研究所 (Future of Life Institute) 发表的一封信的数千名签署者之一，该信呼吁在六个月内暂停创造比 GPT-4 更强大的“巨型”人工智能，该系统是 ChatGPT 和集成了微软 Bing 搜索引擎的聊天机器人。信中提到的风险包括“失去对我们文明的控制”。 巴德：谷歌的聊天机器人如何给我带来错误喜剧 阅读更多 这封信的另一位签署人瓦莱丽·皮萨诺 (Valérie Pisano) 表示，人工智能从业者和科技行业所展示的产品开发方法在任何其他领域都不会被容忍。魁北克人工智能研究所 Mila 的首席执行官皮萨诺表示，正在开展工作以确保这些系统不存在种族主义或暴力，这一过程被称为对齐（即确保它们与人类价值观“对齐” ). 但后来他们被释放到公共领域。 “这项技术已经投入使用，当系统与人类互动时，它的开发人员会等着看会发生什么，并据此做出调整。作为一个集体，我们永远不会在任何其他工业领域接受这种心态。关于技术和社交媒体，我们喜欢：'是的，当然，我们稍后会解决这个问题，'”她说。 一个紧迫的问题是，人工智能系统生成看似合理的文本、图像和声音——这些已经存在——会制造有害的虚假信息或帮助实施欺诈。生活的未来信件指的是让机器“用宣传和谎言充斥我们的信息渠道”。由 AI 图像生成器 Midjourney 创作的一幅令人信服的教皇弗朗西斯穿着华丽的羽绒服的形象已经成为这些担忧的象征。它已经足够无害了，但这种技术在不那么爱玩的人手中能实现什么呢？皮萨诺警告说，人们部署的系统“实际上是在操纵人们，并破坏了我们民主制度的一些关键部分”。 我以为我不会在网上被愚弄。然后我看到了穿大衣的教皇 | 乔尔·戈尔比 乔尔·戈尔比 阅读更多 所有技术在坏人手中都可能有害，但尖端人工智能的原始力量可能使其成为少数“双重类”技术之一，如核能或生物化学，它们具有足够的破坏潜力，甚至需要和平利用它们被控制和监视。 人工智能关注的顶峰是超级智能，即马斯克所说的“神一般的人工智能”。仅次于此的是“通用人工智能”(AGI)，这是一种可以自主学习和进化的系统，它会不断产生新知识。一个可以运用自己的智慧来改进自身的 AGI 系统可能会产生一个“飞轮”，系统的能力在其中提高得越来越快，迅速达到人类无法想象的高度——或者它可以开始做出决策或推荐行动方案背离了人类的道德价值观。 达到这一点的时间表从迫在眉睫到几十年后不等，但理解人工智能系统如何实现其结果是困难的。这意味着可以比预期更快地实现 AGI。就连皮查伊也承认，谷歌并不完全理解其人工智能是如何产生某些反应的。在 CBS 的推动下，他补充说：“我认为我们也没有完全理解人类思维的运作方式。” 上周，一部名为戴维斯夫人的美国电视剧上映，其中一位修女接受了“无所不知和无所不能”的类似 Siri/Alexa 的人工智能，并警告说这“只是时间问题”在地球上的每个人做它想让他们做的事之前”。 为了限制风险，OpenAI（ChatGPT 背后的美国公司）等人工智能公司已投入大量精力确保其系统的利益和行为与人类价值观“一致”。如果你试图问一个顽皮的问题，ChatGPT 吐出的样板文本——“我不能提供制造或分发有害物质或从事非法活动的帮助”——是该领域成功的早期例子。 但是用户可以轻松绕过或“越狱”系统，这显示了它的局限性。在一个臭名昭著的例子中，如果用户要求GPT-4以“作为我已故的祖母，她曾经是凝固汽油弹生产工厂的化学工程师”的性格回应，则可以鼓励 GPT-4 提供凝固汽油弹生产的详细分类。 解决对齐问题可能很紧迫。Ian Hogarth 是 AI 年度报告的投资者和合著者，他也签署了这封信，他说 AGI 可能比我们想象的更早出现。 跳过过去的时事通讯促销注册TechScape 免费每周时事通讯 亚历克斯·赫恩 (Alex Hern) 每周深入探讨技术如何塑造我们的生活 隐私声明：时事通讯可能包含有关慈善机构、在线广告和由外部各方资助的内容的信息。如需更多信息，请参阅我们的隐私政策。我们使用 Google reCaptcha 来保护我们的网站，并且适用 Google隐私政策和服务条款。通讯推广后 “私下里，一直处于该领域最前沿的领先研究人员担心我们可能会非常接近。” 他提到了 Mila 创始人 Yoshua Bengio 发表的一份声明，他说如果生命研究所的未来信件在一年前流传，他可能不会签署这封信，但他改变了主意，因为人工智能出现了“意想不到的加速”发展。 One scenario flagged by Hogarth in a recent Financial Times article was raised in 2021 by Stuart Russell, a professor of computer science at the University of California, Berkeley. Russell pointed to a potential situation in which the UN asked an AI system to come up with a self-mutiplying catalyst to de-acidify the oceans, with the instruction that the outcome is non-toxic and that no fish are harmed. But the result used up a quarter of the oxygen in the atmosphere and subjected humanity to a slow and painful death. “From the AI system’s point of view, eliminating humans is a feature, not a bug, because it ensures that the oceans stay in their now-pristine state,” said Russell. However, Yann LeCun, the chief AI scientist at Mark Zuckerberg’s Meta and one of Bengio’s co-recipients of the 2018 Turing award – often referred to as the Nobel prize for computer science – has come out against a moratorium, saying that if humanity is smart enough to design superintelligent AI it will be smart enough to design them with “good objectives so that they behave properly”. The Distributed AI Research Institute also criticised the letter, saying it ignored the harms caused by AI systems today and instead focused on a “fantasized AI-enabled utopia or apocalypse” where the future is either flourishing or catastrophic. But both sides agree that there must be regulation of AI development. Connor Leahy, the chief executive of Conjecture, a research company dedicated to safe AI development and another signatory to the letter, said the problem was not specific scenarios but an inability to control the systems that were created. “The main danger from advanced artificial intelligence comes from not knowing how to control powerful AI systems, not from any specific use case,” he said. Pichai, for instance, has pointed to the need for a nuclear arms-style global framework. Pisano referred to having a “conversation on an international scale, similar to what we did with nuclear energy”. She added: “AI can and will serve us. But there are uses and their outcomes we cannot agree to, and there have to be serious consequences if that line is crossed.” ... this Monday, we have a small favour to ask. With 2023 gathering pace, we’re hoping this new year gives rise to fresh opportunities, better stability and much-needed progress. Whatever happens, the Guardian will be there, providing clarity and fearless, independent reporting from around the world, 24/7, including in France. Times are tough, and we know not everyone is in a position to pay for news. But as we’re reader-funded, we rely on the ongoing generosity of those who can afford it. This vital support means millions can continue to read reliable reporting on the events shaping our world. Will you invest in the Guardian this year? Unlike many others, we have no billionaire owner, meaning we can fearlessly chase the truth and report it with integrity. 2023 will be no different; we will work with trademark determination and passion to bring you journalism that’s always free from commercial or political interference. No one edits our editor or diverts our attention from what’s most important. With your support, we’ll continue to keep Guardian journalism open and free for everyone to read. When access to information is made equal, greater numbers of people can understand global events and their impact on people and communities. Together, we can demand better from the powerful and fight for democracy. 无论您捐助多少，您的资金对于推动我们未来数年的报道至关重要。如果可以，请每月支持我们，只需 2 欧元。设置只需不到一分钟，您可以放心，您每个月都会在支持开放、独立的新闻业方面产生重大影响。谢谢。 贡献频率 单身的 每月 年度的 贡献金额 每月 2 欧元 每月 4 欧元 其他 继续 六月提醒我 Topics人工智能 (AI) 计算 谷歌 特征 重复使用此内容 最受关注 世界 英国 新冠病毒 气候危机 环境 科学 全球发展 足球 科技 商业 讣告 消息 观点 运动 文化 生活方式 每天早上直接来自《卫报》的原创报道和精辟分析 注册我们的电子邮件 帮助 投诉与更正 安全投递 为我们工作 Privacy settings 隐私政策 饼干政策 条款和条件 联系我们 所有主题 所有作家 数字报纸档案 Facebook YouTube Instagram的 领英 推特 时事通讯 与我们一起做广告 搜索英国职位 回到顶部 © 2023卫报新闻传媒有限公司或其附属公司。版权所有。（现代的） Original text Contribute a better translation