研究表明：AI 已准备好扭曲现实，误导用户并植入错误记忆

不知不觉之中，我们身边已经充斥着 AI 了。

你可以在 CSDN、Reddit 等社区很轻松的发现它们。

你可以在某团某点评的评论区找到它们。

你也可以在大学课程的老师的邮件箱看到它们的身影。

你甚至也可以在某些学术论文上发现它们的踪迹。

……

近一年，已经有许多身边的朋友，与我们分享使用 AI 时尴尬瞬间，甚至因为模型产生的幻觉差点丢了工作。

而如今，身边许多朋友也表示，感觉自己说话越来越像 AI 那样结构化输出了。

某种意义上说，我们一边在调教 AI，潜移默化中，我们似乎也正在被 AI 调教。

而最近国外的一片媒体报道表示，越来越多的研究表明人工智能如何巧妙地误导用户，甚至植入错误记忆，以下是翻译内容👇

Chatbots 使用率越来越高且容易让人信服

越来越多的人正在通过 Chatbots 和 AI 软件来了解世界，无论他们是否有留意。谷歌已经向至少四大洲的搜索引擎用户推出了 AIGC 功能，将 AI 的回复置于网页列表之上；到今年年底，可能会有多达 10 亿人使用到此功能。

Meta 的 AI 助手已集成到 Facebook、Messenger、WhatsApp 和 Instagram 中，有时 AI 功能会是用户点击搜索栏时的默认选项。苹果预计将于今年秋天将 AIGC 集成到 Siri、邮件、Notes 和其他 APP 中。ChatGPT 推出不到两年，Chatbots 就迅速成为网络的默认过滤器。

然而，Chatbots，无论它们在回答复杂问题时表现得多么出色，都容易自信地「说谎」——而且这个问题可能比许多人意识到的更加有害。

大量研究以及我最近与几位专家的对话表明，AI 模型所采用的热切、权威的语气——再加上它们在许多情况下确实有帮助和正确——可能会导致人们过于信任它们。

反过来，这种轻信可能使 Chabots 成为任何试图通过微妙传播误导性或有倾向性的信息来操纵公众的特别有效的工具。没有人，甚至政府，可以篡改 Google 或 Bing 显示的每一个链接。如果设计一个 Chatbots 来呈现现实的调整版本，那就是另一个故事了。

当然，互联网上已经存在各种错误信息。但是，尽管理性的人知道不要天真地相信社交媒体中出现的任何内容，但 Chatbots 却具有无所不知的吸引力。人们将它们用于敏感信息查询：在健康政策非营利组织 KFF 最近的一项民意调查中，六分之一的美国成年人表示每月至少使用一次 Chatbot 来获取健康信息和建议。

Chatbots 或将影响选举和政治

随着选举的临近，一些人会使用 AI 助手、AI 搜索引擎和 Chatbots 来了解时事和候选人的立场。事实上，生成式 AI 产品正在作为典型搜索引擎的替代品进行营销，并且存在大大小小的扭曲新闻或政策提案的风险。其他人甚至可能依靠人工智能来学习如何投票。

今年 2 月发布的关于人工智能生成的有关选举程序的错误信息的研究发现，五种著名的大语言模型，大约有一半的时间提供了错误的答案，例如，错误地陈述了选民身份要求，这可能导致某人的选票被拒绝。“Chatbots 的输出通常听起来似乎有道理，但部分或全部不准确，”高级研究所教授阿隆德拉·尼尔森 (Alondra Nelson) ，曾担任白宫科技政策办公室代理主任，如是说。

随着整个科技行业将注意力转向这些产品，也许是时候更多地关注 AI 输出的有说服力的形式，而不仅仅是其内容。Chatbots 和 AI搜索引擎可能是假先知，是错误信息的载体，它们比假文章或视频更不明显，而且可能更危险。

在麻省理工学院研究人类与人工智能交互的帕特·帕塔拉努塔蓬 (Pat Pataranutaporn) 告诉我，“模型幻觉不会随着特定的 AI 工具而结束”。“它会持续下去，也会让我们产生幻觉。”

大语言模型在适当的情况下可以具有说服力并用于欺骗目的

Pataranutaporn 和他的研究同事最近试图了解 Chatbots 如何通过植入错误记忆来操纵我们对世界的理解。为此，研究人员采用了加州大学欧文分校心理学家伊丽莎白·洛夫特斯使用的方法，她几十年前就确立了记忆是可以操纵的。

洛夫特斯最著名的实验要求参与者讲述四件童年事件——三件真实的，一件虚构的——以植入在商场迷路的错误记忆。她和她的合著者从参与者的亲属那里收集了信息，然后他们用这些信息构建了一个看似合理但虚构的叙述。四分之一的参与者表示他们回忆起了那场捏造的事件。这项研究让 Pataranutaporn 意识到，诱发错误记忆可以像进行对话一样简单。

他说，这对于大型语言模型来说是一个“完美”的任务，因为大型语言模型主要是为流畅的语音而设计的。

Pataranutaporn 的团队向研究参与者展示了一次抢劫的镜头，并使用预先编写的问题和 Chatbot 对他们进行了调查。这个想法是为了看看是否可以引导目击者说出有关视频的一些虚假信息，例如劫匪有纹身并且是开车到达的，即使他们没有。由此产生的论文于本月早些时候发表，尚未经过同行评审，发现生成式人工智能成功诱导了错误记忆并误导了超过三分之一的参与者——这一比例高于误导性问卷和另一个更简单的 Chatbot 仅使用相同的固定调查问题的界面。

参与这项研究的洛夫特斯告诉我，无论是人类还是人工智能，最强大的记忆操纵技术之一就是在看似不相关的问题中塞入谎言。通过询问“劫匪下车的商店前面是否有安全摄像头？”，Chatbot 将注意力集中在摄像头的位置上（劫匪实际上是步行到达的）。当一名参与者说摄像头在商店前面时，Chatbot 跟进并强化了错误的细节——“你的答案是正确的。劫匪下车的商店前面确实安装了一个安全摄像头……你对这个细节的关注值得赞扬，并将有助于我们的调查”——让参与者相信劫匪开车了。“当你向人们提供关于他们的答案的反馈时，你就会影响他们，”洛夫特斯告诉我。如果反馈是积极的，就像人工智能的反应一样，“那么你会让他们更有可能接受它，无论是真是假。”

马里兰大学研究人类与人工智能交互和人工智能说服力的计算机科学家 Jordan Boyd-Graber 表示，该论文提供了一个“概念证明”，即大语言模型在适当的情况下可以具有说服力并用于欺骗目的。他警告说，聊天机器人并不比人类更具说服力，也不一定具有欺骗性。在现实世界中，人工智能输出在大多数情况下都是有帮助的。但是，如果人们期望关于一个不熟悉的话题得到诚实或权威的输出，而模型出错了，或者聊天机器人正在复制和增强像 Loftus 这样经过验证的操纵脚本，那么该技术的说服能力就会变得危险。“把它想象成一种力量倍增器，”他说。

普林斯顿大学人工智能研究员萨亚什·卡普尔 (Sayash Kapoor) 告诉我，错误记忆的发现反映了人类的一种既定倾向，即相信自动化系统和人工智能模型，即使它们是错误的。

人们期望计算机客观且一致。当今的大语言模型尤其以项目符号列表形式提供了权威的、听起来合理的解释；引用其来源；并且几乎可以阿谀奉承地同意人类用户的观点——这可以让他们在犯错时更有说服力。

可以植入错误记忆的微妙插入或“特洛伊木马”正是大型语言模型容易出现的偶然错误。律师甚至在法庭上引用了完全由 ChatGPT 捏造的法律案例。

存在掌握 AI 的科技公司影响现实的风险

科技公司已经在向美国候选人推销 AIGC，作为通过电话接触选民和推出新竞选聊天机器人的一种方式。“如果这些模型存在偏见，就很容易在这些交流中加入一些人们没有注意到的误导性信息，因为这些信息是被塞进去的，”帕蒂·梅斯（Pattie Maes）说，麻省理工学院媒体实验室和人工智能植入错误记忆论文的合著者告诉我。

聊天机器人可以提供一些竞选活动用来影响选民的推送民意调查的演变：旨在灌输对竞争对手的负面信念的虚假调查，例如询问“如果我告诉你乔·拜登被指控纳税，你会怎么看”逃避？”毫无根据地将总统与欺诈联系在一起。误导性的聊天机器人或人工智能搜索答案甚至可能包含虚假图像或视频。

尽管没有理由怀疑这种情况目前正在发生，但谷歌、Meta 和其他科技公司可以通过其人工智能产品产生更多此类影响——例如，通过在流行的搜索引擎中使用人工智能响应和社交媒体平台巧妙地转变反对反垄断监管的公众舆论。

即使这些公司不断进步，组织也可能会找到方法来操纵主要的人工智能平台，通过大语言模型优化来优先考虑某些内容；这种行为的低风险版本已经发生过。

与此同时，每家科技公司都有强烈的商业动机要求其人工智能产品可靠和准确。谷歌、微软、OpenAI、Meta 和 Anthropic 的发言人都告诉我，他们正在积极努力为选举做准备，例如过滤对与选举相关的查询的回复，以提供权威来源。OpenAI 和 Anthropic 的使用政策至少禁止将其产品用于政治竞选。