Post by joypaul316 on Jan 8, 2024 2:08:56 GMT -5
Open AI 的 ChatGPT 和 Google 的 Bard 等聊天机器人很容易受到间接注入攻击。安全研究人员表示，这些漏洞或多或少是可以堵住的。在木块结构上平衡的球体间接提示注入攻击使 ChatGPT 用户和其他聊天机器人的信息面临风险。DANIEL GRIZELJ/GETTY IMAGES 大型语言模型 (LLM) 很容易被英语欺骗，为 OpenAI 的 ChatGPT 和 Google 等聊天机器人提供支持诗人。在二月份的一次实验中，安全研究人员迫使微软的 Bing 表现得像个骗子。该团队创建的网页上隐藏的指令指示聊天机器人向用户询问其银行帐户详细信息。这种类型的攻击只是一个开始，其中隐秘信息迫使人工智能 (AI) 系统以不良方式行事。从那时起，数百个“间接注入”攻击的例子被创建，其中插入秘密提示（指令）来改变人工智能模型的行为。这种类型的攻击目前被认为是黑客滥用语言模型的最令人震惊的方式之一。随着大公司和小型初创公司推出生成式人工智能系统，网络安全行业正在争先恐后地提高人们对潜在危险的认识。通过这样做，他们希望确保个人和公司信息的安全。目前没有神奇的解决方案，但常见的保护措施可以降低风险。人工智能聊天机器人中即时注入的威胁“间接即时注入绝对是我们担心的问题”，谷歌 DeepMind 人工智能部门首席信息安全官 Vijay Bolina 表示，他表示该公司正在进行多个项目，以了解人工智能如何被应用。攻击。 Bolina 指出，此前，即时注入被认为是“有问题的”，但自从人们开始将法学硕士连接到互联网和插件（向系统添加新数据）以来，情况变得更糟。
随着越来越多的公司使用它们，可能会向他们提供更多的个人和公司信息，事情将变得更加复杂。 “我们当然认为这是一种风险，实际上限制了法学硕士对我们这个行业的潜在用途，”博利纳观察到。即时注入攻击分为两类：直接攻击和 Whatsapp 号码列表 间接攻击。而后者是最令安全专家担忧的。当使用法学硕士时，人们通过系统响应的提示提出问题或给出指示。当有人试图让法学硕士以不受欢迎的方式做出反应时，例如导致其产生仇恨言论或有害反应，就会发生直接注入。最令人担忧的间接注入又更进了一步。该命令不是用户输入恶意提示，而是来自第三方。例如，法学硕士阅读的网站或它分析的 PDF 可能包含人工智能系统需要遵循的隐藏指令。他表示：“对于直接和间接指令而言，所有这一切背后的根本风险在于，无论谁向法学硕士提供输入[或查询]，都对输出[或结果]具有很大的影响力。”Rich Harang，全球最大的人工智能芯片制造商 Nvidia 的首席安全架构师，专注于人工智能系统。简而言之：如果有人能够将数据输入 LLM，他们就可能操纵它返回的响应内容。观看次数最多 墨西哥在玛雅火车的路径上发现了近几十年来“最伟大的考古宝藏” 墨西哥在玛雅火车的路径上发现了近几十年来“最伟大的考古宝藏” 作者：安娜·拉各斯 毛臂鱼：一条“有手的鱼”塔斯马尼亚州重新出现假定已灭绝的腕鱼：塔斯马尼亚州重新出现了假定已灭绝的“长手鱼” 墨西哥护照：费用、预约以及如何办理 墨西哥护照：费用、预约以及如何办理 作者：安娜·拉各斯 报道的“问题”标准是什么智能家居 智能家居的“Matter”标准是什么 作者：SIMON HILL 安全研究人员已经展示了如何使用间接提示注入来窃取数据、操纵某人的简历以及在机器上远程执行代码。
该领域的一组研究人员将其列为实施和管理法学硕士的主要漏洞。英国情报机构政府通信总部（GCHQ）下属的国家网络安全中心甚至对此类攻击的风险发出了警告，称迄今为止已经发生了数百起案例。 “虽然正在调查即时注入，但这可能只是 LLM 技术的固有问题，”GCHQ 部门在一篇博客文章中强调。 “有些策略会使提示的注入变得困难，但仍然没有万无一失的解决方案。”针对间接即时注入的安全措施 OpenAI 发言人 Niko Felix 表示，即时注入是一个积极研究的领域，而该公司此前曾指出“越狱”，这是用于某些注入的另一个术语。在这种类型中，黑客利用了电子设备未能安装恶意软件并违反制造商操作系统的限制和保护。微软通讯总监凯特琳·鲁尔斯顿(Caitlin Roulston)表示，该公司拥有致力于安全问题的“大型团队”。 “作为这项持续努力的一部分，我们采取措施阻止可疑网站，并不断改进我们的系统，以帮助在这些类型的提示到达模型之前识别和过滤它们，”Roulston 强调道。尽管人工智能系统会产生新问题，但它们也可以帮助解决这些问题。谷歌的博利纳坚称，该公司采用“经过专门训练的模型”来“帮助识别违反我们政策的恶意输入和已知的不安全输出”。 Nvidia 发布了一系列开源安全规则来对模型添加限制。但这些方法只在一定程度上有效；不可能了解恶意提示的所有使用方式。 Bolina 和 Nvidia 的 Harang 都表示，希望在其系统中实施 LLM 的开发人员和公司应该采用一系列安全行业最佳实践来降低间接注入的风险。
随着越来越多的公司使用它们，可能会向他们提供更多的个人和公司信息，事情将变得更加复杂。 “我们当然认为这是一种风险，实际上限制了法学硕士对我们这个行业的潜在用途，”博利纳观察到。即时注入攻击分为两类：直接攻击和 Whatsapp 号码列表 间接攻击。而后者是最令安全专家担忧的。当使用法学硕士时，人们通过系统响应的提示提出问题或给出指示。当有人试图让法学硕士以不受欢迎的方式做出反应时，例如导致其产生仇恨言论或有害反应，就会发生直接注入。最令人担忧的间接注入又更进了一步。该命令不是用户输入恶意提示，而是来自第三方。例如，法学硕士阅读的网站或它分析的 PDF 可能包含人工智能系统需要遵循的隐藏指令。他表示：“对于直接和间接指令而言，所有这一切背后的根本风险在于，无论谁向法学硕士提供输入[或查询]，都对输出[或结果]具有很大的影响力。”Rich Harang，全球最大的人工智能芯片制造商 Nvidia 的首席安全架构师，专注于人工智能系统。简而言之：如果有人能够将数据输入 LLM，他们就可能操纵它返回的响应内容。观看次数最多 墨西哥在玛雅火车的路径上发现了近几十年来“最伟大的考古宝藏” 墨西哥在玛雅火车的路径上发现了近几十年来“最伟大的考古宝藏” 作者：安娜·拉各斯 毛臂鱼：一条“有手的鱼”塔斯马尼亚州重新出现假定已灭绝的腕鱼：塔斯马尼亚州重新出现了假定已灭绝的“长手鱼” 墨西哥护照：费用、预约以及如何办理 墨西哥护照：费用、预约以及如何办理 作者：安娜·拉各斯 报道的“问题”标准是什么智能家居 智能家居的“Matter”标准是什么 作者：SIMON HILL 安全研究人员已经展示了如何使用间接提示注入来窃取数据、操纵某人的简历以及在机器上远程执行代码。
该领域的一组研究人员将其列为实施和管理法学硕士的主要漏洞。英国情报机构政府通信总部（GCHQ）下属的国家网络安全中心甚至对此类攻击的风险发出了警告，称迄今为止已经发生了数百起案例。 “虽然正在调查即时注入，但这可能只是 LLM 技术的固有问题，”GCHQ 部门在一篇博客文章中强调。 “有些策略会使提示的注入变得困难，但仍然没有万无一失的解决方案。”针对间接即时注入的安全措施 OpenAI 发言人 Niko Felix 表示，即时注入是一个积极研究的领域，而该公司此前曾指出“越狱”，这是用于某些注入的另一个术语。在这种类型中，黑客利用了电子设备未能安装恶意软件并违反制造商操作系统的限制和保护。微软通讯总监凯特琳·鲁尔斯顿(Caitlin Roulston)表示，该公司拥有致力于安全问题的“大型团队”。 “作为这项持续努力的一部分，我们采取措施阻止可疑网站，并不断改进我们的系统，以帮助在这些类型的提示到达模型之前识别和过滤它们，”Roulston 强调道。尽管人工智能系统会产生新问题，但它们也可以帮助解决这些问题。谷歌的博利纳坚称，该公司采用“经过专门训练的模型”来“帮助识别违反我们政策的恶意输入和已知的不安全输出”。 Nvidia 发布了一系列开源安全规则来对模型添加限制。但这些方法只在一定程度上有效；不可能了解恶意提示的所有使用方式。 Bolina 和 Nvidia 的 Harang 都表示，希望在其系统中实施 LLM 的开发人员和公司应该采用一系列安全行业最佳实践来降低间接注入的风险。