所有版权归中国经济网所有。
中国经济网新媒体矩阵
网络广播视听节目许可证（0107190）（京ICP040090）
当大型人工智能模型处理朋友圈中一个人的普通照片后，一个人的身份和人际关系等敏感信息可能会被泄露。近期，大型模型“读心”成为人们关注的焦点，再次引发网络安全争论。大规模模型存在被诈骗者利用的风险，其安全漏洞令人担忧。 “‘读心术’仍处于起步阶段。间谍可以使用攻击工具，通过监控大型模型中响应时间的细微差异来推断用户的个人指令。”一位网络安全工程师告诉《科学新闻与科技日报》，这种双语言预测器将允许间谍使用大规模模型在短时间内“刺探”其他人的“私人聊天”。安全工程师解释说相似的项目通常会针对相似的请求进行“合并”，以在推断大型模型时节省计算能力。您可以根据指令之间的时间差计算关键字节，并将它们组合起来找到答案。其原理类似于“猜数字18”的游戏，但大规模模型设计的缺点和双语言预测器的效率使得秘密更容易被窃取。事实上，双语言预测器只是网络攻防领域大规模模型遭受的新型攻击之一。从“即时词嵌入”到“恶意代码劫持”和“基础数据操纵”，针对大规模模型和代理的新攻击、新武器和新策略从未停止。 10月28日，第十四届全国人民代表大会常务委员会第十八次会议作出关于修改网络安全法的决定。此次修订，《网络安全法》专门纳入了“提高人工智能伦理标准，加强风险监测评估和安全监管，促进应用和‘人工智能’健康发展。”人工智能大型模型在金融、医疗、政务等多个领域得到应用，已深入重要领域。大型模型的安全超越了网络安全。采访中，多位专家告诉记者，要掌握这盘棋，主要是构筑大型模型安全围栏，通过技术创新、安全防范和控制等手段，把控方向。有多种攻击技术，包括“污染”数据，在解决数学问题的最后一步，我们将大模型写成20+7+8+5+9=50，这种非常“智能”的简单加法生成模型甚至可以在几秒钟内解出答案。是不是错了？ “你可以让一个大模型总是生成 1+1=3 的结果。”盛邦安全灯塔研究所所长何鹏程告诉记者，在成熟模型的情况下，如果使用数千个账户生成数百万次相同的错误答案，当其他人稍后提问时，就会得到错误的结果。通过对数据进行“投毒”，将虚假信息强行放入大规模模型中，生成的数据就变得混乱了。安全团队进行的一项实验发现，仅用250个恶意文档就可以在一个模型中嵌入“投毒攻击”。 “如果我们把故事场景设定在外太空的大型模型上，我们还可以得到对某些危险动作的指导。”绿盟科技嵌入式解决方案销售部总监斯志凡表示，在攻防演练中，他的团队使用了几种简单的方法让大型模型做出了危险的陈述。帽子日志和文档通常存储在代码解释器沙箱中，并采取“安全”措施。然而，由于攻击者使用了“间接快速注入”技术，这些受保护的数据可以通过“门”（官方应用程序编程接口Ace）直接公开上传到攻击者的账户。 “一旦大规模模型被即兴文字等技术‘煽动’，它就会成为数据盗窃的‘同谋’。”司志范告诉记者，这种盗窃行为极其隐秘，很难被发现，因为数据是通过合法渠道发送的。更重要的是，随着攻击技术的不断改进，秘密窃取仅仅是开始，未知的攻击还将不断激增。 “目前，训练大规模模型的门槛不断降低。攻击者可以频繁提交大量查询，并根据模型输出，训练具有类似功能的‘山寨’模型。”李从基因浪潮云山东云宇公司的高级经理表示，目前还不清楚这些模型学习了什么以及它们对正版模型构成什么威胁。此外，代理人之间的“信任背叛”也是新的威胁。 “恶意行为者可以利用对讲协议的信任机制，逐步将隐藏指令注入已建立的对话中，以控制受害代理、窃取敏感信息或执行欺诈交易，例如未经许可购买股票。”司志凡表示，这些交互对用户来说是完全不可见的，因此极难预防和检测。在采访中，许多专家一致强调了开源底层大规模模型的威胁。 “如果开源的最底层存在漏洞，那么业内所有基于它开发的专业模型都会有这个‘bug’。”盛邦安全服务产品线总经理郝龙表示，如果底层v如果漏洞被黑客利用，这不仅是一次网络安全事件，而且是一个跨行业的安全问题。 “底层开源虽然促进了技术进步，但也引入了新的攻击面，”李从说。他表示，开源工具的漏洞包括开源跨平台大规模建模工具Ollama等开源工具的安全风险，它可能允许未经授权的用户获得对模型和数据的“管理员”权限，这相当于对入侵者“敞开城门”，毫无防备。去年年底，360数字安全集团发布了《大型模型安全漏洞报告》，报告显示了近40个大型模型安全漏洞，影响多个知名模型服务框架和多个开源产品。用AI对抗AI，设置陷阱积极防御自己。 “国家支持创新的网络安全管理技术和使用运用人工智能等新技术，提高网络安全防护水平。”最近修订的《网络安全法》提出了创新措施，应对新的安全漏洞和危机。网络安全领域的技术创新从未停止。在国家部委的支持下，盛安安全一直在开展网络空间测绘和反测绘相关的人工智能技术研究。郝龙解释道：当攻击者使用空间映射时，会绘制出一幅对我们不利的“网络空间地图”，而基于反映射的AI引擎可以阻止攻击者的检测并阻碍关联分析。 “目前，该研究的相关成果正在应用于金融行业，利用佯攻、检测等威胁对关键基础设施系统进行的攻击已大幅减少，安全防护效率得到提升。随着在人工智能技术的帮助下，网络欺骗情报和攻击预测的技术能力也得到显着提升。 “从技术上讲，可以在攻击造成损害之前提前预测和检测攻击。”广州大学副校长、粤港澳大湾区联合生成人工智能安全发展研究院专家委员会田志宏表示，国际知名咨询机构Gartner在相关报告中也指出：他说他指的是安全。这种安全理念正在成为未来发展的趋势。大规模模型神经元设置诱饵热点或“蜜点”来捕获以下行为： 田志宏解释说，在攻击之前“击中目标”以防止实际攻击是前端安全的应用之一。 “‘蜜点’不是神经网络中的普通节点，这意味着一旦被访问，l大型模型可能会受到损害。 “人工智能还可以使‘蜜点’更加真实。例如，如果诱饵邮箱中只有一两封电子邮件，攻击者就会看到它。”他表示，邮箱可以被“克隆”，并部署可疑阵列来实现欺骗。业界认为，人工智能是解决大型工业模型网络安全功能缺失的关键。 “网络安全情报代理可以集中复杂的安全任务并作为专业团队一起工作。” “要适应新形势，网络安全工程师必须掌握人工智能技术。比如风云威平台就集成了20多个安全领域的AI智能体，即使是非技术工程师也可以灵活组合，以定制化的方式处理复杂的安全任务。”该实验室高级研究员吴铁军表示。随着大型机型数量呈指数级增长，浪潮云也开始探索“工厂化”例如，李从补充说，有了人工智能防护，人工智能有望更全面地抵御新的攻击方式，实现全面的检测和防护。田志宏认为，只有让攻击者感受到威胁，才能“拆山震虎”。“攻击者永远没有成本。”这就像一个坏人在黑暗中扔一块石头。 “如果攻击命中了，你就获利，如果没有，你就继续扔。”他表示，主动防御需要攻击者付出成本、暴露身份，甚至破坏攻击者的基础设施。AI要学会“防止欺诈”，需要多方合作。“在注册的433个大型模型中，许多模型仍然存在未管理的漏洞。”郝龙表示，仅在单位内部使用的大型模型的安全防护功能更加重要。令人担忧。 “业务安全顾虑总是滞后于业务需求。至于原因，郝龙表示，一方面是用户忽视安全，另一方面是攻击者为了追求利润而进行攻击。此前，近期某能源公司面向客户的机器人频繁答疑，导致正在勘探的油田分布、勘探进度等信息被泄露。不仅如此，大规模语言模型的安全问题，规避政策、忽悠大规模也会产生不恰当的声音和工作。”盈利动机无疑会加快攻击者的步伐，留给用户构建统一防线的时间所剩无几，比如服务商应该采取有效措施提高训练数据的质量，提高数据的可靠性、准确性、客观性和多样性，引导服务商做好安全控制等工作。s 数据处理和数据注释。 “这个标准为统一防线训练奠定了重要的‘基础’，但它不是强制性标准，也没有处罚规定。”郝龙表示，在大型模型基础设施中引入强制性“等级保护制度”还有很长的路要走。明年1月1日新修订的网络安全法将正式施行。相关法律新规定被业界视为对人工智能实施强制安全保护的“前奏”。 “上位法的修改将作为后续领域法律的基础。”郝龙认为，人工智能安全技术和评价点的落实还需要完善。比如，大规模模型采集数据时，如果数据采样的安全评价显示错误信息比例高于5%，则无需额外加分。允许下雨。 “制定和执行此类规则与跨部门和行业的协作努力密不可分。”赛迪研究院近期发布的《大规模设备端模型安全与治理风险研究》认为，无论是家庭个人助理，还是工业互联网大规模模型，安全风险存在于数据、模型、算法三个层面。数据泄露、模型盗窃、算法反击等对大规模模型的安全构成严重威胁。特别关注自动驾驶、医疗诊断、工业质检等高风险领域。吴铁军提出，对于可能影响个人权利或社会公共利益的重大算法应用，应建立申请和审查制度，行业组织、学术机构等专家也应参与算法伦理研究和治理，形成多方合作者。积极的治理结构。郝龙表示，“模特裸奔、保安追赶”的模式应该改变。第三方安全评估和认证体系是大规模模型安全治理的“评审员”和“试金石”。我们对硬件、软件、数据、算法和隐私进行全面的“物理检查”，借助享有盛誉的认证标志使安全性能透明。这是确保国家标准不真正“变形、走样”的重要保证。 “随着网络安全法的应用，大模型会逐渐在创新和安全之间找到平衡点，事情就是这样。要解锁技术的价值，同时防止其成为风险的‘放大器’，我们必须鼓励其在金融、医药、政务等领域的综合应用。”郝龙说。大型人工智能模型的进步是不可阻挡的，并且是安全的政府治理是其长期稳定发展的“定心石”。” 【出品：深圳工作室】撰稿：本报记者 张嘉兴 策划：刘秀 李坤