直播回顾 | 大模型已逐渐深入行业应用，如何应对安全隐患？

10月16日，主题为“大模型已逐渐深入行业应用，如何应对安全隐患？”的专家研讨会在益企研究院视频号顺利举办。

此次研讨会是“全栈智算系列直播”栏目的第二期，第一期为智算中心对网络的需求与应对策略，本期着重探讨大模型相关的安全话题。

本期直播由益企研究院高级研究员祁金华主持，邀请了全球计算联盟（GCC）技术专家惠静、吉利智算中心技术专家宋中伟、世纪互联DC运维部技术中心数智架构师邓昊、全球工商联网络与数据安全委员会数安行CEO 王文宇以及新华三安全解决方案专家曹东作为研讨嘉宾。

访问益企研究院视频号，搜索“全栈智算系列直播第二期大模型安全”即可观看回放。如下是本期直播的精彩观点整理。

Q1：大模型被广泛应用之后，带来哪些安全威胁？

惠静：主要包括模型窃取、注入攻击、数据投毒、隐私泄露，以及大模型幻觉和大模型的供应链安全问题等。

王文宇：包括三个层面，第一是算力的滥用；第二是传统的安全，尤其是网络安全；第三是大模型自身相关的安全性问题，包括数据隐私、伦理道德等。

曹东：从新华三在推进整体AI落地、智算基础设施建设、顶层大模型建设的经验来看，在基础设施领域，一方面会面临被植入挖矿或者算力窃取病毒的危险，导致智算中心电费飙升、GPU负荷很高带来高故障率；另外一方面，在大模型的内容和数据领域，如果不做具体的限制和分权、分域，那就很容易带来一些安全风险。

邓昊：我们基于大模型做了一些智能体，以及结合业界以及我们自有的相关数据，建设了RAG知识库，以帮助我们在机房运维时进行设备的健康诊断。那如果大模型的基础设施层面发生安全问题，知识库中有我们的核心资料和数据，那就有可能泄露，带来安全问题。

宋中伟：我们能够明显感觉到此前的安全运营方式，和现在智算中心的运营方式有比较大的差别。在大模型领域的攻击面，除了传统的网络和系统漏洞攻击，还延伸到了模型数据、交互等诸多层面，包括大模型端的数据泄露、数据库暴露等，由此带来的问题是安全威胁从系统的风险转向了社会性的风险，标志着大模型中的一些个案问题具备了普遍化的可能，甚至带来公共安全的事件。

Q2：在基础设施层面，包括服务器、存储、网路、电力、冷却等领域，会有哪些安全风险，该如何应对?

惠静：在基础设施领域其实比较多，包括典型的CPU侧信道攻击、内存泄露等。现在很多大模型采用了开源组件，如果管理不当，这些开源组件中会引入恶意代码或者带来攻击，那就会对模型训练带来较大风险。针对基础设施的防护，在硬件层面有安全启动、机密计算等都是很好的防护手段。我们可以通过内置安全可信根，通过层层校验来保证系统整体运行环境的安全性。在数据代码在内存里使用的过程中，对于一些高安全、高敏感的数据，通过机密计算的方式能够得到很好的保护。

宋中伟：在大模型时代攻击逻辑已经完全变了。在大模型时代，算力是核心的生产要素，同时也成为了网络攻击的主要目标。传统的DDOS攻击正在向算力场景延伸，攻击者伪造请求来访问GPU资源，导致对资源的过度占用，影响了推理和服务效果。

相对于传统数据中心，这种对算力的攻击带来的危害是指数级的提升，并且比传统的攻击更难防护。传统数据中心的边界防护，已经不足以面对这些算力共计，我们会考虑将大模型的防御中心，转移到应用层和模型本身。

我们会在客户训练的模型中，增加一些安全参数和安全模型的辅助监督，并且主动将已知的一些引发一场的恶意模型训练数据样本加入到训练集里面，让模型学会拒绝这类的输出。

邓昊：此前的管控，更多是在代码层的安全管控，但是对于数据集的管控没有很好的限制和要求，如果不小心有人把脏数据放入到数据集中，可能就在后面做实际生产过程中带来幻觉。

曹东：在基础设施安全领域，我们认为在智算中心作为底座承载大模型的场景下，大家提及的DDoS等传统的安全风险，依然是我们防护的一个重点。其次，在大模型领域，新华三目前做的更多的偏向于计算或者大模型的业务安全，减少病毒的传播带来的经济和业务上的损失。

新华三在终端安全，尤其是服务器、GPU安全领域做了相当多的工作，面向GPU的算力窃取进行了终端安全的防护；在网络层面，新华三通过全流量的抓取来进行深度的病毒传播的识别。

此外就是防护，现在的很多攻击都是采用大模型或者智能化手段进行攻击或者漏洞挖掘，生成攻击脚本等。针对这样的攻击，新华三也有针对性的产品，比如安全运营平台和安全态势感知平台等，将AI能力集成进来，采用AI对抗AI的理念，通过智能化分析相关的数据威胁和深层次的攻击。

这是新华三从端侧、网络到云端的整体的安全体系建设。

Q3：数据的安全领域，会遭遇哪些挑战和威胁？又该如何应对？

王文宇：大模型在数据安全的这一侧的问题比较显性，其中一部分跟数据泄密相关，另外一部分跟道德合规的数据信息相关，它们分在不同的流程中。从开始做数据训练的过程到后来的数据微调，包括挂载RAG，整个过程中是可能发生投毒、泄密等事件的。

而在内容安全这一侧，一定程度上归结为是道德合规的问题，一些敏感信息可能会诱导大模型生成一些违背正常规则的输出。

宋中伟：我们的一些客户，他们所使用的数据可能来自开源数据集，这些数据集是否安全，是他们焦虑的事儿之一。一些攻击者会采用一些话术绕过大模型的安全机制，比如说可以诱导大模型输出一些非法内容。

对于我们租用算力的一些客户，他们担心的事如果数据放在租用算力大模型上运行，是不是会被运营方获取。

邓昊：很多企业一方面担心自己的数据放在大模型上运行之后，会被员工以一种特殊的方式把公司的知识库通过大模型给诱导出来带走；另外就是公开数据集的安全性不好判断。

惠静：我认为在数据领域，企业应该重视训练数据的标注以及训练数据的质量。如果训练数据本身多样性不够的话，会导致输出结果有偏见，甚至不准确。此外，大模型的基础参数可能类似，但是微调参数对于整个模型的质量提升非常大，那么这种微调参数可以被称为企业的核心资产。希望有企业能够通过技术的手段来保护这些微调参数不被泄露，从而保障大模型的安全。

宋中伟：也有人已经提出AI监管的框架，它可以关联到很多知识产权、科技伦理等相关的法律法规，也要求大模型厂商，强制对生成的内容添加AI的标识水印技术。

曹东：数据安全的场景可以分为两个层面，一个是训练阶段，一个是推理阶段。从训练的阶段来说，整体的数据治理是最基础也是最重要的一环，能够有效防御数据投毒等问题；

其实，客户最关心的另外一个问题是，如果客户采用公有的智算中心进行训练，那么如何才能够保障客户的数据安全？

这个问题在公有云场景下也没有得到很好的解决，新华三针对这样的场景做了一些实践。一方面，在智算中心的训练阶段，新华三通过数据标签的技术，来标明特定数据才可以被特定模型调用计算，以便在数据层面上实现身份和权限的控制。

另外一方面，新华三通过整体的行为分析，来发现相关用户的异常行为，结合数据安全平台，以发现相关越权行为。

目前国家在强调可信数据空间的概念，如何保证数据的可用不可见，这也是新华三在探索的方法。用户可以放心地将数据共享到智算中心，在上面做模型的训练，但是除了该用户之外，其他人都无法看到相关的数据。

此外，新华三也在内容安全领域做了一些工作，通过与安全防护产品和大模型平台进行对接，针对所有输入输出内容进行检测，从而实现对违规内容的审核。

新华三也在从评测的角度进行大模型的安全检查，保证大模型合规运行的同时，也帮助用户检查大模型的安全风险。

Q4：大模型会导致的道德风险和法律法规风险，如何应对？

王文宇：关于这个问题，更多的责任在于通用大模型的开发商。但是整体来说，它是一个很难解决的问题。难点在于，大模型不能仅仅学习有用的知识、有效的知识，还应该学到一些不健康的、不那么有效的信息，等大模型输出内容之后，它才能够有能力去判断这些知识是有害的还是有益的，是健康的还是不健康的。

在主流的大模型中，都已经进行了类似的学习，针对内容输出的时候，再做一次判断，以确保规避相关的内容风险。

此外，在大模型也有一些外挂的工具相当于舆情监测，它可以在做进一步的过滤，以便将相关的有害信息进行过滤。

惠静：首先，需要对数据质量进行把关，就是在训练数据输入的时候，采用一定的过滤规则，质量不高的、不合适的就不进行输入，在输入数据的时候，也要保障数据的多样性，以避免输出结果的偏颇；

其次，在输出侧做一些规则上的控制，不符合预期的、不符合道德行为的输出，就进行屏蔽。比如说，一些大模型在被问到医疗相关问题的时候，就会返回一些很模糊的回答，比如说具体的请咨询专业的医生等等。

相关的风险并不能穷举，早期在应对AI伦理风险的时候，做法之一就是广泛地收集案例。大模型时期也是一样，我们可以收集各种各样的案例，对它们进行分类分析，进行建模之后输出规则，以软件或者逻辑代码的形式放到系统中，以影响大模型的输出。

宋中伟：在我们集团内部也会做一些规范，从流程制度到法律法规等，避免出现不合规的内容。此外，对于可能产生幻觉或者胡乱回答的内容，我们通过对文档或者图片进行标注的方式，以及使用限定的知识库，让大模型的输出基于知识库的内容进行输出，这样能够极大降低幻觉的可能性。

邓昊：企业层面的安全，包括伦理问题和道德问题，一般在大模型企业中已经给做好规范。我们在做运营的时候，会融入很多企业的指引手册，给出的有些指导，就可能会建议关闭UPS，那我们机房在做紧急处理的时候，是不可能允许这样操作的。那么我们就会专门输出检查点，在应急预案中针对底线要求做一定的把关，这样就确保所生成的预案能够满足相关的制度要求。

此外，我们始终带着怀疑的态度来使用大模型工具，只给予95%的信任度，剩下的5%会让大模型输出一个建议，去联系更专业的人士处理。我们的原则是：不过分逼迫大模型到100%的可信度，否则大模型就很可能胡说八道。

曹东：业界主流的方式就还是在输入和输出端共同发力。在输入数据训练的时候，对数据进行检测；在输出端，对内容进行审核。重点还是AI来对抗AI，使用AI工具来对输入输出内容进行识别，这也是新华三灵犀安全卫士这一产品正在做的事情。

此外，对于通过大模型生成的内容，有必要发布相应的管理办法，比如说一定要打上标识。一方面是帮助用户来做加水印打标识的工具，另外一方面，帮助使用者来辨别是否内容由AI合成，以避免上当受骗。

Q5：AI的发展如何影响安全行业本身？

邓昊：现在氛围编程很流行，因此很多业务人员也去用AI写代码。在数据中心有很多重复的事儿，业务人员就会让AI写个代码去处理，但是这些代码使用的过程中，由于会调用各种端口、数据，那就有可能带来更多风险。我们作为运维人员就需要进行安全的防护工作，以防止内部管控的风险。

惠静：一方面，有了AI，提升了大家的工作效率，一些重复的简单劳动可以通过大模型来帮忙完成；另一方面，在安全领域，攻击者也可以借助AI实施更高级的攻击，那就给安防工作增加了难度。

当然，现在的安防工作者也都积极拥抱AI，漏洞检测、钓鱼邮件检测等，也都使用了AI的手段进行。此外，基于安全的知识库，安防工作者也可以做一个安全的智能体，就可以帮助安全领域的新手进行自主学习或者求助，能够帮助他们迅速提升技能。

此外，安全的运营也已经采用了AI的手段，包括告警的预处理等工作，都已经借助AI的辅助功能来进行。

曹东：除了基础的防护之外，我们有两个重点方向。第一个是AI进行辅助安全防护和安全管理，这是一个重要的实践方向，对于大批量的日志进行智能降噪等，已经进入应用阶段；第二个是将AI赋能到具体的防护类设备上，通过在设备中集成AI能力来实现异常威胁的快速检测；第三点就是采用大模型来进行权限的划分，针对不同的用户和不同的分公司、不同的部门，可以调用不同的模型或者不同的知识库，这样就可以有效防止不同权限的用户针对数据的越权访问的问题。

Q6：大模型带来的安全风险，对于大家工作生活可能的影响是什么？

惠静：随着大模型应用的广泛化，如果生成式的内容有虚假，再用这个内容进行训练模型，那么经过多轮迭代之后，就很难判断这个内容的真假。

如果你是某个领域的专家，还可以进行判断；但是对于刚入行的人来说，就很难判断大模型输出的内容的真假。

如果大模型创造了大量的文学作品，那就有可能被混杂在人工创作的作品中，无法让人感受到真实创作的现实感和美感。这就是需要对生成式内容进行标识的原因所在。

王文宇：AI大模型改变了网络安全，也会改变更多的千行百业。对于安全行业来说，很多研发团队对于大模型的使用，已经导致整个研发结构都发生了很多变化，对于未来的生产结构，也会产生影响。

更重要的是，AI大模型已经相当于一个硅基体的超级人类，一定会改变我们人类对于世界的理解和认知。

未来三五年内如果出现大模型领域的杀手级应用，我们对于这一点的感知会更加深刻。

曹东：之前大家做大模型，更偏向于内容生成式AI。但是现在具身智能成为了热门的话题，具身智能真正发展起来之后，不管是在无人机还是智能汽车领域，都会对现有的行业产生重大的冲击。

那么，这些具身智能的安全问题，包括代码层面的安全、物理层面的安全，也会引发更多的关注。

邓昊：现在很多企业通过智能体来制造员工的数字分身，那么如果数字分身越来越多，靠数字分身完成的工作越来越多，万一出现事故，谁来承担责任？是员工，还是员工的数字分身？毕竟，数字分身是可能被攻击，或者出现程序性的错误，那就可能会带来意料之外的后果。

不管怎么说，都要积极拥抱AI，积极学习，利用好大模型这个工具来为人类服务。更重要的是，要做好AI伦理的规范，让大模型积极向善，来规避AI所带来的风险。

宋中伟：未来数据中心里面，防护性能肯定会进步，安全运营团队也会相对轻松一些，运维人员可能更会偏向搭建安全架构，辅助AI做一些审计和审核，不会像传统方式下审核日志那么痛苦。