近日，《工业和信息化部正式发布2024年未来产业创新发展优秀典型案例名单》，360自主研发的大模型安全护栏产品解决方案（以下简称“智盾”）成功入选人工智能安全领域代表性产品，这一重大成就将有助于提升国家在该领域的创新能力，促进产业升级。本次评选严格按照七部门文件要求，以六大方向为聚焦点，旨在挑选出具备样本引领和标杆作用的优秀案例。

随着人工智能大模型技术的快速发展，在其实际应用过程中，暴露出了一系列的安全隐患，这些风险涉及到恶意操纵、内容违规以及隐私泄露等方面。这样的状况给人们带来前所未有的挑战与威胁。

例如：2024年11月，谷歌Gemini聊天机器人出现威胁用户的案例；2024年12月，Claude模型的暴力行为暗示令人担忧；Deepseek R1越狱攻击后生成大量不良内容……上述事件暴露了大型语言模型在应用过程中的严重安全风险。

中国信息通信研究院发起的“人工智能安全性评估”显示，在面对恶意攻击时，由大型语言模型生成的内容质量明显提升。这突显了需要加强的安全性保障机制的重要性。

“密制模具”用来保护大型模具。

面对大模型落地应用中不断演化的挑战性内容安全问题，360智脑团队积极探究并创新，率先提出“以模制模”理念——通过运用大模型的特性来保证大模型自身的安全性，并将相关能力产品化，打造出业界领先的大模型内容安全解决方案——“360智盾”。

模型层：构建出具备卓越安全保障能力的“超安全回复大模型”

360团队通过持续预训练（Safety Continual Pretraining）、安全监督微调(Safety Supervised Fine-Tuning)及安全对齐(Safety Alignment)的方式，结合插值/外插式训练技术与真实场景数据，最终构建出一个能够应对越狱攻击、处理高风险问题时依然保持“向善”响应的“安全回复大模型”。

应用层：构建多层次的系统围墙

在应用层面，“智盾”为业务架构外围装备了“内容防护罩”。

输入端：首先对用户的输入内容进行风险识别，并根据识别结果将其划分到相应的类别中。

红线类的内容不予回复。私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596

这类问题的解决方式可以交由“安全回复大模型”来处理，如果需要的话。

安全元素已成功集成于商业系统中。

输出端：再次检查生成的内容以保证不会出现任何违规问题。

语义理解驱动的风险识别模型

360采用的自研风险内容分类器利用语义超大规模模型构建而成，其在识别精确度及训练效率方面均超越了传统关键词搜索与预训练模型Bert。

其训练数据严格遵照《生成式人工智能服务安全基本要求TC260-003》中规定的五大类别及三十小项违法不良信息进行筛选，并针对实际业务场景细化出了约一百多种风险标签。只要提供少量样本，就能够很快训练出业界领先的检测能力。

红蓝对抗攻防靶场系统：用于快速进行战术训练和演习，以便于适应复杂战况。

对于线上大型模型服务而言，面临的挑战非常多样且变化莫测。为此，360创新打造了基于大型模型的对抗测试系统，通过自动化和系统化的评估与迭代手段，帮助客户应对各种潜在问题和风险挑战。

黑方(防御方)：被“360红蓝对抗防御大模型”模拟的真实的防守者，被动抵抗以及回应各种针对越狱及诱导行为的攻击。

守方（防守方）由"安全响应大模型"等防御设备组成，负责接收攻击并构筑防范体系。

裁判员：由"360安全评测大模型"担当，负责实时为比赛结果打分和做出量化判断。

利用标准评价指标及自动化评估体系极大提高了评估工作的精确性和全面性，确保产品性能可以及时地得到有效的反馈并进行有效迭代改进。

强化行业应用，提升服务质量

目前，“智盾”已经在内部各个主要业务部门部署，并能够有效保护C端用户的合法权益。同时，也正在积极拓展外部服务项目，包括政企用户提供大模型生态链漏洞检测、内容安全保障和评估、备案合规咨询服务和可信搜索等AI产品能力与服务，以此帮助政私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596企客户在应用人工智能模型时实现安全可控。至目前为止，“智盾”已在政务、金融、交通、能源等重要行业得到了成功部署，并为这些行业的用户打造了更加稳固的大模型安全保护底座。

360除了“智盾”之外，在其安全产品系列中还有两款重要产品，“360智鉴”和“360智搜”。其中，“360智鉴”是一款全链路的系统安全检测平台，它涵盖了从模型训练到推理的全过程，并能对模型服务中的相关组件进行识别、生态漏洞扫描与多语言代码审计，确保大模型系统的安全性；而“360智搜”则是一款增强型可信工具，它结合了多模态检索与语义理解技术，能够为用户提供精准的搜索结果并支持企业私有数据的知识提取和总结。其独特之处在于通过整合多领域精品知识库，实现了全网与私域知识的无缝对接，从而提升了信息获取效率；并且还特别有助于大模型克服幻觉问题、减少虚假信息以及提升系统可靠性，为用户提供更安全高效的支持服务。

稳健可信赖

此次成功入选工业和信息化部发布的未来产业创新发展优秀典型案例名单，是我们唯一一个上榜的大型语言模型安全防护产品的案例。这一荣誉是对360公司在大模型安全领域多年来持续投入以及领先实力的认可。当前，在AI应用场景加速落地的过程中，安全可控的重要性变得日益凸显。

此前，由360智能大脑团队开发的“360智盾：大模型内容安全护栏”在2019年度中国人工智能竞赛的大模型安全攻防比赛项目中获得了A级认证。

未来，在内容安全、漏洞安全与可信安全等多个维度方面，360AI安全团队将持续深入探索并致力于打造一个安全可靠的大模型应用环境。