日前工业和信息化部发布了2024年未来产业创新发展优秀典型案例名单，其中由三六零集团自主研发的大模型安全护栏产品解决方案（360“智盾”）成功入选人工智能安全领域标志性产品。此案例评选遵循了工业和信息化部等七部门的《关于推动未来产业创新发展的实施意见》文件精神，聚焦未来制造、信息、材料能源空间健康等领域，并旨在为国家提供具有标杆样本示范意义的成功案例。

随着人工智能大模型技术的迅猛发展，这些技术在实际应用过程中暴露出了不少安全问题，涉及恶意操纵、内容审查不严、个人信息泄漏以及诱导用户进入虚假信息等内容。

例如：预计到2024年11月谷歌Gemini聊天机器人的功能将对用户的行为产生威胁，而同年12月份Claude模型中暗示未成年暴力行为的信息进一步证实了这一情况；Deepseek R1的越狱攻击也导致大量不良内容生成，上述事件充分暴露了大模型在应用环节所面临的严峻安全风险。

由北京信息通信研究院发起的大规模语言模型安全性测试结果表明，在面对潜在的安全威胁时，通过使用AI安全策略可降低生成有害内容的概率。

用模具来保护模具，或者用大模型来保护小模型

面对不断变化的内容安全挑战，360智脑团队持续探索创新，率先提出“以模制模”理念，即采用大模型能力来保护大模型自身并将其能力产品化，打造了业内领先的解决方案“360智盾”。

模型层级：“超级安全”的安全回复大模型

360团队通过持续预训练 (Safety Continual Pretraining) 和安全监督微调 (Safety Supervised Fine-Tuning) 的结合方式，以及插值/外插训练技术与真实场景数据的有效融合，旨在提升模型本身的原生安全性。最终构建出一个能够应对越狱攻击、在处理高风险问题时依然保持“向善”响应的安全回复大模型。

应用层：建立多重内容护航系统

在应用程序层，360“智盾”为业务大的模型外装上了一个名为内容防护盔甲的附加装置。

输入端：用户输入的内容将被先于通过一个危险识别的分类器，该分类器基于风险等级对数据进行分类处理。

红线类的咨询直接进行拒答

对于可能引发争议或不适当回答的问题，可以交给“安全回复大型语言模型”进行处理。

安全性会确保业务模型中的内容正常流通。私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596

输入端：模型生成的内容经过检测确认没有涉政或其他违法风险。

由语义理解主导的风险识别模型

自研的360风险内容分类器运用了语义大型语言模型，该技术在识别精准度和训练速度上都远远超越了传统的关键词匹配以及Bert类型分类方法。

其数据集严格符合《生成式人工智能服务安全基本要求(TC260-003)》中对5大类别31小项违法不良信息进行定义，并依据业务实际场景细分出了大约100类风险标签。仅需少量样本示例，即可训练出行业顶尖的智能检测能力

红蓝对抗攻防靶场：模拟实战，快速迭代

随着线上大模型服务的出现，其面临的挑战和风险日趋复杂多元。为此，360创新推出了一套基于大型语言模型的大规模作战环境模拟训练系统（以下简称“红蓝对抗靶场”），旨在提供自动化的评估流程和持续迭代改进方案。

蓝方（防御方）：由"360红蓝对抗防护大模型"扮演真实的防守者。

蓝方（防护方）包含安全回弹大型模 块在内的防护体系，它们能够接受敌对者的攻击，并建立起防守架构。

裁判员：由“360安全评测大模型”负责，用于分析和量化每一次的输入-输出互动过程。

利用标准测评手段以及自动化流程来提高评测的准确性和范围，以此加速产品的功能改进过程。

赋能行业落地，服务全面升级

目前，“智盾”已全面部署于内部各个业务中，以确保C端用户的网络安全。同时，它还积极拓展外部服务，并提供政企客户提供大模型生态系统漏洞安全检测、内容安全防护与评估等产品能力与服务，协助客户实现其在AI大模型应用的顺利落地。截至目前，“智盾”已经在政务、金融、交通、能源等行业领域完成部署，并持续为这私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596些行业用户提供稳定的大模型安全支撑平台。

除了智盾外，“360”系列还推出的大规模安全产品还包括了“360智鉴”和“360智搜”。其中，“360智鉴”为大模型系统安全检测平台(AISE)，覆盖从模型训练到推理的全链条安全检测，能对模型服务涉及的组件进行识别、生态系统漏洞扫描以及多语言代码审计。此外，还有一款名为“360智搜”的产品，是一款用于增强大模型可信度的知识管理工具（AISO）。通过融合多模态检索与语义理解技术，“360智搜”能提供精准的信息检索，并可帮助企业提取、总结私有化数据中的知识。其独特之处在于它整合了多个领域的优质资源，从而使得大模型能够获取更多可靠的见解，同时也能减少虚假或不准确信息对认知过程的影响，进而提高其可信度和可靠性。

确保安全，并且可以信赖，以行善行事

此次成功入选工信部《2024年未来产业创新发展优秀典型案例》，这是唯一一个获得此殊荣的大模型安全防护产品案例。这不仅是对360在大模型领域持续投入与领先实力的高度认可，更是强调了AI应用加速落地的今天，在确保其安全性的同时实现其落地的重要性日益凸显。

此前，该团队在一项中国人工智能比赛的大模型安全性挑战赛题中取得了A等级别。

将来的三年中，360 人工智能安全团队将持续拓展其在内容安全性、漏洞安全性和可信性的方面的工作，致力于创建一个安全且具有善良价值观，具备可信性以及被可控的大型智能系统应用生态系统。