5月15日,京东探索研究院论文《Omniforce:以人为中心的、赋能大模型的、云边协同的自动机器学习系统》发表于Nature旗下期刊npj Artificial Intelligence,该项研究提出了一种在开放环境场景中训练、更新大模型,并与小模型协同部署的系统与方法,成为国内首个系统性解决开放环境下大模型开发效率难题并获国际顶刊认证的研究成果。该技术通过模型蒸馏、数据治理、训练优化与云边协同四大创新,将大模型推理效率平均提升30%,训练成本降低70%,为大模型规模化落地提供了可复用的技术范式。

京东大模型开发计算技术,推理平均提效30%
面对企业的大量尝试,目前还存在一些关键障碍。首先,在实施大模型的实际应用时,准入门槛非常高;其次,大模型的训练和推断效能也很低。
京东提供了强大的大型模型构建和开发技术,能够满足企业对复杂、庞大的AI模型进行训练和生产的需要,这些大型模型可以被精炼成更小型且功能精悍的版本,并保持其核心效能与稳定性。这一瘦身版的模型在运算成本上有着明显的节约优势,而且可以在多平台部署中实现灵活运用,极大地扩大了其应用范围。
在研究文中提出四个创新点:
· 通过动态层次式模型蒸馏,私家侦探,侦探公司,调查公司,查人找物,商务调查,出轨外遇调查,婚外情调查,私人调查,19209219596尤其是在预训练阶段执行这一操作,旨在提高在低资源场景中实施高效训练的效果。这种方法有助于降低大型模型的部署成本,优化其性能,并确保该模型能够快速适应不同规模的需求和环境变化。
数据治理的概念包括提出了适用于跨越多个领域的数据采样算法以及自动生成的混合数据集。该算法可以有效地结合来自各个领域、具有高度多样性特征的数据,并通过运用隐私保护技术与主动学习的方法来增强大型模型的泛化能力。
·利用贝叶斯优化(BO)技术改进算法,BO框架专为处理具有连续和离散维度的数据而设计,在MPMD场景中可提升性能高达40%。
云边协同的架构允许数据在云端对模型进行搜索和优化,边缘设备则用于实际的计算与推理过程,并且根据实际情况选择是否使用多阶段的压缩策略来适应可用硬件资源,从而提高云端和边缘协作的整体效率。

值得一提的是这个平台可以同时支持多个模型进行蒸馏和推理:包括京东大模型、Llama、DeepSeek等在内的多个模型。在模型的蒸馏层面,效果比同等规模的模型要明显提升。以京东大模型为例,它的训练结果提升了14分。大量的实验数据也验证了这种模式的有效性和效率。推理的平均提高达到了30%,而训练的成本则降低了70%
JoyBuild提供大型模型开发的计算平台,使训练和应用模型更易实现与普及。
这项技术为京东搭建的大型建模开发服务平台,包括各行私家侦探,侦探公司,调查公司,查人找物,商务调查,出轨外遇调查,婚外情调查,私人调查,19209219596各业用户提供广泛的支撑。
JoyBuild可为大模型开发及行业应用开发提供定制化解决方案。JoyBuild支持各类模型的调优开发,并内置了20多种开源模型与丰富数据集。它还提供了100多种算法和工具链,帮助企业根据自身业务特点将通用模型转换成专业模型,从而实现大模型的一站式应用。
在一周之内,您将可将全部流程包括数据准备、模型训练以及模型部署简化到极致。而之前需要组建一个由数十人组成的科学家团队去完成的工作,现在只需要一至两名算法人员便可完成。另外,在平台模型加速工具的帮助下,您的推理成本能节省90%的费用。
京东业务领域的广泛布局,为平台上的基础大模型提供具体的应用场景。通过将知识库扩展至行业知识库之外的领域,包括零售、物流、健康、金融等,并融入供应链优化、智能客服和营销内容生成等功能,旨在加速基于大模型的技术应用。
京东给出的大模型解决方案并非“黑箱”而是用于解决大模型训练效率及应用问题的通用路径,并且这条路径是真正的授人以渔为学术界与产业界提供广泛参考价值未来,京东将继续提升大模型开发与计算能力降低中小型和大型企业构建专属AI应用的成本同时,为AI规模化应用落地提供支持
顶: 1踩: 95






评论专区