随着深求引擎等大型模型功能愈发强大，其应用范围也在迅速拓展，为了能在保证产出的精确性同时提升推理效率与处理能力，这是企业实际在使用这些大型语言模型时遇到的一大挑战。

京东云自研的JoyBuild推理引擎基于Prefill-Decode分离架构设计，实现了计算密集型和访存密集型任务的有效分离，并结合专家级并行技术和负载均衡技术来降低模型推理的成本，以大约90%的效率将MoE模型推理的成本降了下来。此外，结合了我们自主研发的云海AI存储技术，能够实现高效的KV缓存存储及检索功能。通过内存代替计算，进一步降低了推理成本，并且在智能编码和智能体等应用场景中实现了高比例的命中率超过60%。

2、大模型能力的持续提升正在推动推理需求的快速增长

DeepSeek引起了广泛的关注和反响，不仅引发了开源大模型的热潮，也在推动主流模型推出新版本的过程中起到了重要的作用，这些强大的模型在很大程度上提高了推理场景下的应用范围。IDC发布最新报告《中国人工智能计算力发展评估报告2025》，显示推理服务器的占比将大幅度上升，到2028年预测比例将超过73%。

与训练相比，推理更偏重于效率、延时以及吞吐率等考量因素，而这些特性是决定产品在生产环境中的性能、成本及体验的重要环节，目前，大型模型推理正处于严峻的挑战之中。

首先，随着大模型参数规模的不断扩大以及算力需求的增长，单纯依靠硬件堆叠以提升计算能力会增加极大的成本压力。私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596如果想要应对更加复杂且耗时较长的场景与流程，已经有些业务要求存储数据在128K级别上，并提出对带宽和延迟都有严格考验的需求。

再次，对于不同情境下的推断能力有显著性差别。例如，用于客户支持的智能客服系统和用于对话系统的系统就可能有较高的即时反馈要求，因此在设计时应当注重保证其处理时间。另外，在视频生成的情况下，为了大规模地生成内容，对吞吐率有着更高需求，而推理引擎需要针对这些场景的不同特征进行针对性优化。

此外，面对海外高性能芯片的供应中断，更多国产GPU产品都具备支持大模型的能力，并且正在成为主流，这主要因为异构计算将成为趋势——不同类型的处理器（如GPU、AI专用ASIC以及CPU等）在指令集、运行时环境等方面有着显著区别，在这种背景下，推理引擎需要根据不同的硬件配置进行优化，涉及算子适配、通信库适配以及设备驱动的适配等多个方面。

3. 京东云自主研发的JoyBuild推理引擎具有三大关键特性：加速AI流程

京东云推出JoyBuild推理引擎，通过高效的KV缓存机制、PD分离与编译优化技术以及异构算力的高效适配，显著提升了推理性能，并能支持统一管理异构GPU/CPU集群，内核驱动优化可提升单服务器性能约50%，实现高私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596效率的推理解决方案。

JoyBuild推理引擎采用京东云自研的云海AI存储平台，并在此基础上构建高效的KV缓存机制，从而显著提升了推理性能和响应延迟。这种优化可使长文与多轮对话的处理过程缩短 60%，同时通过负载均衡技术，推理吞吐量也提高了100%。

JoyBuild推理引擎采用PD分离架构来提高数据在各个实例间的通信效率，减少KV缓存传输时延；通过将专家部署在不同GPU上以实现MOE专家的分布式推理，并进一步提升了高并发场景下的并行性能；该产品在算子和图层面深度优化的基础上，结合计算图技术降低了CPU与GPU之间的交互开销，整体吞吐量提高了30%以上。

在异构算力适配管理方面，支持对多元异构算力资源的统一管理，创新的GPU算力切分池化技术，内核级1%算力和MB级显存的细粒度切分，GPU利用率最高提升70%。同时JoyBuild推理引擎支持基于昇腾集群的Prefill服务和N卡集群Decode服务架构，充分利用不同服务器优势，进一步降低模型推理成本。

大模型的优化升级需依赖于“算法 - 硬件 - 场景”的全栈集成改进，通过强化学习和动态推理来提升模型运算效率；同时，利用软硬件协同技术及分布式部署策略来克服硬件性能限制，并借助压缩模型与边缘计算的组合，推动场景落地。展望未来，京东云将在MoE 模型推理、多模态泛化与自适应计算领域深入探索，最终实现推理效能的大幅跃升以及模型泛化能力的全面提升。