近期，京东云JoyScale AI算力服务平台能力又得到了进一步提升，它能够调度行业最全的国产异构算力资源，支持包括十多种国产AI计算卡、超过二十种训练推理框架等10+家国产AI算力设备，并且是业界第一个同时支持英伟达显卡和华为昇腾NPU远程调用能力的云平台。

人工智能正在飞速发展并成为市场需求的一部分，AI Native 算力平台由此应运而生。

随着人工智能（AI）的应用日益广泛，它们给基础架构带来了前所未有的新挑战，这些挑战促使我们寻找一个支持 AI 的 AI 算力平台。

一方面，以CPU为中心的架构在支持人工智能原生应用方面存在瓶颈和挑战。为了提升这一基础设施，必须重构以GPU为核心的计算环境。在国内，我们还需要解决GPU型号多样化带来的异构问题。另一方面，在AI应用深度的推动下，推理需求持续增加，并且对计算资源的需求也相应增长。因此，企业需要重新考量投资与产出的关系，希望人工智能算力像过去一样实现最大限度的效率提升。此外，国际供应链对于GPU的安全性越来越敏感，特别是在金融和政务等行业的使用中。为此，AI算力国产化替代进程不断加速，合规要求也在推动这一过程的进一步发展。

京东云新推出的JoyScale AI算力平台是针对大模型训练和推理的高算力需求所打造，该平台的核心组件为GPU（图形处理器）。它采用了高效的异构计算调度方式，能够为用户提供强大且高性能的推理能力，满足客户的需求。

全面升级后，JoyScale已实现对行业范围内最大的计算能力进行多样的异构调度。

JoyScale AI算力平台是基于京东内部标准化的GPU池化实践打造的同源同栈型AI基础设施算力平台，能够支持训练任务和推理服务的一致调度与资源共享，为10+款国产AI算力卡提供20+种训练及推理框架的选择。同时，JoyScale AI算力平台也是唯一一个同时支持英伟达显卡远程调用以及昇腾NPU远程调用的算力平台，是业界领先的计算资源池服务。私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596

它拥有四大关键优势：

极致算力性能。我们采用行业领先的内核态池化引擎，并提供多卡聚合、单卡切分、多机多卡集群化调度等多种能力以满足大参数模型集群化部署的要求。作为通过信通院最高等级双认证的AI算力平台，JoyScale可以保证金融级数据安全及性能与稳定性的要求。整体推理性能较目前同类产品提升50%。

JoyScale全面兼容多款国产算力平台，包括昇腾芯片、寒武纪芯片及海光等加速卡，支持不同硬件计算核心的统一管理与精细化运维，并提供云原生的AI调度功能，有效提高部署密度，整体资源利用率可提升70%。

深度研发国产AI生态合作关系。京东云与多家国产处理器供应商进行深入合作，共享运行时runtime层代码，采用GPU/NPU分区技术以消除异构芯片的复杂性，并在内核层屏蔽这些差异，提高处理速度。

支持超20种AI训推框架。训练框架支持PyTorch、TensorFlow、DeepSpeed，MindSpore等；推理框架支持vllm，sglang，MindIE，triton，TensorRT-LLM等。

3. 支持大模型的极致性能优化，让国产处理器能在最优状态下运行

基于对极致性能优化的追求JoyScale AI算力平台攻克了国产卡在运行主流模型上的技术难点并提供了解决方案。它作为业界唯一支持英伟达显卡和昇腾NPU远程调用的技术平台，实现了底层异构算力与上层AI应用分离，并且能够根据实际需求灵活分配算力资源以满足应用对计算能力的要求。

在服务器连接优化方面，JoyScale采用优化调度策略，能将国产服务器的互联结构与英伟达NVLink上的优化兼容，在保证算法任务性能、集群利用率以及业务运行的条件下，实现算法任务的最大化执行效率和最佳资源利用。同时通过智私家侦探，侦探公司，调查公司，查人找物，商务调查，出轨外遇调查，婚外情调查，私人调查，19209219596能识别CPU的NUMA布局及网络拓扑图，确保任务分配给最有效的计算及网络资源，并最大化完成任务的速度与效能。

JoyScale将提供更高效的资源利用效率，其产品设计支持国产GPU/NPU与英伟达/AMD等其他资源共同遵循同一资源队列机制，在集群中保持一定的资源保障量的同时也能共享集群的空闲资源。这样用户可以更好地定制计算任务，并实现更高的集群资源利用率。

在模型优化方面，GE图编译优化和ATB高性能算子技术的结合为Paged Attention、Flash Attention等操作带来了性能提升；流水线并行化算法可将算子setup、下发、计算过程转化为序列执行，在实现多模态推理时，有效减少了算子调度开销。同时，采用Prefill/Decode分离技术和KV缓存技术，对重复计算进行了有效优化，显著提高了推理的实时性。

在软硬协同优化方面，我们对热点算子进行了精细调优，实施了锯齿注意力、动态输入拼接、全子图下发和重计算流水线的独立调度与自适应重计算等深度优化措施，实现了百卡MFTF达到60%。此外，通过更新权重通信隐藏、CoC计算通信并行以及多机间RDMA通信技术，我们达到了扩展系数为0.93的目标，并在千兆到万亿参数模型训练的线上水平实现近线性扩展。

目前，基于京东集团丰富的实际操作经验和大数据实践，京东云已经构建了端到端的大规模模型能力矩阵，从底层的智算基础设施，再到中间层的服务和开发工具，以及上层的应用部署，全方位支持企业快速部署大型智能模型和应用。得益于京东内部实践中锤炼出的技术优势和技术产品，它能够帮助企业实现AI生产力的最大化重塑。