近日,中国电信广东公司携手中国电信研究院,在智算网络领域取得重大技术突破。他们成功完成了Deepseek-671B满血版长距跨数据中心分布式无损智算推理网络的技术验证。这一成果为企业按需扩容算力及推理数据本地化存储提供了创新解决方案,标志着中国电信在智算网络技术创新上迈出关键一步。
实验中,推理任务被合理分配到边缘节点和云端,云、边之间通过KV Cache协同,有效降低成本,提升体验。基于昇腾PD分离的大EP推理架构,对DeepSeek 671B模型进行压力验证,结果显示,即使在长距低带宽场景下,关键指标仍能达标,满足企业AI推理需求和安全要求。
这一技术突破将变革企业算力部署模式。企业只需在园区部署少量算力服务器,结合云端资源灵活调用,降低成本,突破空间限制。PD分离架构保障数据安全。
丁丁打折网©版权所有,未经许可严禁复制或镜像 ICP证: 湘ICP备20009233号-2
Powered by 丁丁打折网本站为非营利性网站,本站内容均来自网络转载或网友提供,如有侵权或夸大不实请及时联系我们删除!本站不承担任何争议和法律责任!
技术支持:丁丁网 dddazhe@hotmail.com & 2010-2020 All
rights reserved