联想发布端侧AI新技术可使PC本地推理能力媲美o1-mini

当前位置 : 首页>电脑数码>联想发布端侧AI新技术可使PC本地推理能力媲美o1-mini

联想发布端侧AI新技术可使PC本地推理能力媲美o1-mini

【太平洋科技快讯】5 月 7 日，联想在创新科技大会(Tech World)上展示了其在端侧算力方面的最新创新成果——“联想推理加速引擎”。这款由联想、清华大学及无问芯穹联合研发的推理引擎，是专为高效 AI PC 推理而设计的软硬件协同优化平台，可以让一台普通PC的本地推理能力媲美OpenAI去年发布的o1-mini云端模型。

“联想推理加速引擎”采用了多项前沿技术，包括高性能并行解码、算子融合优化以及异构计算技术。这些技术的协同作用，使得该引擎在多种应用场景下能够大幅提升推理速度，同时显著降低功耗和占用。此外，当与大模型推理芯片相结合时，硬件加速与软件优化的无缝协作进一步放大了性能提升，形成了强大的叠加效应。

为了直观展示“联想推理加速引擎”的强大实力，大会现场设置了一场别开生面的“竞速赛”。三台配置相同的 AI PC 同时解答 2024 年高考数学压轴题。结果显示，初代大模型耗时 27 秒，答案得分为 0 分;二代大模型耗时 26 秒，答案满分;而搭载了“联想推理加速引擎”的二代大模型仅耗时 13 秒，答案同样满分。

联想集团董事长兼 CEO 杨元庆在大会上表示：“很快，大家就会在即将发布的下一代 AI PC 上体验到‘联想推理加速引擎’带来的强大本地推理能力。其性能可以与云端大模型相媲美，但成本却低得多。”这一创新技术的发布，预示着 AI 在个人计算领域的应用将更加广泛和高效，为用户带来更加智能和便捷的体验。

本文转载于：https://www.sohu.com/a/892921399_223764 如有侵犯，请联系dddazheyh@163.com删除