搜索
中关村商情网 首页 IT业界 科技资讯 查看内容

联想发布端侧AI新技术 PC本地推理能力媲美 OpenAI-mini

2025-5-8 06:56| 发布者: CZN| 查看: 3| 评论: 0|原作者: 快科技|来自: mydrivers.com

中关村商情网讯:今日,联想创新科技大会(Tech World)以“让AI成为创新生产力”为主题,聚焦混合式人工智能,从个人到企业,全方位展示联想创新技术成果。,会上,联想展示了其在端侧算力方面的最新创新成果 —— “联想推理加速引擎”。,,据了解,这款由联想、清华大学及无问芯穹联合研发的推理引擎, 是专为高效AI PC推理而设计的软硬件协同优化平台,可以让一台普通PC的本地推理能力,媲美OpenAI去年发布的o1-mini云端模型。,“联想推理加速引擎”通过高性能并行解码、算子融合优化以及异构计算技术, 实现了多种应用场景下推理速度的大幅提升,以及功耗和内存占用的显著降低。,与大模型推理芯片相结合,通过硬件加速与软件优化的无缝协作,进一步放大了性能提升,形成了叠加效应。,为直观展示 “联想推理加速引擎”的实力,现场设置了一场“竞速赛”。三台配置相同的AI PC同时解答2024年高考数学压轴题:,初代大模型:耗时 27秒,答案 0分。,二代大模型:耗时 26秒,答案 满分。,二代大模型+“联想推理加速引擎”:耗时13秒,答案满分。,这表明模型能力的提升和 “联想推理加速引擎”对算力的提升,让设备的预填充更为迅速、解码速度更快、推理时间更短,同时占用内存更少,能耗更低,设备上的 AI 能力得到了大幅提升。,联想集团董事长兼CEO杨元庆表示,很快大家就会在即将发布的下一代 AI PC 上体验到 “联想推理加速引擎”带来的强大本地推理能力,其性能可以与云端大模型相媲美,但成本却低得多。,

鲜花

握手

雷人

路过

鸡蛋

最新评论

返回顶部