 第三代骁龙8之所能提供终端侧运行AI大模型的能力，除了本身就极为强悍的AI能力之外，还得益于高通对端侧AI大模型发展的观察、理解与深度参与，一方面是因为模型变得愈来愈好，比如高通发现拥有130亿参数的Meta Llama 2模型的表现其实并不逊色于拥有1750亿参数的ChatGPT-3模型，这也意味着强大的生成式AI模型正不断缩小;另一方面高通一直在利用INT4模型进行数据推理，通过INT模型进行量化是因为它的量化效果和效率相比常见的浮点模型更出色，将拥有70亿参数的模型量化至INT4模型，与将相同参数规模的模型量化至16FP或32FP浮点模型相比，能够有效降低内存带宽占用，让AI大模型推理更契合移动端的高能效低功耗需求。 可以预见的是，2024年，AI能力——无论是算力规模、每瓦性能、Token生成速度还是调通LLM/LVM的参数量级——都将加入移动SoC“核心规格”的定义之中。 从硬件到软件 骁龙AI的生态闭环 有了以第三代骁龙8为代表的新一代移动平台作为端侧AI大模型支撑，国内各家早已备好且多次刷榜的自研大模型终于得以落地终端，小米澎湃OS迎来了史上最强的小爱同学大模型，OriginOS 4得以端侧加载10亿与70亿参数的蓝心大模型，ColorOS 14也迎来了AndesGPT全新加持。各家对于AI大模型的具体用例百花齐放，包括但不限于支持自然语义理解的语音助手、实时字幕、文档总结、自动生成脑图、超能搜索、闪速抠图、文案生成、风格化图片、照片背景替换、图片识别、图片生成等等等等……端侧AI大模型可以把用户从繁琐重复的日常操作中解放出来，云侧大模型可以基于庞大的模型参数消弭认知差距，填平通识沟壑，让用户以好的状态投入更具创新性的工作之中，这才是人类擅长的事情，这也是生成式AI的真正力量。
 为了推动端侧AI大模型的普及与混合AI愿景的实现，高通早在去年就推出了高通AI软件栈，这是一套旨在帮助开发者一次编写、随处运行，实现规模化部署的开发工具。高通AI软件栈全面支持主流AI框架，还集成了推理软件开发包，比如高通神经网络处理SDK。支持最新编程语言、虚拟平台和编译器，在底层系统软件集成了基础的实时操作系统(RTOS)、系统接口和驱动程序，还支持广泛的操作系统，以及用于部署和监控的基础设施。高通AI软件栈还集成了开发工具高通AI Studio，支持从模型设计到优化、部署和分析的完整工作流。它将高通提供的全部工具集成到一个图形用户界面，并利用可视化工具以简化开发者体验， 支持开发者实时查看模型开发进度，这其中包括高通AI模型增效工具包(AIMET)、AI模型增效工具包模型库、模型分析器和神经网络架构搜索。
 AI软件生态之外，多设备协同也是端侧AI体验的进一步延伸，对此，高通拥有一个无可比拟的优势——数十亿计的高通与骁龙平台保有量，而且智能手机之外还涵盖了汽车中控、XR、AR、PC以及物联网设备，其中针对XR设备的全新XR2和AR1片均支持了眼镜侧AI，第一代高通S7音频系列平台甚至实现了超过100倍的端侧AI性能提升，每年还有数亿台搭载骁龙和高通平台的终端设备进入市场。高通也为Android厂商与用户带来了全新的Snapdragon Seamless跨平台互联技术，可实现多台终端跨多个操作系统无缝连接，共享外设和数据。包括微软、Android团队、小米、华硕、荣耀、联想和OPPO在内的公司正与高通合作，打造Snapdragon Seamless赋能的多终端体验，Snapdragon Seamless示范用例描绘了相当未来的智能体验，包括鼠标和键盘可在PC、手机和平板电脑上无缝使用，文件和窗口可在不同类型的终端间拖放，耳塞可根据音源的优先级进行智能切换，XR可为智能手机提供扩展功能等等。 总的来说，围绕第三代骁龙8移动平台，高通构建了一套完整的AI生态体系，包括性能领先的端侧AI引擎搭建的硬件闭环，帮助开发者实现一次编写规模化部署的高通AI软件栈的软件生态，以及挖掘以十亿计的设备保有量潜在能力的高通Seamless互联协议。这一套先进硬件为基石，软件生态为框架，并辅以跨品牌跨平台互联协议填充细节的端侧AI生态，是高通在移动端端侧AI领域独一无二的生态优势，而在即将到来的移动端AI新浪潮中，高通将以此成为启幕移动智能“芯”时代的重要参与者。
 (本文转载自Vetrax嚣张卫视 微博文章) |
/1 
