大小模型端云协同学习 | CCCF精选

虽然超大规模预训练模型解决了传统深度学习的应用碎片化难题，形成了从弱人工智能向通用人工智能的突破性进展，但其性能提升与能耗增长不成比例的问题已经限制了大模型参数规模继续扩张，并凸显了在移动端等边缘垂直化智能应用中难以落地的瓶颈。未来深度学习研究的一个重要出路就是从大模型参数竞赛走向大小模型端云协同学习。一方面，云侧大模型可以向端侧小模型输出必要的垂直领域知识；另一方面，端侧小模型负责靠近用户的高实时性推理，同时基于本地用户数据有针对性地持续进化，增强个性化精准服务能力。大小模型端云协同学习通过部署小模型至端侧，让端侧小模型与云侧大模型协同完成学习任务，从而发挥终端设备靠近用户和数据源的天然优势，将智能服务延时降低至毫秒级，增强模型个性化精准推理的能力，缓解云服务器中心瓶颈压力，同时支持用户隐私数据在终端设备本地处理。阿里巴巴达摩院、高德纳（Gartner）、高通等国内外知名机构都将云上大模型与端侧小模型的协同进化预测为革新智能计算范式的科技趋势。苹果、华为、OPPO、荣耀、小米等领先的手机厂商也意识到了这一趋势，并积极探索自研生成式小模型与云侧大模型协同方案，推出了诸如智能助手类的创新应用，以提升用户体验并增加产品的竞争力。

然而，异构端云设备执行复杂多样的学习任务对理论与技术都提出了全新挑战，云侧大模型全局知识难以向端侧小模型低损降维迁移，端侧小模型基于本地少量样本难以持续有效地迭代训练，多端异构小模型所得新知识难以高效迁移聚合，因此无法满足大规模分布式智能系统泛在应用与协同演进的需求，具体表现如下。（1）复杂模型难以弹性拆分：云侧模型结构复杂、参数规模大，推理和训练资源需求高，而端侧设备内存和计算资源受限且差异性大，同时神经网络不同功能模块强耦合，导致云侧大模型难以弹性拆分轻量化部署至端侧；（2）轻量模型难以个性增强：端侧数据稀疏异质，单个终端本地有效训练数据不足，又难以独立获取跨域增强数据，导致端侧小模型增量学习容易陷入灾难性遗忘和过拟合的囹圄；（3）异构模型难以协同泛化：不同终端模型结构差异大，端云模型维度差异大，异构表征新知识难以有效迁移，多端更新升维聚合收敛慢，甚至发散。

本期专题围绕大小模型端云协同学习的主题，邀请学术界和产业界在大小模型端云协同学习方面的专家学者，从算法理论、关键技术、系统平台、产业应用等多个方面提供洞见和引领。

上海交通大学牛超越等人撰写的《生成式大小模型端云协同学习》一文，针对生成式大模型在云侧部署面临的高负载成本、数据稀缺、服务响应延迟及隐私安全风险等瓶颈，指出与端侧小模型协同的必要性。该文章首先介绍了背景与现状，强调了国内外政策支持和市场规模增长；然后描述了大小模型协同优化的目标，并提出了任务协同、样本协同、特征协同和参数协同四个框架；此外，还总结了相关研究的主要进展，并指出了未来潜在的研究方向，包括如何在保护端侧用户数据隐私的同时增强云侧大模型的能力、突破端侧自回归模型微调的内存限制等技术挑战。

在《ModelGPT：大模型助力边端本地模型定制生成》一文中，浙江大学教授吴飞团队聚焦小数据量和低算力环境下边端应用场景中的模型定制问题。该文章首先分析了通用大模型范式在边端本地部署及适应多样化需求方面的局限性，并详细介绍了以需求生成器和模型定制器为核心的设计框架，其中生成器将边端用户输入转化为明确的需求描述，而模型定制器则将这些需求转化为具体的模型架构和参数，通过大模型与超网络技术，为边缘智能的发展提供了新思路。

华东师范大学副教授王廷等人在《个性化联邦学习：隐私保护下的定制化AI》一文中，首先指出了传统联邦学习全局模型难以满足不同端侧用户的个性化需求，尤其面对非独立同分布数据和特定服务偏好时的局限性；进一步介绍了基于元学习、多任务学习、聚类及知识蒸馏的个性化方法等潜在解决思路，从而在保护隐私的同时，提高模型对本地差异的适应性。该文章还探讨了个性化联邦学习在多个领域的实际应用，并分析了关键挑战和未来发展方向。

在《设备无感知边缘模型协同推理》一文中，东南大学教授王帅团队针对边缘场景部署运行深度学习模型的挑战，提出了设备无感知计算范式，介绍了包含协同环境层、推理调度层和场景优化层的框架，并讨论了如何通过沙箱环境、多沙箱混合部署、自动扩缩容等技术实现高效资源调度与管理。此外，该文章还针对持续学习和联邦学习等特定任务场景进行了探讨。

北京大学研究员李锭团队在《端云协同背景下基于可信执行环境的端侧模型隐私保护技术》一文中，介绍了基于模型切分的端云协同模型保护方法，该方法将模型的敏感数据部分置于可信执行环境内以保障安全，而非敏感部分则利用外部GPU进行高效计算。该文章还分析了当前技术面临的挑战，如计算能力限制和通信瓶颈，并展示了实际应用案例，包括手机隐私保护、金融数据安全计算、自动驾驶等，最后还展望了未来研究方向，如高性能GPU集成等。

阿里巴巴集团资深技术专家吕承飞的Meta技术团队在《基于MNN的端侧大语言模型推理优化实践》一文中，介绍了基于自研端侧深度学习引擎MNN的大模型推理框架，概述了端侧部署大语言模型的重要性及挑战，介绍了DRAM-Flash混合存储、组合量化、硬件驱动的数据重排、多核负载均衡等内存和计算优化方案。此外，该文章还讨论了针对注意力机制和低秩适配器的优化策略，并通过对比测试凸显相比业界主流框架的性能优势。

本专题的6篇文章从不同角度对大小模型端云协同学习面临的问题和挑战进行了剖析，介绍了学术界和工业界的最新进展动态，包括端侧模型轻量化生成、轻量模型个性化增强、生成式大小模型协同学习、端云协同资源调度、面向可信执行环境的深度学习模型切分等关键理论技术以及大模型推理引擎。希望本期专题能够启发相关领域的同行在理论、技术和实践方面的工作，同时期待能够吸引更多的专家、学者和工程师关注并参与到这个方向，聚焦大模型弹性拆分功能解耦、端侧模型持续学习、大小异构模型协同优化等挑战方向，共同推进大小模型端云协同学习的发展，并在更多的产业界场景落地应用实践，以期产生显著的经济和社会效益。

CCF推荐