重磅研讨实录 | 端侧大型语言模型的应用、风险与治理前瞻研讨会

本次会议由对外经济贸易大学法学院教授、博士生导师、对外经济贸易大学数字经济与法律创新研究中心主任张欣主持，中央财经大学法学院副院长、教授、《财经法学》副主编刘权，中国科协创新战略研究院研究员武虹，南方都市报北京新闻中心内容总监、南都数字经济治理研究中心负责人李玲分别担任四个讨论单元的主持人。央广网首席记者樊瑞担任开放讨论环节的主持人。

本次会议设置四个专题讨论单元：

第一单元聚焦“端侧大模型的技术演进与智能移动终端产业全景探析”，北京汉华飞天信安科技有限公司董事长兼总经理、315信息安全技术实验室技术专家彭根和21世纪经济报道合规新闻部副主任、CCIA数据安全工作委员会专家王俊分享了各自的专业见解。

第二单元围绕“AI手机应用中的数据隐私保护与安全治理”展开，北京大学法学院副院长、长聘副教授戴昕，北京航空航天大学法学院副教授赵精武，中国社会科学院法学研究所副研究员唐林垚进行了深入阐述和观点交流。

第三单元探讨“AI手机的安全风险评估与治理”，中国人民大学法学院教授、未来法治研究院副院长丁晓东，中国信通院互联网法律研究中心主任何波，同济大学法学院助理教授、上海市人工智能社会治理协同创新中心研究员朱悦以及中国信通院人工智能研究所高级业务主管呼娜英带来了各自领域的前沿思考。

第四单元聚焦“AI手机应用中的人机交互范式与伦理边界”问题，华东政法大学法律学院副教授、华东政法大学数字法治研究院副院长韩旭至和清华大学人工智能国际治理研究院助理研究员宋雨鑫贡献了精彩的学术观点。

会议伊始，对外经济贸易大学法学院张欣教授主持开幕致辞环节，向各位与会专家表达诚挚欢迎与衷心感谢。张欣教授指出，2024年被誉为“AI手机元年”，这一称谓背后体现的是产业技术与应用的跨越式发展。从Microsoft的Phi系列到DeepSeek-R1的重磅亮相，端侧大模型正以前所未有的速度迈向轻量化、高性能与低功耗的新阶段。DeepSeek等大模型的开源特性有效降低了产业准入门槛，为AI手机的普及奠定了坚实基础。国内各大手机厂商也正积极布局相关领域，移动智能终端生态即将迎来全新发展格局。然而，端侧大模型技术的迅速演进与创新部署方式也不可避免地带来一系列治理挑战。如何在技术创新与隐私安全之间寻求平衡，如何协调用户体验与数据安全的关系，如何构建负责任的产业生态，这些都是今天我们需要深入探讨的重要议题。本次会议有幸邀请到多位业界重量级嘉宾共同探讨相关话题，碰撞思维火花。我们期待在会议中以开放和建设性的态度展开对话，共同探索端侧大模型在移动智能终端的未来发展方向，厘清各种技术路径的潜在收益与风险，凝聚产业生态共识，为构建负责任的端侧人工智能创新生态贡献智慧与力量。

图为张欣教授作开幕式致辞

本次会议第一单元聚焦端侧大模型的技术路线与智能移动终端产业全景，北京汉华飞天信安科技有限公司董事长兼总经理、315信息安全技术实验室技术专家彭根，21世纪经济报道合规新闻部副主任、CCIA数据安全工作委员会专家王俊出席本环节并作主题发言。

北京汉华飞天信安科技有限公司董事长兼总经理、315信息安全技术实验室技术专家彭根在研讨会上就端侧大模型的技术边界与合规挑战分享了独到见解。

作为拥有20年网络安全技术经验的专家，彭根从技术架构、终端极限、数据采集路线以及防御检测技术等五个方面进行了全面剖析。彭根首先介绍了大模型的基础架构Transformer，指出其核心优势在于并行计算能力，可通过增加算力实现性能提升。他形象地比喻，传统模型是“一行一行读书”，而Transformer架构则能“让一万个人同时阅读一万本书”，大幅提高效率。彭根特别提到，近期开源大模型的架构与算法优化，正在降低大模型的算力门槛，这也是引发国际技术竞争的关键因素。关于手机端侧大模型的现状，彭根通过详实的数据对比揭示了手机端与PC端在算力上的巨大差距。他指出，顶级手机芯片（如骁龙8系列、苹果A16）与普通游戏显卡（如RTX 4090）相比，在算力输出、内存带宽和功耗上差距达数十甚至上百倍。这导致手机端模型规模受到严格限制，目前仅能支持最多3B参数的模型，而业界领先的大模型已达到170B甚至2000B+参数规模。因此，3B参数模型难以提供真正智能的助手服务，问题越复杂，回答偏离越严重。基于这一技术局限，彭根断言端侧大模型需要采用“手机端+云端”的混合技术路线，不可能实现真正意义上的手机端离线运行。在数据采集技术路线分析中，彭根对比了截屏识别与无障碍读屏两种主要方式。他通过测试数据和实例展示，无障碍读屏在实时性、资源消耗、准确率方面均大幅优于截屏识别。然而，彭根特别强调，正是这种高效的无障碍权限读屏技术带来了严重的隐私安全风险：它能够全量获取用户所有屏幕信息，甚至在用户尚未查看内容时就已捕获；能够劫持系统控制权，自动点击确认按钮完成授权；还可能被非必要应用（如简单计算器）索取并滥用，导致个人信息泄露和精准诈骗。彭根指出，这种技术原本设计用于辅助残障人士，如今却成为数据窃取的重要途径。针对这些安全隐患，彭根建议用户定期检查手机设置中的无障碍权限，关闭并卸载不必要的应用权限。在技术检测层面，他表示对于用户自行安装的应用，通过静态分析、动态分析、逆向分析和网络数据包分析等方法基本可以检测其行为。但对于预装应用，检测难度显著增加，需要更多技术条件支持。彭根的技术分享从专业角度揭示了端侧大模型在技术与安全之间的平衡挑战，为构建负责任的人工智能创新生态提供了重要参考。他呼吁从技术与法律两个层面共同推进端侧大模型的健康发展，在保障用户体验的同时，确保数据安全和隐私保护。

图为北京汉华飞天信安科技有限公司董事长兼总经理、315信息安全技术实验室技术专家彭根作主题发言

本单元的第二位发言人是21世纪经济报道合规新闻部副主任、CCIA数据安全工作委员会专家王俊。她从产业视角分享了端侧大模型的发展现状、市场前景与治理挑战，为与会者呈现了一幅“充满光明的未来和布满荆棘的路途”的产业图景。

王俊指出，端侧大模型已在手机、智能设备及自动驾驶等领域加速落地。以手机市场为例，搭载大模型的AI手机推动行业在连续两年下滑后首次复苏，出货量明显提升。端侧大模型具有三大鲜明特点：数据本地运行提高响应速率，适合实时性要求高的场景；无需将数据上传云端增强了私密性；本地运算降低了推理服务成本。各个厂商在2024年完成端侧AI基础能力的搭建，推出搭载自研及外部大模型的AI手机。2025年DeepSeek大模型的爆火和苹果牵手阿里等行业动态可能将改变市场格局。王俊特别强调了智能体概念的重要性。大模型走进端侧让设备具备了“大脑”，智能体则为大模型肉身，成为链接用户的最佳入口。不同于执行单一任务的语音助手，新一代智能体能通过视觉、听觉等多模块感知环境，进行决策并执行多任务。业界将智能体视为2025年的战略趋势之首，硬件和软件厂商均积极布局，如OpenAI最近推出的首个智能体产品Operator。市场预测智能体将从2024年的51亿美元增长至2030年的471亿美元，年均复合增长率达44.8%。然而，王俊也坦言，端侧大模型产业面临三大关键挑战：首先是隐私保护和数据安全挑战。尽管端侧大模型宣称具有私密性优势，但实测发现当前多数功能仍依赖云端大模型完成，算力和功耗限制使端云结合成为常态，一定程度上放大了数据保护风险。同时，端侧生态更加复杂，涉及手机厂商、自建大模型、第三方大模型和具体应用APP，数据链条延长且流向不透明，用户与模型交互密切可能涉及个人隐私和商业秘密泄露风险。其次是智能体调用权带来的治理难题。智能体采取的主要技术路线包括“屏幕识别+模拟点击”和“屏幕识别+意图框架”。其中“屏幕识别+模拟点击”或涉及无障碍权限的使用。在21世纪经济报道的测评中发现，部分厂商调用无障碍权限时存在不透明现象，权限开关在执行命令时自动打开关闭，用户难以感知。并且，多数情况下无障碍权限调用采取一揽子授权模式，相关说明埋藏在密密麻麻的隐私政策中，难以识别。产品设计追求“无感体验”与安全之间存在张力。第三是对行业生态的深远影响。智能体掌握流量入口和功能调度权，可能导致应用分发不正当竞争风险上升。针对这些挑战，王俊建议：完善用户授权机制，清晰展示信息收集范围、用途和风险；提升数据链路透明度，特别是在跨应用操作时向用户说明数据共享情况；借鉴国外先进经验，如OpenAI的数据透明做法，保障用户知情权。王俊强调，尽管端侧大模型和智能体展现出广阔前景，但必须正视治理挑战，平衡创新与安全，共同推进行业健康发展。

图为21世纪经济报道合规新闻部副主任、CCIA数据安全工作委员会专家王俊作主题发言

会议的第二单元聚焦AI手机应用中的数据隐私保护与安全治理，由中央财经大学法学院副院长、教授、《财经法学》副主编刘权担任主持人。北京大学法学院副院长、长聘副教授戴昕，北京航空航天大学法学院副教授、院长助理、工信部工业和信息化法治战略与管理重点实验室副主任赵精武，中国社会科学院法学研究所副研究员唐林垚出席本环节并作主题发言。

图为中央财经大学法学院副院长、教授、《财经法学》副主编刘权

北京大学法学院副院长、长聘副教授戴昕就AI手机应用中的隐私预期和规范构建发表了独到见解。

他认为端侧大模型时代的隐私保护面临传统思路失效的挑战，需要从根本上重新思考人机互动的规范体系。戴昕教授认为，端侧大模型所面临的数据安全和隐私保护问题本质上是传统问题的量级扩大，而非全新挑战。“我们在既有网络环境中的数据安全和保护问题，例如过度收集、权限滥用、隐蔽教育、云端数据传输风险在端侧大模型时代只是变得更加严重和复杂，解决难度更高。”戴昕指出，数据隐私保护的传统框架围绕“前中后”三个环节展开：前端的数据收集限制、中间的数据处理规范以及后端的救济手段。然而，端侧大模型的出现对这一框架提出了根本性挑战。传统的信息隐私和数据保护思路主要依赖前端数据收集行为规范，这在端侧大模型时代的治理效用将受限。他特别强调，如果智能助手产品确实能够有效地融入日常生活，传统的“告知-同意”机制意义比以前更为有限。在日常使用场景中，不断提醒用户“不要输入任何保密信息”，并不会有助于改善用户选择。当产品尚未提供足够价值时，用户可能会选择关闭功能；但一旦产品深度融入生活，重构用户日常行为模式，这种保护机制将难以起效。戴昕提出，端侧大模型治理的核心难题在于，绝大多数用户缺乏与“个人助理”互动的经验，无法准确形成在这一场景中有关个人信息使用的合理预期。普通人没有使用秘书或个人助理的经验，难以想象在获得此类便利服务的同时，与个人信息相关的规范应该是什么样子。针对这一挑战，戴昕建议研究现实中已存在的“客户-助理”的关系，从中提炼适用于智能助手的规范体系。在现实生活中，个人助理收集信息是有明确目的的——理解客户需求并提供服务；不能违背信任是核心约束；同时必须保持“体面”，即使获取了信息也不会不当使用。这些面向关系和行为的规范，比简单的数据收集限制更为重要。戴昕强调，智能助手必须具备基于一般性规范做出具体行为适当性判断的能力，不能完全依服务于广大用户，就必须由系统本身形成合理判断。对于敏感场景如情感社交类应用，戴昕指出，简单的风险提示难以阻止用户行为，需要建立更丰富的规范体系，将线下相关规范转化为技术场景中的约束。端侧大模型带来的数据流量和深度都远超以往，使得传统数据规制效果下降、难度增加。我们不能再寄希望于找到清晰简单的规则，而必须加快构建新型规范体系。这些规范的前提是先理解人的需求和行为，而非从技术出发。有时候，观察他人的生活方式，可能比想象自己的需求带来更多启发。

图为北京大学法学院副院长、长聘副教授戴昕

北京航空航天大学法学院副教授、院长助理、工信部工业和信息化法治战略与管理重点实验室副主任赵精武围绕端侧大模型时代手机应用中的个人信息保护问题发表了见解，指出尽管端侧大模型带来诸多便利，但同时也带来了复杂的数据治理难题。

赵精武首先对当前市场现状进行了梳理，指出国内厂商正积极布局垂直领域大模型，各手机厂商纷纷推出智能助手升级版本，增加了精准搜索、跨设备操作等功能。然而，这些创新也伴随着隐私风险。他举例说明，一些AI手机系统中默认开启的 “增强视觉搜索”功能虽有隐私保护功能，但仍可能在处理照片过程中泄露敏感信息。赵精武重点强调了端侧大模型生态中数据流转涉及主体的多元化问题。“整个生态链中参与主体众多，包括手机厂商、应用开发者和第三方服务提供商，各方在数据收集、使用、共享过程中尚未形成明确的责任边界，未来数据安全风险将持续增加。”他指出，在这一生态中，手机厂商作为硬件和操控系统提供者，具有获取基础用户数据的先天优势，能够收集用户的操作系统版本、设备型号以及使用习惯和位置信息；应用开发者则关注用户的浏览历史、点赞评论等行为数据，实现定制化推送；第三方服务提供商则可能大量接触用户语音类数据，为实现定制化服务进行数据分析。赵精武特别提出了用户数据权限获取的必要性界限模糊问题。尤其值得关注的是，随着人机交互内容可能被用作模型训练数据，将包含更多敏感个人信息。对于《个人信息保护法》的适用，赵精武认为端侧大模型的数据处理活动目前仍应纳入《个人信息保护法》第4条规定的个人信息处理活动范畴，不宜简单归入“合理使用”范畴，仍需符合《个人信息保护法》第13条、第14条关于主体真实、准确、完整的告知要求。针对未来监管趋势，赵精武预测平台规则将表达将更加显著，提示将做得更加到位，以确保符合《个人信息保护法》要求赵精武最后强调，随着个人信息合规审计新规出台，手机应用合规审计将更加关注最小必要原则、业务相关性、用户知情权、禁止强制捆绑以及动态申请等要求。特别是高敏感权限（如剪贴板、通知栏监听）、非主动用户行为弹窗和权限撤销功能将成为审计重点。

图为北京航空航天大学法学院副教授、院长助理、工信部工业和信息化法治战略与管理重点实验室副主任赵精武

中国社会科学院法学研究所副研究员唐林垚就AI手机部署场景中的知情同意和数据授权困境提出了独到见解，指出端侧大模型无论采取端侧还是云端方式实现，都面临着严峻的隐私风险挑战，需要多维度治理方案。

唐林垚研究员以个人在智能酒店的体验为切入点，形象地描述了数据处理带来的隐私忧虑。在人工智能时代，更令人担忧的是通过数据处理对个人进行标签化，了解个人不愿公开的习惯和特征。关于端侧大模型面临的隐私风险，唐林垚指出两大技术路径各有挑战：端侧模式可能涉及权限过度调用，且难以确保数据安全；云端模式则面临数据在终端、云端和第三方间多次流转的风险。这些问题最终都回归到传统知情同意和数据授权机制的不足。唐林垚归纳了端侧大模型环境下数据保护机制的三大缺陷：首先，知情同意更加流于形式，因为智能手机对数据的采集和处理完全无孔不入且实时进行，通常通过一次性授权实现一揽子权限获取；其次，数据授权机制中存在多方主体责任划分不清问题，在端云协同生态中，终端厂商、应用开发者和云服务商都属于数据处理者，风险出现时可能相互推诿；第三，用户权利难以实现，特别是当数据用于模型训练时，用户实际上无法知晓数据使用情况，也无法实现定向删除，使得个人信息保护法规定的查阅删除权形同虚设。针对这些挑战，唐林垚提出了三个层面的治理建议：在法律层面，他建议细化权限分类和动态告知义务，出台明确的端侧数据安全标准，并通过细腻度更高的法律规则实现责任划分。在技术层面，他强调推广隐私计算技术的重要性，推动联邦学习和同态加密技术在手机端侧部署，可以确保个人数据在本地处理时不离开设备，真正符合《个人信息保护法》第二十二条的最小必要原则。他建议开发数据溯源工具，实现数据可追踪与可删除，并引入动态风险评估与敏感信息过滤机制。在行业层面，唐林垚提议建立端侧大模型隐私保护协会，制定行业统一的数据分类分级标准，推动隐私计算能力认证，并采用分层同意方式细化权限授权到功能级。他特别强调以可视化界面向用户展示数据流向的重要性，提升用户对数据使用的理解和控制。最后，他呼吁通过行业协会建立人工智能伦理审查机制，解决价值对齐问题。唐林垚总结道：“端侧大模型的隐私保护问题确实可以通过激活《个人信息保护法》的一些规定来减少风险，但这种风险不可能完全消除。我们应将其视为全新事物，探索创新的规制手段，在保障数据安全的同时，不阻碍技术创新带来的便利。”

图为中国社会科学院法学研究所副研究员唐林垚

第三单元聚焦AI手机的安全风险评估与治理，由中国科协创新战略研究院研究员武虹主持，中国人民大学法学院教授、未来法治研究院副院长丁晓东，中国信通院互联网法律研究中心主任何波，同济大学法学院助理教授、上海市人工智能社会治理协同创新中心研究员朱悦和中国信通院人工智能研究所高级业务主管呼娜英作主题演讲。

图为中国科协创新战略研究院研究员武虹

中国人民大学法学院教授、未来法治研究院副院长丁晓东指出，端侧大模型带来的便利同时伴随着严峻的隐私与数据安全挑战，需建立严格的双重授权与合理期待机制来平衡技术发展与风险防范。

丁晓东教授首先指出，端侧大模型对个人信息保护构成重大挑战，主要体现在用户期待与实际风险之间的巨大差距。如果大模型部署在硬件层面要实现智能化，必然需要调用相关信息作为支撑。他特别关注了目前部分企业利用“信息无障碍”功能直接调用全部权限的现象，认为这种做法风险显著。普通用户可能把手机视为一个上锁的笔记本，而无障碍权限的开启相当于将所有抽屉一次性全部打开，这远超出了用户的合理预期。丁晓东教授指出，尽管无障碍功能原本是为残障人士提供便利，但将其默认应用于大模型场景存在重大问题。他进一步强调，端侧大模型不仅涉及个人信息保护问题，还关系到更广泛的内容安全与数据安全。如果硬件部署的大模型能够调动手机内的个人信息和数据，这种风险将超越个人层面，对整体数据安全构成威胁。面对这些挑战，丁晓东教授提出了端侧大模型部署的双重授权与合理期待机制，在支持人工智能发展的同时确保安全与合规：第一重授权是应用厂商层面。端侧大模型必须首先获得应用厂商的明确授权或许可。丁教授解释道，不同应用对数据有不同的信义义务与信托责任，作为数据保护人的角色，应用厂商的授权至关重要。第二重授权是用户层面。丁教授强调必须获得用户明确授权，且应采用“选择加入”而非“默认启用”的机制。授权应当非常明确，用户必须主动参与决策过程。丁教授进一步指出，授权机制仍然不够，还需要建立合同之外的保障：“除了合同机制外，我们还需要通过合理信赖、侵权防范或个人信息保护机制建立用户合理期待。不能让用户一揽子授权后，因信息融合导致隐私侵扰或个人信息泄露。”丁教授特别关注了数据融合问题，认为硬件端与应用合作涉及共同的信义义务保护责任，监管机构在此过程中扮演着重要角色。“数据融合涉及的风险远超传统硬件厂商所面临的挑战，因为传统硬件厂商收集的数据有限，而融合后可能获取用户更多隐私甚至机密信息。”

图为中国人民大学法学院教授、未来法治研究院副院长丁晓东

中国信通院互联网法律研究中心主任何波提出，讨论端侧大模型治理问题，需统筹处理好发展与安全、守正与创新、近期与中远期、国内与国际四对关系，为行业健康有序发展提供了系统思考。

第一，要统筹发展与安全的关系。何波主任指出，智能手机是大模型创新与应用的重要领域，大模型的快速发展为智能终端产业注入了新的活力，近一年以来，AI手机、AI PC密集发布，大模型在终端侧的部署应用已成为新的发展趋势。我们在讨论安全问题的同时，应当看到端侧大模型在提升处理能力、改善用户体验方面的积极价值，这种创新探索值得肯定和鼓励。另一方面，AI手机在为用户带来便捷智能体验的同时，改变了移动互联网时代的数据生态，打破了应用间数据相互隔离的格局，强化了终端厂商和模型服务提供商对数据的控制能力，多元主体竞争博弈下数据安全和隐私保护的责任问题变得更加复杂模糊。这一变化导致了三个核心挑战：一是多主体数据收集和处理引发责任认定困境，在端云协同的技术路线下，数据流转涉及手机厂商、应用开发者、第三方服务提供商等多个主体，任何单一主体都难以完全掌握和控制整个服务链条上的数据处理情况；二是数据采集范围扩大，智能手机不仅收集传统的设备信息、日志信息和底层权限信息，还通过录屏等方式获取更多敏感信息，进一步放大了安全风险；三是数据收集方式日益复杂和隐蔽。在这些挑战之外，何波特别提醒，也要注意到端侧大模型对经济发展和产业变革的作用，尤其是关注对移动互联网产业生态带来的冲击性影响，以及对市场竞争秩序的变化。随着终端厂商、APP服务提供者等围绕用户权限的争夺日益激烈，未来势必会涉及权限的定义、掌控及优先级划分等问题。第二，要统筹好守住与创新的关系。何波认为，端侧大模型并非完全“裸奔”，现有法律法规已对相关安全问题有所规定，也同样适用于AI手机监管。例如，《网络安全法》《数据安全法》《个人信息保护法》都为监管端侧大模型提供了法律依据，今年1月1日生效施行的《网络数据安全管理条例》进一步对涉及自动化工具、生成式人工智能等新兴技术的数据处理活动作出特殊规定。因此应充分利用现有法律资源，而非简单认为新事物必须制定新法律。第三，要统筹处理好近期和中远期的关系。何波指出，AI终端正处在“渗透初期”，随着技术的不断完善，AI终端将驱动消费电子新一轮的增长曲线。建议区分近期和中远期处理方式，综合运用技术和制度政策等多种手段促进规范发展。近期可针对已暴露的突出问题，如数据隐私保护，通过开展专项检测行动、将端侧大模型纳入现有个人信息保护监测体系、加强安全测评等技术手段进行治理；中远期则可考虑通过立法方式对端侧大模型的功能发展进行规范，包括制定新法和修订现有法律。第四，要统筹好国内发展与国际形势的关系。何波分析了美国特朗普政府上台后对人工智能领域监管政策的“大翻盘”趋势，一方面解绑对科技行业的限制，另一方面对华人工智能领域的遏制打压再度升级，构建全面脱钩限制体系。因此，何波认为，中国对人工智能的监管和发展必须考虑中美科技竞争因素，在确保安全前提下促进产业发展。

图为中国信通院互联网法律研究中心主任何波

同济大学法学院助理教授、上海市人工智能社会治理协同创新中心研究员朱悦深入分析了未来端侧大模型可能的演进路径及其对数据治理带来的全新挑战，为相关法律法规的前瞻性制定提供了新思路。

朱悦指出，端侧大模型作为一个新兴技术领域，发展速度极快，“大模型从发布至今不到两年半，将大规模模型压缩至手机端支撑日常应用的技术更是最近几个月的事情。”在高速发展过程中，法律与技术之间不可避免地产生新问题，需要前瞻性地考虑技术演进路径并做出相应展望。朱悦基于最新技术进展，预测了端侧大模型的核心发展方向——长期记忆能力的强化。他介绍道，近期Claude、DeepSeek以及微软发布了多篇前沿技术论文，都聚焦于如何实现更高效的推理和更强大的长期记忆能力。这一趋势表明，未来6-12个月内，很可能出现两类协同工作的模型：一个是企业部署的相对较大的基础模型，另一个是专门存储和处理个人历史行为、偏好的小型记忆模型。这种技术架构将为用户带来更个性化的服务体验。如果模型能够更好地记住用户的偏好，例如点咖啡时的口味习惯或运动饮料的选择时机，服务效果会大幅提升。而这需要模型能够跨场景、跨应用地观察和记忆用户的行为特征。朱悦认为，这种发展路径虽然解决了部分安全问题，但也带来了新的治理挑战。首先，个人记忆模型需要在端侧进行训练，技术安全性仍存在问题。以前的数据“可用不可见”需要升级为端侧的“可训不可见”，这涉及软硬件层面的安全保障。其次，个人记忆模型集中了用户的人格和财产利益，权益归属将变得更为复杂。对于个人而言，有强烈理由拥有对这些数据的权利；但对于提供训练和服务的企业而言，也有理由享有一定权利。同时，由于这些模型跨场景整合了用户偏好，变现诱惑极大，可能在数据安全保护和商业竞争之间带来挑战。针对这些挑战，朱悦提出需要认真思考个人记忆模型的法律定性与治理路径。他指出，这类模型高度集中了用户的人格权相关利益，无法脱离人格权讨论相关问题。同时，其敏感程度、《个人信息保护法》第71条关于“个人或家庭事务处理”的适用性，以及网络安全与数据安全监管框架对这类新型数据处理活动的应对，都需要重新考量。朱悦还特别强调，随着端侧大模型的普及，相关立法需要更具前瞻性：未来监管不仅是针对少数头部企业的公法治理，还将涉及人与人之间通过端侧模型进行交往的私法化问题。分类分级需要完善，用户借助端侧模型的内容生产能力也使内容安全治理更加复杂。从长远来看，朱悦认为端侧大模型甚至可能影响数字法学的基础理论，当手机成为我们的“数字器官”，并拥有如此完备全面的记忆能力时，特别是对00后、10后等智能原生一代而言，他们可能更习惯于数字化的概念表达和模型处理，这可能对一些法学基础概念产生深远影响。

图为同济大学法学院助理教授、上海市人工智能社会治理协同创新中心研究员朱悦

中国信通院人工智能研究所高级业务主管呼娜英分享了端侧大模型的技术实现路径、风险挑战及治理机制的最新研究成果，提出需要从风险管理视角构建多层次协同治理框架。

呼娜英首先从技术实现路径角度介绍了端侧大模型的典型架构。以某AI手机为例，其实现包含三个关键组件：端侧轻量级模型、云端大模型及端云协同机制。从其官网及技术报告可见，端侧模型负责快速高效的简单任务处理，而复杂任务则由云端模型完成。端云协同模式形成了全新的智能终端生态，包括作为端侧模型、云端大模型组成的基座，以及操作系统嵌入各类Agent、移动应用商店组成的用户入口。关于端侧大模型的风险问题，呼娜英将其分为传统风险的加剧与新型风险的出现两大类。传统风险包括本地数据暴露面扩大、端云协同链路攻击风险提升、内容输出失控风险增加及审核机制不足等问题，这些并非端侧大模型独有。新型风险则主要体现在三个方面：首先是隐私保护复杂性升级，涉及授权机制、数据收集及分析处理等环节；其次是本地数据保护的安全性问题，如何证明本地部署的模型不会将用户数据用于训练或分享给云端是一个技术难题；第三是权限滥用风险，尤其是跨应用权限穿透及任务拆解过程中可能产生的逻辑漏洞。呼娜英指出，虽然这些风险挑战显著，但现有的法律法规框架已相对完善，关键在于如何立足产业实践，从促进产业发展的角度，分主体、分场景、分层次地剖析问题并形成有效治理机制。她分享了中国信通院在风险治理方面的两大探索实践：一是端云协同下“云上用模”的数据安全研究，二是Agent安全评测体系构建。在数据安全方面，针对多元数据汇集引发的权责问题、安全暴露面增多及过度收集分析数据风险，提出了事前规范、事中验证相结合的解决思路，并已启动相关标准文件制定工作。在Agent安全评测方面，中国信通院人工智能研究所安全治理团队开发了两层评估框架，目前已经完成智能体安全测试工具和数据集开发，推动安全测试工作。对于Agent安全评测，整体安全评测集成了智能终端控制、高精度文本体系、多模态内容审核引擎及规则驱动的行为判别模块。初步测试发现智能体普遍存在指令解析碎片化、复杂任务拆解成功率不高及上下文感知薄弱等问题。对于Agent内置语言模型的安全评测，构建了专门的评测框架，通过精准提示词测试智能体如何转化指令为执行命令，并监测全流程交互数据。我们发现当原模型接入智能设备后，虽有较好的任务执行能力，但面对安全风险指令时，语言模型往往不加判别地执行预设任务，可能成为钓鱼攻击或电信诈骗的潜在突破口。呼娜英强调，端侧大模型治理应建立在人工智能风险管理框架基础上，从规划设计、数据处理、模型建设到测试认证部署上线的全流程进行系统管理。端侧大模型的特殊性在于人工智能技术提供方与应用提供方关系更为复杂，责任边界更难清晰划分，但仍可在既有风险管理框架内通过完善风险识别、评估和应对机制来有效治理。她总结道：无论是处理传统风险还是应对新型挑战，我们必须在促进产业发展与保障安全之间寻找平衡，通过标准制定、技术验证和评测支撑，实现端侧大模型的健康可持续发展。

图为中国信通院人工智能研究所高级业务主管呼娜英

第四单元聚焦AI 手机应用中的人机交互范式与伦理边界，由南方都市报北京新闻中心内容总监、南都数字经济治理研究中心负责人李玲主持，由华东政法大学法律学院副教授、华东政法大学数字法治研究院副院长韩旭至和清华大学人工智能国际治理研究院助理研究员宋雨鑫作主题发言。

图为南方都市报北京新闻中心内容总监、南都数字经济治理研究中心负责人李玲

华东政法大学法律学院副教授、华东政法大学数字法治研究院副院长韩旭至深入探讨了端侧大模型下人机交互范式的转变及其引发的伦理与法律边界问题。

韩旭至教授指出，端侧大模型正在引领人机交互的范式从“器官延伸”向“助手伙伴”转型。以往智能手机被视为人的器官延伸，而端侧大模型使其进一步演变为人的主体延伸，它不仅是一个工具，更成为一个能感知、理解并主动协助用户的伙伴。这种转变源于交互方式从器物性的指令输入发展到基于自然语言的交互模式，从而形成人机协同共生的全新模式。关于端侧大模型应用的现实风险，韩旭至分析了“新老交织”的多重挑战。老问题主要是数据隐私保护问题，如用户发现在使用一些大模型的深度思考功能时可能出现回答“串台”现象，暗示用户数据可能被用于模型训练。此外，开放API接口导致的信息泄露风险在端侧大模型时代可能进一步放大。新问题则体现在技术能力与用户感知的偏差上，特别是人工智能模型的推理能力与人类推理存在本质差异，导致各种“幻觉”问题。最核心的挑战是价值对齐问题。韩旭至教授认为，虽然各种规范都要求模型符合人类价值观，但在实践中遇到诸多困难。当人与人之间的价值观都难以对齐，如何实现人与模型的对齐？此外，对齐工作面临三大悖论：一是对齐性质不明，企业投入大量资源进行“红队测试”，但这种努力的法律效果不清晰，是否能免除责任存疑；二是技术治理悖论，过度对齐导致模型可用性下降，如100%拒答敏感问题虽然“安全”但失去实用价值；三是对齐标准争议，如模型生成内容的边界（血腥、恐怖、版权问题）难以界定。针对这些挑战，韩旭至提出了多层次的治理建议：首先，理念上需要从“绝对安全观”转向“合理成本安全观”，秉持“不发展是最大的不安全”理念，通过合理预防而非追求绝对零风险。其次，国家层面应构建对齐的法制机制，从“提取公因数”角度确定最低道德要求，建立伦理风险评估与审计机制，引入算法安全评估与算法伦理审计并行制度，并建立责任豁免与数据供给机制。对企业而言，应承担联合国框架下的人权责任。对公民则需提升数字素养，理解端侧大模型应用的原理和边界，塑造负责任的使用习惯。韩旭至教授总结道： “端侧大模型应用的本质是技术权力与人类价值观的博弈问题。我们需要构建技术向善的交互生态，在创新发展中捍卫人的尊严与自主性。”

图为华东政法大学法律学院副教授、华东政法大学数字法治研究院副院长韩旭至

清华大学人工智能国际治理研究院助理研究员宋雨鑫从人机交互范式变革角度，深入分析了端侧大模型带来的范式转变及伦理挑战，并提出构建多层次信任机制的治理框架。

宋雨鑫指出，端侧大模型技术发展势头迅猛，大型预训练语言模型的出现，极大改变了人机交互的基础逻辑。人机交互正经历关键转变时刻，底层逻辑从“人适应工具”变为“机器适应人”。宋雨鑫表示，“智能体作为能够自主感知环境、推理决策并执行任务的技术系统，通过自然语言理解指令并将其转化为实际行动，创造了全新交互范式。”这种范式转变体现在三个方面：首先，智能体重构了界面与入口，以对话为主要交互形式，打破应用孤岛，创设更高层级的交互平台；其次，智能体具备更强的自主性与环境适应性，能通过持续的人机互动实现个性化交互；最重要的是，智能体开始脱离纯粹工具属性，具备某种社会属性，承担类似社会角色的功能。交互范式从纯粹虚拟层面的信息交互，转向具体行为效果层面的交互。宋雨鑫提出，端侧大模型带来的伦理风险源自技术迭代速度与治理框架演进速率之间的不匹配，既挑战现有治理框架，又创造治理空白。具体表现为三大方面挑战：首先是隐私保护与数据安全挑战。智能体执行过程具有一定自主性和随机性，使最小必要原则适用面临困难。她特别提醒，多智能体间交互可能在用户不知情情况下分享敏感数据，而“代理劫持”等新型安全威胁也已被中美研究机构同时关注，可能导致自动网络钓鱼、数据泄露等风险。其次是用户自主权与控制权挑战。智能体自主决策边界在哪里？大模型风险不会因模型压缩而消失，可能通过知识蒸馏进入端侧小模型。她举例说明已有智能体在国际象棋对弈中出现欺骗行为，以及美国聊天机器人被指控诱导青少年自杀的案例。更值得关注的是，华盛顿邮报记者近期报道ChatGPT的Operator未经授权使用其信用卡购买物品的事件，引发对智能体控制权限设置的深刻思考。第三是机器道德归属挑战。智能体在代理过程中面临道德判断困境，如何确保其行为符合道德规范？错误决策能否撤销？损害由谁承担？这些问题极大挑战传统代理法框架。针对这些挑战，宋雨鑫提出构建以信任为核心的交互边界框架：“大规模部署和应用是必然趋势，只有建立信任才能实现广泛接受与应用。”这一框架分为三个层次：一是可控交互层面，根据风险评估与分级分类场景限制智能体决策范围，设计端保持价值敏感，通过伦理审查和价值对齐实现道德约束；二是安全交互层面，在现有规范基础上，为用户提供更多数据使用选择权，如“不用于训练”或数据不上传等选项；三是透明交互层面，通过提升透明度、增强解释性、优化用户反馈机制和引入算法审计，增强交互可信度。她总结道：“端侧大模型与人的交互是技术与社会互适应的过程。我们需要以信任作为复杂系统的简化机制，构建从终端交互、多智能体交互到制度交互的良性循环信任生态系统，才能让光明的技术未来真正落地。”

图为清华大学人工智能国际治理研究院助理研究员宋雨鑫

研讨会的开放讨论环节由央广网首席记者樊瑞主持。各位嘉宾畅所欲言，提出问题，讨论热烈。

图为央广网首席记者樊瑞

北京汉华飞天信安科技有限公司董事长兼总经理、315信息安全技术实验室技术专家彭根解答了之前环节学者提到的大模型的幻觉问题。他指出，从技术角度，大模型“幻觉”产生的原因是其基于算法输出内容，通过计算训练文章中词与词之间的距离来生成相应内容。由于互联网数据繁多，在无法确定某些内容时，就可能出现“瞎编乱造”的情况。另外，大模型上下文长度有限，样本选择也会造成算法输出的偏差。从法学层面如何定性大模型输出目前还需要进一步研究，因为大模型输出本质是机器代码的输入和输出，它并不理解输出内容的真正含义。

图为北京汉华飞天信安科技有限公司董事长兼总经理、315信息安全技术实验室技术专家彭根

《法治周末》报文化新闻部主任尹丽探讨了如何为技术研发人员构建有效的法律框架，以实现对创新活动的适度约束与积极引导以及法律应如何促进技术人员与社会价值“对齐”提出了富有建设性的问题。

图为《法治周末》报文化新闻部主任尹丽

北京汉华飞天信安科技有限公司董事长兼总经理、315信息安全技术实验室技术专家彭根解答道，技术人员在开源基础上进行开发，常常不了解自己的行为是否违法，且在研发过程中难以提前预知算法会产生的问题。可以通过在大学计算机系开设法律伦理课程，让技术人员了解哪些行为违法，增强其法律意识。

华东政法大学法律学院副教授、华东政法大学数字法治研究院副院长韩旭至解答道，需要引入专家标准和一般标准，建立风险指标体系，结合法律维度、舆情风险维度以及风险发生的现实可能性来判定风险高低。另外，还可以针对不同领域为大模型提供指南，供给高质量数据训练，以此减少风险，引导技术向善。

中国科协创新战略研究院研究员武虹通过亲身经历强调了“科技向善”的必要性。她认为，一些实践中出现的技术风险和滥用问题并非仅由基层技术人员造成，更反映了企业经营决策层面的价值取向问题，如果企业家不秉持正确价值观，将导致技术滥用的不利后果。

本次研讨会在深入探讨与热烈交流中圆满落幕。与会专家从技术演进、产业全景、数据隐私保护、安全治理以及人机交互范式等多个维度，共同探索了端侧大模型发展的前沿议题与未来挑战。研讨会不仅梳理了端侧大模型的技术路径与发展现状，更深入剖析了其中的法律、伦理与治理难题，为构建负责任的端侧大模型的创新生态提供了积极理论思路。正如多位专家所强调的，端侧大模型所带来的既是“充满光明的未来”，也面临“布满荆棘的路途”。未来应在促进技术创新与保障用户权益之间寻找平衡，在发展与安全、守正与创新、近期规范与长远治理之间统筹协调，确保这一前沿技术真正造福人类社会。

网络法理论与实务前沿编辑  |  赵盼盼