云边端协同数据管理与分析 | CCCF精选

国家在“十四五”时期高度重视数字经济，《“十四五”数字经济发展规划》指出：“推进云网协同和算网融合发展”“加强面向特定场景的边缘计算能力”。根据国际数据公司（IDC）预测，从2021年到2027年，为数字孪生建模的实物资产和流程数量将从5%增加到50%；到2025年，30%的城市将通过云计算、物联网、人工智能和数字孪生技术，将物理和数字相结合，并改善关键基础设施和数字服务的远程管理。¹在传统架构中，数据在终端形成、积累，传送到云端进行处理，再返回到终端指导业务。这对网络带宽产生超高需求，不仅会产生延迟，还需要面临弱网卡顿、连接成功率低等诸多问题。同时，高带宽需求对回传网络、业务中心造成巨大的传输压力，也会让用户面临巨额的带宽成本。显然，传统云计算架构无法满足需求，需要将部分云计算分散到边缘侧和设备侧，实现云边端协同。

当前云边端协同已经成为国家数字经济发展的重要战略。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》指出“协同发展云服务与边缘计算服务”。2020年，IDC在“Edge Computing: Not All Edges are Created Equal”一文中预测，到2023年会有超过50%的数据需要在边缘侧进行存储、分析、计算。云边端协同利用云计算和边缘计算的优势，实现了云端、边端和终端设备之间的协同处理。以智能制造场景为例，位于端侧的产线安装了大量的测量温度、湿度、压力、液位等的传感器，以及检测尺寸大小、装配质量、焊接状态、音视频监控等的设备，使数据量激增；而位于边侧的车间以及位于云侧的工厂，其生产进度追踪、制品质量追溯、产品迭代分析等多种应用需要准确、快速的计算能力支撑。如果数据全部在端侧或边侧进行处理，端、边侧设备的计算能力无法支撑，且无法实现全局数据分析；若将端侧的全量数据传至云端处理，将无法满足数据处理的实时性要求，且严重消耗工业控制网络带宽。此时云边端协同具有显著的优势：在端侧对产线状态数据进行过滤、平滑、降采样等处理，在边侧进行特征提取等操作，在云侧进行关联规则挖掘、深度学习等高代价的分析任务。此时，终端算力上移、云端算力下沉，能有效解决云上集中处理带宽消耗大、响应速度慢的问题，也能有效解决边端处理能力不足的问题。

尽管面向云边端协同的数据管理与分析具有诸多优势，但是差异化的云、边和端的计算、存储资源状况为云边端协同数据管理与分析带来了异构性、高维性、实时性以及可用性四个方面的挑战。面对数字经济对面向云边端协同数据管理与分析的迫切需求和其带来的挑战，本期专题邀请领域内学术界知名学者与产业界资深专家，探讨云边端协同数据管理与分析的挑战、关键技术以及面向特定应用场景的解决方案，旨在推动云边端协同数据管理与分析的发展，加速推进各行业数字化进程，提高社会管理和运行效率，创造更高的经济效益和社会效益。

华中科技大学教授王桦撰写的《边缘数据存储与管理的思考与实践》一文调研了目前学术界针对边缘数据存储与管理的最新研究成果，介绍了面向边缘数据存储中的数据缓存及边缘数据管理中的元数据索引的几项工作，其中数据缓存包括缓存空间分配、缓存准入、面向缓存优化的任务调度，元数据索引则是考虑数据分布特征的学习型跳过索引，分别从边缘数据缓存方法轻量化、可适配、存算协同以及元数据轻量化等角度来应对云边端协同环境下的边缘数据存储与管理挑战。

哈尔滨工业大学教授王宏志等人撰写的《面向云边端协同的高可用数据管理》一文分析了云边端协同的背景与现状，指出了云边端协同的新计算模式中的高可用问题。对于云边端协同高可用数据管理当前在冗余备份、网络优化、中间件与虚拟化、负载均衡等方面面临的挑战以及研究进展进行了探讨。最后，针对当前云边端协同系统的动态特性带来的一系列挑战，在网络、存储、参数配置、查询优化等方面提出了未来的可能研究方向。

东北大学教授杨晓春撰写的《智能网联车的端边云数据管理》一文介绍了智能网联车应用中的端边云协同数据管理与分析技术，主要涉及数据感知、数据存储、数据管理与分析等。人、车、路三类实体数据中的雷达数据、视频数据、GPS数据、传感器数据、消息传递等多种模态数据相互交织，需要端边云数据管理系统提供多源异构数据的存储与部署，进而支持个性化、多样化的应用请求，实现高效的复杂数据关联融合和任务响应。

湖南大学教授肖竹等人撰写的《基于云边端协同的智慧城市车辆轨迹大数据挖掘和出行模式识别》一文，针对不同类型数据的特点，基于云边端协同技术，从处理延迟、带宽消耗和隐私安全等多角度对城市车辆轨迹大数据采集、预处理、数据分析和数据应用四个方面进行系统地讨论和总结。其中，轨迹数据采集介绍了不同轨迹数据采集设备的部署方式和云边端协同的数据采集方式；数据预处理主要包括数据生成、数据填充和数据压缩技术；数据分析分别总结了个体和群体的出行行为模式识别技术；数据应用重点讨论了城市规划、出行路径推荐、交通流预测等。

清华大学副教授宋韶旭等人撰写的《面向工业互联网场景的数据库原生机器学习》一文详细介绍了工业物联网场景下海量数据的实时分析需求，以及基于云上数据库内训练引擎、边缘通信设备、端上实时操作系统实现的“端边云”上行处理链路和下行应用链路，并同时考虑一系列机器学习及大模型等技术。其中，处理链路从端侧上行至云侧，包括利用端侧传感器采集数据，利用边侧通信技术汇聚数据，以及利用云侧高效数据处理能力处理数据。应用链路从云侧下行至端侧，包括利用云侧训练引擎训练数据，利用边侧决策模型推理数据，以及利用端侧计算管控资源执行推理结果。

华为技术有限公司高斯数据库高级工程师王天庆等人撰写的《云边端协同数据管理技术的内涵与外延》一文从边缘计算角度分析了云边端数据管理的优势和适用场景，概述了云边端数据协同管理存在的一系列挑战和问题。同时，该文也探讨了云边端数据协同管理的一般方案，描述了“中心化”和“去中心化”两种数据管理模式，并就该云边端数据管理概念的内涵进一步延伸，分析其部分抽象方法、算法和概念对现有的分布式数据库管理系统的启发，即云边端数据管理概念的外延。

脚注：  

¹ https://www.c114.com.cn/other/241/a1179708.html

CCF推荐