正文

工行完成金融业首个大规模专家并行推理技术

admin
admin V管理员 /0 评论 /7 阅读
0518
文章最后更新时间2025年05月18日，若文章内容或图片失效，请留言反馈！
近日，工行软开透露完成金融业首个大规模专家并行推理技术突破。其与华为合作，利用MoE模型架构实现分布式并行推理。测试显示多指标提升，推理成本下降，AI或加速赋能金融等行业。
来源｜银行科技研究社

以下为全文

近日，工商银行软件开发中心（以下简称“工行软开”）透露，该行完成金融业首个大规模专家并行推理技术突破。
据悉，从2025年初以来，不少机构对DeepSeek大模型进行了部署。虽然DeepSeek等MoE架构大模型在各行业应用效果良好，但在国内算力设施上的推理并发能力、吞吐低延时等技术指标，相对国外先进算力的推理方案仍有较大提升空间，较高的大模型推理成本也不利于各机构通过AI进行转型与发展。 
因此，工行与华为合作，完成金融业国内首个大规模专家并行推理集群的技术突破和验证。 
据介绍，该技术方案中利用MoE模型的架构特点，通过研发路由专家负载均衡算法、优化集群通讯协议和算子重构融合等技术手段实现了分布式并行推理，可以在算力投入不变的情况下，服务能力翻倍。 
测试结果显示，在2k输入/2k输出场景下，该方案可实现满血DeepSeek单卡推理并发、单卡每秒tokens吞吐能力较当前业界方案（数十tokens/秒）提升3至4倍，端到端时延降低50%，使得推理成本可以等比例下降。 
在可控的成本之下，AI或将加速赋能金融等各行业发展。
据《银行科技研究社》了解，工行早在2024上半年就开始在行内部署并试点应用DeepSeek系列开源大模型；2025年2月则完成了DeepSeek开源大模型的私有化部署，并将其接入行内“工银智涌”大模型矩阵体系。 
而前不久，工行软开基于DeepSeek大模型建设了“面向移动端的智能研发助手”，对接DeepSeek R1深度思考模型及DeepSeek通用模型，支持安卓、iOS、鸿蒙系统、仓颉语言移动端全部技术栈进行研发，支持代码续写、知识问答功能。 
该助手已在工行个人手机银行、工银e生活、企业手机银行、海外个人手机银行、海外企业手机银行、兴农通等移动端应用推广使用。 
值得一提的是，工行完成DeepSeek开源大模型的私有化部署，接入“工银智涌”后1个月时间内，实现了行内50余个场景的模型升级。
智探AI应用交流群，有兴趣的朋友请添加群主：cosmic-walker 备注：公司+姓名+职务+AI入群。


推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
https://ZhouSa.com