▏摘要
在对场外系统的升级改造中,中信建投证券将OTC业务应用在达梦数据库之上,全量加载业务数据并适配日间交易、清算跑批等全栈业务类型,在满足安全性、可靠性的基础上,达到高吞吐量、低延迟的业务处理目标。
▏问题
为响应国家政策号召,中信建投证券积极进行数据库应用创新工作,2023年将场外系统作为改造重点,场外系统上下游系统关联较多,改造时需要保证客户交易系统稳定性的同时,对其他系统的影响减小到最小。
▏行动
• 考虑对Oracle的兼容性、业务代码的改动性、整体方案和应急切换,中信建投选择达梦数据库;
• 从实施步骤、验证和风险等方面考虑,替换时由外向内逐层替换,在并轨期将90%的查询业务引入到达梦数据库,在正式单轨前充分验证达梦数据库的承接能力,实现单轨后Oracle数据库作为备用逃生通道,将达梦数据库作为主的单点数据库;
• 在切换过程中依赖于两个关键技术:一是高可用性技术,基于达梦的Watcher和Monitor实现本地集群部署和灾备异步;二是异构数据库同步技术,基于DHMS实现达梦数据和Oracle数据库之间的数据同步,保证应急切换设计的实现。
▏结果
• 通过场外系统替换项目,验证达梦数据库可替代Oracle RAC,且优化后整体性能与之前Oracle性能基本持平。
01
案例企业
中信建投证券成立于2005年11月,是经中国证监会批准设立的全国性大型综合证券公司。公司注册于北京,注册资本77.57亿元,主要股东有北京金融控股集团有限公司、中央汇金投资有限责任公司与中国中信集团有限公司,均为拥有雄厚资本实力、丰富资本运作经验与较高社会知名度的大型企业。公司在全国30个省、自治区和直辖市设有300余家证券分支机构,并设有中信建投期货有限公司、中信建投资本管理有限公司、中信建投(国际)金融控股有限公司、中信建投基金管理有限公司和中信建投投资有限公司等5家全资子公司。
02
项目背景
为了响应国家、监管、集团的号召,中信建投证券将信息系统按照办公管理类、一般业务类、核心业务类进行分类,以办公管理类系统作为切入口进行升级改造,积累改造经验后,逐步向一般业务类、核心业务类系统推进。基础软硬件的替换以及业务系统的自主可控改造工作已逐步深入,并取得显著成效。
中信建投从2014年开始建设场外系统,早期作为公司衍生品交易平台,后逐渐引入私募、信托类交易业务,2019年进行核心交易系统快慢业务分离设计,将过去在集中交易系统中的开放基金业务逐步迁移到OTC系统,并将资管类业务、现金宝业务迁移到OTC系统中。目前中信建投OTC系统代销场外各类产品数量超3万只,对接登记机构170家,规模居行业前茅。系统内交易账户数量1400万,日平均处理交易类请求2000万笔,交易峰值(TPS)2000笔/秒,数据量规模4.5TB,提供7*24交易和场外数据实时清算功能。
解决方案
2023年,中信建投将场外系统作为改造重点。OTC系统改造工作经历了4个阶段:
• 选型阶段:包括对基础组件、服务器、中间件、数据库的选型,最终选择达梦数据库替代Oracle RAC结构,主要考虑达梦数据库对Oracle的兼容性、业务代码的改动性、整体方案和应急切换;
• 开发阶段:开发阶段主要在应用层进行应用程序改造;
• 测试阶段:对接口适配、应用场景模拟、综合包和模型生产进行反复多轮压测;
• 部署阶段:利用生产周末环境进行可用性测试,进行反向切换回Oracle的应急操作、生产数据并轨操作等反复多轮测试,目前完成单轨切换。
OTC系统部署解决方案如下:OTC系统作为券商场外核心系统,上下游系统关联较多,涉及券商前中后台之间的交互,接口类型包括文件接口、实时消息接口等,替换方案设计时需要考虑保证客户交易系统稳定性的大前提下,保证上下游数据采集、业务办理、日终清算、文件拆分合并等对其他系统的影响减小到最小。
从实施步骤、验证和风险等方面考虑,替换时由外向内逐层替换,第一阶段将外围应用切换到新环境,第二阶段将KCXP切换到KCBP,相当于组件化替换,将消息转发到原来系统中;第三阶段使用达梦DHMS技术,部署达梦数据库和应用系统后,将Oracle生产的数据实时同步到达梦环境中,实现业务数据同时在线上两套系统同时并轨,为了验证达梦数据库的性能,在生产正式上线前,通过在XP上进行功能号转发的方式,将90%的生产流量引入达梦数据库中进行处理,包括客户日间资产查询、份额查询、协议查询等业务,在正式单轨前充分验证达梦数据库的承接能力;第四阶段,下游Oracle数据库作为备用逃生通道,将达梦数据库作为主的单点数据库,将数据通过DHMS反向同步回Oracle中进行实时处理。
完整的替换方案如下:使用达梦数据库一主两备的模式替换Oracle RAC,从过去共享存储的方式转化为单机存储方法使用;选择宝兰德中间件、麒麟V10操作系统、华为鲲鹏920芯片。
达梦数据库在切换过程中提供两个关键技术:一是高可用性技术,基于达梦的Watcher和Monitor实现本地集群部署和灾备异步;二是异构数据库同步技术,基于DHMS实现达梦数据和Oracle数据库之间的数据同步,保证应急切换设计的实现。
04
价值与效果
中信建投场外系统在达梦数据库上的实践实现如下价值:
第一,通过场外系统替换项目,验证达梦数据库可替代Oracle RAC。达梦数据库可以支持证券核心业务OLTP和OLAP交织的HTAP新型混合业务场景复杂需求。
第二,券商上下游系统交互数据流转紧密、接口类型众多,中信建投在核心系统迁移中采用组件化分批逐步替代的方式,保证核心交易系统功能迭代和持续提供服务。
第三,项目技术栈采用国产化服务器、麒麟操作系统,宝兰德BES+BWS、达梦V8+DM DATA WATCH+DMHS、金证应用程序+个性化监控,实现技术安全自主可控。
第四,达梦OLTP业务整体性能提升75%,OLAP业务整体性能提升90%,优化后整体性能与之前Oracle性能基本持平。上线后系统日均调用承载量可以达到两千万次以上,数据库访问峰值每秒上万次,投产以来数据库各项性能指标运行平稳。
如下图所示,中信建投证券选择生产环境TOP 10功能号,模拟生产数据混合压测,通过对达梦数据库索引使用、控制参数等进行优化,优化后性能与Oracle性能基本持平。
中信建投主要的设计思想是在并轨期将90%的查询业务引入到达梦数据库,实现单轨后Oracle数据库作为备用逃生通道临时同步数据,因此需要关注DHMS的同步效率。异构数据库采用逻辑同步的方式,下图所示全天的同步延时最大约为800s,交易环节的延迟较低,可以满足其他数据消费系统的使用。
中信建投当前采用开源的Prometheus监控平台,项目上线后联合达梦数据库对业务场景进行个性化监控,除了增加对整个数据库表空间的常规监控外,还对数据库同步增加了检查点监控,对于慢SQL设置阈值进行打印和告警,针对高可用集群实时监控备库状态,充分保证集群的有效性。
案例来源:-数据库方向
中国通信标准化协会大数据技术标准推进委员会(CCSA TC601,简称:数标委/BDC),旨在凝聚产业链各个环节,识别和解决大数据发展面临的重大问题,开展大数据技术、数据资产管理、数据共享与流通、数据安全等共性基础标准研究,以标准推进工作为纽带,推动大数据与实体经济深度融合。欢迎加入我们的行列!
入会咨询:白老师 13520285502
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...