此篇文章发布距今已超过503天,您需要注意文章的内容或图片是否可用!
在之前的《》文章里面,我推荐了FineDataLink这个工具。同时,前段时间我们进行直播,分享了数仓的分层设计、时效性优化以及灵活建设方法,浅讲了当前国内企业在搭建数仓上遇到的问题,最后为大家提供了多源异构数据整合和数据开发的工具——。在直播结束后,收到不少大家关于对于数据源的提问。例如,FDL能调用第三方API接口获取数据吗?能对接SAP系统的数据吗?以及是否能进行数据的写入?因此本篇我们将详细介绍,FineDataLink作为数据集成工具,能对接哪些数据源,适用的场景有哪些?首先来简单看一下现阶段(2023.5)FineDataLink支持的数据源类型。按照不同的维度,大致划分如下:关系型数据库:MySQL、Oracle、SQL Server、PostgreSQL、SQLite、HSQL、IBM DB2、Informix
大数据类:SAP HANA、Hadoop Hive、Impala、ClickHouse、Presto、Greenplum、Greenplum(并行装载)、HP Vertica、Doris
国产数据库:达梦、人大金仓Kingbase、华为GaussDB 200、南大通用Gbase 8A
NoSQL:MongoDB
消息队列:Kafka
文件类数据源:FTP/SFTP文件服务器、Excel、CSV
接口类型:RestAPI、WebService、简道云、SAP RFC
FineDataLink目前已支持七大类型、30+种数据源(API接口统一算一种),覆盖大部分版本和主流认证方式,已支持的数据源如下图所示:这些数据源由FineDataLink的统一数据连接模块对接,然后选择离线或实时同步模块,进行数据集成。
技术原理:基于日志的结构化数据复制技术,不依赖源数据库的触发器或者规则,能以极少的系统开销实现秒级数据实时增量同步复制。应用场景:跨地域跨业务数据实时同步、数据备份、云上数据快速下云备份。
技术原理:基于ODS、DWD、DWS、ADS和DIM分层设计,通过数据对接、API对接、数据关联、比对更新等数据开发过程,配合任务调度依赖、定时调度配置等完成数仓建设。应用场景:整合多源异构数据,基于业务进行企业级数据仓库搭建,提升数据使用质量,以解决业务频繁拿数以及自主分析需求。
技术原理:通过SQL语句,快速将加工、融合后的多源异构数据封装成规范化API发布,全面兼容主流数据库,普通工程师通过浏览器、无需原厂商配合,即可完成分钟级别API接口数据发布。- 对外能力开放:将企业内部数据以标准API的形式,开放给外部合作伙伴或第三方,可管可控地与外部用户共享服务和数据,达成深度合作,共建新生态。
- 内部业务集成:规范系统间API数据接口,快速完成企业内部系统的解耦和实现数据的交换。
最后,感兴趣的公众号后台回复“资料”,我们整理了6个G数据平台、数据仓库、数据仓库、数据治理、企业数据化管理案例,供大家免费领取!往期精彩推荐
▼
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
宙飒zhousa.om
还没有评论,来说两句吧...