Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,作为最受 Apache Flink 社区开发者期盼的年度峰会之一,FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态,是中国 Flink 开发者和使用者最不可错过的的技术盛宴。
今年 Flink Forward Asia(以下简称 FFA ) 回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。延续 FFA 惯例,峰会所有议题均为开放征集而来,并由专业的议题评选委员会评分筛选,确保内容代表行业领先水平,为开发者们输出更加优质的干货,并为各企业提供可借鉴的实践经验。本次大会,B站3项议题入选,包括B站Flink作业全链路效率优化实践、Flink流批一体在模型特征场景的使用、Flink CDC+Hudi在B站的落地与实践。
专题 | 议题 | 讲师 | 日期 | 时间 |
生产实践 | B 站 Flink 作业全链路效率优化实践 | 12月9日(周六) | 09:40-10:20 | |
数据集成 | Flink CDC + Hudi 在 B 站的落地与实践 | 魏泽丰 - bilibili 基础架构部高级开发工程师 | 12月9日(周六) | 11:40-12:20 |
流式湖仓 | Flink 流批一体在模型特征场景的使用 | 张杨 - bilibili 资深开发工程师 | 12月9日(周六) | 16:40-17:20 |
FFA 2023 官网:https://flink-forward.org.cn/
议题推荐
B 站 Flink 作业全链路效率优化实践
丁国涛 - bilibili 基础架构部资深开发工程师
演讲介绍:
本次分享主要介绍 Flink 在 B 站的全链路效率优化的实践,主要包含以下几方面内容:
一、B 站 Flink 现状与挑战
1.1 当前现状
1.2 面临的问题与挑战
二、启动效率优化
2.1 启动效率量化
2.2 启动效率优化
2.3 优化效果
三、运行时容错效率优化
3.1 JobManager HA 优化
3.2 Regional Checkpoint
3.3 Flink SQL 连接关系优化
3.4 单点恢复
四、扩缩容效率优化
4.1 热扩缩方法
4.2 效果展示
五、未来展望
5.1 任务异步重启
5.2 更完备的热扩缩支持
Flink CDC + Hudi 在 B 站的落地与实践
魏泽丰 - bilibili 基础架构部高级开发工程师
演讲介绍:
本次演讲主要介绍 Flink CDC + Hudi 在 B 站的落地实践及经验分享:
一、B 站 MySQL 数据入仓发展历史及痛点。
二、Flink CDC + Hudi 整体架构。
三、Flink CDC Connector 底层优化。
四、Hudi 底层基建增强。
五、Flink CDC 产品化落地。
Flink 流批一体在模型特征场景的使用
张杨 - bilibili 资深开发工程师
演讲介绍:在 ai 的场景下,流和批两种计算模式天然不可或缺。模型的冷启动依赖批对历史数据的计算,而模型的实时更新则依赖数据的流式计算。在调研到上线这样一个很自然的模型开发流程中,大部分同学都是使用了 spark 和 Flink 两种引擎来完成。这导致日常工作中,相当一部分时间都是用在两种引擎的逻辑对齐和数据对齐上,很多模型调研和上线效果预期不一致也与此相关。因此我们尝试在 Flink 这一种引擎上,完成流批这两种模式的计算。我们适配了所有 Batch 入口支持 Flink 任务提交,语法层尽量兼容用户传统用法,性能上做了算子和调度器优化,使用 Celeborn 支持超大规模 shuffle 和云原生,资源上 on K8S 并与 streaming 混部提升整体资源使用。尽量给用户提供一致的体验,并且解决掉传统的一致性问题,最终在模型特征场景下取得了不错的效果。
直播预约 & 参会报名
PC 端可前往 FFA 2023 大会官网操作:https://flink-forward.org.cn/。
移动端可关注「Apache Flink」视频号预约直播。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...