Apache Celeborn 在B站的生产实践
背景介绍Shuffle 演进随着B站业务的飞速发展,数据规模呈指数级增长,计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务,大数据系统的高效性与稳定...
这是关于 flink 标签的相关文章列表
背景介绍Shuffle 演进随着B站业务的飞速发展,数据规模呈指数级增长,计算集群也逐步从单机房扩展到多机房部署模式。多个业务线依托大数据平台驱动核心业务,大数据系统的高效性与稳定...
导读大家好,我是来自哔哩哔哩的张陈毅,今天给大家分享的 topic 是B 站基于 Iceberg 的流批一体的探索和实践。本次的分享主要分为五个部分:1. 海量用户行为数据传输2....
今天,B站就要满14岁啦!我们哔哩哔哩技术从注册账号发表第一篇文章到现在也有一年有余的时间,感谢大家一直以来的支持。在这一年多里,我们一共发表了145篇原创技术分享文章。为庆祝哔哩...
作者:vernedeng前言关于 Apache InLong作为业界首个一站式、全场景海量数据集成框架,Apache InLong(应龙) 提供了自动、安全、可靠和高性能的数据传输...
本期作者张陈毅哔哩哔哩资深开发工程师张杨哔哩哔哩资深开发工程师1.背景Flink SQL在业务使用中有较多的双流join场景,当左右流的流量都较大,Join的等待时间即使为1小时,...
毫不夸张地说,Flink 指标是洞察 Flink 任务健康状况的关键工具,它们如同 Flink 任务的眼睛一般至关重要。简而言之,这些指标可以被理解为滴滴数据开发平台实时运维系统的...
一、背景介绍Trace、Metrics、Log是APM系统(Application Performance Management,应用性能管理)的三大支柱。过去云音乐使用的Metr...
一、引言随着互联网的快速发展,数据量呈爆炸性增长,安全分析领域面临着前所未有的挑战。传统的安全分析方法在处理海量数据时显得力不从心,无法满足实时、高效的需求。为了解决这一问题,Fl...
近年来,流批一体的技术思想势头火热,即“将批处理和流处理相结合,实现更好的数据处理能力”,已成功从理论层面走进现实世界。Flink 是一款高吞吐量、低延迟的流处理引擎,具备统一接口...
Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,作为最受 Apache Flink 社区开发者期盼的年度峰会之一,FFA 2...