B站模型训练存储加速实践
一、背景随着模型训练技术进入规模化应用阶段，提升训练效率与降低算力成本已成为全球AI竞赛的关键突破口。在以集群为单位的常态化运行的模型训练场景中，底层存储系统面临三重核心挑战：需同...
admin
Apache Gravitino 在B站的最佳实践
导读 在传统的大数据元数据管理系统中，以 HiveMetaStore 为核心的架构存在诸多问题和挑战。随着数据湖大规模应用、AI 数据大量增长、数据安全与数据治理被更加被重视，我们...
NameNode锁细粒度优化在B站的实践
1. 背景随着业务的高速发展，针对HDFS元数据的访问请求量呈指数级上升。在之前的工作中，我们已经通过引入HDFS Federation和Router机制实现NameNode的平行...
OPPO离线HDFS集群演进与优化实践
01背景HDFS 承载了 OPPO 近 EB 的存储数据，其中线上 PB 级别集群占比近49%，超过85% 水位线的PB级集群占23%，大集群日增 PB 数据量。本次分享内容主要介...
HDFS EC在B站的实践
本期作者陈世云哔哩哔哩资深开发工程师1.背景随着B站业务的高速发展，业务产生的数据每天以PB级的速度持续增长，之前主要应对方法是分析数据的使用频率，把数据分为热冷俩类数据，对冷数据...