【活动预告】从云原生到大数据，如何打造 AIGC 新引擎？

AIGC 即 AI Generated Content，是指利用人工智能技术来生成内容，AIGC也被认为是继 UGC、PGC 之后的新型内容生产方式，AI 绘画、AI 写作等都属于 AIGC 的分支。而 AIGC 业务的部署也面临着异构资源管理、机器学习流程管理等问题。

本次分享将和大家分享如何使用云原生技术构建 AIGC 业务。主要内容：

1.什么是 AIGC

2.云原生机器学习的核心场景

3.云原生如何助力 AIGC 业务

4.客户案例分享

大模型离线推理，是指在具有数十亿或数万亿参数的大规模模型上进行分布式推理的过程。相较于常规模型推理，在模型切分、数据处理和数据流、提升 GPU 利用率方面面临了很大挑战。

本次分享将介绍如何利用 Ray 及云原生优势助力大模型离线推理。主要内容：

1.大模型离线推理关键挑战

2.使用 Ray 构建推理框架的核心优势

3.Kuberay 助力 Ray 云原生部署

机器学习在字节跳动有着丰富业务场景：推广搜、CV/NLP/Speech 等。业务规模的不断增大对机器学习系统的用户体验、训练效率、编排调度、资源利用等方面也提出了新的挑战，而 Kubernetes 云原生理念的提出正是为了应对这些挑战。

本次分享将主要介绍字节跳动机器学习系统云原生化的落地和实践。主要内容：

1.背景介绍

    a.在线推理服务

    b.离线流批训练场景

2.云原生机器学习系统

3.GPU 利用率提升实践

    a.推理 GPU 共享

    b.推理训练弹性并池

大规模语言模型上的军备竞赛日趋激烈，对于训练/推理系统的要求也越来越高。如何负担起这么庞大的计算需求，进行高效且低成本的训练和推理，成为摆在客户面前的一个非常急迫的问题。

本次分享将介绍 Intel Habana 方案，和大家探讨大规模语言模型的工程实践方案。主要内容：

1.大规模语言模型的挑战

2.训练/推理软硬件方案探讨