这个AI的终极使命，是特能唠嗑

你见过这么能“唠嗑”的AI么？

你想了解李白，它能告诉你李白的称号、代表作品，还告诉你李白去过哪些地方、最喜欢的山、随口给你一句李白的经典诗句……

这是一个被“喂养”了许多数据的AI，TA可以以一当十，可以在零样本或少样本的情境下完成多种 NLP 任务（包括多语言任务）。TA便是 WeLM，一个学富五车 (well-read) 的 10 Billion 的中文模型，除了具备强大的中文理解和生成能力，还拥有处理跨多语言（中英日）任务的能力，进一步微调后，WeLM 可以拥有更好的零样本学习能力。

WeLM 能做到什么？有多厉害？

可以说，TA好像什么都知道（只要你有高超的提问技巧），语数英政史地物化生统统拿捏，还可以从语数英，给你贯连到物化生，再融汇到政史地。

先举个简单的，问答题/简答题：

或者，改写题，它甚至会给你多个回答，喜欢哪个任君挑选：

主流的 NLP 模型路径包含纯 Encoder(Bert)，纯 Decoder(GPT) 以及 Encoder-Decode(T5) 结构。GPT3 和 Google PaLM 均在自回归模型的路线上殚智竭力。WeLM 同样选择了 GPT 风格的结构，因为我们认为自回归模型更容易在海量数据中掌握无穷范式。不同的技术路径除了体现项目设计者个人倾向的品味，也有其对结构优劣的深度思考。

考虑到不同的用户对于模型效果和推理延迟会有考量或者取舍（trade-off），我们训练了 1.3B，2.7B 以及10B 三个版本的模型，让用户在调用时可丰俭由人。

● 使用 RoPE 位置编码：利用三角函数的恒等变换优化相对位置编码。

● 使用 62k 个 token 的 SentencePiece，保留空格、tab 会更有利于下游任务。

相比传统模型，大模型的训练难度更高。不仅体现在需要更多的训练资源，在硬件上会遇到类似网络问题，挂载方式变更等IO问题，或者直接机器故障，当问题发生后需要耐心和运维沟通并重启训练。“软件”问题上，例如并行策略的选择、各类参数的设置如micro batch size, hidden size 大小等、模型训练过程中混合精度信息、dynamic loss scaling 变化、learning rate 变化等也需要经常观察并果断决定是否干预。

WeLM 以完全可原地复现的形式训练。换句话说，不管训练中发生了任何问题，我们都能从最近的保存的 checkpoint 中恢复并复现下一个 batch 的问题。以大模型的一个常见问题为例， batch loss 突然爆增但随后又回落为正常值，这称之为 loss spike（模型 size 小的情况并不常见），这会导致训练耗时且加重不稳定。而正因为 WeLM 可原地复现，我们直接跳过在 pipeline 中会导致 loss spike的这段数据。

参数越大，对应的训练数据量也需要越大，多数现有的大模型训练是不够充分的。我们将 10B WeLM 训练了 300B tokens（已经等同于GPT3的训练量），在 128 张A100 上训练需要大概 24 天时间。

如果对更多 WeLM 的训练细节感兴趣，可以参考技术报告的 Method 章节。

数据之于模型，如水之于鱼也。对于大模型的训练，数据的重要性不言而喻。

我们构建数据集的目标是：

1、足够丰富：不仅是数据量大，数据的主题来源也要丰富多样。我们从 Common Crawl 下载了近两年的中文网页数据，同时搜集了大量的书籍、新闻。为了增强专业能力还补充了知识密集的论坛数据和一些学术论文。搜集完成后的全量数据10TB，其中包含了750G的英文数据，还有部分日韩文为了语义的连贯我们也全部保留。

2、足够干净：我们需要保证语料的纯净，不仅是去除本身的重复性，也要防止噪声数据、“有害”的脏数据影响训练。搜集的原始数据包含太多的噪声和脏数据。除了常规的规则过滤外，我们也额外训练了一个二分类 fasttext 模型检测数据是否需要清洗。最终通过规则结合模型我们过滤掉了超过87%的数据。接着，我们利用 SimHash 去除数据内部的重复，这一步有效的过滤掉40%的数据。

3、足够公平：去除一切和测评相关的数据，我们希望测试的指标能够真实反应模型的强弱面，如果混入了测试数据或者同源数据对于后续的评测是不公平的，训练完成后也可以进一步验证模型是否利用了测试数据训练。我们以 17-gram 为检测重复粒度，这一步再次过滤了 0.15% 的数据。

最终处理完的数据量为 262B tokens。为了更好的平衡各个数据源的比重，也要对数据进行不同比重的采样。最终整体数据集的Topic 分布相比 Common Crawl 更加平滑。

GPT结构(自回归)的模型在微调时需要针对任务撰写 prompt,   为了让后续的微调不再困难，我们预先标注了针对76个不同数据集的 prompt，对于每个数据集都人工撰写了10-20个 prompt。

如上图所示，以NLI任务为例，原任务中的文本关系的标签和输入信息被转化为流畅通顺的自然语言形式，更符合自回归语言模型的训练形式。

如果需要对新的任务进行微调，可以先从标注的 prompt 池中选择最为接近的来较为方便的构造新的训练数据。

进一步，我们结合 prompt 对这76个数据集微调，通过实验证明在全量数据上微调后的模型在新的 NLP 任务上具备更优秀的零样本迁移能力。这也使得微调变为一项一劳永逸的工作。我们也在尝试 parameter-efficient 的微调方式，后续将为大家持续报道。