不要无脑用CausalLM了，你的任务也许适合用其他任务头

1

前言

我们经常能看到微调代码中的 AutoModelForCausalLM，AutoModelForSequenceClassification 等代码，其实这些都是任务头，那他们有什么区别，我们该使用哪种任务头呢？这就是本文要讨论的内容。

2

GPT4 解释

transformers 库提供了多种任务头（Task Heads），这些任务头是为了适应不同的自然语言处理（NLP）任务而设计的。任务头是在预训练模型（如 BERT、GPT 等）的基础上添加的一层或多层神经网络，用于将模型的输出转换为特定任务所需的格式。通过在预训练模型的顶部添加任务头并进行微调，可以使模型适应各种 NLP 任务，如文本分类、命名实体识别、问答系统等。

以下是一些常见的任务头及其用途：

文本分类头（Text Classification Head）：用于文本分类任务，如情感分析、主题分类等。文本分类头通常包括一个全连接层，将模型的输出映射到类别标签的概率分布。

序列标注头（Token Classification Head）：用于序列标注任务，如命名实体识别（NER）、词性标注等。序列标注头通常包括一个全连接层，将模型的每个输出映射到对应位置的标签概率分布。

多标签分类头（Multi-label Classification Head）：用于多标签分类任务，即一个文本可以被分配多个标签。多标签分类头通常包括一个全连接层，将模型的输出映射到多个标签的概率分布。

问答头（Question Answering Head）：用于问答任务，如抽取式问答。问答头通常包括两个全连接层，分别用于预测答案在文本中的开始位置和结束位置。

遮蔽语言建模头（Masked Language Modeling Head）：用于遮蔽语言模型任务，如 BERT 的预训练任务。遮蔽语言建模头通常包括一个全连接层，将模型的输出映射到词汇表中每个词的概率分布，以预测遮蔽位置的词。

这些任务头可以帮助你在 Transformers 库中快速地构建和微调适用于各种 NLP 任务的模型。

3

transformers 包中的任务头

体现在代码上，就是我们导入 AutoModelFor+任务头名称，如前言中提到的 AutoModelForCausalLM，AutoModelForSequenceClassification 等。假设我们要做文本分类任务，那么则应该导入 AutoModelForSequenceClassification。

这里需要注意，并不是每个模型都具备上述的全部任务头。

关于预训练模型具体支持哪些任务头，还需要到官网或者源码中进行查看。

4

参考链接