论文笔记：Making Pre-trained Language Models Better Few-shot Learners

1.动机

通常情况下，BERT类模型总是需要一些样例来更新模型的参数从而让模型更加适应当前的任务，而GPT-3却号称可以“告别微调”，可以仅仅通过一个自然语言提示（prompt）以及少量甚至无需样例（标注样本）就可以作出正确的预测，即GPT-3可以通过不使用一条样例的Zero-shot、仅使用一条样例的One-shot和使用少量样例的Few-shot来完成推理任务。下面是对比微调模型和GPT-3三种不同的样本推理形式图：

受到GPT-3的启发，这篇论文研究了一个更符合实际场景的小样本学习问题：（1）使用可以在普通硬件资源上访问的中等大小的语言模型（如BERT），降低对硬件资源的要求。（2）借鉴GPT-3基于提示（prompt）的微调方法，减少对领域内有标注数据的过分依赖，降低对领域内少量有标注数据过拟合的风险。

2.基于提示（prompt）的微调方法

由上述分析，我们可以得知「prompt」由两部分构成：

3. 自动选择标签词

论文将模板与标签词的自动化构建分开，首先研究了如何在给定固定模板 T 的情况下构建一个标签词映射 M（我愿称之为半自动化😅），使其可以最大限度提高微调的准确性。论文中采用了一种相对简单的搜索策略，可以分为三步：

1. 通过未经微调的预训练模型，对于训练集中的每一个类别，选择top-k的单词使得条件概率最大。大白话来讲就是，先将每个类别中样例输入预训练模型，直接取[mask]处概率最大的top-k个单词作为该类别的候选标签词。
   
2. 综合每个类别下的候选标签词，然后找出使得训练集正确率最大的top-n个分配方式。
3. 进行微调，通过验证集的准确率从n个分配方式中选择最佳的一个标签词分配方式，构建标签映射关系M。

4. 自动生成模板

固定标签词，使用Google提出的T5模型自动生成模板。T5 经过预训练以在其输入中填充缺失的跨度（由 T5的mask 标记替换，例如 < X > 或 < Y >）。比如，给定一个mask后的输入“Thank you < X > me to your party < Y > week”，T5会生成这样一串文本“< X > for inviting < Y > last < Z >”，意味着“for inviting”可以替代< X >，“last”可以替代< Y >。论文认为T5这种方式特别适合模板的生成，因为无需事先为需要填充的位置指定token的数量。主要步骤如下：

1. 固定标签词映射关系。
2. 在标签词前后添加填充位（作者列出了三种填充位的方法，如下图），然后将其喂入T5模型中，自动生成模板序列。
   
3. T5模型输出解码时，采用解码多个在训练集上表现良好的模板，然后对每一个候选模板进行微调，选择其中一个最佳模板。

5. 利用示例进行微调

除了引入prompt外，作者还加入了一些in-context信息，这里也是借鉴了GPT-3的思想。上面有提到，GPT-3采用添加上下文样本示例的方式进行微调，其随机挑选32个训练样本，以上下文的形式直接拼接到输入样本句子上，论文认为该做法存在两个问题：

1. 可添加的演示样例的数量受模型的最大输入长度（GPT-3最大输入长度是2048，而bert只有512）
2. 不同类型的大量随机示例混杂在一起，会产生很长的上下文，不利于模型学习。

为了解决这些问题，论文提出了一个简单的解决方案：对于每一个输入句子 x，从训练样本中的每一类中只随机采样一个样本，每个采样出来的样本都与模板拼接形成prompt，然后全部与输入样本拼接形成最终输入，拼接后如下图所示。

6. 实验结果

使用到的数据集（8个单句、7个句子对任务）：

其中，|y|表示类别数（STS-B数据集是回归任务），L表示句子（对）的平均长度。
主要的实验结果如下图所示：

使用的模型是RoBERTa-large，每个类别采样K=16个样本模拟小样本学习，其中：

• Majority ：使用训练集中频率最高的类别作为预测结果；
• Prompt-based zero-shot ：零样本设置，使用手动设计的模板、并不引入额外的样本示例；
• “GPT-3” in-context learning：零样本设置，使用手动设计的模板，与GPT-3相同，从训练集中随机抽取示例，以上下文的形式添加到每个输入中。
• Fine-tuning ：小样本设置，标准微调方式，引入新的参数。
• Fine-tuning(full) ：使用全量的标注数据进行标准微调；
• Prompt-based FT(man) ：本文的微调方法，使用人工手动设计的提示模板；
• Prompt-based FT(auto) ：本文的微调方法，自动构建提示模板；
• +demonstrations ：引入额外样本示例到上下文中；

通过上述实验结果可以发现：

1. 基于提示的零样本预测（Prompt-based zero-shot）比直接使用多数类预测的性能更好，体现了 RoBERTa 中预编码知识的作用。
2. GPT-3方式的上下文学习（ “GPT-3” in-context learning）并不是总优于基于提示的零样本预测，这可能是因为较小的语言模型表达能力不足，无法像 GPT-3 那样使用现成的知识。
3. 基于提示模板的微调方法，明显超越普通的标准微调方法。但CoLA（该任务主要是对一个给定句子，判定其是否语法正确）是一个例外，可能是因为其输入包含许多非语法句子，而这超出了预训练模型的表示范围。
4. 一般来说，自动搜索的模板可以达到与手动相当甚至更高的结果，特别是对于构建强大的手动模板不太直观的任务（比如 TREC，QNLI和MRPC）
5. 最后，在上下文中使用演示可以在大多数任务中获得一致的收益。总之，论文的组合解决方案——使用自动搜索模板和采样演示集进行微调——与标准微调相比，SNLI数据集提高了 30%，平均提高了 11%。虽然在小样本条件下，基于提示的微调可大幅领先标准微调 ，但其相较于使用全量数据的标准微调仍然落后。

此外，论文也将基于提示的微调和标准微调在不同K（每个类别下的标注样本数量）下进行了比较，如下图所示。在小样本的情况下，基于提示的微调始终优于标准微调，直到两者收敛于 K= 256。

7. 总结

本文介绍了一种简单但有效的小样本微调方法，主要包括：

1. 使用基于提示的微调和自动搜索的提示；
2. 选定任务演示（训练示例）作为输入上下文的一部分。

实验表明，该方法优于普通微调高达 30%（平均 11%）。但也有一些局限性：

1. 该方法仍落后基于全量标注数据的标准微调方法；
2. 基于beam search的自动提示生成方法意味着搜索空间不能过大，只能用于少量类别的分类任务中；
3. 虽说是自动化生成提示，但生成模板前需要人工选择并确定标签词集合，生成标签词之前也需要人工确定模板，这有可能将搜索偏向于我们可能已经想象的搜索空间区域。
4. 该方法更适用于特定的某些任务，这些任务 (1) 可以自然地作为“填空”问题； (2) 具有相对较短的输入序列； (3) 不包含许多输出类。问题 (2) 和 (3) 可能会通过较长上下文的语言模型得到改善，而对于在提示中无法直接制定的任务，例如结构化预测，这是未来工作需要解决的一个较大的问题。

参考文献：