一、摘要

深度神经网络带来的性能提升已在各种数据集中进行了阅读理解（RC）的研究。但是，这些模型在不同领域的泛化能力仍然不清楚。为了缓解这个问题，我们将研究RC上的非监督域适应，其中在标记的源域上训练模型，并仅使用未标记的样本将其应用于目标域。我们首先显示，即使使用强大的BERT上下文表示，将在一个数据集上训练的模型直接应用于另一目标数据集时，性能仍然不能令人满意。为了解决这个问题，我们提供了一种新颖的条件对抗自训练方法（CASe）。具体来说，我们的方法利用在源数据集上微调的BERT模型以及置信度过滤，在目标域中生成可靠的伪标记样本以进行自我训练。另一方面，它通过跨域的条件对抗学习进一步减少了域分布差异。大量实验表明，我们的方法在多个大规模基准数据集上的监督模型可达到与监督模型相当的准确性。

二、结论

在这篇文章中，我们探讨了在阅读理解中无监督领域适应知识转移的可能性。我们的实验证明，即使是BERT模型也不能很好地在不同领域之间进行推广，语料库和问题形式的差异导致了这种失败。然后，我们提出了一种新的无监督领域自适应方法——条件对抗性自我训练(CASe)。在对来自源域的标记数据进行BERT模型微调后，它在每个时期交替使用自训练和条件对抗学习，以使模型更好地适合目标域并减少域分布差异。在6个钢筋混凝土数据集上的实验结果验证了CASe的有效性。它显著提高了零镜头模型的性能，表现出与在目标域上训练的受监督模型相似的性能。