本文共 560 字，大约阅读时间需要 1 分钟。

贴一下汇总贴：

论文链接：

一、摘要

我们引入了一种新的语言表示模型BERT，它代表来自变压器的双向编码器表示。不同于最近的语言表示模型(彼得斯等人，2018a拉德福德等人，2018)，BERT被设计成通过在所有层中联合调节左和右上下文来预处理来自未标记文本的深层双向表示。因此，只需一个额外的输出层，就可以对预先训练好的BERT模型进行微调，为各种任务(如问答和语言推理)创建最先进的模型，而无需对特定任务的架构进行重大修改。BERT概念简单，经验丰富。它在11个自然语言处理任务上获得了新的最先进的结果，包括将GLUE分数提高到80.5% (7.7%的绝对提高点)、MuncLi准确率提高到86.7% (4.6%的绝对提高点)、SQuAD v1.1问答测试F1提高到93.2(1.5%的绝对提高点)和SQuAD v2.0测试F1提高到83.1(5.1%的绝对提高点)。

二、结论

最近通过语言模型进行的迁移学习带来的经验改进表明，丰富的、无监督的预训练是许多语言理解系统不可或缺的一部分。特别是，这些结果使得即使是低资源的任务也能从深度单向架构中获益。我们的主要贡献是进一步将这些发现推广到深度双向架构，允许相同的预训练模型成功处理广泛的自然语言处理任务。

注：综述性，多看几天吧，先把tfm整理一下，再回来看看这篇