本文共 3414 字，大约阅读时间需要 11 分钟。

Seq2Seq������������������

Seq2Seq

Seq2Seq���sequence to sequence������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������Seq2Seq���������������

Seq2Seq���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������beam search������������������������������������������������������������beam size���������������8-12������������������������������

Seq2Seq���������

Seq2Seq������������������������������������������������������������������������

• ������RNN���������������������������������������������RNN������������RNN������������������������������
• ���������������Memory Network������������������������������������������������������������������������������������������������
• Dropout���������������������������������������������������������������������������������������������
• ���������������Skip Connection������������������������������������������������������������������������������������
• ���������������������������������������������������������������������������������������������������������������������������������������������������������

Seq2Seq������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

• ���������������������������������������������
• ���������������������������LSTM������������������������������

���������������������������������������������������������������������

• ������������������������������������������������������������
• ���������������������������������������������������
• ������������������������������������������������������������������

���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

���������������������

������������������������Multi-head Attention������Seq2Seq���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

Transformer������������Bert���������������������������������������������������������������������������������������������������������������Transformer������������������������������������������������������������������������������

Transformer������

Transformer���Seq2Seq������������������������������������������������������������������������������������������������RNN���Transformer���������������������������������������������������������������������������������������������������������

Transformer������������������������

• ������������restrictions���������������������������������������������
• ���������������������������������������������������������������
• ���������������������������������������Task������������

Transformer XL������������������Transformer��������������� biochemical layer������������������������������������������������

���������������������Seq2Seq���������������������������������������������������������������������������������������������������