Transformer
5. Transformer-TTS: Neural Speech Synthesis with Transformer Network文章于2019年1月发表
Transformer-TTS可以看做Tacotron2+transformer的组合，作者认为优点主要为：
通过移除RNN结构实现并行训练，因为解码器的输入序列的帧可以并行地提供。第二种是self-attention可以将整个序列的全局上下文映射到每个输入帧中，直接构建远程依赖关系。主要步骤和改进：
text-to-phoneme，输入为phoneme;
Encoder Pre-net: 有Embedding层和三层卷积层组成；
Scaled Positional Encoding: 增加可训练参数 α α α，使之能够自适应地适应编码器和解码器prenets输出的大小；
Transformer Encoder和Decoder，参照[Attention Is All You Need](# 4. Attention Is All You Need);
Decoder Pre-net: 两个全连接层;
保留Stop Token；
相比Tacotron2，训练速度提高三四倍。
MOS值对比：
欢迎进群交流~
Transformer-TTS: Neural Speech Synthesis with Transformer Network阅读笔记