A Comparison of Transformer and LSTM Encoder Decoder Models for ASR

We present competitive results using a Transformer encoder-decoder-attention model for end-to-end speech recognition needing less training time compared to a similarly performing LSTM model. We observe that the Transformer training is in general more stable compared to the LSTM, although it also see...

Celý popis

Podrobná bibliografie

Vydáno v:	2019 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) s. 8 - 15
Hlavní autoři:	Zeyer, Albert, Bahar, Parnia, Irie, Kazuki, Schluter, Ralf, Ney, Hermann
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 01.12.2019
Témata:	attention Convergence Convolutional codes Data models Decoding Encoding end-to-end ASR Hidden Markov models LSTM Training Transformer
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!