Transformer模型的時(shí)間復(fù)雜度主要由其核心模塊自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)決定，其中自注意力機(jī)制的計(jì)算復(fù)雜度占主導(dǎo)地位。

本文將從單個(gè)矩陣乘法的時(shí)間復(fù)雜度計(jì)算出發(fā)，分析自注意力機(jī)制、多頭注意力機(jī)制、前饋神經(jīng)網(wǎng)絡(luò)的時(shí)間復(fù)雜度，從而得到整個(gè)Transformer模型的時(shí)間復(fù)雜度，并說(shuō)明優(yōu)化方法。

1.單個(gè)矩陣乘法的時(shí)間復(fù)雜度

2.自注意力機(jī)制的時(shí)間復(fù)雜度

3.多頭自注意力機(jī)制的時(shí)間復(fù)雜度

4.前饋神經(jīng)網(wǎng)絡(luò)的時(shí)間復(fù)雜度

5.Transformer模型的時(shí)間復(fù)雜度

6.時(shí)間復(fù)雜度優(yōu)化

本文轉(zhuǎn)載自??南夏的算法驛站??，作者：趙南夏