LSTM实现解析

RNN

RNN(循环神经网络)和前馈神经网络区别在于RNN的隐含层单元有层内的连接,数学上体现在:隐层单元的输出既取决于前一层的输入也由同一层的隐层单元决定。 \[a_t=Ux_t+Ws_{t-1}+b\] \[s_t=tanh(a_t)\] \[o_t=Vs_t+c\]

Read More