Long Short-Term Memory in Recurrent Neural Networks

prudencewooshΤεχνίτη Νοημοσύνη και Ρομποτική

19 Οκτ 2013 (πριν από 3 χρόνια και 10 μήνες)

187 εμφανίσεις

Long Short-Term Memory
in Recurrent Neural Networks
TH
?
ESE N

2366 (2001)
PR
´
ESENT
´
EE AU D
´
EPARTEMENT D'INFORMATIQUE

ECOLE POLYTECHNIQUE F

ED

ERALE DE LAUSANNE
POUR L'OBTENTION DU GRADE DE DOCTEUR

ES SCIENCES
PAR
FELIX GERS
Diplomin Physik,Universit ¨at Hannover,Deutschland
de nationalit ´e allemand
soumise a l'approbation du jury:
Prof.R.Hersch,pr´esident
Prof.Wulfram Gerstner,directeur de these
Dr.habil.J¨urgen Schmidhuber,corapporteur
Prof.Paolo Frasconi,corapporteur
Dr.MER Martin Rajman,corapporteur
Lausanne,EPFL
2001
 


 
  
  
  
  
  
  
  
  
   
  
  
  
  
  
  
   
  
  
  
  
  
  
  
  
   
  
   
  
  
  
  
   
   

 
  
  
  
  
  
  
  
  
 
 
  
   
  
  
  
  
  
  
  
  
   
  
  
   
  
  
  
   
  
   
  
   
  
   
 


  
  
  
    
 
 
 
 
 
 


 
 
 
   


 
 


 
   
 

 

 



 


    

 


 

  
 
 
 
 
  










  




   

 
 
   
   


 

  

 


 
 
 

 
 
  



  
  

 
     
  
 
  
 

   
   
   
   
  
 
 





  
 
 
 
 

 
  



 


 
  
   
 


 
 


  





















  











    



 
 

 
In
In
Out
Out
In
In
Out
Out



 
 






 
 


 

 




 


  

  

 
 

    

 
 


  

 


  



 


 
  
 


  


     
 
 








 


 

 
  

 

 
  


  


  


 

  

 
 
 

  
 
 

  





  


 
 

 
  


  
  
    
 
 


 
 
 
 


    
 



   

 
 
  


 

  

  

 

 
 

  


 
  
 



   
 
 
 
 
  

  

 
 
  
      
  
 




   
In
In
Out
Cell
one
with
Block
Memory
Out
Output
Input
Hidden
Output Gate
InputGate
 


 
c c
in
s = s + g y
wg y
in
input gating
y
c
w
h
y
out
y
out
output gating
ouput gate
out
net
out
s
c
h( )
output squashing
w
c
c
net
netg( )
c
input squashing
1.0
CEC: memorizing
y
in
input gate
in
net
in
  
 
   

 
    
 


    




  






    

   



     


  



  









 
 
 


  
      





  



 

 



 

 

 




 
 

  
 

 

 





 

 


   




 



 

  



 
 

  



 











 

 


  
  
 



 

 
 

 






    

 
 







  
           
       
  
 



 



    
 



   
  

 
 

 

 

 

  
  





  

 
 
 
  
  




 
  




 
  