.Block, 1.Cell
3.Block, 2.Cell
0
0.5
1
680
T
P
P
T
T
P
P
T
T
T
T
T
850
Forget Gate Activ.
Symbol
-12- -20- -11- -15- -11--10- -15- -14- -9- -19- -10--9- -9-



    




 
  
  





 
  

  

  
   
  
        
     
  

 

 
  


 
 
-10
0
10
680
T
P
P
T
T
P
P
T
T
T
T
T
850
Internal State
-12- -20- -11- -15- -11--10- -15- -14- -9- -19- -10--9- -9-
1.Block, 1.Cell
0
0.5
1
680
T
P
P
T
T
P
P
T
T
T
T
T
850
Forget Gate Activ.
Symbol
-12- -20- -11- -15- -11--10- -15- -14- -9- -19- -10--9- -9-
   

}
XY
{
}
XY
{
a.b,c,d
noise
a.b,c,d
noise
a.b,c,d
noise
}
XY
{
10 - 20
a.b,c,d
noise
E
recurrent connection for continual version
33 - 43 66 - 76 100-110
B
0
 


  

  
 
  



 

  













 
 
 
 
 


 
 
 

 




   





  



  
             
      
 





 
 


 
  
 
 

 


 





 



  
 




  


 
 




















    
*
*
?
?
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
1
000
1
000
000
1
000
+/
+/
?+*
-1
+1
0
000
000
time
000
000
00 00
...
...
...00
1 00
[T-T/5, T][T, T+T/5] [T, T+T/5][T-T/5, T]
...
random valuemarker
t
1
t
2
3
t
t
4
 

 

 
  
 
 
  

      




   




















 

  

  


  

   
 



 
  
  
  
 








 



 


 


  
 


 
  


 



  

 


  

    
  
            

     

 




 

   



  
   





  

 
 
 
 
    

 

  
t
Δ
t
Δ
y
c
out
y
c
s
y
in
y
out
s
c



c
w
c
net
in
g
state
cell
cell output
net
in
w
in
input gate
net
out
out
w
output gate
y
and forgetting
peephole connections
input squashing
output gating
input gating
CECnet
ϕ
w
y
ϕ
ϕ
forget gate
memorizing
cell input
peephole connection
g
  



 



 


  

  
 


   




 
  




 
 
 



 




 
      


 



  
  





   
  

    
 


 
 
 
  





  



  

 


 



 

 









 


  







 







 

 








 


   






  

  

  

 


 

   

 





 

 




  

  

 


 

  

  




       
  
 
  







 

 

    



 

 



 


  





  




  







 



  





 



  







 







 









 











 
 

 

 







  

  






 






  






 






  





 





  

 





 



 





 



  









 

 





 





 





 


 

   

 





 


 


  





  




  


 

  

 
  
 







 

 





 
  









 
 



 
 





  


   

   

  

 


 


  


 

  

 



 



   


 


 
  

  
  
  

    






  










     












 





 



  


 












 






 





     


 








  





 


  


 


 








  





 
















 











  
  


  
 


 


   
  

  

 
  
 



  
   




   
 
  



 



 

  





   
 
 

 

 
  
 




















 
 



 
Out
Forget Gate
Cell
one
with
Block
Memory
Input Gate
In
Output Gate
  







   
  
 



 

  





 
   

 
 





  





 
 



 























































 

0
10
20
30
40
0
10
20
30
40
50
Training Streams [106]
Time Delay F
LSTM
Peephole LSTM
 



 















 
  
   





 
 

 

 








 



 

























 





 



 











































  





 



 

 



 

 



 













  



 



  



  

 
  
  
  
  

   
 
 
 
  
0
0.5
1

in
t
k
y
k
0
0.5
1

0
1
s
c
y
c
0
10
20

0
1
0
10
20
30
Time
y
in
y
out

y
ϕ
0
1
0
10
20
30
Time
  






  
  




 




   
 

 
0
1
2
3
in
t
k
y
k
0
1
2
in
t
k
y
k
0
4
s
c
y
c
-2
0
s
c
y
c
0
1
0
10
20
30
Time
y
in
y
out

y
ϕ
0
1
40
50
60
70
Time
y
in
y
out

y
ϕ







  
  




  
 
 

  
  


 





  




 





































0
1
2
3
0
10
20
30
40
50
Training Streams [106]
Time Delay F
 


 


  

 
    
  


  
  
 

 
  


 

 





  
   
  
  

 



 



  


 
0
1
t
k
y
k
0
1
t
k
y
k
-4
0
s
c
y
c
0
2
s
c
y
c
0
1
0
10
20
30
Time
y
in
y
out

y
ϕ
0
1
0
50
100
150
Time
y
in
y
out

y
ϕ
  


  




    








 


 







 


  






 










  
  
0
1
0
1
2
yk
and tk
Input: in
in
t
k
y
k
-2
0
2
s
c
y
c
0
1
50
60
70
80
90
100
Time
y
in
y
out

y
ϕ
 


 

 

  













 



 
 

 




  


 


 



















    

      

 




 



 

 




  



 










 





 







  


  








  






  








  






  








  
 

 


     




 

  
  












 
    






 



  




 


  



 
 
   

 





  
0
1
t
k
y
k
0
1
t
k
y
k
0
1
t
k
y
k
0
1
t
k
y
k
0
1
0
10
20
30
40
Time
t
k
y
k
0
1
0
25
50
75
100
Time
t
k
y
k




















 



  


   
  
 

 

 


 

 
0
1
t
k
y
k
0
1
t
k
y
k
-6
-4
-2
0
s
c
y
c
0