Natural Language Processing With Modular PDP Networks and ...

scarfpocketΤεχνίτη Νοημοσύνη και Ρομποτική

24 Οκτ 2013 (πριν από 3 χρόνια και 8 μήνες)

67 εμφανίσεις

  

  

















 













 


 
 

 
  







 
 








 
 
 






 
   

 

   




   
 





 


 










 
  



   

  


 
 
  


  


 

 


   


 
     
 




 
   



 





   
  
 
  
 

 

                  

   






 

  


   

 
         

 

  


        
    

  
 



 







 

 

LEXICON
Input layer:
Output layer:
Target pattern
Input pattern
New representations
Modify representations
Form error signal
Hidden layer
       
                                                                           
                                                                                       

                                                                                         
                                                                                          
                                                                                           
                                             
                                                                                   
                                                                                  
                                                                                    
                                                                                    
                                                                                     
                                                                             
                                                             

                                             
                                                                                  
                                                                                  
              
                                                                           
                                                                                  
                                                                                   
                                                                              
                         

   
 
  
       
 
 
 
  
                                                  

 

                        
                                                                                 
                  

         








  
               
    











   

 
  
                
    



 
    
   
 



   
     
            



 
  



 
 
 


      

                 

 

 









































  
      









   
 
 

  

 



  



   


     
  
 


  
 
  



  
   

  


  


 




      
    


  



 
    

Agent Act Pat i ent Modi fi er
boy
hit ball
I nst rum
girl
boy
hit
girl ball
Subj ect Verb Obj ect Wi t h
Hidden layer
Input layer
Output layer
Target pattern
Syntactic constituents
Case-role assignment
     


                                                                    
                                                                                      
                                                                                       
                                                                                     
                                                                                       
                                                                                           
                                                                                         
                                                                                     
                                                          
 
       

          
                                                                                    
                                                      
                      
                                                                                  
                                                                                     
                                                                                     
                                                                                   
                                                                                     
                                                                                     
                                                                                      
                                               
                                                                              
                                                                                

    
                                   
  



  


  
 

 
 

   
 
 
 
 


 

 

 


    

   

 
 
   

  

  

    


 
   

 
    

 
  
    
    
     
    

    
 

  
 
                                                                     
                                                                                
                      

                                                                                
                                                                           
 
 
 

                                                                                                
                                                                                                          
                                                                                                        
                         

chicken
Prey
BreakerFragileobj Predator
Human
Animal Hi t t er
Food Utensil Possession
hammer
vase
bat
ball
rock
ball
doll
hatchet
paperwt
rock
hatchet
hammer
paperwt
bat
hatchet
hammer
dog
vase
bat
ball
dog
sheep
wolf
lion
fork
spoon
bat
wolf
lion
chicken
sheep
boy
girl
man
woman
vase
window
plate
chicken
cheese
pasta
carrot



   






















































  




 





   


     
 
 
 







        
 
 

 







   
 

 



 

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
boy
girl
man
woman
dog
lion
wolf
sheep
chicken
cheese
pasta
carrot
doll
plate
window
fork
spoon
paperwt
rock
bat
vase
hammer
hatchet
ball
       
                                                                            
                                                                                            
                                                                                       
                                                                                   
                                                                                     
                                                                                           
                       
girl
sheepchicken
woman
carrot
pasta
doll
window
plate
bat
ball
vase
hatchet
paperwt
cheese
0.0
1.0
rock
wolfdog
lion
man
boy
fork
spoon
hammer
                                                                                   
                                       

                        
 

paperwt
girl
hammer
hatchet
woman man
rock
vase
ball
boy
spoon
window
bat
fork
plate
doll
chicken
sheep
carrot
pasta
cheese
dog
wolf
lion


 

      
      
     
    






 









 

    
  

 
  




    

 


   

 
    
      
 

 

  
 

    
 
  
 
     
         
 

   
 
  
 




 
 
  
 
 

   
    
 

 


 
  
 

    
 

 
 
 

  
          
  
 
 

   
 


 
   

  
 
  
  
   
         
  
 
 

  
 

 
 
    

  
    
  

 
 
  
     
 

  

 
   

 

  
   

  

 
 

    

 
 

 

   
 

    
       
  

  
 

 

  
 

 

    
 

 

   
  

  
 

 

  
 

 

  
  



  

 

   
     
  





  


 
 
   

 

 
 











 


  



   

 
   

 
 

  
 
    
 

 


 
  
  


 
  
                 
 




 
   
  


 
 
  
 
 

 


 
 
  
 
    




   
 

 


 
  
 

    
 

 
 
    
 

 
 
    
  
 


   
 

 
 


 

  
 


 


  
         
  
 


  
 

 
 
    
    
 
  
    
 
  
 

 

  
 

 


 
  
   

 

 
           
 

 
 
     
            
 

 


 
  

  
    
 



  
 

 

  
  

 

  
 

 

  

 
 

 

  
      
 

 

  
 

 

  

 
  
   
 
12
10
8
6
4
2
0
40
50
60
70
80
90
100
Familiar
Unfamiliar
Number of damaged units
% of output within 0.15
      

                                                         
                                                                               
                                                                   
                                                                    
                                                              
                                                                         
                              
  
   
 
 
 
                            
                                          
               
                                                                 
                                                             
                                                           
                                                                     
                                                                  
                                                                
                                                            
                                                           
                                                                
                                                                    
                                                                       
                                                         


 
                                  
                                                         
                                                                      
                     
                                                          
                                                                         
 
Agent Act Pat i ent Modi fi er
woman
ate spoon
I nst rum
cheese
ate
Subj ect Verb Obj ect Wi t h
Hidden layer
Input layer
Output layer
Nearest lexicon
ent r y
pasta
       


                          
  
                                        
                                         

                                               
                                                                                   
                                      
                                                                                  
                                                                            
                                                                                   
                                         
                                                                             
                                                                                 
                                                                                 
  
  
                                                                         
    
                                                                                   
                                                                                    
                                                                                     
                         
                
                                                                                  
                                                                               
                                                                             
                                                                                      
                                      
                                                                                   
                                                                                 
                                                          
           

 
 
 
     
                                                        
    

      
           
 

                           
 


             
  


    
 
 


   
 
 
 
             
    
                                              
                                                                           
                                               
                                                                              
 
70
60
50
40
30
20
10
0
70
80
90
100
Fami l i ar
Unf ami l i ar
Number of training sentences per generator
% of output within 0.15
      
                              

                                 
                                                                             
                                                                                  
                                                                                         
                                                                                      
                     
      

       

     
                 
                                                                        
                                                                
                                                         
       
                                                        
                                                                
                           

                                    
                                                                 
                                                                
                                                                     
                                                               
                            
                                                            
                                                             
                                                              
                                                                       
                                                         
                                                            
                                                                             
                                                                   
                                                             
                                                                       
                                  
                                                                     
                                                                      
                                                          
 

 

     

  
                     
    




        
   
         
 
    

        
 
          
        
 
 
 
 
 
 







 


  


 

 





 










  
            




 





 
 




 

 

   




        




    
 
 


 


    


  








   


  
     


        
  

 
   
 
 


 
 
   


       

 
   
 








 

 
 
   











 

   

  

 





 







 
 

  






 






 








   


 
  



 

 









   

   



    

    
 

 




 



 
 
   
 
    
  

              
 
  









 


  


   


  
 









 
  




 


   

 
 
 


 


  

  
 



 

40
35
30
25
20
15
10
5
0
60
70
80
90
100
Random
50 per generator
Number of clones
% of correct output words
template
        
                                  

                 
 
          

                                                                                           
                                                                                          
                                                                                       
                                                                                        
                                                                                       
                                                                                      
      
                                                                                
                                                                                  
     
                                                                             
                                                                                   
                                                                             
                                                                            
 
                                                                          
                                                                               
                                                                                 
                                                                                  
                                                                                  
                                                            
                                                                               
                                                                                     
 
                                                                               
                                                                                 
                                                                                   
                 
                                                                         

    
                                                                                
                                                                              
                                                                              
 
             
  
 







 
         

 

  





 




 

   
           
 






 







 
Previous hidden layer
Agent Act Pat i ent Modi fi er
boy
hit
hammer
I nst rum
window
Hidden layer
Input layer
Output layer
Target pattern
Case-role assignment
window
Sequence of input words
        
                                                                  

 
                                                                                   
                                                                          
                      
                                                                           
                                                                                  
                                   
                                           
                                                                          
                                                                                   
                                                                                
                                                                                
                             
                                                                       
                                                                                   
                                                                                   
                                                                           
                                                                                    
                                                                                    
                                                                               
                  
 
 
                                    
                                                                            
                                                                                   
                                                                                 
                                                                                 
                                                                                
                                                                                
                                     

         

                    
                                                                       

 
                       
  
  
   
                                     
                                                                                  
                     

                                                            
 





                

 
  
    

  


 


 





  





 
 





               
 
  



 


  
 









 




  



   

     



      


 
      
 
  










  

   



 



 






  
 
 









 

   

                   




 
 
 


 

 
 


 


 





 
  
  






 
 
 


 

   


 
 
 
 

 


 





 
 
 





 
  


 
  
  
 
 



 

 
  
   



  
 



 



   


  


 



 





     

 






                

  



 

 





  
  





 

 

 

         
   
 
    



 



 
   
   
 
 


 





 





 
 

  


 



   

 


 






 

 





 
       
      


 



  








    

 
  

 





           
              
   
   


 
S
E
N
T
P
A
R
S
E
R
IN: Sequence of input words
Agent Act Recipnt Pat i entPat - at t r Location
OUT: Case-role representation of the sentence
John
went
MaMaison
.
S
T
O
R
Y
P
A
R
S
E
R
IN: Sequence of case-role representations
OUT: Slot-filler representation of the story
Agent Act Recipnt Pat i entPat - at t r Location
John went
Scr i pt Track
$fancy John
MaMaison
?good?
MaMaison
$restr
R/Cst mr R/Food R/Restr R/Ti pR/Taste
       

                                                                        
                                                                                      
                                                                                      
                                                        
 
                              
      
 
S
E
N
T
G
E
N
E
R
OUT: Sequence of output words
Agent Act Recipnt Pat i entPat - at t r Location
John
IN: Case-role representation of the sentence
John
went
MaMaison
OUT: Sequence of case-role representations
S
T
O
R
Y
G
E
N
E
R
IN: Slot-filler representation of the story
Agent Act Recipnt Pat i entPat - at t r Location
John went
MaMaison
Scr i pt Track
$fancy John
MaMaison
lobster good big
$restr
R/Cst mr R/Food R/Restr R/Ti pR/Taste
       

                                                                     
                                                                                         
                                                                                  
 
 


  


 
   
  










  
   
  



 


       
   

   

     

 
        



   


 



 
 





 
 
 







  




  





 

 






      




  
  



            

  

     


                  
          
   
 

  








 
    
 
 

 



 
 
   
 

  


 







  
  
 


 





 

 


 



 
  
  




            


 

    
   
  
   
 

       
   
  
     
  

                  






 

  


   
  
  



  




  
 
 


 
 




  
 






 
 


 








 
  

   
  



 







      

   
   
  
 

   

 

  

 
  


 



                
 




 
 

 


 



   
  



                    
  

  
 
 
   


 
  
    


 
  
  
 


   
 
 

  




  
  
    

   
 
                     
   
 


  

 


  
  





















 

 


 










 




 
 





 
     
 



   

      
 


 















 


 

















 




 









 
  




   
 
  


 





  

 




 

   
     



   




 

  
 
  
  


          
       

  
 

 










 



       

 


 
 

 
 

  
    
 
    
 

  


 





 



  

 



  

  


  
     


  








  



  



  
 



 
 

 


  
   

   



 

















 



 
 
    

     
 
 
 

         
  
 


 

  


 

  
   


 
 
  

  

 
  

 


 





 
  
 

 
    
 


 
 

  
  








 


 
 




  



 
    



   


 
 


   
  


     



 
 
          
           
          
     


  
         
        
    

 
              


  
                 
      

      
        
    

            

         
     

      

        
      
  
  
      
  

          
       






          

         
  
  
          
           

         
 
             


       
                


   



 


     
 

    

    
  
         
          
 
            
     
                
  
             

               
         
            
                   
      
                       
  
 
 
    
   
                     

                

          
                       
       

   
        
  

      


     
   
  
              

          


 



   




       

 

     
      

       

            



    

         
    
 
    

 

 


    


  
  
 
             

 


  



    
  

          
 
            
        
     
        
       


             
                

      
 




  
                   
     
      

            
  

     



 
 

      
             
  
         
     

         

  

     
         
  

        


  

   
      
     
                    
          
 
            

  
       

 
  
 

   
      
  
               
       
        


 

    


           
  
      
       



 


 
      
 
       
       





                   

     
        
      



 
 

    

 
       

 























 








     











  








  





 




 








 








 


  















































 










       
 
      

    

 















 











 

 
 
 

 





 



  

 


 













  








  






 

 







       
  


  

 
 




 



 

 




 
  
 

      

   

         










         
    
  
 





    

      




  

  


 


  
 



 

    


  


  



 







 


 


  
 
  




 




 



 

  










 


 



 
  




 
 
 



 




  






     




  


 




  


  
  
  



 

   



  
 
   




 





 

 
   
 
 






 


 


  




 
 
 

 




     




 





 
     
 
 

  


  

  



 



  





   






 







 











 




  




 








  








  



  
 



 




  





 



 


   
 


    



 


 


 


  
  





 




  
 





  

 

 
 


 











 



 







 
 
    
 
  
 




 








  


 


 


   

 





   



 

 



 

 

 




 



 

  





  

 

 
 

 





 
 
 

 
  
   
  
 
 





  
 

 








 








  

 
 
   

 


   


 


 





  






 





 
 

 






  
 

  
 






 
 



 













  






 
 







      




 




           
 


  
 
  
    
 
  
 
 
  
 
 
   




 





 
  


 
 
  
   
    
 
 
 
 




  
 




  







 
  
  
   


 



 


  
 


  













 
  

 




 



  



 



  
  


   




 

 
  
 
  






 
  
 


 
  










 


   

 
 
 

 






 








  









 
 



 
 
 




 



  




  
 
  

  


  
 




 
   
 
  





 
 


 







 

  






 
  
 
 
 



 



  










 



 