Experiments with Random Projections for Machine Learning

milkygoodyearΤεχνίτη Νοημοσύνη και Ρομποτική

14 Οκτ 2013 (πριν από 3 χρόνια και 9 μήνες)

87 εμφανίσεις

Experiments with RandomProjections for Machine
Learning
Dmitriy Fradkin
Division of Computer and Information Sciences
Rutgers University Piscataway,NJ
dfradkin@paul.rutgers.edu
David Madigan
Department of Statistics Rutgers University
Piscataway,NJ
madigan@stat.rutgers.edu
ABSTRACT











1.INTRODUCTION



























 



 








Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page.To copy otherwise,to
republish,to post on servers or to redistribute to lists,requires prior specific
permission and/or a fee.
Copyright 2002 ACMX-XXXXX-XX-X/XX/XX...

5.00.








 

2.METHODS
2.1 Principal Component Analysis (PCA)
2.1.1 Theoretical Background















  




























 















  






  














































      




   

  






 






 

















2.1.2 Complexity




















 










2.2 RandomProjections
2.2.1 Theory of RandomProjections
 
























 









 













 


















  









 
















 










 

 

  


 
 
 












0
2000
4000
6000
8000
10000
0
500
1000
1500
2000
2500
3000
3500
4000
4500
5000
Lower bound on q
Number of points





 


 

 
2.2.2 Complexity and Theoretical Effectiveness

  


















 





















2.2.3 Applications and Experiments










 


 







 








 








































 




   






 























 

 












  











 








 




 

















 








3.DESCRIPTION OF DATA






 




 






  

 




 






4.EXPERIMENTAL SETUP
 























  




    







 








 


 



 




 
 




 


  

 
 


 


























































 



























 










 



 















5.RESULTS
  



























 




 














 

















 


 




 


 

 

 





 


 


 






 








6.CONCLUSION






 













7.ACKNOWLEDGMENTS


8.REFERENCES





   
 














 







 
 











 
 












 

 

  

























 


 




   
 
 




 
























 
   




  
   




























 








 








  

 

 


 

 












    









  
  




 






















  
 

 












 
    
 

60
65
70
75
80
85
90
95
100
5
10
15
20
25
30
Original
PCA
RP
60
65
70
75
80
85
90
95
100
5
10
15
20
25
30
Original
PCA
RP
60
65
70
75
80
85
90
95
100
5
10
15
20
25
30
Original
PCA
RP
60
65
70
75
80
85
90
95
100
5
10
15
20
25
30
Original
PCA
RP
 


60
65
70
75
80
85
90
95
100
5
10
15
20
25
30
Original
PCA
RP
60
65
70
75
80
85
90
95
100
5
10
15
20
25
30
Original
PCA
RP
60
65
70
75
80
85
90
95
100
5
10
15
20
25
30
Original
PCA
RP
60
65
70
75
80
85
90
95
100
5
10
15
20
25
30
Original
PCA
RP
 

60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
 
 

60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
 






60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
60
65
70
75
80
85
90
95
100
50
100
150
200
250
300
350
400
450
500
Original
PCA
RP
  
 

 
  



 
 











 
 
 
 


   










 









 
 


 




 



 













 
 


 











 




 
 


 



 












 





 
 








 
 


 




 



 






 




 



 











 




 




 
 


 





 




 
 


 
 

 

 



 




 




 



 

 



 




 




 
 


 
 


 




 




 
 


 




 

 

 

 


 
 


 



 




 





 




 
 






 

 

 










 









 
 
 
 



   






  



  

 



 
 
 
 
 
 
 

 

  







 




 
 
  



  



 

 
 
 

 







  





  





 

 


 




 











 
  

 


   
  




 


 



 



 

 



 




 
 
 






  



 
 

 
   






 




 











 







 




 
 
 




 
 
 
 













 
 
 
 




 
 


 




 

 
 




 





 




 
 

 




   

  

 





 



 

 


 



 

 

 

 

 






 

 



 












  

 

 
 
 


 





 




 






 










  

 






 

 
 
 


 

 

 
 
 

 

 





 


    



  










 
 
 

 




 
 



 

 




 


    

 
    





 

 
 
 

 




 
 



 







 










  












 
 



 

 

 
 
 

 

 





   
 








 

 


 










 
 
 
 





 














 
 



  

 




 





 
 







 





 





 



 

 




 




 




  






   








 

  




 




 




 




 

 



   










 



 

 




 




 




 






  


















 


 


 



 

 

 




 







  

 

  

 








  


 

 

 




 

 


 





 




 

 




 















 
 
 
 



 

 



 
 


 




 




 


 

 

 

  

 
  

  
 




 



      



  



 
 

 





 




 

 



  

 

  


  






  



 
  


 


 

 



 





  

 

  

 










 


 
 



 




 



   





  


  

 

 

 


 




 





 

 
 












 

 




 

 



 
 


 





 

 
 


 









 

 




 





 
 


 




 
 

 
 



  







 

 














  
      

 



 
 



 
 
 



 







 






 
  





 

 
 






 


 



  

  




 





 


 



 

   

 


 






 

  

 

   

 
    


 






 






  






 


 







 
 

 

  


 



 

 



 



 

  


 



 





 




 


 

 


  

 

   




 


  


 

 




 




   










  

 


 
 



    


 








 




 


 




 

 



 





  






 
 


  

 



 



 

 


 




 






  

 






 








 





 



 
 




 



 







 


 


 

 




 
 



 





  
 





 




 

 






 
 










 
       