An Asynchronous Hidden Markov Model for Audio-Visual Speech ...

movedearΤεχνίτη Νοημοσύνη και Ρομποτική

17 Νοε 2013 (πριν από 3 χρόνια και 6 μήνες)

63 εμφανίσεις

     
  


 
 
  











   

 
 













 



 










 
  
 






 
 








 






 







x
T
1

y
S
1

S  T


p(x
T
1
;y
S
1
)


q



 

N


x
t

t


y
s

t

(i;t) = P(
t
=sj
t1
=s  1;q
t
=i;x
t
1
;y
s
1
)

 
y

t

i


t
= s


y

q

x

q

p(x
T
1
;y
S
1
;q
T
1
;
T
1
)

  
   





x

y

(i;s;t) = p(q
t
=i;
t
=s;x
t
1
;y
s
1
)



(i;s;t) = (i;t)p(x
t
;y
s
jq
t
=i)
N
X
j=1
P(q
t
=ijq
t1
=j)(j;s 1;t 1)

(x;y)

x


y




+ (1 (i;t))p(x
t
jq
t
=i)
N
X
j=1
P(q
t
=ijq
t1
=j)(j;s;t 1)





p(x
T
1
;y
S
1
) =
N
X
i=1
p(q
T
=i;
T
=S;x
T
1
;y
S
1
)

=
N
X
i=1
(i;S;T):
 


 

x

y

V (i;s;t) = max

t1
1
;q
t1
1
p(q
t
=i;
t
=s;x
t
1
;y
s
1
)

= max
(
((i;t)p(x
t
;y
s
jq
t
=i) max
j
P(q
t
=ijq
t1
=j)V (j;s 1;t 1);
(1 (i;t))p(x
t
jq
t
=i) max
j
P(q
t
=ijq
t1
=j)V (j;s;t 1))
:

V (i;S;T)


i

 



 

  






(i;s;t) = p(x
T
t+1
;y
S
s+1
jq
t
=i;
t
=s)

(i;s;t) =
N
X
j=1
(j;t +1)p(x
t+1
;y
s+1
jq
t+1
=j)P(q
t+1
=jjq
t
=i)(j;s +1;t +1)
+
N
X
j=1
(1 (j;t +1))p(x
t+1
jq
t+1
=j)P(q
t+1
=jjq
t
=i)(j;s;t +1):
   

         
    
   


     

 

  



x



1
(i;s;t)

(i;s;t)

i

y

t


1
(i;s;t) = (i;t)p(x
t
;y
s
jq
t
=i)
N
X
j=1
P(q
t
=ijq
t1
=j)(j;s 1;t 1)



0
(i;s;t)

(i;s;t)

i

y

t


0
(i;s;t) = (1 (i;t))p(x
t
jq
t
=i)
N
X
j=1
P(q
t
=ijq
t1
=j)(j;s;t 1):


i

x

y

P(q
t
=i;
t
=sj
t1
=s 1;x
T
1
;y
S
1
) =

1
(i;s;t)(i;s;t)
P(x
T
1
;y
S
1
)
;


i

x

P(q
t
=i;
t
=sj
t1
=s;x
T
1
;y
S
1
) =

0
(i;s;t)(i;s;t)
P(x
T
1
;y
S
1
)
;


i

j

P(q
t
=i;q
t1
=jjx
T
1
;y
S
1
) =
P(q
t
=ijq
t1
=j)
P(x
T
1
;y
S
1
)


0
B
B
B
B
@
S
X
s=1
(j;s 1;t 1)p(x
t
;y
s
jq
t
=i)(i;t)(i;s;t)+
S
X
s=0
(j;s;t 1)p(x
t
jq
t
=i)(1 (i;t))(i;s;t)
1
C
C
C
C
A
:
 




 

  
 
 
 

 

 
 

 


(i;t)

(i;t)


i



 




  


         

  
     
O(N
2
ST)

N


S

y

T

x

x

y
  

 


x

y

x
t

y
s

jt 
T
S
sj < k

k

 
x

y

S

T


O(N
2
Tk)

k

     


 P(q
t
=ijq
t1
=j)


 p(x
t
jq
t
=i)


x


 p(x
t
;y
s
jq
t
=i)






x

y

i

p(x
t
;y
s
jq
t
=i) = p(x
t
jq
t
=i)p(y
s
jq
t
=i)




y

x

p(x
t
;y
s
jq
t
=i) = p(y
s
jx
t
;q
t
=i)p(x
t
jq
t
=i)
  



p(x
t
jq
t
=i)

p(x
t
;y
s
jq
t
=i)



 (i;t) = P(
t
=sj
t1
=s  1;q
t
=i;x
t
1
;y
s
1
)



y

t

i


i

s


x
t

y
s


     
   
   
 

     



 

       


      

 


 







P(x
t
jq
t
)

 

 

P(x
t
;y
s
jq
t
)

 

 
 

(i;t)



  




  
 
 
 



 
  
  
 
  

   




 

 



          


0
10
20
30
40
50
60
70
80
0db
5db
10db
15db
Word Error Rate
noise level
audio HMM
audio+video HMM
audio+video AHMM
video HMM
 


   
 


     








 

 
  




  
  

 
 

  

 
  


 

 
 

 
 

 

  
  

 
 

 
    

  
 


    
   

    

  


 
    

 

       



 






0
50
100
150
200
0
100
200
300
400
500
600
700
800
Video
Audio
zero un deux trois quatre cinq six sept huit neuf
AHMM Alignment
HMM Alignment
Alignment Bounds
Segmentation






    


       

 

 


   


 





 



   

  





  





    
  

 
 

   





    
 

    

  

   





   

 
  

  

 

  

 





  

 

 





 

  



  

      
 

   

 



 

   

    


    

  
 
  

  




  

  













 
  



  