On voit bien que 100 = Pr(OZ | mZ)/ Pr(OZ | mD) - St. Olaf College

peaceevenΒιοτεχνολογία

4 Οκτ 2013 (πριν από 3 χρόνια και 10 μήνες)

78 εμφανίσεις

On voit bien que 100 = Pr(O
Z

|

Z
)/ Pr(O
Z

|

D
)
ATTENTION, il y a une erreur dans le
Dwyer: l’entropie relative est definie avec un
-

!!!!

Exercice pour montrer l’asymétrie de la formule:


H(

D

|

Z
) = 0.225*(
-
0.126) + 0.275*(0.115) + 0.275*(0.115) + (0.
225*n)*(
-
0.126) =
0.0032

Exercice: H(

Z

|

Z
) = ln(1) = 0, il n’y a besoin d’aucune base pour distinguer O du
modele Z du modele Z…

Intuitivement, il demandera plus de bases pour distinguer un modele desordonné par
rapport a modele ordonné que le contraire

(D est plus ordonné que Z).

Exercice (difficult): show that relative entropy is positive( or equal to 0 if

Z

=

D

)

Solution.(fig 1.15 from Durbin)

log(x)


x
-
1 with equality only if x=1 (hint, faire la figure)

-
H(

Z

|

D
) =
-

b

p
Z
(b) * log( p
Z
(b) /p
D
(b) ) =

b

p
Z
(b) * log( p
D
(b) /p
Z
(b) )





b

p
Z
(b) * ( p
D
(b) /p
Z
(b)
-

1) = 0

On a inversé les rapports des proba…