Insérez ici votre logo

shrubberyweakInternet and Web Development

Oct 21, 2013 (4 years and 22 days ago)

87 views

1

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

L’analyse de logiciels de
formation :

entre critériologie descriptive

et nécessaire subjectivité


Olivier Hû
-

Philippe Trigano


Université de Technologie de Compiègne

UMR CNRS 6599 HEUDIASYC BP 20529
-

60206
Compiègne, France

olivier.hu@utc.fr ; philippe.trigano@utc.fr

2

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Plan


Les sources des critères d

’analyse


La nécessité d

’une structuration
adaptative


La nécessité de prise en compte de la
subjectivité


La confrontation entre subjectivité
humaine et évaluation analytique


Notre prototype


Validations


Perspectives


Conclusions

3

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Les sources des critères
d’analyse


Les Sources :


Les Normes


Les Guides de style


Les Critériologies et Ontologies des domaines



D

’où un grand nombres de
recommandations :


A tous les niveaux de détails : directives,
critères, recommandations…


Dans tous les thèmes : ergonomie, documents
multimédias, génie logiciel, pédagogie…

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

4

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Les sources des critères d’analyse…

en ergonomie


Normes :


Norme ISO/WD 9241


Accessibilité W3C WAI ATAG / UAAG / WCAG


Guide de style :


Windows Interface Guidelines For Software Design


OSF Motif Style Guide


Mac OS 8 Human Interface Design Apple


Recueils de recommandations et
critériologies :


J. Vanderdonckt
-

Guide ergonomique des IHM.


D. Scapin
-

Ergonomic criteria for evaluating the
ergonomic quality of interactive systems.


International Journal of HCI ; TFWWG ; CADUI ;
ERGO
-
IA ; IHM...

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

5

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

WAMMI

(
Website

Analysis

MeasureMent

Inventory
)

WebSAT

Projet

EvalWeb

(
INRIA,

LIHS

Toulouse,UCL
)


Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


pour le Web

Les sources des critères d’analyse…

en multimédia


Questionnaire NUMI


J. Ziegler
-

Standards for Multimedia User
Interfaces


Les normes d

’édition


Musicologie (Chion M.), Photographies…

6

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Les sources des critères d’analyse…

en pédagogie


La norme RIP : critères pédagogiques,
critères techniques, critères juridiques



Le questionnaire d

’évaluation METANE



A l

’intérieure de différentes méthodes ou
ouvrages (MEDA…)


Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

7

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Les sources des critères d’analyse…
conséquences


Un très (trop) grand nombre de
recommandations


Un travail de ré
-
écriture nécessaire :
Structuration, Granularité, Reformulation,
Hiérarchisation…


Un temps d

’évaluation long


Pas besoin de toutes les recommandations
tout le temps

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

8

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La nécessité d’une
structuration adaptative

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Un parcours synchrone

9

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La nécessité d’une
structuration adaptative

Q1

Q2

Q3

Q4

1

3

3

1

Criterion mark

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Un parcours synchrone

Une pondération adaptable


10

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La nécessité d’une
structuration adaptative

Question :
Avez
-
vous…?

Réponses :

Proposition 1

Proposition 2

...





Q

221

Q

222

Q

223



C

21

C

22

C

23

P=1

P=3

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Un parcours synchrone

Une pondération adaptable

Une adaptation dynamique

11

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La nécessité d’une
structuration adaptative

always

often

sometimes

never

Do you see this default ?

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Un parcours synchrone

Une pondération adaptable

Une adaptation dynamique

Des calculs évolués

12

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La nécessité d’une
structuration adaptative


Un parcours
synchrone


Une pondération
adaptable


Une adaptation
dynamique


Des calculs évolués

Une
évaluation

toujours

incomplète

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

13

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La nécessité de prendre en
compte la subjectivité


Un contexte complexe : plaisir
d’utilisation, motivation, empathie…


Des compétences hétérogènes des
enseignants


Pouvoir confronter les a priori de
l

’évaluateur


Détecter des défauts ressentis et non
formulés

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

14

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La nécessité de prendre en
compte la subjectivité


Les Impressions Générales


Rassurant

/

Déconcertant


Luxuriant

/

Sobre


Ludique

/

Académique


Actif

/

Passif


Simple

/

Complexe


Innovant

/

Traditionnel

Une

capitalisation

Une

description

«

neutre

»

Deux

exploitations

futures

:

des

impressions

«

calculées

»

une

description

du

public

cible

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

15

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La nécessité de prendre en
compte la subjectivité


Les Impressions Générales


Une Notation Instinctives


Une Profondeur d’Analyse Variable

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

16

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention


Le résultat doit être vu comme une
proposition :


sa qualité est de la responsabilité de
l

’évaluateur


il permet de confronter son opinion à la
vision analytique


la méthode aide et ne remplace pas
l

’évaluateur


Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

La confrontation entre
subjectivité humaine et
évaluation analytique

17

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Explanation

Reformulation

Exemples

Theory

Help

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

La confrontation entre
subjectivité humaine et
évaluation analytique

Une aide à l

’évaluation

Vers un apprentissage

de l

’évaluation

18

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

La cohérence de l

’évaluateur entre un niveau
et les niveaux inférieurs correspondants





C

2

C

21

C

22

C

23

+10

-
9

-
10

-
8

Notes Instinctives

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Une aide à l

’évaluation

Un indice de cohérence

La confrontation entre
subjectivité humaine et
évaluation analytique

19

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Note Calculée

Note Instinctive

Indice de

cohérence

Pondérée

par

Proposition de résultat

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Une aide à l

’évaluation

Un indice de cohérence

Une proposition de note
«

intelligente

»

La confrontation entre
subjectivité humaine et
évaluation analytique

20

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention


Une aide à
l

’évaluation


Un indice de
cohérence


Une proposition de
note «

intelligente

»


Vers un rapport
descriptif

Commentaires

Génération

de descriptions

Rapport

descriptif

Notes finales

Rapport final d

’évaluation

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

La confrontation entre
subjectivité humaine et
évaluation analytique

21

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Notre prototype

22

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Note instinctive

Impressions Générales

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Notre prototype

23

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Proposition de note finale

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Notre prototype

24

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Validations


Des cycles de conceptions avec des
étudiants de second cycle :


Une cinquantaine d’étudiants pour une
trentaine de logiciels


Usage réel


Recueil d’informations sur l’usage du prototype
par des enseignants ou des experts


Observation sur le terrain


Observation de l’usage de différents logiciels
par une classe de cm2


Une confrontation avec les concepteurs

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

25

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Validations

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Impressions Générales :


Terrain : bonne prédiction de l

’adéquation
public/logiciel


Concepteurs : retour sur la population cible


Le Questionnaire :


Terrain : bonne détection des erreurs
ergonomiques


Concepteurs : vision clinique multicompétence


Notes Instinctives / Calculées :


Terrain : investissement et apprentissage de
l’évaluateur


Concepteurs : priorité de développement

26

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Perspectives :


Utilisabilité du prototype


Présentation des résultats


Ordonnancement des critères


Portabilité de la méthode à d’autres
questionnaires

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

27

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Perspectives : (M

)
-
1


Un outil d

’aide à la conception


La même base de critères que EMPI


Génération d

’un «

cahier des charges

»

Un formalisme de description

Gérer toutes les caractéristiques de la méthode

Produire le questionnaire sur différents supports

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Perspectives : QML

28

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

Conclusions


La base de recommandations est riche en
taille

et en
diversité


Ne jamais oublier le contexte humain


Une instrumentation plus qu’une
automatisation


Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

29

Insérez ici

votre logo

Nom de l'intervenant
-

Titre de l'intervention

L’analyse de logiciels de formation :



entre critériologie descriptive

et nécessaire subjectivité


Olivier Hû
-

Philippe Trigano


olivier.hu@utc.fr ; philippe.trigano@utc.fr