Remarques sur les presentations des differents

tonguescurlyΛογισμικό & κατασκευή λογ/κού

17 Νοε 2012 (πριν από 4 χρόνια και 8 μήνες)

356 εμφανίσεις


Compte
-
rendu de réunion

Groupe 3

1




Rédaction du compte
-
rendu

Date

:

samedi 16 mars 2013



Auteurs :
Nicolas SCOTTINI, Benoit MARTIN,
Tristan

ROLLET
,
Laura TOURNIER
, Olivier
VAN DER MEERSCH

et
Jérôme VOLCKAERT


Relu par

:

Julien Vandermoere



Réunion

Thème :
Réunion d’avancement du projet DARTIES

Lieu :
Université Lyon1,

Nautibus TD 3

Date et heure :
samedi 16 mars 2013

8h45


12h10

Présents :



René BABE



Mathieu VINCENT



Julien VANDERMOERE



Rémy VILLAIN



Pierre GIRONA



Christophe LUCAIN



Laura TOURNIER



Olivier VAN DER MEERSCH



Adam LE GOFF



Nicolas SCOTTINI



Tristan ROLLET



Romuald SOLEIL



Thomas BOFFY



James DAVIS



Onur YILDIZ



Benoît MARTIN



Jérôme VOLCKAERT

Excusé

:



Maxime WEHRLIN

Ordres du jour :



présenter
et faire valider
le travail effectué



f
aire le point sur l'avancement d
u projet



répartir les nouvelles tâches



Compte
-
rendu de réunion

Groupe 3

2




Prochaine
Réunion

Thème :
Réunion d’avancement

Lieu :
Université Lyon1, Nautibus TD3

Date et heure :
Mardi 25 Janvier 2011, salle TD12 à Nautibus

Sommaire

Remarques sur les présentations des différents groupes de travail

................................
.........

3

I. Architecture

................................
................................
................................
.........................

3

II. Base de données

................................
................................
................................
................

3

Outils utilisées

................................
................................
................................
....................

3

Le dictionnaire de données

................................
................................
................................

3

Les normes

................................
................................
................................
.........................

3

Les métadonnées

................................
................................
................................
...............

3

Mise en place des cubes OLAP:

................................
................................
..........................

4

Implémentation AWM :
................................
................................
................................
......

4

Conclusion pour oracle

................................
................................
................................
.......

5

SAS

................................
................................
................................
................................
......

5

Evolution du Modèle depuis la dernière réunion

................................
..........................

5

III. Alimentation

................................
................................
................................
......................

6

Règles de nommage

................................
................................
................................
...........

6

Formalisme des erreurs

................................
................................
................................
......

6

Job d’
initialisation Talend

................................
................................
................................
...

6

Alimentation annuelle

................................
................................
................................
........

6

Alimentation mensuelle:

................................
................................
................................
....

7

Problèmes rencontrés:

................................
................................
................................
.......

7

IV Restitution

................................
................................
................................
..........................

8

V. Recette

................................
................................
................................
...............................

9

VI. Ventilation

................................
................................
................................
.........................

9





Compte
-
rendu de réunion

Groupe 3

3




Résumé

:

Remarques sur les présentations des différents groupes de travail

I. Architecture

Outils utilisés pour l’architecture:

-

Alim
entation:

Talend 4.1 /Visual Paradigm 5.0

-

BDD
:

Oracle 10g / SQL DEvelopper

-

Restitution: serveur
JBoss 5.0.1 GA /JQuery

tools 1.2.5 / Jasper
-
iReport / SAS / Visual Studio



II. Base de données

Outils utilisées

-

Analytic Workspace Manager

-

Data Integration Studio

-

Sybase PowerDesigner

Le dictionnaire de données

-

Il est actuellement sous format Word, mais il va être
généré sous le format html et mis en
place sur internet.

-

L’équipe d’alimentation doit le regarder pour voir s’il peut être généré automatiquement
sous Talend.

Les normes

Des préfixes ont été ajouté aux tables suivant leurs catégories:

D_
-
> table de dim
ension

R_
-
> table de référence

F_
-
> table de fait

Les métadonnées

-

M
is
e

en place
d’
une table de métadonnées. Celle
-
ci enregistre les modifications,
suppressions et insertions da
ns les tables du datawarehouse
afin de

:



connaître un minimum de contexte
des données



effectuer un contrôle des données
.

-

Présentation d’un exemple avec la vue DICT.

-

Les métadonnées sont à
un niveau au
-
dessus que le dictionnaire de données
.

-

Par contre, i
l manque une vue récapitulative de toutes les modif
ication
s



--
>
Création

d’un ensemble de triggers
.


-

En ce qui concerne la table de sauvegarde, i
l faut nommer un administrateur
au cas où il y a
un problème.

L’équipe alimentation devra se servir de cette table.
Il sera par la suite
certainement intéressant de faire un

reporting sur cette table pour chacune des équipes du
projet.

-

I
l faudrait attribuer un compte pour chaque personne (ou groupe de travail), car on ne sait
pas actuellement qui a fait une modification étant donné que l’on a tous le même compte.




Compte
-
rendu de réunion

Groupe 3

4


Mise en
place des cubes OLAP:

Les outils
utilisés

sont
:



Analytic Workspace Manager

(modèle)



Data Integration Studio



Sybase PowerDesigner
.


Modèle du cube:



Le cube est formé de 3
dimensions divisées en hiérarchies:



Dimension Magasin

o

Hiérarchie démographie : pop
ulation/plus35a/25_35a/moins25a

o

Hiérarchie géographie : continent/ville/emplacement/région



Dimension Famille

o

Hiérarchie Famille : référence



Dimension Période

o

Hiérarchie temps : année/semestre/trimestre/mois

Implémentation AWM :

-

Les a
vantages

de cette implémentation sont

qu’elle est gratuite et assez simple
d’utilisation, par contre elle a le désavantage d’être l
ourd
e et d’avoir des t
emps de réponse
conséquent
, il y a un manque de documentation sur I
nternet
.


-

Des p
roblèmes
ont été
rencontrés

:



temps de réponses pour la création trop long



la base de James ne supporte pas OLAP



la base de Nautibus est trop lente et pas de droits OLAP à priori
.


-

Pour résoudre ces problèmes, il faut demander des compétences en interne (ex

:

demander
à Coquery po
ur problème OLAP).



Compte
-
rendu de réunion

Groupe 3

5



Remarque de Monsieur BABE

valant pour toutes les équipes
:

P
our la résolution de problème
s
, ne pas hésiter à chercher des compétences

:

-

auprès des profs présents au Nautibus

-

en demandant aux autres groupes du projet (compétences tr
ansversales)

-

auprès de Mr Babé
.


Pour la
Direction

:

I
l faut établir un historique des problèmes techniques, les dater afin de
voir comment les sujets ont été réglés et dans quel laps de temps.


Conclusion pour oracle

Il faut installer oracle 11g Enterpr
ise Editio
n qui comprend les moteurs OLAP sur la base de
James.


SAS

Travaux à effectuer

:

-

Régler le problème de la connexion à la BDD Oracle depuis SAS.




Pour cela, il est possible de contacter le groupe de restitution du groupe 1 (Kevin

LECHES et
Renaud CELLETTE).

-

A partir de cela, mettre en place un cube basé sur nos données dans SAS


Axes à améliorer:

-

Veiller à travailler plus en collaboration avec l'équipe restitution pour SAS, il est possible de
coopérer pour régler des problèmes commun
s

rencontrés avec SAS et ne pas les traiter en
parallèle.

-

Il aurait été possible de négocier avec Mme Gertosio pour l’acquisition de licences
Qlickview.


IMPORTANT:

Mettre en commun les problèmes entre les équipes, faire des réunions
transversales, pour n
e pas travailler seulement en parallèle.


-

Mr Babé souhaite une vision très fine de notre plan d’action prévue. Il faut donc être très
précis sur ce que chacun fait et doit faire.


Evolution du Modèle depuis la dernière réunion

-

Pour commencer, le modèle

initial donné dans le SFD a été rappelé pour revenir sur le fait
qu’il ne répondait pas à toutes les exigences, notamment avec l’équipe alimentation. Suite à
ce premier modèle, un autre modèle avait été fait, il s’agissait d’un modèle mi
-
flocon mi
-
étoile,

et c’est le dernier modèle que M.Babé a vu, fin Octobre.

-

Concernant les changements apportés au modèle précédent, deux tables permettant le
chargement mensuel et annuel des magasins ont été
rajoutées

à la table magasin existante
pour répondre aux besoin
s de l’alimentation, et il y
-
a eu une fission de la table géographie
du précédent modèle. Cela ne pose pas d’inconvénient
s

puisque les informations qui
relèvent de la dimension géographie sont prés
entes dans la table magasin
(id_
continent,région, etc.)
.



Compte
-
rendu de réunion

Groupe 3

6



La base
études
a également été greffée au modèle comme prévu dans les objectifs
fixés lors de la réunion précédente avec M.Babé.


-

Un fichier excel intitulé BugsBDD a été mis en place sur le svn pour permettre à tout le
monde de faire des suggestions pour

des problèmes ou des changements à faire dans la
base. Pour chaque problème, il doit contenir le demandeur du problème, la date de
demande du problème, la description du problème, ainsi que la personne (de l’équipe SGBD
ou non) ayant résolu le problème, l
a date de résolution du problème, des remarques
éventuelles et le temps de résolution du problème.

-

Ce dernier permet d’avoir une fonction de pilotage, utile pour la direction. L’idée d’avoir
mis en place ce fichier a été très appréciée par M.Babé

qui souhaite le généraliser pour
chaque groupe (pour relever les problèmes techniques surtout) et avoir accès à ces fichiers
(au moins une photo)
.

-

Notre commanditaire

a ensuite in
sisté sur le calcul du temps que prend de faire
une
modification
sur la ba
se. Il a aussi

accentué

sur le fait de faire des versions précises de la
base de données (V.0 vers une V.1, V1.1, etc.).

-

Concernant le premier point, il lui a été dit qu’une modification prenait une journée
maximum, et que l’équipe alimentation était aus
sitôt alertée pour charger les données.


III. Alimentation

Règles de nommage

-

Des règles de nommages ont été établies pour les fichiers Excel d’alimentation, et une
structure type de chacun de ces fichiers a été établie.

-

Fichier E
xcel mensuel: même si le choix avait été laissé pour la fusion ou non de tous les
fichiers,
on aurait du tout de même avertir le client lors d’une telle

prise

de décision
.

Formalisme des erreurs

-

Une hiérarchisation des erreurs et un formalisme de ces der
nière a été créée.

Remarque

:

Pour les chaînes de caractères, il faudra r
éfléchir à la gestion du formatage des
données

(majuscules, minuscules) et attention aux caractères spéciaux

! Peut
-
être rajouter
des cas d’erreur pour les chaînes avec ces problèmes
de casses.

Job d’initialisation Talend

-

Voir la mise en place d’un glossaire expliquant les codifications des jobs d’initialisation.

-

Personnaliser le Job, les tables ne doivent pas s’appeler T_Map_1, T_Map_2…. Le Job doit
être compréhensible pour le plu
s de personnes possibles.

Alimentation annuelle

-

Faire en sorte que l’alimentation soit compréhensible par un utilisateur lambda, il faut que
la direction utilisatrice sache comment s’est passé la mise a jour. Pour cela, il faudrait mettre
en place un tab
leau de bord pour la restitution de l’alimentation, et notamment indiquer les
erreurs.




Compte
-
rendu de réunion

Groupe 3

7


-

Remarques sur le d
iagramme d’activité annuel :

-

Le commit à la fin seulement si il n’y a pas d’erreur est un bon choix.

Il faut faire un tri
avant les mises à jour
, pour voir si le fichier est complet, sinon il ne faut pas le prendre.

-

Ne pas bloquer l'exécution systématiquement pour l’enregistrement d’une ligne, il faut
définir ce qui est bloquant et ce qui ne l’est pas: un nom de magasin incorrect est bloquant
par exemple alors qu’un nombre de ventes égale à 0 ne l’est pas. Vérifier les tests pour qu’ils
prennent bien en compte toutes les possibilités.

Alimentation mensuelle:

-

Il aurait été possible de mettre les attributs dans la table magasin pour l’alimentat
ion
mensuelle

et annuelle, en rajoutant un champ
Etat_Magasin

(fermé, en travaux, ouvert…) et
deux booléens
charge_ann

et
charge_mens
.

Validation tout de même de notre mode de
fonctionnement.

-

On utilisera comme formalisme

:



Clé manquante
-
>Blocage



Champs

nuls
-
>Blocage



Champs à 0
-
> on laisse passer

Problèmes rencontrés:

-

Comment visualisez
un rapport des mises à jour

?

On doit avoir

un résultat disponible
quelque
-
part pour visualiser si tout s’est bien passé. Le directeur commercial pourra alors
comprend
re directement ce qui
s’est passé. Avant de partir là
-
dessus, voir ce que donne
l’interface ETL (outils mis à disposition

?).On doit pouvoir voir si la mise à jour mensuelle est
passée, voir les informations de départ, les mises à jour correctes ou non, le
s ventiler...

-

Solutions

éventuelles :



Utiliser des procédures stockées JAVA ajoutées à Talend.



Faire une analyse du fichier pour contrôler les magasins et les mois.


Compte
-
rendu de réunion

Groupe 3

8


IV Restitution


Le modèle a été réalisé sous netbeans, les outils, langages et la
méthode de travail avec la
machine virtuelle ont été rapidement rappelés en début de présentation.


Une démonstration de l’application a ensuite été faite. La partie connexion est réalisée
jusqu’à affichage de la page d’accueil. Une démonstration a été fai
te du cas où le mot de
passe n’est plus valide au bout de 45 j, et du cas où le mot de passe a été oublié avec un mail
le lui rappelant.


M.Babé a fait une remarque sur le fait que le mot de passe ne soit pas masqué lors de l’envoi
de mail. Il a ensuite re
levé des problèmes graphiques (texte qui se mélange à réparer,
graphiques mal placés). Une présentation de la fonctionnalité des filtres sur la gauche de la
page a ensuite été faite, ainsi qu’un passage vers les graphiques, en rappelant que les filtres
fon
ctionnaient selon ce qu’il y
-
a en base de données.


Toujours au niveau graphique, les Informations différent entre le SFD et le programme, et il
faut envisager de remplacer les images existantes pour mettre celles du SFD.


Par rapport à la précédente réuni
on : les objectifs ont été réalisés ou en cours de
modification.

Certains problèmes ont été rencontrés, notamment avec les serveurs d’application pour SAS.

Les problèmes rencontrés sont les suivants :

-

Problème de connexion entre la base oracle et SAS

-

Problème de connexion entre SAS et l’application WEB



M.Babé a insisté sur le fait de faire appel aux compétences internes (M.M Fogliani et
Steunou) si le groupe rencontrait des problèmes techniques avec SAS.


Le plan d’action pour l’équipe restitution e
st le suivant:


Axes

majeurs


-

SAS : voir avec les autres groupes pour résoudre les blocages

-

Dotnet et Jasper

-

Cube de données

-

Données, petites modifications à faire


Axes

mineurs


Modifications graphiques sur CSS, quelques ajouts dans la BDD







Compte
-
rendu de réunion

Groupe 3

9



V. Recette


Les objectifs fixés lors de la précédente réunion ont été fait, notamment le listing des
scénarios

à venir : reprendre tous les scénarios

On ne touche pas à la recette en janvier?


VI. Ventilation


L’équipe direction est ensuite revenue sur
la distribution des heures de travail (diagramme
camembert), et évolution du temps consommé pour les différentes équipes du groupe.


Répartition des équipes

Les équipes ont ensuite été modifiées et une nouvelle répartition des membres a été faite :


Alime
ntation

Adam, Tristan, Nicolas, Pierre, Mathieu

Restitution

Romuald, Maxime, Olivier, Rémy, Jérôme

Recette

Thomas, Julien, Laura

SGBD

Christophe, Benoit, james

Architecture

Rémy, Pierre


Tâches à réaliser :



Alimentation

Développement des jobs alim,

évolution des spécifications, amélioration
de l’alimentation en fonction des besoins et retours de tests.

剥獴楴uW楯n

Développement de l’application générale, développement des rapports
獯V猠十S, 䩁J偅删整‮eeW


Attention : mise en place d’un plan B si
污 c潮n數楯e 十S ne 浡mcU攠p慳a

剥R整We

Evolution des scénarios, Test de l’application d’alimentation, Test de
l’application de restitution

升SM

C潮W楮u敲 W牡癡楬 獵r 汥猠cub敳



啮攠狩uni潮 敳e p狩vu攠l攠橥uT椠ㄶ 敮W牥 ㄲU 整‱㑨 p潵r 牥癯v爠污lco浰潳i
W楯渠i敳 u楰敳e

䱥Lp牯cU慩a p潩nW Te c潮瑲ô 慶散⁍⹂慢é 敳W pré fin 橡n癩敲v