Spcifications Fonctionnelles

Rf.: SG_IRDP2_061017_v3

Projet PECHE

Spcifications Fonctionnelles
LOT 1 IRD UR RAP
Rf.: SG_IRDPP2 Date: 17/10/2006

Rfrence : Version : Pices Jointes : Emetteur : Diffusion : Rdacteur : Vrificateur :

SG_IRDP2_061017_v3 3 N/A Sinti International IRD UR RAP Alassane Ba (AB), Amy Gueye (AG), Evelyne Nshimirimana (EN), Amadou Sy (AS), Cheikh Thiam (CT), Anna Tour (AT), Moussa Tour (MT) Emmanuel BOCQUET (EB) Date : 08/11/06 Statut : A valider

Date : Date :

17/10/06 08/11/06

ENR-PYR2-SG-V0

Page 1 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

Suivi des Versions

Chapitre(s) concern(s) par la rvision 7.3.2 8.3.2 1 2.1 3.2 3.4 4.5.5 5.1.2 7.3.1 7.4.2 8.4.2 9

Version du document 0 2

Date 17/10/06 27/10/06

Libell du changement Version initiale Suppression des paragraphes expliquant que l'administrateur doit prciser si des enregistrements ont t supprims dans les bases cibles.

Origine Tous AG

08/11/06

Corrections demandes par le client

AG

ENR-PYR2-SG-V0

Page 2 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

Sommaire
1. OBJET DU DOCUMENT...................................................................................................... 5 2. DESCRIPTION DU PROJET............................................................................................... 6 2.1. PROBLMATIQUE................................................................................................................................ 6 2.2. PRIMTRE FONCTIONNEL..................................................................................................................... 6 2.3. HORS PRIMTRE............................................................................................................................... 7 3. ERGONOMIE ET VOCABULAIRE........................................................................................ 8 3.1. INTERFACE MODLE.............................................................................................................................8 3.2. LISTE DES TABLES CONCERNES............................................................................................................ 8 3.3. BARRE DE PROGRESSION................................................................................................................... 10 3.4. VOCABULAIRE..................................................................................................................................10 4. DESCRIPTION GENERALE DE L'ETL................................................................................ 12 4.1. PRINCIPE ET DCOUPAGE................................................................................................................... 12 4.2. BASE DE DONNES CIBLES.................................................................................................................. 12 4.3. ARCHITECTURE................................................................................................................................ 12 4.4. MODE DE MIGRATION.........................................................................................................................13 4.5. UTILISATION.................................................................................................................................... 14 5. MIGRATION GLOBALE.................................................................................................... 15 6. MIGRATION DU REFERENTIEL....................................................................................... 16 7. MIGRATION DE PECHEXP.............................................................................................. 18 7.1. GNRALITS.................................................................................................................................. 18 7.2. MIGRATION
DE TOUT

PECHEXP........................................................................................................... 18

7.3. MIGRATION DU PARAMTRAGE PECHEXP................................................................................................ 19 7.4. MIGRATION DES CAMPAGNES............................................................................................................... 20 8. MIGRATION DE PECHART.............................................................................................. 22 8.1. GNRALITS.................................................................................................................................. 22 8.2. MIGRATION COMPLTE DE PECHART..................................................................................................... 22 8.3. MIGRATION DU PARAMTRAGE PECHART................................................................................................ 23 8.4. MIGRATION DES ENQUTES................................................................................................................. 23 9. LA JOURNALISATION..................................................................................................... 26 9.1. DESCRIPTION.................................................................................................................................. 26 9.2. ECRAN.......................................................................................................................................... 26

ENR-PYR2-SG-V0

Page 3 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

10. BASES DE DONNEES..................................................................................................... 27 10.1. DESCRIPTION................................................................................................................................ 27 10.2. ECRAN........................................................................................................................................ 27 11. ENVIRONNEMENT TECHNIQUE.................................................................................... 28 12. METHODOLOGIE........................................................................................................... 30 12.1. PLAN DE COMMUNICATION.................................................................................................................30

ENR-PYR2-SG-V0

Page 4 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

1. OBJET DU DOCUMENT
L'IRD (Institut de Recherche et de Dveloppement) s'est install au Sngal depuis 1949 et se consacre la ralisation de projets de recherche scientifique. L'UR RAP est une unit de recherche de l'IRD dont les activits sont orientes sur les projets ayant trait l'environnement des poissons. Elle a travaill dans le domaine de la pche en Code d'ivoire, en Gambie, en Guine Bissau, en Guine Conackry, au Mali et au Sngal. Vers les annes 2000, l'UR RAP a mis en place des applications pour la gestion des bases de donnes issues de ses activits de recherche. Au cours des annes, l'utilisation de ces applications a commenc lui causer des difficults essentiellement dues la volumtrie. L'UR RAP a alors dcid de changer d'environnement et de s'orienter vers de nouveaux outils d'exploitation. C'est dans ce cadre qu'elle a fait appel Sinti International pour lui proposer une solution rpondant ses attentes. La proposition de Sinti se dcoupe en deux lots, chacun reprsentant une partie du projet pche. Ce prsent document est une description des spcifications fonctionnelles du lot 1 (migration des donnes). Il explique cet effet toutes les fonctionnalits dvelopper pour cette migration, et fait suite diverses runion qui se sont tenues courant octobre avec l'IRD.

ENR-PYR2-SG-V0

Page 5 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

2. DESCRIPTION DU PROJET
2.1. Problmatique
Dans ses activits de recherche, l'UR RAP collecte et analyse les informations sur deux types de pche savoir :

la pche exprimentale, ralise par des quipes de l'IRD. Elle planifie des campagnes de pche, ralise elle-mme les coups de pche et relve les informations rsultantes, d'o une bonne qualit et une nette prcision des donnes la pche artisanale, ralise par des familles de pcheurs qui travaillent dans ce domaine. Dans ce cas, IRD ralise des enqutes par priodes sur un nombre de villages cibles. Elles sont de deux natures : les dbarquements et les activits. Une enqute de dbarquement se fait lors du retour des pcheurs aprs une sortie de pche et est base sur une tude d'chantillonnage. Une enqute d'activit consiste poser des questions aux populations sur leurs activits de pche de la journe. Les donnes collectes ainsi de la pche artisanale posent un problme de fiabilit et d'exactitude; et sont de qualit moindre.

L'ensemble de ces informations est saisi dans des bases de donnes Ms Access, et est exploit via deux applications Visual Basic 6 Pechart et Pechexp. L'IRD collecte des informations depuis plus d'une vingtaine d'annes. Les limites de Access 2000 en terme de capacit de stockage se faisant sentir avec l'augmentation des volumes de donnes concernant la pche artisanale, il s'est impos un clatement en plusieurs bases correspondant chacune tout ou un ensemble de systmes d'un pays. Les applications Pechart et Pechexp sont installes et exploites dans les locaux de l'IRD Dakar, et chez certains de leurs partenaires. La problmatique devient ds lors :

regrouper toutes les informations des pches artisanale et exprimentale dans une seule et unique base mettre en place une application web d'exploitation de cette base qui soit scurise et accessible distance. lot 1 : outil de migration des donnes Access vers une base unique lot 2 : conception d'une application web d'exploitation des donnes migres

La ralisation du projet se fera en deux lots :

Toute la description explique dans la suite du document ne concerne que le lot 1. Nous rappelons cet effet que ce document dfinit les spcifications fonctionnelles du lot 1.

2.2. Primtre fonctionnel

La solution de Sinti pour le lot 1 du projet intgre les fonctionnalits suivantes :

la conception d'une base de donnes sous PostGreSql capable de contenir les volumes d'information de toutes les bases pche la mise en place d'un outil ETL (Extract - Transform Load) permettant de migrer les donnes des bases Access vers la base cible PostgreSql. Cet outil devra tre fonctionnel et utilisable jusqu' la ralisation du module de saisie intgrer au projet (lot 3).

ENR-PYR2-SG-V0

Page 6 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

2.3. Hors primtre

L'ETL mettre en place par Sinti ne migrera que les donnes des bases MS Access. Il ne prendra pas en compte directement la migration des donnes historiques. IRD se chargera d'intgrer ces dernires dans les bases Access correspondantes. L'installation de la solution et la mise en oeuvre effective de l'ETL sera sous la responsabilit de l'IRD. En revanche, Sinti accompagnera l'IRD pendant les phases d'installation et de recette. La scurisation des accs rseau (firewall, DMZ etc.) sera de la responsabilit de l'IRD.

ENR-PYR2-SG-V0

Page 7 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

3. ERGONOMIE ET VOCABULAIRE
3.1. Interface modle
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion Etape de la migration TITRE DE LA PAGE Logo IRD

Contenu de la page

Toutes les interfaces de l'ETL seront construites sur cette ergonomie. L'interface modle est constitue de trois parties :

le menu : Il reprsente le menu gnral de l'outil ETL. Il est affich dans toutes les interfaces et accessible en fonction des tapes de la migration. Il n'apparat qu'aprs authentification russie de l'administrateur et est compos des liens suivants :

Migration globale permet de lancer la migration de toutes les bases de donnes Tout permet d'effectuer une migration complte de la pche artisanale ou exprimentale Paramtrage permet de ne migrer que les donnes de paramtrage de la pche artisanale ou exprimentale. Campagnes charge la page migration des donnes de la pche exprimentale Enqutes permet d'accder la page de migration des donnes de la pche artisanale Rfrentiel dmarre le migration seulement des donnes du rfrentiel Journal affiche le journal de migration Base de donnes affiche les chemins de toutes les bases de donnes auxquelles se connecte l'outil ETL Dconnexion permet l'administrateur de se dconnecter du systme

L'entte : elle contient le logo de l'IRD. Deux titres permettent respectivement de dterminer le titre de la page et l'tape courante de la migration le contenu : elle contient la partie fonctionnelle propre la page en cours

3.2. Liste des tables concernes

Rfrentiel (commun Pechart et Pechexp)

catecol
Page 8 sur 29
SINTI GROUP

ENR-PYR2-SG-V0

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

cat_troph espece (incluant ce qui reste de la table nom et des tables sur les Kb) famille ordre pays systeme secteur (table n'existant pas actuellement pour Pechexp) Paramtre Pechexp2003contenu

debris engineeringf_curant positionnerqualite rempliss s_courant sediment sexe stade station vegetation Paramtre Pechexp2003contenu

agglomeration categorieSocioProfessionnelle etatciel grandtypeengin milieu typeactivite typeagglomeration typeengin typesortie vent

ENR-PYR2-SG-V0

Page 9 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

3.3. Barre de progression

Nom du processus en cours. Veuillez patienter ...

Annuler

La migration pouvant tre relativement longue, une barre de progression est intgre aux interfaces pour permettre l'administrateur de suivre l'volution du processus. Le bouton Annuler permet d'interrompre la migration en cours. La base de donnes cible est remise alors son tat d'avant migration.

3.4. Vocabulaire
Dans la suite du document, nous utilisons des termes qu'il est utile de clarifier pour une comprhension sans ambigut. Types de migration Ils sont au nombre de deux :

Migration globale: c'est la migration de la globalit des donnes des toutes les bases Access sans interventions intermdiaires de l'administrateur. Migration partielle : c'est un dcoupage de la migration en sous migrations excuter par l'administrateur. Cette migration ne concerne donc qu'une partie des bases

Modes de migration On distingue :

Migration complte : . elle commence par une sauvegarde de tout ou partie des donnes dans la base (ici PostgreSql), puis leur suppression, avant r-import complet depuis la ou les bases sources (ici MS Access). Migration diffrentielle : la diffrence de la migration complte, elle ne migre que la diffrence entre la source et la destination (en ajout, suppression ou modification).

Migration paramtrable Elle prcise si la migration peut tre paramtre par l'administrateur. En d'autres termes, elle lui donne la possibilit de choisir les critres dfinissant les donnes migrer. Intgrit rfrentielle C'est un principe qui consiste vrifier l'existence d'une donne d'une table dans la table de rfrence. Transformation Une transformation reprsente la migration d'une table. Bases sources Il s'agit ici des bases de donnes Ms Access Pechexp, Pechart ou bases pays Base cible Elle est galement appele base de destination. Il s'agit ici de la base PostgreSql Le tableau suivant fait une synthse de toutes ces notions.
ENR-PYR2-SG-V0

Page 10 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3
Migration Globale Du paramtrage Tout Pechart Tout Pechexp Du rfrentiel Des campagnes Des enqutes Types Totale Partielle Partielle Partielle Partielle Partielle Partielle Modes Complte Diffrentielle Complte Complte Diffrentielle Complte Complte

Projet PECHE
Paramtrables Non Non Non Non Non Oui Oui

ENR-PYR2-SG-V0

Page 11 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

4. DESCRIPTION GENERALE DE L'ETL

4.1. Principe et dcoupage
Le principe gnral d'un ETL est de :

rcuprer des informations (Extract) d'une base de donnes source d'effectuer ou non des traitements (Transform) sur ces donnes de les charger (Load) dans une base de donnes destination

La totalit des donnes sources juges pertinentes par IRD sera migre dans une base cible, tout en gardant leur intgrit et leur cohrence. Les donnes existantes sont stockes sous trois types de bases Access qui repsentent notre ensemble de bases sources :

la base Pechexp S1, contient des tables caractres spatial (Pays, cosystme, station, etc...), temporelle (campagne), engins, espces (ordre, famille, espces etc...) ou les donnes de pche ( coups de pche, fraction dbarques, contenu stomacal, etc...) la base Pechart S2, renferme des donnes de types spatial (Pays, systme, secteur, etc...), engins ou espces (Ordre, Famille, Espces) les bases pays S3, contiennent des donnes spatiales (lieu de pche), engins ou donnes de pche ( dbarquement, activits, poissons dbarqus, etc..)

Nous remarquons ds lors une similitude de quelques tables entre les diffrentes bases. Il faudra donc mettre en place un mthodologie qui permettra de rorganiser la fusion de ces trois types de sources en entits logiques fonctionnelles. Une tude ralise sur ces structures de donnes a ressorti le dcoupage suivant :

les tables de rfrences, constitues par les tables communes S1 et S2 harmonises les tables Pechexp, composes des tables propres la pche exprimentale, S1 les tables Pechart, reprsentes par les tables propres la pches artisanale S2 et celles des diffrentes bases pays S3

Notre ETL sera construit sur le dcoupage prcdent.

4.2. Base de donnes cibles

Elle sera unique et de type PostgreSql. Elle contiendra toutes les tables migres des bases Access Pechexp, Pechart et bases pays. Une nomenclature a t fixe pour reconnatre l'appartenance d'une tables un type de pche. La nomenclature gnrale est la suivante : prfixe + _ + nom_de_la_table Ainsi,

les tables du rfrentiel commenceront par le prfixe ref. Ex : ref_pays les tables de paramtrage et des campagnes de Pechexp dbuteront par exp. Ex :exp_station, exp_cp_peche les tables de paramtrage et d'enqutes de Pechart et des bases pays auront pour prfixe art. Ex : art_agglomeration, art_debarquement

4.3. Architecture
La migration des donnes actuelles des bases Access vers une base unique PostgreSQL se fait travers l'ETL Kettle. Ce dernier se connecte sur les diffrentes bases de donnes source Access, rcupre des informations, les rorganise en unit fonctionnelle, effectue des transformations si

ENR-PYR2-SG-V0

Page 12 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

ncessaire sur ces dernires avant de les stocker dans la base de donnes cible selon le schma suivant :

La figure prcdente schmatise toute la procdure de migration. L'outil offrira la possibilit d'effectuer une migration complte ou par tapes (le rfrentiel, Pechexp, Pechart). Avant de copier les donnes Access dans la base PostgreSql, les oprations suivantes sont d'abord effectues :

sauvegarde de la base PostgreSql suppression de la base PostgreSql des donnes similaires celles migrer contrles de ces donnes

4.4. Mode de migration

Il existe deux modes de migration des informations d'une source vers une destination :

la mthode complte : On commence par supprimer les lments migrer de la base de destination. Ensuite on les migre dans leur globalit sans tests pralables, comme s'il s'agissait d'une nouvelle migration. Son avantage est que toute mise jour de la base source sera prise en compte dans la base de destination qui en fait sera une copie conforme de la base source. Par contre, la dure d'excution de l'ETL est plus longue du fait que toutes les donnes (mme celle qui ne sont pas modifies) sont migres. la mthode diffrentielle : Seules les modifications sont crites dans la base cible. Les nouvelles lignes sont rajoutes. Celles supprimes sont enleves de la cible. Les valeurs modifies sont mises jour. Son avantage est qu'il est plus performant dans le cas o le nombre d'enregistrements n'est pas lev. Par contre, il est plus complexe dvelopper.

ENR-PYR2-SG-V0

Page 13 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

L'ETL que nous allons construire utilise les deux modes selon la frquence et le volume des donnes migrer. Les migrations globale, de tout Pechart ou Pechexp, de campagne et de d'enqute se feront par la mthode complte. Les migration du rfrentiel et du paramtrage (qui seront rarement utilises) se feront par la mthode diffrentielle.

4.5. Utilisation
4.5.1. Dsignation des bases migrer Avant de pouvoir faire la migration, l'ETL doit connatre l'emplacement des bases de donnes migrer. Pour ce faire des connexions dsn (Data Source Name) dsigneront chaque base. L'outil ETL ne retiendra que les noms dsn de connexion. C'est l'administrateur de copier dans les rpertoires correspondants les bases qu'il veut migrer. 4.5.2. Authentification L'ETL sera excut partir d'une application offrant la possibilit l'administrateur de dcider du droulement de la migration. Cela ncessite au pralable une authentification de sa part. En d'autre terme, une authentification est obligatoire pour utiliser l'ETL. 4.5.3. Sauvegarde Une sauvegarde implicite de la base de donnes cible se fera avant toute migration. Elle a pour objectif de restaurer la base de donnes en cas d'annulation du processus par l'administrateur ou d'erreur lors de la migration. 4.5.4. Annulation Il est donn l'administrateur la possibilit d'annuler un migration en cours. Pour cela, il suffira de cliquer sur le bouton Annuler de la barre de progression. Lorsque l'administrateur dcide d'annuler le processus, une confirmation lui est d'abord demande. S'il infirme, le processus continue. Dans le cas contraire, cette annulation entrane l'arrt du processus de migration et la restauration de la base de donnes l'tat d'avant migration. La dcision est retrace dans le journal. 4.5.5. Confirmation d'opration Chaque excution de traitement demande par l'administrateur sera prcde par une demande de confirmation.

ENR-PYR2-SG-V0

Page 14 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

5. MIGRATION GLOBALE
5.1.1. Description Il s'agit de la migration de l'ensemble des trois types de bases. Cela suppose au pralable que la base de destination est compltement vide. Dans une migration globale, le systme excute successivement, sans intervention de l'administrateur, les migrations du rfrentiel, de Pechexp et de Pechart. Ce type de migration peut s'avrer trs longue, la dimension du volume de donnes en jeu. Elle peut tre utile dans le cas o l'administrateur aura besoin de migrer toutes ses donnes (le cas par exemple de la premire migration). Dans la pratique, elle est faite une premire fois. Les donnes de rfrences, de campagnes ou d'enqutes saisies ou modifies par la suite seront intgres la base cible par l'ETL correspondant (Rfrentiel, Pechexp ou Pechart). 5.1.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion Accueil Vous avez choisi la migration globale. Ce processus migrera toutes les informations des bases Pechexp, Pechart et pays. MIGRATION GLOBALE Logo IRD

Excuter

Cet cran apparat quand l'administrateur clique sur le lien Migration globale du menu de gauche. Si l'administrateur clique sur le bouton Excuter , une confirmation lui est demande. S'il rpond par l'affirmative, la migration dmarre et une barre de progression est charge. L'administrateur pourra ainsi suivre l'volution de sa migration. Un message lui sera affich la fin du processus. Si une erreur est rencontre lors de la migration, la base est restaure et l'administrateur sera invit consulter le journal de migration.

ENR-PYR2-SG-V0

Page 15 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

6. MIGRATION DU REFERENTIEL
6.1.1. Description Rappelons que les donnes rfrentielles sont celles communes aux pches artisanales et exprimentales. La migration du rfrentiel consistera donc importer ces donnes dans la base de donnes cible. Ex : Les pays, les cosystmes, les secteurs, les familles, les espces, les catgories cologiques et trophiques, etc... C'est une fonctionnalit dont la frquence d'utilisation demeure relativement faible. En effet, les mises jour des donnes correspondantes se font trs rarement. C'est par exemple le cas lors de la cration d'un cosystme ou d'une nouvelle espce. Les donnes du rfrentiel sont stockes dans des tables dont dpendent beaucoup d'autres tables par des liaisons d'intgrit rfrentielle. Cela implique que la mthodologie de suppression pralable des donnes migrer de la base cible reviendrait vider la base, donc effectuer une migration complte. Ex : la cration d'une nouvelle espce impliquerait une migration complte de toutes les bases de donnes. Pour palier ce problme, la migration du rfrentiel se fera de faon diffrentielle. C'est dire que l'ETL n'effectuera pas de suppression massive dans la base cible. Il fera la diffrence entre les donnes source et destination et procdera comme suit :

Cherche les nouvelles lignes dans Ms Access, c'est dire les enregistrements saisis depuis la dernire migration. Ex : l'ajout d'une nouvelle espce. Insre les nouveaux enregistrements dans la base cible Recherche les lignes supprimes de la base source Supprime les mmes informations dans la base cible vrifie si des enregistrements ont t modifis depuis la dernire migration. Ex : le nom d'une espce met jour les valeurs modifies dans la base cible

ENR-PYR2-SG-V0

Page 16 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3 6.1.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion Accueil MIGRATION DU REFERENTIEL

Projet PECHE

Logo IRD Vous avez choisi la migration du rfrentiel. Seules les donnes du rfrentiel seront migres

Excuter

On accde cet cran en cliquant sur le lien Rfrentiel du menu de gauche. Un clic sur le bouton Excuter lance la migration du rfrentiel dmarre et la barre de progression est affiche.

ENR-PYR2-SG-V0

Page 17 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

7. MIGRATION DE PECHEXP
7.1. Gnralits
La migration des donnes Pechexp peut se faire par trois mthodes : celle de la totalit, celle du paramtrage et celle par campagne.

7.2. Migration de tout Pechexp

7.2.1. Description Cette option permet de migrer toutes les informations de la pche exprimentale. Elle se fait en plusieurs tapes successives sans intervention de l'administrateur :

suppression de toutes les informations de Pechexp dans la base cible migration des donnes de paramtrage migration des donnes des campagnes 7.2.2. Ecran

Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion Accueil

MIGRATION DE TOUT PECHEXP Logo IRD Vous avez choisi la migration de tout Pechexp. Toutes les donnes de la pche exprimentale seront migres.

Excuter

Cette page est charge quand l'administrateur clique sur le lien Tout situ en dessous de Pechexp. Si l'administrateur clique sur le bouton d'excution, une confirmation lui est demande. La migration ne sera dclenche que s'il le confirme.

7.3. Migration du paramtrage Pechexp

7.3.1. Description On entend par paramtres de Pechexp les donnes indpendantes des campagnes de pche. Ex : contenu, dbris, engin, position, vgtation, etc... Elles ne sont pas informes chaque campagne mais leurs contenus sont utiliss pour saisir les rsultats de coups de pche. A l'instar des donnes du rfrentiel, elles subiront une migration diffrentielle. Le principe est le mme que celui dcrit pour la migration du rfrentiel ( 6.1.1).

ENR-PYR2-SG-V0

Page 18 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3 7.3.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion MIGRATION DES DONNEES DE PARAMETRAGE PECHEXP

Projet PECHE

Logo IRD Accueil Vous avez choisi la migration du paramtrage de Pechexp. Aucun coup de pche ne sera migr.

Excuter

On accde cette fentre en cliquant sur le lien Paramtrage situ en dessous de Pechexp. En cliquant sur le bouton Excuter , le migration est dclenche et la barre de progression affiche.

7.4. Migration des campagnes

7.4.1. Description L'unit fonctionnelle de la pche exprimentale tant la campagne, il s'agit de migrer les informations saisies la suite d'une ou de plusieurs campagne de pche. Les informations migres sont celles relies aux coups de pches raliss lors des sorties de pche. Le principe de cette migration est de :

prciser les cosystmes concerns slectionner les campagnes migrer dmarrer la migration

Dans le cas ou une campagne aura t dj migre, elle est supprime de la base cible et rimporte.

ENR-PYR2-SG-V0

Page 19 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3 7.4.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion Campagne n 3 2 1 ... Dbut 02/06/05 14/04/02 23/09/00 Fin 15/06/05 30/04/02 05/10/00
$ $

Projet PECHE

MIGRATION DES DONNEES DE CAMPAGNES DE PECHEXP Logo IRD Slection des donnes migrer Slection spatiale Pays (1)
Senegal

Ecosystmes (2)

OK

Casamance

OK

Slection de campagnes (3) Cocher Toutes I Aucune

Effacer

Excuter

On accde cette page en cliquant sur le lien Campagnes du menu de gauche. Les listes sont slection unique, seul un lment peut tre slectionn. Les informations affiches sont rcupres des bases Access. A l'ouverture de l'cran, seule la liste des pays est disponible et le tableau des campagnes est vide. Les numros (1), (2), et (3) indiquent l'ordre dans lequel les slections devront se faire. Le lien OK de la liste des pays permet d'afficher les cosystmes correspondant au pays slectionn. Un clic sur le lien OK de la liste des cosystmes affiche les campagnes lies l'cosystme choisi. Les campagnes sont tries par ordre dcroissant de numro. Les liens Toutes et Aucune permettent de cocher ou dcocher en un seul clic l'ensemble des campagnes affiches. Le bouton Effacer permet de vider la slection. Quand l'administrateur clique sur le bouton Excuter , une confirmation lui est demande. S'il y rpond par l'affirmative, la barre de progression est alors charge.

ENR-PYR2-SG-V0

Page 20 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

8. MIGRATION DE PECHART
8.1. Gnralits
Dans la migration des donnes de Pechart, on entend les migrations des donnes :

de la base Pechart des bases pays choisis la totalit celle du paramtrage celle des enqutes

Nous l'avons sectionne en trois migrations diffrentes

8.2. Migration complte de Pechart

8.2.1. Description Ce choix permet de migrer en un seul bloc (sans intervention de l'administrateur) toutes les donnes de la pche artisanale. Si l'administrateur choisit cette option, l'ETL supprime d'abord toutes les donnes de la pche artisanale dans la base PostgreSql. Ensuite, il migre les donnes de paramtrage. Puis il transfert les donnes d'enqutes de chaque base pays. 8.2.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion Accueil Vous avez choisi la migration de tout Pechart. Toutes les donnes de la pche artisanale seront migres. MIGRATION DE TOUT PECHART Logo IRD

Excuter

On accde cette fentre en cliquant sur le lien Tout situ en dessous de Pechart. Si l'administrateur clique sur le bouton d'excution, une confirmation lui est demande. La migration ne sera dclenche que s'il le confirme.

ENR-PYR2-SG-V0

Page 21 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

8.3. Migration du paramtrage Pechart

8.3.1. Description Les donnes du paramtrage sont constitues des informations communes toutes les bases pays et qui sont indpendants des enqutes. Elles correspondent en ralit aux tables de la base Pechart diffrentes du rfrentiel. Ex : agglomration, catgorie socio professionelle, coefficient KB, enquteurs, milieu de pche, etc... Ce genre d'information n'est pas mise jour chaque nouvelle enqute. Elles sont dfinies une fois et sont exceptionnelles modifies. C'est la raison pour laquelle le type de migration utilis sera diffrentiel. Le principe est le mme que celui dcrit pour la migration du rfrentiel ($ 6.1.1) 8.3.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion MIGRATION DES DONNEES DE PARAMETRAGE PECHART Logo IRD Accueil Vous avez choisi la migration du paramtrage de Pechart. Aucune donnes d'enqutes ne sera migre.

Excuter

On accde cette fentre en cliquant sur le lien Paramtrage situ en dessous de Pechart. En cliquant sur le bouton Excuter , la migration dbute et la barre de progression affiche.

8.4. Migration des enqutes

8.4.1. Description La migration des donnes d'enqutes consiste transfrer les donnes collectes lors des enqutes de dbarquements et d'activits des bases pays vers la base cible. A la diffrence des migrations complte ou de paramtrage, ce choix sera utilis frquemment selon les enqutes effectues. Tant que le lot 3 ne sera pas en place, cette option permettra, via l'interface graphique d'intgrer les nouvelles donnes terrain de pche artisanale" si j'ai bien compris le fond du message. Le principe est de :

choisir les agglomrations dans lesquelles il y a eu de nouvelles enqutes prciser la priode de l'enqute dmarrer la migration

L'ETL extrait d'abord les informations correspondantes la slection de l'administrateur dans la ou les bases pays correspondantes. Ensuite il les intgre successivement dans la base cible.
ENR-PYR2-SG-V0

Page 22 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

Si une enqute de la slection choisie avait dj t migre, l'ETL supprime les information dans PostGreSql et reprend la migration avec les donnes actuelles. C'est des situations qui peuvent survenir en cas de modifications de l'enqute aprs migration. 8.4.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion OK OK MIGRATION DES DONNEES D'ENQUETES DE PECHART Logo IRD Slection des donnes migrer Slection spaciale Pays (1)
Senegal

Ecosystmes (2)

OK

Sine Saloum

OK

Secteurs (3)
Saloum Aval Saloum amont ...

Agglomrations (4)
ville 1 village 2 ville 3 village 4

Slection temporelle (5) Priodes d'enqutes 07/2006 06/2006 04/2006 01/2006 ... Cocher Toutes I Aucune
$

Effacer

Excuter

Cet cran est obtenu en cliquant sur le lien Enqutes du menu de gauche. Il permet de choisir les dbarquements migrer en faisant une restriction sur les donnes spatiales et temporelles. L'cran est constitu de quatre zones :

le menu de l'application situ gauche l'entte de la page qui indique le titre et l'tape de la migration la slection spatiale qui permet l'administrateur de dterminer les agglomrations retenir pour la migration. Les listes de pays et d'cosystmes sont slection unique, les secteurs et les agglomrations sont slections multiples.
Page 23 sur 29

ENR-PYR2-SG-V0

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

la slection temporelle permet de dterminer la ou les priodes d'enqutes migrer

Les numros (1), (2), (3), (4) et (5) indiquent l'ordre dans lequel les slections devront se faire 8.4.2.1 Slection spatiale Les informations de la zone spatiale sont rcupres de la base Pechart. A l'ouverture de l'cran, seule la liste des pays est charge. L'utilisateur devra en choisir un pour afficher les cosystmes correspondants. Le choix d'un cosystme affiche les secteurs associs. A partir de ce stade, il pourra effectuer des slections multiples sur les secteurs et agglomrations. Dans le cas d'une slection dans une liste, l'administrateur devra cliquer sur le lien OK plac en dessous pour actualiser la liste dpendante Ex : La slection d'un pays actualise la liste des cosystmes. Le bouton Effacer permet de vider la slection. 8.4.2.2 Slection temporelle Dans la slection temporelle, il s'agit de dterminer la priode (dbut et fin) en considrer pour la migration. Les date de dbut et fin sont affiches sous le format de mois/anne. Les listes Mois contiennent les douze mois calendaires. Les listes Anne sont fixes de 1978, date des premires enqutes, l'anne en cours. Le choix des donnes temporelles se droule comme suit :

Pour la date de dbut, le mois est positionn par dfaut Janvier et l'anne 1978 , qui est l'anne des premires donnes de dbarquements/activits. Pour la date de fin, les mois et annes sont successivement initialiss aux mois et anne en cours.

L'administrateur peut aprs choisir le mois et l'anne de dbut. Aprs les choix sur les donnes spatiales et temporelles, il est maintenant possible d'excuter l'ETL en cliquant sur le bouton Excuter ETL . Une confirmation lui est alors demande. Ce qui nous amne alors l'cran d'excution de l'ETL (Chargement de la barre de progression).

ENR-PYR2-SG-V0

Page 24 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

9. LA JOURNALISATION
9.1. Description
Toutes les migrations effectues au sein de l'interface sont traces dans un journal. Ainsi, l'administrateur pourra suivre l'utilisation et l'activit de l'ETL. Un moteur de recherche lui permettra de filtrer le journal en fonction de critres choisis.

9.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion Liste des vnements Date Utilisateur
2006/11/07 18h28:19 2006/11/07 18h20:10 2006/11/02 08h30:19 2006/11/02 08h29:12 2006/10/29 15h31:19 2006/10/29 15h25:17 ... 2006/10/24 15h24:19 2006/10/24 15h24:19 ... ...

JOURNAL Logo IRD Moteur de recherche Dbut

jj/mm/aaaa

Fin

Utilisateur

Action

Statut

jj/mm/aaaa

Rechercher

Annuler

Action Migration Campagnes Migration Campagnes Restauration Restauration Migration Enqutes Migration Enqutes
...

Statut Succs Dmarr Succs Dmarr Echec Succs

...

Dtails

eric.leblanc eric.leblanc eric.leblanc eric.leblanc eric.leblanc eric.leblanc

...

table=yyyyy, ligne=nnn

...

eric.leblanc

Connexion Connexion
...

Succs Echec
...

login=eri.leblanc
...

Exporter Initialiser

On accde cet cran en cliquant sur le Journal du menu. Les vnements sont tris par ordre dcroissant de date. Les listes du moteur de recherche sont constitues des valeurs distinctives du journal. Le lien Exporter permet d'enregistrer le contenu de la liste de rsultat sous un format Excel ou CSV. Le lien Initialiser permet d'effacer le contenu du journal si ncessaire. Dans ce cas l'administrateur pourra au pralable archiver le journal en l'exportant pour conserver une trace. Un message de confirmation lui demandera si le journal a t archiv avant suppression dans la base.
ENR-PYR2-SG-V0

Page 25 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

10. BASES DE DONNEES

10.1. Description
Cette rubrique permet l'administrateur de connatre les bases de donnes auxquelles est connect l'ETL. L'intrt est de lui permettre de s'assurer du choix des bases sources.

10.2. Ecran
Migration globale Migration partielle Pechexp Tout Paramtrage Campagnes Pechart Tout Paramtrage Enqutes Rfrentiel Journal Bases de donnes Dconnexion BASES DE DONNEES Logo IRD L'ETL est connect aux bases de donnes suivantes :

Type Pechexp Pechart Mali1 Mali2 Senegal ...

Chemin \\nom_serveur\\migrations\bases\Pechexp.mdb \\nom_serveur\migrations\bases\Pechart.mdb \\nom_serveur\migrations\bases\Mali1.mdb \\nom_serveur\migrations\bases\Mali2.mdb \\nom_serveur\migrations\bases\Senegal.mdb

DSN dsn_Pechexp dsn_Pechart dsn_Mali1 dsn_Mali2 dsn_Senegal

On accde cette interface en cliquant sur le lien Bases de donnes du menu. Le tableau affiche toutes les bases utilises et leur chemins d'accs.

ENR-PYR2-SG-V0

Page 26 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

11. ENVIRONNEMENT TECHNIQUE

L'application sera installe de sorte qu'elle soit accessible travers le rseau Internet. Pour cela il faudra les serveurs suivants :

Un serveur Apache configur pour interprter du code Ruby. Pour cela nous nous proposons d'utiliser le module FastCGI. Nous utiliserons le Framework Ruby On Rails compos du langage Ruby 1.8.5 et du module Rails 1.1.6 qui ncessite un pilote PostGreSQL notamment postgres-pr. Un serveur PostgreSQL sur lequel sera installes la base de donnes cible mais galement la base systme stockant les informations ncessaires l'excution de la migration.

ENR-PYR2-SG-V0

Page 27 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

Ces serveurs seront naturellement installs au sein de l'IRD. La communication entre le serveur d'application et le serveur PostGreSQL peut se faire travers le rseau local de l'IRD, comme indiqu sur le schma. Cependant rien n'oblige les sparer physiquement. On peut les installer sur un mme poste condition que ce dernier soit suffisamment performant.

Configuration minimale du serveur unique

Systme d'exploitation : Linux (ventuellement, Windows XP Pro, mais non recommand) Disque : 3 disques durs rapides (SATA ou SCSI) de 80 Go chacun en RAID5 (idalement 5 ou 6 disques pour de meilleures performances) RAM : 4 Go Ram (idalement en dual channel ) Processeur : 3 Ghz (idalement bi-processeur) Systme de sauvegarde

ENR-PYR2-SG-V0

Page 28 sur 29

SINTI GROUP

Spcifications Fonctionnelles
Rf.: SG_IRDP2_061017_v3

Projet PECHE

12. METHODOLOGIE
12.1. Plan de communication
Dans un souci de bien cadrer l'avancement du projet et d'assurer sa bonne russite, il demeure primordial d'tablir un plan de communication impliquant chaque participant. Pour cela, diffrentes runions seront organises des frquences variables suivant les niveaux d'intervention.
Type Runion d'quipe Horaire & lieu Participants Objet -Suivi des ralisations -Echange sur les problmes rencontrs -Prvision des risques Informe le client de l'volution d interne du projet -Suivi avancement projet -Suivi conformit ralisations / besoins ministres -Analyse des risques - suivi du budget - macro cadrage du projet -Analyse de nouveaux besoins

Tous les jeudi 08h30 Sinti Equipe projet Sinti Directeur de projet Sinti

Rapport d'avancement Tous les vendredi

Chef projet Sinti

Runion de suivi

Tous les deux lundi 08h00

Chef de projet Sinti Directeur de projet Sinti Equipe projet IRD

Runion de pilotage

Les premiers mercredi de Equipe projet IRD chaque mois (dfinir l'heure Directeur gnral Sinti et le lieu)

Runion de oprationnelle

comit 1er mardi de chaque mois Chef de projet Sinti 09h00, Sinti Directeur projet Sinti Directeur Qualit Sinti Directeur gnral Sinti

-Suivi avancement projet -Rvision ventuelle planning

ENR-PYR2-SG-V0

Page 29 sur 29

SINTI GROUP