Professional Documents
Culture Documents
Guide utilisateur
5.2.2
Convient la version 5.2.2. Annule et remplace toute version antrieure du Guide utilisateur.
Copyleft
Cette documentation est mise disposition selon les termes du Contrat Public Creative Commons (CPCC). Pour plus dinformations concernant votre utilisation de cette documentation en accord avec le Contrat CPCC, consultez : http://creativecommons.org/licenses/by-nc-sa/2.0/
Mentions lgales
Tous les noms de marques, de produits, les noms de socits, les marques de commerce et de service sont la proprit de leurs dtenteurs respectifs.
2.6. Personnalisation des paramtres du projet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.1. Personnaliser la Palette . . . . . . . . . . . . 2.6.2. Grer les statuts . . . . . . . . . . . . . . . . . . . 2.6.3. Personnaliser les paramtres du Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.4. Configurer les informations de logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.5. Dfinir les paramtres de contexte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.6. Appliquer les paramtres du projet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.7. Dfinir les paramtres des Statuts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.8. Paramtres de scurit . . . . . . . . . . . . . 2.7. Filtrage des entres listes dans la vue Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.7.1. Filtrer avec le nom du Job . . . . . . . . . 2.7.2. Filtrer avec lutilisateur . . . . . . . . . . . 2.7.3. Filtrer avec le statut du Job . . . . . . . . 2.7.4. Slectionner les nuds du Repository afficher . . . . . . . . . . . . . . . . . . . . .
35 35 37 38 38 39 40 41 43 43 43 45 47 48
3.6.6. Grer laffichage dun sous-job ........................................... 3.6.7. Paramtrage des options dans la vue Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.6.8. Chercher un Job utilisant un composant particulier . . . . . . . . . . . . . . . . . . . 3.6.9. Configurer les valeurs par dfaut dans le schma d'un composant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.3.1. Les types de SQL Templates systme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 7.3.2. Accder aux SQL Templates systme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 7.3.3. Crer des SQL Templates personnaliss . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
123
annexe A. Interface de Talend Open Studio for Big Data ............................. 213
A.1. Fentre principale . . . . . . . . . . . . . . . . . . . . . . . . . A.2. Barre doutils et Menus . . . . . . . . . . . . . . . . . . . A.2.1. Barre de menu de Talend Open Studio for Big Data . . . . . . . . . . . . . . A.2.2. Barre doutils de Talend Open Studio for Big Data . . . . . . . . . . . . . . . . . . . . . A.3. Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.4. Espace de modlisation graphique . . . . . . . . A.5. Palette . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.6. Onglets de configuration . . . . . . . . . . . . . . . . . . A.7. Panneau des onglets outline et code . . . . . . . A.8. Raccourcis clavier . . . . . . . . . . . . . . . . . . . . . . . . . 214 215 215 216 217 218 219 219 221 222
iv
C.6. Routines de type TalendString . . . . . . . . . . . . C.6.1. Exemple de formatage XML dune chane . . . . . . . . . . . . . . . . . . . . . . . . . . . . C.6.2. Exemple de trimming dune chane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . C.6.3. Exemple de dsaccentuation dune chane . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Prface
1. Informations gnrales
1.1. Objectif
Le prsent Guide utilisateur explique comment utiliser les fonctions de Talend Open Studio for Big Data dans un contexte oprationnel normal. Les informations contenues dans ce document sappliquent la version 5.2.2 de Talend Open Studio for Big Data.
2. Remarques et Support
Votre opinion nous intresse, nhsitez pas nous faire part de vos remarques, suggestions, requtes concernant la documentation ou le produit, et obtenez le support de notre quipe Talend, sur le Forum Talend (en anglais) disponible ladresse :
Remarques et Support
http://talendforge.org/forum
viii
1.1. Intgration dcisionnelle avec Talend Open Studio for Big Data
Bien quils soient gnralement invisibles pour les utilisateurs de la plate-forme BI, les processus ETL reprennent les donnes de tous les systmes oprationnels et les pr-traitent pour les outils danalyse et de reporting.
Talend Open Studio for Big Data offre une trs grande connectivit aux : Progiciels (ERP, CRM, etc.), bases de donnes, serveurs centraux, fichiers, Web Services, etc. pour couvrir la disparit grandissante des sources. Entrepts de donnes, magasins de donnes, applications OLAP (Online Analytical Processing) pour analyse, reporting, dashboarding, scorecarding, etc. Composants ETL avancs stocks localement, incluant des manipulations de chanes, Dimensions volution lente, traitement automatique des rfrences, support de charges en vrac, etc. La plupart des connecteurs dont il est question ci-dessus sont dtaills dans le Guide de rfrence des Composants de Talend Open Studio for Big Data.
1.2. Intgration oprationnelle avec Talend Open Studio for Big Data
Lintgration oprationnelle de donnes est souvent utilise pour implmenter les programmes et routines habituels, complte en fonction des besoins spcifiques.
Les applications de chargement/migration de donnes et de synchronisation/rplication de donnes sont les plus rpandues en matire dintgration oprationnelle de donnes. Elles requirent : des mappings et transformations complexes avec fonctions dagrgation, calculs, etc. pour pallier les diffrences dans la structure des donnes. le traitement et la rsolution des conflits de donnes en tenant compte des mises jour des enregistrements ou des propritaires des enregistrements.
Monitoring de lexcution
la synchronisation de donnes en quasi temps rel tant donn que les systmes impliquent une latence lente. La plupart des connecteurs dont il est question ci-dessus sont dtaills dans le Guide de rfrence des Composants de Talend Open Studio for Big Data. Pour plus d'informations concernant un Job d'intgration de donnes utilisant la fonctionnalit Output Stream, consultez section Utilisation de la fonctionnalit Output Stream.
2.1. Concepts importants dans Talend Open Studio for Big Data
Lorsque vous travaillez avec Talend Open Studio for Big Data, vous rencontrez les mots : rfrentiel, projet, rpertoire workspace, Job, composant et lment. Il est important de comprendre lapplication de chacun de ses mots pour saisir le fonctionnement de Talend Open Studio for Big Data. Quest-ce quun rfrentiel ? Un rfrentiel, repository en anglais, est un espace de stockage utilis par Talend Open Studio for Big Data pour regrouper toutes les donnes lies aux lments techniques utiliss pour crer les Jobs. Quest-ce quun projet ? Un projet est un ensemble structur dlments techniques et de leurs mtadonnes associes. Ce qui signifie que tous les Jobs que vous crez sont organiss en Projets. Vous pouvez crer autant de projets que vous le souhaitez dans un rfrentiel. Pour plus dinformations concernant les projets, consultez section Configurer un projet . Quest-ce quun rpertoire workspace ? Un rpertoire workspace est un rpertoire dans lequel sont stocks tous les dossiers de vos projets. Vous devez avoir un rpertoire workspace par connexion (connexion au rfrentiel). Talend Open Studio for Big Data vous permet de vous connecter diffrents rpertoires workspace, si vous ne souhaitez pas utiliser celui crer par dfaut. Pour plus dinformations concernant le rpertoire workspace, consultez section Travailler avec diffrents rpertoires workspace. Quest-ce quun Job ? Un Job est un concept graphique, compos dun ou plusieurs composants relis entre eux. Il vous permet de mettre en place des processus oprationnels de gestion des flux. Il traduit des besoins mtier en code, routines et programmes. Les Jobs utilisent les diffrentes sources et cibles ncessaires aux processus dintgration de donnes ou tout autre processus li. Pour plus dinformations concernant la cration de processus dintgration de donnes dans Talend Open Studio for Big Data, consultez le chapitre Conception dun Job dintgration de donnes. Quest-ce quun composant ? Un composant, component en anglais, est un connecteur pr-configur excutant une opration dintgration de donnes spcifique, quel que soit le type de donnes que vous souhaitez intgrer (bases de donnes, applications, fichiers plats, services Web, etc.). Un composant permet dviter le plus possible le codage manuel ncessaire au traitement des donnes provenant de sources multiples et htrognes. Les composants sont regroups dans des familles en fonction de leur utilisation et apparaissent dans la Palette de Talend Open Studio for Big Data. Pour plus dinformations concernant les diffrents types de composants et leurs utilisations, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data. Quest-ce quun lment ? Les lments, item en anglais, sont les units techniques constituant un projet. Ces lments sont regroups en fonction de leur type : Job Design,, Context, Code, , etc. Un lment peut comprendre plusieurs autres lments. Ainsi, les Jobs que vous crez sont des lments, tout comme les contextes que vous utilisez dans les Jobs.
2.
Cet cran apparat uniquement lorsque vous lancez Talend Open Studio for Big Data pour la premire fois ou si tous les projets existants ont t supprims.
3.
Cliquez sur le bouton Import afin d'importer le projet Dmo slectionn, ou saisissez un nom de projet dans le champ Create A New Project, puis cliquez sur le bouton Create pour crer le nouveau projet, ou sur le bouton Advanced... pour aller la fentre de login. Pour cette procdure, cliquez sur Advanced... pour accder la fentre de connexion. Pour plus d'informations sur les deux autres options, consultez section Crer un projet et section Importer le projet Dmo.
4.
Cette procdure ayant pour but de crer un nouveau projet , cliquez sur Create pour ouvrir la bote de dialogue [New project]. 5. Dans la bote de dialogue, saisissez un nom pour votre projet et cliquez sur Finish pour fermer la bote de dialogue. Le nom du nouveau projet s'affiche dans la liste Project.
6.
Slectionnez le projet et cliquez sur Open. La page Connect to TalendForge apparat, vous invitant vous connecter la Communaut Talend afin que vous puissiez regarder, tlcharger et installer des composants externes, charger vos propres composants afin de les partager avec les autres utilisateurs de Talend, le tout directement partir de la vue Exchange de la cration de Job dans le Studio. Pour en apprendre plus sur la Communaut Talend, cliquez sur le lien en savoir plus. Pour plus d'informations sur l'utilisation et le partage des composants avec la Communaut, consultez section Tlcharger/charger des composants de la communaut.
7.
Si vous souhaitez vous connecter la Communaut Talend ultrieurement, cliquez sur le bouton Skip pour continuer. Si vous travaillez derrire un proxy, cliquez sur Proxy settings... et renseignez les champs Proxy Host et Proxy Port dans la bote de dialogue Network setting. Par dfaut, le Studio collecte automatiquement les donnes d'utilisation et les envoie priodiquement aux serveurs hbergs par Talend, dans un but d'amlioration. Si vous ne souhaitez pas que le Studio effectue ces envois, dcochez la case I want to help to improve Talend by sharing anonymous usage statistics. Pour plus d'informations concernant le collecteur de donnes d'utilisation, consultez section Prfrences du collecteur de donnes d'utilisation (Talend > Usage Data Collector).
8.
9.
10. Renseignez les informations requises, cochez la case I Agree to the TalendForge Terms of Use et cliquez sur Create Account afin de crer votre compte et de vous connecter automatiquement la Communaut Talend. Si vous avez dj un compte sur http://www.talendforge.org/, cliquez sur le lien or connect on existing account afin de vous connecter.
Soyez assur quaucune information personnelle que vous communiquez Talend ne sera transmise des tiers ou utilise dautres fins que celles de vous connecter la Communaut ou de vous informer sur Talend des dernires mises jour de Talend.
Cette page n'apparat plus l'ouverture du Studio une fois que vous vous tes connect avec succs la Communaut Talend, ou si vous cliquez six fois d'affile sur le bouton Skip lorsque vous ouvrez le Studio. Dans ce cas, pour afficher de nouveau la page, ouvrez la bote de dialogue [Preferences], slectionnez Talend > Exchange puis cliquez sur Logon Exchange. Pour plus d'informations, consultez section Prfrence Exchange (Talend > Exchange).
Une barre de progression et une fentre de bienvenue s'ouvrent conscutivement. Dans cette page, des liens directs vers la documentation, les tutoriels, le forum Talend, Talend Exchange et les dernires nouvelles de Talend sont affichs. 11. Cliquez sur Start now afin douvrir la fentre principale de Talend Open Studio for Big Data qui contient des astuces utiles pour les dbutants concernant le fonctionnement du Studio. Cliquer sur un lien soulign vous amne la vue ou l'onglet correspondant, ou ouvre la bote de dialogue relative. Pour plus dinformations concernant louverture dun projet , consultez section Ouvrir un projet .
10
Configurer un projet
11
2.
Dans la bote de dialogue, configurez le chemin daccs vers ce nouveau rpertoire workspace que vous souhaitez crer et cliquez sur OK pour fermer la vue. Dans la fentre de login, un message davertissement saffiche vous demandant de redmarrer le Studio.
3. 4.
Cliquez sur Restart pour redmarrer le Studio. Dans la fentre de login rinitialise, configurez un projet pour ce nouveau rpertoire workspace. Pour plus dinformations, consultez section Configurer un projet .
5.
Slectionnez le projet dans la liste Project et cliquez sur Open pour ouvrir Talend Open Studio for Big Data.
Tous les Jobs que vous crez dans linstance courante du Studio seront stocks dans le nouveau rpertoire workspace que vous venez de crer. Si vous souhaitez vous connecter l'un des workspaces que vous avez crs, rptez la procdure dcrite dans cette section.
12
Crer un projet
crer un projet local. Lorsque vous vous connectez Talend Open Studio for Big Data pour la premire fois, aucun projet par dfaut napparat dans la liste. Vous devez crer un projet et louvrir dans le Studio pour stocker tous les Jobs que vous crez. Lorsque vous crez un nouveau projet, une arborescence est automatiquement cre dans le rpertoire workspace du serveur de votre repository. Il correspond la vue Repository de la fentre principale de Talend Open Studio for Big Data. Pour plus dinformations, consultez section Crer un projet. importer des projets que vous avez dj crs dans une version antrieure de Talend Open Studio for Big Data vous pouvez limporter dans le workspace courant de Talend Open Studio for Big Data Import... . Pour plus dinformations, consultez section Importer un projet. ouvrir un projet que vous avez cr ou import dans le Studio.. Pour plus dinformations concernant louverture dun projet , consultez section Ouvrir un projet . supprimer des projets locaux que vous avez dj crs ou imports et dont vous navez plus besoin. Pour plus dinformations, consultez section Supprimer un projet. Une fois que vous avez lanc Talend Open Studio for Big Data, vous pouvez exporter les ressources dun ou de plusieurs projets crs partir de linstance courante du Studio. Pour plus dinformations, consultez section Exporter un projet.
13
Crer un projet
3.
Dans le champ Project name, saisissez un nom pour le nouveau projet ou si besoin modifiez le nom de projet prcdemment saisi. Ce champ est obligatoire Selon l'endroit o se trouve votre curseur, un message en haut de l'assistant vous informe sur la nature des donnes saisir, comme les caractres interdits.
Le champ Technical Name est en lecture seule et contient le nom technique du projet. Il est utilis par lapplication pour crer le nom du fichier correspondant au projet. Il correspond gnralement au nom du projet saisi, mis en majuscule et concatn laide de tirets souligns si ncessaire.
4.
Cliquez sur Finish. Le nom de nouveau projet cr apparat dans la liste Project de la fentre de login de Talend Open Studio for Big Data.
14
Pour ouvrir le nouveau projet cr dans Talend Open Studio for Big Data, slectionnez-le dans la liste Project et cliquez sur Open. Une fentre montrant la progression de linitialisation du gnrateur apparat. Attendez que linitialisation se termine. Dans le Studio, si vous souhaitez passer dun projet un autre, cliquez sur File > Switch Projects dans la barre de menu. Si vous avez dj cr un projet dans une version antrieure de Talend Open Studio for Big Data et que vous souhaitez limporter dans la version courantesection Importer un projet.
2.
Saisissez un nom pour votre nouveau projet, et cliquez sur Finish> pour crer le projet. Un message de confirmation saffiche vous indiquant que limport a t ralis avec succs dans linstance courante du Studio.
15
Importer un projet
3.
Cliquez sur OK pour fermer le message de confirmation. Tous les exemples du projet dmo sont imports dans le projet nouvellement cr, et le nom du nouveau projet est affich dans la liste Projet de l'cran de connexion.
Pour importer le projet dmo TALENDDEMOSJAVA dans votre rpertoire: 1. Cliquez sur Advanced et, de la fentre de connexion cliquez sur Demo Project....La bote de dialogue [Import demo project] s'ouvre.
2.
Slectionnez le projet dmo et cliquez sur Finish> pour fermer la bote de dialogue. Un message de confirmation saffiche vous indiquant que limport a t ralis avec succs dans linstance courante du Studio.
3.
Pour ouvrir le projet Dmo import dans Talend Open Studio for Big Data, slectionnez-le dans la liste Project et cliquez sur Open. Une fentre montrant la progression de linitialisation du gnrateur apparat. Attendez que linitialisation se termine. Les exemples de Jobs du projet Dmo sont automatiquement imports dans votre workspace et sont disponibles partir de la vue Repository sous le nud Job Designs. Vous pouvez utiliser ces exemples comme base pour vos propres Job designs.
16
Importer un projet
1.
Si vous lancez Talend Open Studio for Big Data pour la premire fois, cliquez sur Advanced... pour ouvrir la fentre de connexion. A partir de la fentre connexion, cliquez sur Import... pour ouvrir l'assistant [Import].
2.
3. 4.
Cliquez sur Import several projects si vous souhaitez importer plus dun projet la fois. Cliquez sur Select root directory ou Select archive file en fonction du type de source partir de laquelle vous souhaitez faire limport : respectivement une rpertoire ou un fichier archive. Cliquez sur Browse... pour slectionner le rpertoire workspace ou le fichier archive contenant les projets importer. Par dfaut, le workspace slectionn est le dossier workspace courant de votre Studio. Remontez larborescence vers le rpertoire workspace de la version antrieure de Talend Open Studio for Big Data ou le fichier archive contenant le ou les projets importer et slectionnez-le. Cochez la case Copy projects into workspace pour faire une copie des projets imports dans le nouveau workspace.
Si vous ne souhaitez pas dplacer les projets de leur emplacement initial vers le nouveau workspace, dcochez cette case. Nous vous recommandons de conserver une version de sauvegarde.
5.
6.
7.
Dans la liste Projects, slectionnez les projets importer et cliquez sur Finish pour valider. Dans la fentre de login, le ou les nom(s) des projet(s) import(s) apparaissent dsormais dans la liste Project.
17
Ouvrir un projet
Vous pouvez donc slectionner le projet import que vous souhaitez ouvrir dans Talend Open Studio for Big Data et cliquer sur Open pour lancer le Studio.
Une fentre dinitialisation du gnrateur de code peut apparatre lors du lancement de lapplication. Il est recommand dattendre que linitialisation se termine.
Pour ouvrir un projet dans Talend Open Studio for Big Data : Dans la fentre de login du Studio, slectionnez le projet partir de la liste Project et cliquez sur Open.
Une barre de progression apparat puis la fentre principale de Talend Open Studio for Big Data souvre. Une fentre dinitialisation du gnrateur de code apparat. Il est recommand dattendre que linitialisation se termine.
Lorsque vous ouvrez un projet import dune version prcdente du Studio, une fentre dinformation souvre et affiche une courte description des tches de migration ralises avec succs. Pour plus dinformations, consultez section Tches de migration.
18
Exporter un projet
2. 3.
Cochez la ou les cases correspondant aux projets que vous souhaitez supprimer. Cliquez sur OK pour valider la suppression. La liste des projets est rafrachie automatiquement.
Faites attention lorsque vous cliquez sur OK, car aucune fentre de confirmation napparat. De plus, les projets supprims ne peuvent pas tre rcuprs. Si vous cochez la case Do not delete projects physically, le ou les projet(s) slectionn(s) seront uniquement supprims de la liste et seront donc toujours prsents dans le rpertoire workspace de Talend Open Studio for Big Data. De plus, vous pouvez, tout moment, rcuprer un projet supprim de cette manire via loption Import local project(s) de la liste Or de la fentre de login.
19
Tches de migration
2.
Cochez les cases correspondant aux projets que vous souhaitez exporter. Vous pouvez, en fonction de vos besoins, slectionner une partie dun projet partir du bouton Filter Types... (pour les utilisateurs expriments). Dans le champ To archive file, cliquez sur le bouton Browse... pour spcifier le rpertoire dans lequel exporter votre ou vos projet(s) et saisissez le nom que vous souhaitez donner au fichier archive. Dans la zone Options, slectionnez le format de compression et le type de structure que vous souhaitez utiliser. Cliquez sur Finish pour valider.
3.
4.
5.
Le fichier archive contenant les projets exports est cr dans le rpertoire spcifi.
20
Parmi les modifications affectant lutilisation de Talend Open Studio for Big Data, voici quelques exemples : tDBInput utilis avec une base de donnes MySQL, devient un composant spcifique tDBMysqlInput. Son aspect est ainsi modifi dans les Jobs o il est utilis. tUniqRow tait bas sur les cls de schma Input, alors que lactuel tUniqRow permet lutilisateur de slectionner la colonne o faire la correspondance.
2.5. Configuration des prfrences de Talend Open Studio for Big Data
Vous pouvez dfinir les proprits daffichage de la fentre principale de Talend Open Studio for Big Data pour les adapter vos besoins et vos prfrences. Un grand nombre des configurations que vous avez dfinies peuvent tre enregistres dans Preferences et seront donc utilises par dfaut pour tous les nouveaux Jobs que vous crerez. La section suivante dcrit les configurations spcifiques que vous pouvez dfinir en tant que prfrences. Cliquez sur le menu Window de Talend Open Studio for Big Data, puis slectionnez Preferences.
21
Pour personnaliser votre chemin d'accs l'interprteur Java : 1. 2. Si ncessaire, cliquez sur Talend dans larborescence de la bote de dialogue [Preferences]. Si le rpertoire dinstallation Java par dfaut nest pas correct, rectifiez le chemin daccs.
Dans la mme vue, vous pouvez galement modifier le nombre de lignes de donnes affiches dans laperu et le chemin daccs vers les fichiers temporaires.
22
4.
Cochez les cases adquates pour personnaliser lespace de modlisation de Talend Open Studio for Big Data en fonction de votre utilisation.
23
3.
Field Name Username and Password REST Address REST Username and REST Password Service URI
Action Saisissez le nom d'utilisateur et le mot de passe de connexion la console Web de BPM, admin et bpm par dfaut. Saisissez l'URL du serveur REST de BPM, http:// localhost:8040/bonita-server-rest/ par dfaut. Saisissez le nom d'utilisateur et le mot de passe de connexion au serveur REST de BPM, restuser et restbpm par dfaut. Saisissez l'URI du service BPM, http://127.0.0.1:8090 par dfaut. Notez que cet URI par dfaut sera utilise si aucun URI de service n'est spcifi.
4.
Cliquez sur Apply puis sur OK afin de valider les prfrences dfinies et fermer la bote de dialogue.
24
2.
Renseignez le champ User components folder pour indiquer le chemin daccs aux composants ajouter la Palette de Talend Open Studio for Big Data. Dans le champ Default mapping links dispaly as, slectionnez le type de liens que vous souhaitez utiliser pour la mise en correspondance dans le tMap. Cochez la case Dont show corresponding job after double click on a tRunJob component si vous ne souhaitez pas que le Job fils appel par le tRunJob souvre lorsque vous double-cliquez sur le composant.
Vous pourrez toujours ouvrir le Job correspondant en cliquant-droit sur le composant tRunJob et en slectionnant Open tRunJob Component.
3.
4.
5.
Cliquez sur Apply puis sur OK afin de valider les prfrences dfinies et fermer la bote de dialogue. Les composants externes sont ajouts la Palette.
3.
Configurez les prfrences d'Exchange selon vos besoins : Si vous n'tes pas encore connect la Communaut Talend, cliquez sur Sign In pour vous rendre sur la page Connect to TalendForge afin de vous connecter la Communaut Talend l'aide de votre identifiant/mot de passe ou pour vous crer un compte et de vous y connecter.
25
Si vous tes dj connect la Communaut Talend, votre compte s'affiche et le bouton Sign In devient Sign Out. Pour vous dconnecter de la Communaut Talend, cliquez sur Sign Out. Par dfaut, lorsque vous tes connect la Communaut Talend, lorsqu'une mise jour d'un produit install est disponible, une bote de dialogue apparat pour vous le signaler. Si vous vrifiez frquemment les mises jour disponibles et que vous ne souhaitez pas que cette bote de dialogue rapparaisse, dcochez la case Notify me when updated extensions are available. Pour plus d'informations concernant la connexion la Communaut Talend, consultez section Lancement de Talend Open Studio for Big Data. Pour plus d'informations concernant l'utilisation des composants de la communaut dans le Studio, consultez la section Tlcharger/charger des composants de la communaut.
3.
Dans le champ Command, ajoutez votre/vos ligne(s) de code avant ou aprs le code %GENERATED_TOS_CALL % pour quelles apparaissent respectivement au dbut ou la fin du code de votre Job.
2.
26
3. 4. 5.
Dans le champ Local Language, slectionnez la langue que vous souhaitez utiliser pour linterface de Talend Open Studio for Big Data. Cliquez sur Apply, puis sur OK pour valider vos changements et fermer la bote de dialogue [Preferences]. Redmarrez Talend Open Studio for Big Data pour que ce changement soit pris en compte.
3.
Paramtrez les prfrences de performance de Talend Open Studio for Big Data en fonction de votre utilisation :
27
Cochez la case Deactivate auto detect/update after a modification in the repository pour dsactiver la dtection et la mise jour automatique du Repository aprs modification. Cochez la case Check the property fields when generating code pour activer la vrification des champs de proprits des composants. Lorsque lun des champs de proprits dun composant est mal renseign, le composant est entour en rouge.
La dsactivation de la vrification des champs de proprits des composants permet un gain de performance. Dcochez la case Check the property fields when generating code.
Cochez la case Generate code when opening the job pour gnrer le code louverture du Job. Cochez la case Check only the last version when updating jobs or joblets pour ne vrifier que la dernire version des Jobs . Cochez la case Propagate add/delete variable changes in repository contexts pour propager les ajouts et suppressions de variables dans les mtadonnes Contexts du Repository. Cochez la case Activate the timeout for database connection pour mettre en place un dlai dexpiration des connexions aux bases de donnes. Puis dans le champ Connection timeout (seconds), saisissez, en secondes, la dure souhaite avant expiration. Cochez la case Add all user routines to job dependencies, when create new job, afin dajouter toutes les routines utilisateur dans les dpendances des Jobs lors de la cration de nouveaux Jobs. Cochez la case Add all system routines to job dependencies, when create job, pour ajouter toutes les routines systme lors de la cration de nouveaux Jobs.
28
Dans la zone Talend client configuration, vous pouvez dfinir les options dexcution utiliser par dfaut.
Stats port range Trace port range Save before run Clear before run Exec time Statistics Traces Pause time
Spcifiez une plage pour les ports utiliss pour la gnration des Statistics, notamment si les ports dfinis par dfaut sont dj occups par dautres applications. Spcifiez une plage pour les ports utiliss pour la gnration des Traces, notamment si les ports dfinis par dfaut sont dj occups par dautres applications. Cochez cette case pour automatiquement enregistrer votre Job avant de lexcuter. Cochez cette case pour nettoyer les rsultats dune excution prcdente avant dexcuter de nouveau le Job. Cochez cette case pour afficher la dure dexcution du Job. Cochez cette case le suivi de flux au cours de lexcution du Job. Cochez cette case pour afficher le suivi du traitement des donnes au cours de lexcution du Job. Indiquez le temps de pause souhaite entre chaque ligne de donnes du tableau Traces.
Dans la liste Job Run VM arguments, vous pouvez dfinir les paramtres de votre JVM en fonction de votre utilisation. Les paramtres par dfaut, -Xms256M et -Xmx1024M correspondent respectivement la mmoire rserve minimale et maximale pour lexcution de vos Jobs. Si vous souhaitez utiliser des paramtres spcifiques pour lexcution dun Job, par exemple si vous voulez afficher les rsultats dexcution de ce Job en japonais, vous devez ouvrir la vue Run. Dans cette vue, configurez les paramtres dexcution avancs correspondants. Pour plus dinformations concernant les paramtres dexcution consultez section Configurer les paramtres dexcution avancs. avancs dun Job spcifique,
Pour plus dinformations sur les paramtres possibles, consultez le site (en anglais)http://www.oracle.com/ technetwork/java/javase/tech/vmoptions-jsp-140102.html.
29
Afficher des caractres spciaux dans les colonnes de schmas (Talend > Specific settings)
2.5.10. Afficher des caractres spciaux dans les colonnes de schmas (Talend > Specific settings)
Vous pouvez avoir besoin de rcuprer le schma dune table contenant des colonnes avec caractres spciaux comme des caractres chinois, japonais ou corens. Dans ce cas, vous devez activer loption permettant de lire les caractres spciaux dans Talend Open Studio for Big Data. Pour ce faire : 1. 2. 3. Dans la barre de menu, cliquez sur Window > Preferences afin douvrir la bote de dialogue [Preferences]. Dans larborescence de la bote de dialogue, dveloppez le nud Talend. Cliquez sur le nud Specific settings pour afficher la vue correspondante dans la partie droite de la bote de dialogue. Cochez la case Allow specific characters (UTF8,...) for columns of schemas.
4.
30
3.
Paramtrez ces prfrences en fonction de vos besoins : Dans la zone Default Settings for Fields with Null Values, renseignez le type de donnes et la longueur du champ attribuer par dfaut aux champs de valeurs nulles. Dans la zone Default Settings for All Fields, renseignez le type de donnes et la longueur du champ attribuer tous les champs du schma. Dans la zone Default Length for Data Type, renseignez la longueur attribuer en fonction du type de donnes du champ.
31
3.
Le chemin daccs peut tre indiqu dans le champ External libraries path en cliquant sur le bouton Browse.... Le chemin par dfaut est celui de la version actuelle que vous utilisez.
Dans la liste Metadata Mapping File, un fichier xml contenant les paramtres de conversion apparat pour chaque type de base de donnes utilis dans Talend Open Studio for Big Data. Vous pouvez importer, exporter ou supprimer chaque fichier de conversion en cliquant respectivement sur les boutons Import, Export et Remove. Vous pouvez ouvrir et modifier chaque fichier afin daffiner les conversions en fonction de votre utilisation en cliquant sur le bouton Edit et en modifiant le code XML directement dans la fentre [Edit mapping file].
32
3.
Personnalisez les performances du SQL Builder selon vos besoins : Cochez la case add quotes, when you generated sql statement pour protger le nom des colonnes et des tables par des guillemets dans vos requtes SQL. Pour le champ AS400 SQL generation, slectionnez Standard SQL Statement pour utiliser des commandes SQL standard ou System SQL Statement pour des commandes SQL system lorsque vous utilisez des bases de donnes de type AS400. Dcochez la case Enable check queries in the database components (disable to avoid warnings for specific queries) pour dsactiver la vrification des requtes dans les composants base de donnes.
2.5.15. Prfrences du collecteur de donnes d'utilisation (Talend > Usage Data Collector)
En autorisant Talend Open Studio for Big Data collecter vos statistiques d'utilisation du Studio, vous permettez aux utilisateurs de mieux comprendre les produits Talend et vous permettez Talend de savoir comment les utilisateurs utilisent les produits. Cela rend possible l'amlioration de la qualit des produits et des performances afin de mieux rpondre aux besoins des utilisateurs Par dfaut, Talend Open Studio for Big Data collecte automatiquement vos donnes d'utilisation et les envoie rgulirement aux serveurs hbergs par Talend. Vous pouvez voir la collection de donnes d'utilisation et le chargement d'informations, ainsi que personnaliser les performances du collecteur de donnes selon vos besoins.
Soyez assur que seules les statistiques d'utilisation du Studio sont collectes. Aucune de vos informations prives ne sera collecte et transmise Talend.
1. 2.
Dans la barre de menu, cliquez sur Window > Preferences afin d'afficher la bote de dialogue [Preferences]. Dveloppez le nud Talend et cliquez sur Usage Data Collector pour afficher la vue Usage Data Collector.
33
3. 4.
Lisez le message concernant le collecteur de donnes d'utilisation et, si vous ne souhaitez pas que le collecteur collecte et envoie vos informations d'utilisation du Studio, dcochez la case Enable capture. Pour obtenir un aperu des donns d'utilisation captures par le collecteur de donnes, dveloppez le nud Usage Data Collector et cliquez sur Preview.
5.
Pour personnaliser l'intervalle d'envoi des donnes d'utilisation et voir la date du dernier envoi, cliquez sur Uploading sous le nud Usage Data Collector.
Par dfaut, s'il est activ, le collecteur de donnes collecte les donnes d'utilisation du produit et les envoie aux serveurs Talend tous les dix jours. Pour modifier l'intervalle, saisissez une nouvelle valeur entire (en jours) dans le champ Upload Period.
34
Le champ Last Upload en lecture seule affiche la date et l'heure du dernier envoi de donnes aux serveurs Talend.
2.
Dans larborescence gauche de la bote de dialogue, slectionnez le paramtre que vous souhaitez personnaliser et personnalisez-le dans la partie droite de la bote de dialogue.
A partir de cette bote de dialogue, vous pouvez aussi exporter ou importer lintgralit des paramtres de votre projet. Pour exporter les paramtres, cliquez sur le bouton Export. Lexport gnrera un fichier XML contenant tous les paramtres de votre projet. Pour importer les paramtres, cliquez sur le bouton Import et slectionnez le fichier XML contenant les paramtres dun autre projet appliquer au projet en cours.
35
Personnaliser la Palette
Pour personnaliser l'affichage de la Palette, procdez comme suit : 1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre de menu pour ouvrir la bote de dialogue [Project Settings].
Dans la vue General de la bote de dialogue [Project Settings], ajoutez une description du projet en cours si vous ne lavez pas fait lors de sa cration.
2.
Dans larborescence de la fentre [Project Settings], dveloppez le nud Designer et cliquez sur Palette Settings. Les paramtres de la Palette en cours sont affichs dans la partie droite de la fentre. Slectionnez un ou plusieurs composants, ou un ou plusieurs groupes de composants pour les supprimer de la Palette en cours. Puis utilisez la flche vers la gauche pour dplacer la slection vers la Palette de composants cachs, gauche de la fentre. Notez que larborescence de la Palette est conserve dans la zone de gauche. Pour afficher de nouveau un composant cach, slectionnez-le dans la zone de gauche et faites-la passer dans la zone de droite en cliquant sur la flche vers la droite. Cliquez sur Apply pour valider les modifications effectues la Palette du projet en cours et cliquez sur OK pour fermer la bote de dialogue.
Pour revenir aux paramtres par dfaut, cliquez sur le bouton Restore Defaults.
3.
4.
5.
6.
Pour plus dinformations concernant la Palette, consultez section Modifier la disposition et les paramtres de la Palette.
36
3.
Dans la vue Repository, dveloppez le nud contenant les lments dont vous souhaitez grer le statut et cochez la case de ces lments. Les lments slectionns saffichent dans la liste Items de droite, avec leur statut, dans la colonne Status. Le nouveau statut dfini saffiche dans la colonne New Status.
4. 5. 6. 7.
Dans la zone Options, cochez la case Change all technical items to a fixed status pour changer le statut de tous les lments slectionns en un mme statut fixe. Cliquez sur Revert si vous souhaitez annuler les modifications. Pour mettre jour le statut des lments, slectionnez loption Update the version of each item et changezle manuellement. Cliquez sur Apply afin dappliquer vos modifications, puis sur OK pour fermer la bote de dialogue.
Pour plus dinformations concernant les statuts des Jobs, consultez section Personnaliser les paramtres du Job.
37
3.
4.
Cliquez sur Apply pour valider les changements et cliquez sur OK pour fermer la bote de dialogue.
38
Si les paramtres des Stats & Logs ne varient pas en fonction du contexte dexcution, vous pouvez les dfinir de manire permanente. Si vous souhaitez appliquer les mmes paramtres de Stats & Logs en fonction de chaque Job, faites-le directement partir de la vue Stats & Logs du Job. Pour plus dinformations sur cette vue, consultez section Automatiser lutilisation des statistiques & logs.
3. 4. 5.
Cochez les cases Use statistics, Use logs et Use volumetrics en fonction de vos besoins, puis renseignez le chemin daccs des donnes de log. Slectionnez le format de stockage des donnes de log : cochez On Files ou On Database, ou cochez la case On Console pour afficher les donnes dans la console. Cliquez sur Apply pour appliquer les changements et sur OK pour fermer la bote de dialogue.
Les champs apparaissent en fonction des paramtres slectionns. Dans les champs File Name ou DB Name, saisissez respectivement le nom du fichier ou de la base de donnes entre guillemets en fonction du type de format choisi.
Si vous avez sauv les informations de connexion dans une variable de contexte, vous pouvez y accder via le raccourci Ctrl+Espace.
39
2.
Dans larborescence de la bote de dialogue, dveloppez le nud Job Settings et cochez la case Implicit tContextLoad pour afficher les paramtres de configuration de loption Implicit tContextLoad.
3.
Slectionnez le type de fichier dans lequel les donnes de contextes seront conserves, soit sous forme de fichier en slectionnant le champ From File, soit sous forme de base de donnes en slectionnant From Database. Pour un fichier, renseignez le chemin daccs et le sparateur de champ du fichier contenant les paramtres de contexte dans les champs From File et Field Separator. Pour une base de donnes, slectionnez le mode adquat, Built-in ou Repository, dans le champ Property type et renseignez les champs suivants. Dans les champs Table Name et Query Condition, renseignez le nom de la table contenant les paramtres de contexte et la requte utiliser. Dans les champs If a variable loaded, but not in the context et If a variable in the context, but not loaded, slectionnez le type davertissement que vous souhaitez recevoir en fonction de votre utilisation des variables. Cliquez sur Apply pour valider les changements et cliquez sur OK pour fermer la bote de dialogue.
4.
5.
6.
7.
8.
40
3.
Dans la zone Implicit Context Load Settings, cochez les cases correspondant aux Jobs auxquels vous souhaitez appliquer loption Implicit Context Load. Dans la zone Stats Logs Settings, cochez les cases correspondant aux Jobs auxquels vous souhaitez appliquer loption Stats and Logs. Cliquez sur Apply pour valider les changements et sur OK pour fermer la bote de dialogue.
4.
5.
41
3.
Cliquez sur le bouton New... pour afficher un bote de dialogue et alimenter la liste Status avec les valeurs appropries aux besoins de votre entreprise. Notez que le champ Code ne peut pas dpasser trois caractres et le champ Label contenant le libell de votre statut est obligatoire.
Talend fait la diffrence entre deux types de statuts : Technical status et Documentation status. La liste de statuts Technical status affiche les codes de classification des lments qui sont utiliss lors de lexcution de Jobs, de dfinition de mtadonnes ou de routines. La liste de statuts Documentation status permet de classer les lments du rfrentiel qui sont utiliss pour documenter les process. 4. Une fois le statut renseign, cliquez sur OK sauvegarder. Dsormais la liste Status vous permet dappliquer vos paramtres de classification personnaliss aux Jobs. 5. Dans la bote de dialogue [Project Settings], cliquez sur Apply pour valider vos changements et sur OK pour fermer la bote de dialogue.
42
Paramtres de scurit
43
2.
3.
Suivez les rgles affiches sous le champ lorsque vous entrez les lments que vous souhaitez utiliser pour filtrer les Jobs. Dans cet exemple, nous souhaitons lister tous les Jobs de larborescence commenant par tMap ou test.
4.
Dans la case [Repository Filter], cliquez sur OK pour valider vos modifications, ensuite fermer la bote de dialogue. Seuls les Jobs correspondants au filtre que vous avez dfini apparatront dans larborescence, ceux commenant par tMap et test dans cet exemple.
44
Vous pouvez retourner larborescence par dfaut, listant tous les nuds, Jobs et lments, simplement en cliquant sur licne . Alors le signe plus vert se change en signe moins rouge ( ).
45
2.
Dcochez la case All Users. Les champs correspondants dans la table ci-dessous deviennent accessibles.
La table liste les informations authentification de tous les utilisateurs qui se sont connects Talend Open Studio for Big Data et qui ont cr un Job ou un lment. 3. Dcochez la case ct du nom de lutilisateur si vous souhaitez cacher dans la vue Repository tous les Jobs ou lments crs par lutilisateur. Cliquez sur OK pour valider vos modifications, ensuite fermer la bote de dialogue. Tous les Jobs ou lments crs par lutilisateur slectionn disparatront de larborescence.
Vous pouvez retourner larborescence par dfaut, listant tous les nuds, Jobs et lments, simplement en cliquant sur licne . Alors le signe plus vert se change en signe moins rouge ( ).
4.
46
47
2.
Dans la zone Filter By Status, dcochez la case situe ct de statut si vous souhaitez cacher tous les Jobs ayant le statut slectionn. 3. Cliquez sur OK pour valider vos modifications, ensuite fermer la bote de dialogue. Tous les Jobs ayant le statut slectionn disparatront de larborescence.
Vous pouvez retourner larborescence par dfaut, listant tous les nuds, Jobs et lments, simplement en cliquant sur licne . Alors le signe plus vert se change en signe moins rouge ( ).
48
2.
Cochez la case situe ct des nuds que vous souhaitez afficher dans la vue Repository.
Par exemple, vous souhaitez montrer dans larborescence tous les Jobs lists sous le nud Job Designs. Trois des dossiers lists sous le nud SQL Templates et lun des lments des mtadonnes list sous le nud Metadata. 3. Cliquez sur OK pour valider vos modifications et fermer la bote de dialogue. Seuls les nuds/dossiers dont vous avez coch la case apparaissent dans larborescence.
49
Si vous ne souhaitez pas afficher tous les Jobs lists sous le nud Job Designs, vous pouvez filtrer les Jobs en cochant la case Filter By Name. Pour plus dinformations sur le filtrage des Jobs, consultez section Filtrer avec le nom du Job.
50
Un Job Design est compos dun ou plusieurs sous-job(s), eux-mmes dfinis par un ou, plus vraisemblablement, par plusieurs composants relis les uns aux autres. Les proprits de chaque composant doivent tre configures individuellement, afin que tout fonctionne correctement. Pour plus dinformations, consultez la section Types de connexions et la section Dfinir les proprits dun composant.
52
Crer un Job
Lassistant de cration [New Job] vous guide dans les tapes de dfinition des proprits de votre nouveau Job.
3.
Status Path
53
Crer un Job
Le Designer souvre sur un onglet de modlisation vide, indiquant simplement le nom du nouveau Job. 4. Glissez-dposez les composants que vous souhaitez utiliser de la Palette dans lespace de modlisation graphique, et connectez-les. Pour plus dinformations, consultez la section Dposer des composants dans l'espace de modlisation graphique et la section Types de connexions. Dfinissez les proprits de chaque composant utilis dans le Job. Pour plus dinformations, consultez la section Dfinir les proprits dun composant. Sauvegardez votre Job et appuyez sur F6 pour lexcuter. Pour plus dinformations, consultez la section Excuter un Job. Le Job que vous avez cr saffiche sous le nud Job Designs, dans la vue Repository.
Vous pouvez ouvrir autant de Jobs crs que vous le souhaitez, simplement en double-cliquant sur le nom du Job dans le Repository.
5.
6.
Pour crer diffrents dossiers afin de classer vos Jobs, procdez comme suit : 1. Dans la vue Repository, cliquez-droit sur Job Designs et slectionnez Create Folder dans le menu contextuel. La bote de dialogue [New Folder] apparat.
2.
Dans le champ Label, saisissez un nom pour le dossier puis cliquez sur Finish pour confirmer vos modifications et fermer la bote de dialogue. Le dossier cr saffiche sous le nud Job Designs, dans la vue Repository.
Si vous avez dj cr les Jobs que vous souhaitez dplacer dans ce nouveau dossier, glissez-les simplement dans le dossier.
Pour un scnario expliquant comment crer un vrai Job dintgration de donnes, consultez la annexe De la thorie la pratique, exemple de Job.
54
Vous pouvez galement dposer une Note de la mme faon que vous dposez des composants. Pour plus dinformations, consultez la section Ajouter une Note au Job.
Chaque composant ajout au Job apparat gnralement dans un rectangle bleu symbolisant le sous-job.
Connectez les composants les uns aux autres dans un ordre logique laide des connexions disponibles, afin de crer un Job ou un sous-job complet. Pour plus dinformations concernant les diffrents types de connexion, consultez la section Types de connexions. Les Jobs ou sous-jobs sont mis en vidence par un seul rectangle bleu. Pour plus dinformations concernant le surlignage des Jobs et des sous-jobs, consultez la section Personnaliser les sous-jobs. Plusieurs types dicnes dinformation et davertissement peuvent safficher ct du composant. Placez le pointeur sur licne pour faire apparatre la bulle dinformation. Ces icnes saffichent tant que vous navez pas termin de paramtrer toutes les proprits de base (et parfois avances) des composants partir de la vue Component.
Vous devrez utiliser le code Java pour votre projet.
Voir galement : section Types de connexions. section Grer les icnes davertissement/derreur sur les composants. section Dfinir les proprits dun composant.
55
Pour chercher un composant, procdez comme suit : 1. 2. Cliquez sur le bouton pour effacer tout texte du champ de recherche.
Saisissez le nom du composant que vous cherchez puis cliquez sur OK. La Palette naffiche plus que la (les) famille(s) contenant le composant.
56
Les types de connexions diffrent selon la nature du composant et son rle dans le Job. Les types de connexions disponibles varient galement si les donnes proviennent dun ou plusieurs fichiers dentre et si elles sont transmises vers un ou plusieurs fichiers de sortie. Slectionnez un composant dans lditeur graphique et cliquez-droit pour afficher le menu contextuel. Tous les liens disponibles pour ce composant particulier apparaissent lcran. Pour plus d'informations concernant les diffrents types de connexions disponibles, consultez la section Utilisation des connexions.
3.2.5. Cliquer et dposer des composants au milieu dune connexion de type Row
Lorsque vous crez un Job, Talend Open Studio for Big Data vous permet dinsrer un composant au milieu dune connexion de type Row > Main, Row > Reject ou de type Row > Combine. Pour ce faire, procdez comme suit : 1. 2. A partir de la Palette, cliquez et dposez deux composants Combine et deux composants File (un dentre et un de sortie) dans l'espace de modlisation graphique. Connectez les paires de composants en utilisant soit une connexion de type Row > Main (ou Row > Reject), soit une connexion de type Row > Reject.
3.
Cliquez et dposez le composant que vous souhaitez insrer au milieu de la connexion. La connexion saffiche en gras puis une bote de dialogue souvre, vous demandant de saisir un nom pour le lien de sortie.
4.
57
Il est possible qu'un message vous propose de rcuprer le schma du composant cible. Cliquez sur OK pour accepter ou sur No pour refuser.
Les paramtres de base des composants sont diffrents en fonction de ces exigences fonctionnelles dans le job. Pour une description dtaille des proprits et de lutilisation de chaque composant, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data.
58
Certains composants sont paramtrs laide de code ou de fonctions. Veillez bien utiliser le code Java dans les proprits en Java.
Paramtrer un schma
Cliquez sur Edit Schema. Ensuite, crez votre schma en y ajoutant des colonnes et en dcrivant leur contenu selon la structure du fichier dentre.
Vous pouvez rcuprer le schma ponctuel dun fichier dentre pour alimenter le schma de sortie. Pour ce faire, cliquez sur le bouton Sync columns dans les proprits du composant Output.
Des informations supplmentaires sont ncessaires. Pour plus dinformations sur les formats de date par exemple, visitez le site : http://docs.oracle.com/javase/6/docs/api/index.html
59
Les paramtres affichs peuvent tre : des messages derreur, le nombre de lignes traites, etc. La liste varie en fonction des composants slectionns ou du contexte sur lequel vous travaillez. Voir galement : section Centraliser les Contextes et les Variables.
Le contenu de longlet Advanced Settings change en fonction du composant slectionn. Gnralement, cet onglet regroupe les paramtres qui ne sont pas requis pour une utilisation de base ou habituelle du composant, mais ils sont requis pour les utilisations avances.
60
Un autre avantage de cette fonctionnalit rside dans le fait que vous tes maintenant capable de changer les paramtres de contexte au moment de lexcution, ce qui est trs utile lorsque vous exporter votre Job script afin de le dployer sur un serveur dexcution par exemple.
Pour personnaliser ces types de paramtres, notamment les variables de contexte, suivez les tapes qui suivent : 1. Slectionnez le composant dont les onglets Basic et Advanced settings contiennent les paramtres que vous souhaitez dfinir comme variable. Cliquez sur longlet Dynamic settings Cliquez sur le bouton [+] pour crer une nouvelle ligne de paramtres dans le tableau. Cliquez dans la cellule Name du paramtre pour afficher la liste des paramtres disponibles. Par exemple : Print operations. Puis cliquez dans la cellule Code en face du paramtre et paramtrez le code utiliser. Par exemple : context.verbose si vous avez cr la variable de contexte que vous avez appele verbose.
Dans la cellule Code, vous pouvez entrer une variable de contexte mais aussi un bout de code Java.
2. 3. 4.
5.
Les listes ou cases cocher correspondantes deviennent donc indisponibles et sont surlignes en jaune dans les onglets Basic ou Advanced settings.
Si vous souhaitez configurer un paramtre comme variable de contexte, assurez-vous davoir bien cr la variable dans la vue Context. Pour plus dinformations concernant la dfinition des variables de contexte, consultez section Dfinir les variables partir de la vue Contexts.
Vous pouvez aussi utiliser une variable globale ou des bouts de code Java pour stocker les valeurs utiliser pour chaque paramtre.
61
Par exemple, utilisez certaines variables globales disponibles laide du raccourci clavier Ctrl+Espace, et adaptezles votre contexte.
Description Libell libre qui saffiche au niveau de lditeur graphique. Des variables peuvent tre utilises pour retrouver et afficher des valeurs dautres champs. Laide contextuelle de ce champ fournit gnralement la variable correspondante o la valeur du champ est stocke. Bulle contextuelle apparaissant lorsque vous passez la souris au dessus du composant. Cochez cette case pour activer la fonctionnalit dindication contextuelle.
Vous pouvez personnaliser les textes des Label et Hint laide des balises HTML suivantes : Gras : <b> LibellOuBulle </b> Italique : <i> LibellOuBulle </i> Retour chariot : LibellOuBulle <br> ContinueLigneSuiv Couleur : <Font color= #RGBcolor> LibellOuBulle </Font> Pour changer vos prfrences de longlet View, cliquez sur Window > Preferences > Talend > Appearance > Designer.
62
Excuter un Job
Le contenu de ce champ Comment sera format laide du markup Pod et sera intgr au code gnr sous forme de commentaires. Vous pouvez visualiser votre commentaire sous longlet Code de lditeur graphique. Vous pouvez galement ajouter le contenu de votre commentaire, ou documentation, dans laide contextuelle dun composant en utilisant la variable associe (_COMMENT_). Pour une utilisation avance de la fonction Documentation, il est prfrable dutiliser la partie Documentation du rfrentiel, qui vous permet de conserver et rutiliser tout type de documentation de faon centralise.
63
Excuter un Job
1. 2. 3.
Cliquez sur la vue Run pour l'ouvrir. Cliquez sur longlet Run Job pour accder au mode normal d'excution. Dans la zone Context, slectionnez le contexte appropri pour ce processus. Vrifiez galement les valeurs de variables si ncessaire.
Si vous navez pas dfini de contexte dexcution, le tableau des paramtres de contexte est vide et le contexte est celui par dfaut. Voir galement : section Dfinir les variables partir de la vue Contexts. 1. 2. Cliquez sur Run pour lancer lexcution. Sur le mme panneau, la console de log affiche la progression de lexcution. La console inclut les messages derreurs ainsi que les messages de dbut et de fin de processus. Elle affiche galement le rsultat du processus si le composant terminal le prvoit, notamment le tLogRow. Pour paramtrer le nombre de lignes afficher dans la console lors de lavancement de lexcution, cochez la case Line limit et saisissez une valeur dans le champ. Cochez la case Wrap pour activer les retours automatiques la ligne. Cette case est coche par dfaut. Lorsquelle est dcoche, une barre de dfilement horizontale apparat, vous permettant de voir la fin des lignes.
3.
4.
Avant dexcuter nouveau un Job, vous pouvez vider le contenu de la vue de log, en cliquant sur la case cocher Clear before run. La vue de log sera dsormais vide chaque excution. Si pour une raison quelconque, vous souhaitez stopper la progression du job, cliquez simplement sur le bouton Kill. Vous devrez cliquer sur Run nouveau pour reprendre lexcution du job. Talend Open Studio for Big Data offre dautres fonctionnalits informatives, notamment Statistics et Traces, qui facilitent la supervision du Job ainsi que le travail de dbogage. Pour plus dinformations, consultez les sections suivantes.
64
Excuter un Job
2.
Cliquez sur longlet Debug Run pour accder aux modes dexcution Debug.
Avant dexcuter un Job en mode Debug, vrifiez que le module EPIC est install.
Dans un premier temps, nous vous recommandons dajouter des points de pause au niveau des tapes principales de votre processus.
De cette manire, le processus sarrtera automatiquement rgulirement, vous permettant ainsi de vrifier pas pas les composants et leurs variables respectives et de corriger les bugs ventuels. Pour ajouter des pauses (breakpoints) au niveau dun composant, cliquez droit sur le composant dans lespace de modlisation puis slectionnez Add breakpoint dans le menu contextuel. Licne pause saffiche gauche du composant dans lditeur graphique. Pour passer en mode Debug, cliquez sur le bouton Debug dans le panneau Run Job. Talend Open Studio for Big Data ouvre lditeur en mode de dbogage. Vous pouvez excuter le Job pas pas et vrifier le comportement de chacun des composants ainsi que les valeurs des variables utilises. Pour revenir en mode normal Talend Open Studio for Big Data, cliquez sur Window, puis Perspective et slectionnez Talend Open Studio for Big Data.
Cette fonctionnalit vous permet de surveiller tous les composants dun Job, sans avoir besoin de passer en mode Debug, et par consquent sans avoir besoin de connaissances Java particulires. La fonction Traces affiche le contenu des lignes traites dans un tableau.
Les composants externes ne peuvent offrir cette fonctionnalit que si leur conception le prvoit.
65
Excuter un Job
Vous pouvez activer ou dsactiver le mode Traces ou dcider quelles colonnes traites afficher dans le tableau des traces qui saffichera dans lespace de modlisation graphique lors de lexcution du Job. Pour activer le mode Traces dans un Job :
1. 2. 3. 4.
Cliquez sur la vue Run. Cliquez sur longlet Debug Run pour accder aux modes dexcution Debug et Traces. Cliquez sur la flche descendante du bouton Java Debug puis slectionnez loption Traces. Une icne apparat sous chaque flux de votre Job pour indiquer que la fonction de suivi du traitement est active. Cliquez sur Traces Debug pour excuter le Job en mode Traces.
1. 2.
Cliquez-droit sur licne de Traces du flux concern. Slectionnez Disable Traces dans le menu contextuel. Un signe moins rouge vient remplacer le signe plus vert sur licne pour indiquer que le mode Traces a t dsactiv pour ce flux.
Pour choisir quelles colonnes des donnes traites afficher dans le tableau des traces, procdez comme suit : 1. Cliquez-droit sur licne de Traces du flux concern et slectionnez Setup Traces dans le menu contextuel. La bote de dialogue [Setup Traces] souvre.
2. 3.
Dans la bote de dialogue, dcochez les cases correspondant aux colonnes que vous ne souhaitez pas afficher dans le tableau Traces. Cliquez sur OK pour fermer la bote de dialogue.
66
Excuter un Job
La fonction Traces ne sexcute qu lexcution du Job et sarrte la fin de celui-ci. Cliquez sur le bouton Clear dans l'onglet Debug Run pour effacer les statistiques affiches.
Sont indiqus le nombre de lignes traites et la vitesse de traitement en ligne par seconde. Vous pouvez ainsi plus facilement reprer dventuels goulots dtranglement dans le traitement de votre flux de donnes. Pour les liens de dclenchement de type If, OnComponentOk, OnComponentError, OnSubjobOk et OnSubjobError, loption Statistics affiche ltat de ce dclenchement durant lexcution de votre Job : Ok ou Error et True ou False.
Cette option est disponible pour tous les composants, lexception des composants externes, qui ne peuvent offrir cette fonctionnalit que si leur conception le prvoit.
Dans la vue Run, cochez la case Statistics pour activer la fonction Statistiques et dcoche la case pour la dsactiver.
67
Excuter un Job
Le calcul des statistiques ne commence quau dbut de lexcution du Job et sarrte lorsque lexcution sarrte. Cliquez sur le bouton Clear pour effacer les statistiques affiches. Cochez la case Clear before Run pour que la fonction de statistiques se rinitialise automatiquement avant chaque excution.
Les statistiques peuvent ralentir sensiblement les performances dexcution du Job car il doit envoyer ces donnes lapplication afin quelles soient affiches.
Vous pouvez galement sauvegarder votre Job avant le dbut de lexcution. Cochez la case de loption correspondante, Save Job before execution.
1. 2. 3.
Cliquez sur longlet Advanced settings. Dans la zone JVM settings, cochez la case Use specific JVM arguments afin dactiver le tableau Argument. A ct du tableau Argument, cliquez sur le bouton New..., afin douvrir la bote de dialogue [Set the VM argument].
68
Excuter un Job
4. 5.
Dans la bote de dialogue, saisissez -Dfile.encoding=UTF-8. Cliquez sur OK pour fermer la bote de dialogue.
Cet argument peut tre appliqu toutes vos excutions de Jobs dans Talend Open Studio for Big Data. Pour plus dinformations concernant lapplication dun argument JVM toutes les excutions de Jobs, consultez la section Prfrences dexcution et de dbogage (Talend > Run/Debug).
Dfinir les dtails de la connexion HDFS dans la vue Oozie scheduler Afin de configurer les dtails de la connexion HDFS dans la vue Oozie scheduler procdez comme suit : 1. Cliquez sur la vue Oozie scheduler en bas de l'espace de modlisation graphique.
2.
69
Excuter un Job
3.
Renseignez les informations dans les champs correspondants et cliquez sur OK pour fermer la bote de dialogue.
Champ Name node end point Job tracker end point Oozie end point User Name Description URI du nom du nud, le cur du systme de fichier HDFS. URI du nud Job Tracker, qui sous-traite les tches MapReduce dans des nuds spcifiques du cluster. URI de l'endpoint d'Oozie, pour le monitoring de l'excution du Job. Nom d'utilisateur.
Une fois que les dtails de la connexion sont dfinis dans la vue Oozie scheduler, les prfrences d'Oozie sont automatiquement mises jour, et vice versa. Pour plus d'informations concernant le paramtrage des prfrences d'Oozie, consultez la section Dfinir les dtails de la connexion HDFS dans les paramtres des prfrences.
Une fois que les dtails de la connexion sont dfinis dans la vue Oozie scheduler, les paramtres de la connexion HDFS dans la fentre [Preferences] sont automatiquement mis jour, et vice versa. Une fois configur le chemin de dploiement dans la vue Oozie scheduler, vous pouvez planifier les excutions de votre Job, ou l'excuter immdiatement sur le serveur HDFS.
Dfinir les dtails de la connexion HDFS dans les paramtres des prfrences Afin de configurer les dtails de la connexion HDFS dans les paramtres des prfrences de Talend Open Studio for Big Data procdez comme suit : 1. 2. Dans la barre de menu, cliquez sur Window > Preferences pour ouvrir la fentre [Preferences]. Dveloppez le nud Talend puis cliquez sur Oozie pour afficher la vue des prfrences d'Oozie.
3.
70
Excuter un Job
Champ User Name Name Node End Point Job Tracker End Point Oozie End Point
Description Nom d'utilisateur. URI du nom du nud, le cur du systme de fichier HDFS. URI du nud Job Tracker, qui sous-traite les tches MapReduce dans des nuds spcifiques du cluster. URI de l'endpoint d'Oozie, pour le monitoring de l'excution du Job.
Une fois les informations de connexion dfinie dans les [Preferences], les paramtres de la connexion HDFS dans la vue Oozie scheduler sont automatiquement mis jour et vice versa. Pour plus d'informations concernant la vue Oozie scheduler, consultez la section Excuter un Job distance dans un serveur HDFS.
2.
Les donnes de votre Job sont zippes, envoyes et dployes sur le serveur HDFS selon les paramtres de connexion du serveur et sont automatiquement excutes. Selon votre connectivit, l'opration peut prendre du temps. La console affiche le statut du dploiement et de l'excution du Job. Pour arrter l'excution du Job avant sa fin, cliquez sur le bouton Kill.
2.
71
Excuter un Job
3.
Dans le champ Frequency, saisissez un entier et slectionnez une unit de temps dans la liste Time Unit afin de configurer la frquence d'excution du Job. Cliquez sur le bouton [...] ct du champ Start Time pour ouvrir la bote de dialogue [Select Date & Time] et slectionnez la date, l'heure, la minute et la seconde. Cliquez sur OK pour configurer l'heure de dbut de l'excution du Job. De la mme manire, configurez l'heure de fin d'excution du Job.
4.
5.
Cliquez sur OK pour fermer la bote de dialogue et commencer les excutions planifies de votre Job. Le Job s'excute automatiquement selon les paramtres dfinis. Pour arrter le Job, cliquez sur Kill.
72
Excuter un Job
Pour afficher les informations dtailles d'un Job particulier, cliquez sur l'un des champs du Job, pour ouvrir une page spare affichant les dtails du Job.
73
74
Par dfaut, la Palette peut tre cache sur le ct droit de lespace de modlisation.
Si vous souhaitez que la Palette soit visible en permanence, cliquez sur la flche de gauche dans le coin suprieur droit de lditeur graphique. Pour connatre les proprits spcifiques chacun des composants, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data. Vous pouvez aussi dtacher la Palette de lespace de modlisation dans Talend Open Studio for Big Data. Pour dtacher longlet Palette, cliquez sur le menu Window > Show View... > General > Palette.
Loption display/hide (afficher/masquer) peut tre trs utile lorsque vous tes dans la vue Favorite de la Palette. Dans cette vue, vous avez gnralement un nombre limit de composants. Si vous les affichez sans les familles, ils seront affichs par ordre alphabtique pour faciliter leur utilisation. Pour plus dinformations concernant la Palette favorite, consultez section Configurer la Palette favorite.
75
Pour ajouter une punaise, cliquez sur licne de punaise dans langle en haut droite du nom de la famille.
Filtrer la Palette
Vous pouvez slectionner les composants afficher ou masquer dans votre Palette. Vous pouvez galement ajouter la Palette les composants que vous avez dvelopp vous-mme. Pour plus dinformations sur comment filtrer la Palette, consultez la section Personnaliser la Palette. Pour plus dinformations concernant lajout de composants la Palette, partir de Talend Exchange ou dvelopps par vous-mme, consultez la section Tlcharger/charger des composants de la communaut et/ou la section Composants externes ou utilisateur (Talend > Components).
2.
Rptez cette action pour tous les composants que vous souhaitez ajouter votre Palette favorite, puis cliquez sur le bouton Favorite en haut de la Palette pour afficher la Palette favorite.
76
Seuls les composants ajouts aux Favoris apparaissent. Pour retirer un composant de la Palette favorite, cliquez-droit sur le composant et slectionnez Remove From Favorite. Pour retourner la Palette standard, cliquez sur le bouton Standard en haut de la Palette.
77
Cliquez sur la bordure ou sur longlet, maintenez le bouton de la souris enfonc pendant que vous dplacez la fentre vers lemplacement cible, puis relchez. Cliquez sur licne minimiser/maximiser ( / ) pour rduire ou agrandir le panneau correspondant. Pour plus dinformations sur comment afficher ou masquer un panneau ou une vue, consultez la section Afficher les onglets/ vues de configuration des Jobs. Cliquez sur la croix ( ) pour fermer une vue. Pour restaurer une vue, cliquez sur Window > Show View... > Talend, puis cliquez sur le nom de la vue que vous souhaitez afficher ou consultez la section Raccourcis clavier . Si la Palette nest pas visible ou si vous souhaitez la dtacher, cliquez sur le menu Window > Show view... > General > Palette. La Palette souvrira alors dans une vue spare qui peut tre dplace dans la fentre principale de Talend Open Studio for Big Data.
78
Les onglets Component, Run JobContextet Oozie scheduler rassemblent toutes les informations relatives aux lments graphiques slectionns dans lespace de modlisation ou lexcution du Job ouvert.
Par dfaut, lorsque vous lancez Talend Open Studio for Big Data pour la premire fois, longlet Problems ne saffichera quau moment o vous crerez votre premier Job. Ensuite, cet onglet saffichera automatiquement.
Les onglets Modules et Scheduler[deprecated] se trouvent dans la mme zone que les onglets Component, Logs et Run Job. Ces deux vues sont indpendantes des Jobs, actifs ou inactifs, ouverts dans lespace de modlisation. Certains onglets de configuration sont masqus par dfaut, comme les onglets Error Log, Navigator, Job Hierarchy, Problems, Modules et Scheduler[deprecated]. Vous pouvez afficher les onglets masqus dans la mme zone que les autres, et ouvrir directement la vue correspondantesi vous slectionnez Window > Show view, puis, dans la bote de dialogue, dveloppez le nud correspondant et slectionnez llment que vous souhaitez afficher. Pour une description dtaille concernant ces onglets, consultez la section Onglets de configuration .
79
Types de connexions
Main
La connexion Row de type Main est la connexion la plus courante. Elle transmet les flux de donnes dun composant lautre, en faisant un boucle sur chacune des lignes pour lire ou extraire les donnes selon la dfinition des proprits du composant. Les donnes transfres travers les connexions de type Row sont caractrises par une dfinition du schma qui dcrit la structure des donnes dans le fichier dentre.
Vous ne pouvez pas connecter deux composants dentre laide dune connexion de type main Row. Une seule connexion entrante de type Row est possible par composant. La seconde connexion Row se transforme en connexion Lookup (de rfrence) automatiquement.
Cliquez droit sur le composant dentre et slectionnez Row > Main dans la liste des connexions. Sinon, cliquez sur le composant pour le slectionner, puis, tout en cliquant droit, dplacez votre curseur vers le composant de destination. Une connexion de type Row > Main sera automatiquement cre. Pour en savoir plus sur les cas spcifiques de connexions Row multiples, consultez section Job entres/sorties multiples.
Lookup
La connexion de type Lookup est une connexion Row reliant un composant dun flux secondaire un composant dun flux principal (ce composant doit tre capable de recevoir plus dun flux dentre). Cette connexion est uniquement disponible dans le cas dutilisation de flux multiples.
80
Types de connexions
Vous pouvez transformer une connexion de type Lookup en connexion de type Main row, et inversement vous pouvez changer une connexion Lookup en Main row. Pour ce faire, cliquez droit et slectionnez Set this connection as Main. Voir galement : section Job entres/sorties multiples.
Filter
La connexion de type Filter relie le composant spcifique tFilterRow un composant de sortie. Cette connexion Row regroupe les donnes rpondant aux critres du filtre. Ce composant particulier permet aussi une connexion de Rejet pour traiter le flux de donnes ne rpondant pas aux critres.
Rejects
La connexion de type Rejects est une connexion reliant un composant de traitement un composant de sortie. Cette connexion Row regroupe les donnes NE rpondant PAS aux critres du filtre ou qui ne sont pas compatibles avec la sortie attendue. Cette connexion vous permet disoler les donnes ne pouvant pas tre traites pour diffrentes raisons (type de donnes inappropri, valeur Null non dfinie, etc.). Pour certains composants, ce lien est activ lorsque loption Die on error est dsactive. Pour plus dinformations, rfrez-vous aux proprits du composant correspondant, disponibles dans le Guide de rfrence des Composants de Talend Open Studio for Big Data.
ErrorReject
ErrorReject : La connexion ErrorReject est une connexion Row reliant un composant tMap un composant de sortie. Cette connexion est active lorsque vous dcochez la case Die on error dans lditeur du tMap, et elle rassemble les donnes impossibles traiter (type de donnes inappropri, valeur Null non dfinie, format de date erron, etc.). Consultez galement : section Gestion des erreurs.
81
Types de connexions
Output
La connexion de type Output est une connexion Row, traitant de la donne, et qui relie un composant tMap un ou plusieurs composants de sortie. Les sorties dun Job pouvant tre multiples, une bote de dialogue saffiche pour vous demander de nommer chacune des connexions.
Le systme se souvient galement des noms des connexions de sortie supprimes (ainsi que les proprits dfinies). Dans la liste des connexions output suggres, vous retrouvez ainsi les connexions supprimes. Cette fonctionnalit vous permet de ne pas avoir ressaisir toutes les informations de proprits.
Uniques/Duplicates
Les connexions de type Uniques et Duplicates relient un composant tUniqRow des composants de sortie. La connexion de type Uniques regroupe les premires lignes rencontres dans un flux dentre. Ce flux de donnes uniques est ensuite dirig vers le composant de sortie appropri ou vers un autre sous-job de traitement. La connexion de type Duplicates regroupe les doublons possibles des premires lignes rencontres. Ce flux de rejet est dirig vers le composant adquat, pour tre analys par exemple.
82
Types de connexions
Les connexions de dclenchement (Trigger) sont rparties en deux catgories : dclenchements de sous-job : On Subjob Ok, On Subjob Error et Run if, dclenchements de composant : On Component Ok, On Component Error et Run if.
OnSubjobOK (prcdemment Then Run) : Cette connexion est utilise pour dclencher le sous-job qui suit condition que le sous-job principal se soit excut sans erreur. Cette connexion sutilise uniquement avec le composant de dbut (Start) de votre Job. Ces connexions sont utilises pour orchestrer et vrifier plus facilement les sous-jobs composant le Job ou traiter les erreurs qui ntaient pas prvues. OnSubjobError : Cette connexion est utilis pour dclencher le sous-job qui suit lorsque le premier sous-job (principal) ne sest pas droul correctement. Ce sous-job on error vous permet didentifier les ventuels goulots dtranglement ou de corriger lerreur si cela est possible. Voir galement : section Configurer un composant Start. OnComponentOK et OnComponentError sont des dclencheurs de composants. Ils peuvent dclencher nimporte quel composant source dans un sous-job. OnComponentOK ne dclenche lexcution du composant cible quune fois lexcution du composant source termine correctement. Il peut servir dclencher un sous-job de notification par exemple. OnComponentError dclenche le sous-job ou composant cible lorsquune erreur a t rencontre dans le processus initial.
83
Run if dclenche un sous-job ou un composant si les conditions dfinies sont runies. Pour plus dinformations concernant la configuration dune connexion Trigger, consultez section Paramtres dune connexion Trigger.
En effet, le nom du lien tant utilis dans la formulation de la requte SQL gnr par le composant ELT tMap, un mme nom ne devrait jamais tre utilis deux fois.
Longlet Advanced settings vous permet de monitorer le flux de donnes dune connexion dans un Job, sans avoir utiliser un composant tFlowMeter. les informations mesures seront interprtes et affiches dans un outil
84
de supervision, comme Talend Activity Monitoring Console. Pour plus dinformations concernant Talend Activity Monitoring Console, consultez le Guide utilisateur de Talend Activity Monitoring Console.
Pour monitorer les donnes dans la connexion, renseignez les paramtres suivants dans longlet Advanced settings : 1. 2. Cochez la case Monitor this connection. Cochez la case Use input connection name as label afin dutiliser le nom du flux dentre comme libell des donnes enregistrer dans le log, ou saisissez le libell dans le champ Label. Dans la liste Mode, slectionnez Absolute pour enregistrer dans le log le nombre de lignes passant dans la connexion, ou Relative pour valuer le ratio (%) du nombre de lignes pass dans cette connexion par rapport une connexion de rfrence. Si vous slectionnez Relative, vous devez galement slectionner une connexion de rfrence dans la liste Connections List. Cliquez sur le bouton [+] pour ajouter une ligne au tableau Thresholds et dfinir une plage pour le nombre lignes enregistrer dans le log.
3.
4.
Consultez galement le Guide de rfrence des Composants de Talend Open Studio for Big Data et le Guide utilisateur de Talend Activity Monitoring Console.
Lors de lexcution de votre Job, les itrations effectues en parallle seront rparties sur les diffrents processeurs disponibles.
85
3.
Cochez la case Statistics de longlet Run, pour afficher, en temps rel, les excutions en parallles dans lespace de modlisation.
86
Un contexte est dfini par des paramtres. Ces derniers sont gnralement des variables sensibles au contexte qui seront par la suite ajoutes la liste des variables disponibles laide du raccourci clavier Ctrl+Espace dans les proprits du composant dans la vue Component.
La liste sallonge au fur et mesure que vous dfinissez des variables (variables de contexte). Voir galement : section Dfinir les variables partir de la vue Component. section Dfinir les variables partir de la vue Contexts.
Onglet Variables
Longlet Variables fait partie de longlet Contexts et affiche toutes les variables dfinies pour chaque composant du Job en cours.
87
A partir de cette vue, vous pouvez grer vos variables built-in (local) : Cliquez sur le bouton [+] pour ajouter une ligne de paramtre au tableau. Editez le nom Name de la nouvelle variable et saisissez le nouveau nom <Newvariable>. Supprimez les variables built-in. (Rappel : les variables stockes dans le Repository sont en lecture seule.) Importez les variables partir dune source contexte du Repository laide du bouton Repository variables. Vrifiez lordre initial des variables de contexte dans lequel elles sont automatiquement classes dans le studio lors de leur cration ou de leur importation partir du Repository. Pour ce faire, vous devez cocher la case Original order. Rorganisez les variables de contexte selon lordre initial en utilisant les boutons vous devez cocher la case Original order afin dactiver ces deux boutons. et . Pour ce faire,
Pour dfinir la valeur actuelle de la variable nouvellement cre, cliquez sur longlet Value as tree. Vous pouvez ajouter autant dentres que ncessaire dans longlet Variables. Par dfaut, la variable cre est de type built-in.
Champs Name Source Description Nom de la variable. Vous pouvez diter ce champ, condition que la variable soit de type Built-in. En effet, les variables de type Repository sont en lecture seule. Built-in : La variable est cre pour ce Job et sera utilise uniquement dans ce Job. <Repository entry name> : La variable a t dfinie dans un contexte stock sur le Repository. Ainsi, la source est le groupe de contexte actuel que vous avez cr dans le Repository. Type Script code Slectionnez le type de donnes traites. Ce champ est obligatoire en Java. Le code correspondant la valeur de la variable. Le script affich sera :
context.VotreNomDeParametre Ce Script de code se gnre automatiquement lorsque
vous dfinissez la variable dans la vue Component du composant. Comment Ajoutez un commentaire utile.
Vous ne pouvez pas crer de contexte partir de longlet Variables, mais seulement partir des onglets Values as table et as tree.
Pour plus dinformations concernant la dfinition des variables partir de la vue Component, consultez section Dfinir les variables partir de la vue Component.
88
Pour plus dinformations concernant les variables du Repository, consultez section Centraliser les contextes dans le Repository.
A partir de cet onglet, vous pouvez : Dfinir la valeur dune variable built-in directement dans le champ Value. Notez que les valeurs des variables de type Repository sont en lecture seule et ne peuvent dites uniquement dans le contexte Repository adquat. Dfinir un message qui apparatra lutilisateur afin quil confirme la valeur de la variable lors de lexcution. Crer ou diter un contexte laide du bouton ddi en haut droite. Rorganiser les variables/contextes.
Champs Variable Context Prompt Description Nom des variables. Nom des contextes. Cochez cette case, si vous souhaitez que la variable saffiche dans la bote de dialogue de confirmation lors de lexcution. Si vous avez coch loption Prompt, renseignez le champ associ qui correspond au message qui saffichera dans la bote de dialogue. Value La valeur correspondant la variable. Dfinissez la valeur des variables built-in. Notez que les variables de type Repository sont en lecture seule.
Grez vos contextes partir de cet onglet, laide du bouton correspondant situ en haut droite de longlet Contexts. Pour plus dinformations concernant la gestion des contextes, consultez section Configurer les contextes. Dans longlet Values as tree, vous pouvez afficher les valeurs en fonction des contextes ou des variables pour plus de clart. Pour modifier laffichage des valeurs dans larbre, cliquez sur la petite flche vers le bas, puis slectionnez loption de rorganisation group by qui vous souhaitez.
89
Pour plus dinformations concernant la dfinition des variables, consultez section Dfinir les variables partir de la vue Component et section Centraliser les contextes dans le Repository.
Grez vos contextes partir de cet onglet, laide du bouton Configure contexts situ en haut droite de longlet Contexts. Pour plus dinformations concernant la gestion des contextes, consultez section Configurer les contextes. Pour plus dinformations concernant la dfinition des variables, consultez section Dfinir les variables partir de la vue Component et section Centraliser les contextes dans le Repository.
Le contexte par dfaut ne peut tre supprim, cest pourquoi le bouton Remove est gris. Pour le rendre accessible, slectionnez un autre contexte dans la liste Default Context dans longlet Contexts.
Crer un contexte
Vous pouvez crer autant de contextes que vous le souhaitez. Ces contextes seront bass sur les paramtres des contextes par dfaut.
90
1. 2.
Pour crer un nouveau contexte, cliquez sur New dans la bote de dialogue [Configure Contexts]. Saisissez le nom de votre nouveau contexte.
3.
Lorsque vous crez un nouveau contexte, la totalit des informations par dfaut est copie vers le nouveau contexte. Il vous suffit donc dditer les champs ncessaires dans longlet Value as tree pour modifier votre contexte comme vous le souhaitez. La liste droulante Default Context propose tous les contextes crs pour ce Job Design. Vous avez la possibilit de changer de contexte par dfaut en slectionnant un nouveau contexte dans la liste Default Context dans longlet Variable de la vue Contexts. Notez quil est impossible de supprimer le contexte par dfaut (ou le dernier) car lexcution dun Job requiert toujours un contexte. Laissez-lui le nom de Default.
Les changements des valeurs des variables de contexte se font partir des onglets Values as tree ou Values as table. Pour plus dinformations sur ces onglets, consultez section Dfinir les variables partir de la vue Contexts.
91
1. 2.
Dans la vue Component correspondante, placez votre curseur dans le champ que vous souhaitez paramtrer. Appuyez sur F5 pour afficher la bote de dialogue de paramtrage de contexte :
3. 4.
Donnez un nom cette nouvelle variable dans le champ Name, renseignez le champ Comment et choisissez le Type. Saisissez un message Prompt afficher pour confirmer lutilisation de cette variable lors de lexcution du Job courant (gnralement utilis comme test). Cochez la case Prompt for value pour rendre le champ ditable. Si vous avez dj renseign le champ correspondant dans la vue Component du composant, cette valeur est automatiquement reprise dans le champ Default value. Sinon, saisissez la valeur par dfaut que vous souhaitez utiliser. Cliquez sur Finish pour valider. Les nouvelles variables que vous venez de crer apparaissent dans la liste des variables de contexte de longlet Contexts.
Le nom de la variable doit respecter certaines rgles de saisie et ne doit contenir aucun caractre interdit, notamment les espaces.
5.
6. 7.
La variable cre est automatiquement stocke dans tous les contextes existants, mais vous pourrez par la suite changer la valeur de manire indpendante dans chaque contexte. Pour plus dinformations concernant la cration ou ldition dun contexte, consultez section Configurer les contextes.
StoreSQLQuery
StoreSQLQuery est une variable dfinie par lutilisateur. Elle est principalement ddie au dbogage.
92
StoreSQLQuery diffre des autres variables de contexte dans le fait quelle sert principalement de paramtre pour une variable globale spcifique, dite Query. Elle vous permet dalimenter dynamiquement la variable globale de requte. La variable globale Query est disponible dans la liste dautocompltion (Ctrl+Espace) des proprits des composants de type DB input. Pour plus dinformations concernant le paramtrage de StoreSQLQuery, reportez-vous au Guide de rfrence des Composants de Talend Open Studio for Big Data, et plus particulirement le composant tDBInput.
Lassistant vous aide dfinir les diffrents contextes et leurs paramtres, que vous pourrez slectionner partir de la vue Contexts de votre espace de modlisation. 2. 3. Etape 1/2 : renseignez le nom du context group que vous tes en train de crer et ajoutez des informations gnrales, comme une description, si ncessaire. Cliquez sur Next pour passer l'tape 2/2, qui vous permet de dfinir les diffrents contextes et les diffrentes variables dont vous avez besoin.
93
Dfinir les variables de contexte utiliser comme base pour vos autres contextes
1. Dans longlet Variables, cliquez sur le bouton [+] pour ajouter autant de lignes de variable que ncessaire et nommez ces variables. Dans cette exemple, vous avez dfini les variables partir de longlet Variable de la vue Context. Slectionnez le Type de variable dans la liste. Le Script code varie en fonction du type de variable slectionn. La capture dcran ci-dessous vous montre le code Java gnr. 3. Dans les onglets Tree ou Table, dfinissez les diffrents contextes et les valeurs des variables.
2.
Dfinissez dabord les valeurs des variables de contexte par dfaut, puis crez un nouveau contexte qui sera bas sur les valeurs des variables que vous venez juste de crer. Pour plus dinformations concernant la cration de nouveau contexte, consultez section Configurer les contextes. 4. Dans longlet Values as tree, vous pouvez cocher la case Prompt si vous souhaitez que la variable soit modifiable au moment dexcuter le processus.
5.
Pour ajouter un message Prompt, cochez la case qui prcde votre message, puis saisissez le message afficher lors de lexcution.
Une fois que vous avez cr et adapt autant de contextes que ncessaire, cliquez sur Finish pour valider. Le groupe de contextes configurs apparat sous le nud Contexts du Repository.
94
2. Utilisez licne de contexte appliques sparment. . De cette manire, les variables dun groupe de contexte pourront tre
95
2. 3.
Une fois le Job ouvert dans lespace de modlisation graphique, cliquez sur la vue Contexts sous lespace de travail afin de louvrir. Au bas de la vue Contexts, cliquez sur licne de contexte appliquer. afin douvrir lassistant pour slectionner les variables
4.
Dans lassistant, slectionnez les variables de contexte que vous souhaitez appliquer, ou effacez celles dont vous navez pas besoin.
Les variables de contexte appliques sont automatiquement coches et ne peuvent tre supprimes.
5.
Cliquez sur la vue Run Job, et dans la zone Context, slectionnez le contexte appropri. Si vous navez pas cr de contexte, seul le contexte par dfaut, Default, est propos dans la liste. Toutes les variables de contexte que vous avez cres pour le contexte en slection, ainsi que leur valeur associe apparaissent dans un tableau. Si vous avez coch la case Prompt lors de la dfinition du contexte, une bote de dialogue saffiche pour vous demander de confirmer ou modifier la valeur de la variable utilise pour cette excution.
96
Pour rendre permanent une modification de valeur de variable, vous devez la changer dans la vue Context si votre variable est de type built-in ou slectionnez un autre groupe de contexte du Repository. Voir galement : section Dfinir les variables partir de la vue Contexts. section Centraliser les contextes dans le Repository.
Vous pouvez crer vos propres modles SQL dans chacune des catgories ci-dessus grce lassistant [SQL Template]. Pour plus dinformations concernant lutilisation des SQL Templates dans Talend Open Studio for Big Data, consultez le chapitre SQL Templates. Pour plus dinformations concernant la cration de modles SQL personnaliss et leur utilisation dans un Job, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data.
97
98
Database structure : Arborescence de la base de donnes Query editor : Editeur de requtes SQL Query execution view : Rsultat des requtes de lditeur Schema view : Vue du schma La structure de la base de donnes indique les tables pour lesquelles un schma a t dfini directement dans votre connexion . La vue Schema, en bas droite de la fentre, fournit une description des colonnes.
Cliquez sur licne de rafrachissement pour afficher les diffrences entre les tables de mtadonnes dune DB connection et les tables de la base de donnes elle-mme.
Licne de la colonne Diff indique la prsence de diffrences ou dcarts entre les tables. Dveloppez larborescence dune table pour identifier la colonne exacte prsentant des diffrences. Le surlignage rouge indique que le contenu de la colonne comporte des diffrences ou que cette colonne nest pas prsente dans la table quivalente de la base de donnes elle-mme.
99
Pour crer une nouvelle requte, procdez comme suit : 1. Cliquez-droit sur la table ou sur une colonne de la table et slectionnez Generate Select Statement dans le menu contextuel. Cliquez sur longlet vide prsent par dfaut et saisissez votre requte directement, ou accdez la liste dauto-compltion par Ctrl+Espace. Loutil daide la compltion vous propose une liste de dclarations SQL courantes (Select, From, And, Groupby, etc.) ainsi que les colonnes de la table qui peuvent faire lobjet dune requte.
2.
Alternativement, le Designer graphique de requte vous permet de manipuler facilement des tables et de gnrer en temps rel la requte correspondante dans longlet Edit. 3. Cliquez sur longlet Designer pour passer du mode Edit manuel au mode graphique.
Certaines dclarations SQL ne peuvent tre interprtes par dfaut. Dcochez la case correspondant aux colonnes que vous souhaitez exclure de la slection.
4.
Si vous avez slectionn une table, toutes les colonnes sont slectionnes par dfaut. Dcochez la case correspondant aux colonnes que vous souhaitez exclure de la slection. Dans longlet Designer, ajoutez dautres tables en slectionnant Add tables dans le menu contextuel puis en choisissant la table ajouter dans la liste. Si des jointures existent dj entre ces tables, elles apparaissent automatiquement dans lditeur. Vous pouvez galement crer facilement une jointure entre deux tables. Cliquez-droit sur les colonnes de la premire table lier et slectionnez Equal dans le menu contextuel. Le champ en slection est automatiquement li au champ de la seconde table.
5.
100
La requte SQL correspondante saffiche galement dans la vue daperu. Sinon, cliquez sur longlet Edit pour revenir au mode ddition manuelle de requte.
En mode Designer, vous ne pouvez pas ajouter graphiquement de critre de filtre. Pour ce faire, vous devez tre en mode Edit.
6.
Lorsque votre requte est termine, excutez-la en cliquant sur licne du coureur. La barre doutils au-dessus de lditeur de requte vous permet daccder rapidement aux commandes principales, notamment : excuter, ouvrir, enregistrer et effacer. Les rsultats de la requte active saffichent dans la vue Results.
101
Avant de pouvoir tlcharger des composants de ou charger vos propres composants vers la Communaut, vous devez vous connecter Talend Exchange depuis votre Studio. Si vous ne vous connectez pas Talend Exchange au lancement du Studio, vous pouvez toujours vous y connecter depuis la page de prfrences Talend Exchange. Pour plus d'informations, consultez la section Prfrence Exchange (Talend > Exchange). Les composants disponibles au tlchargement dans la vue Talend Exchange ne sont pas valids par Talend. Il est possible que vous soyez confronts des erreurs de chargement lors de l'installation de certains composants partir de Talend Exchange, que le nom d'un composant soit diffrent dans la Palette de celui dans la vue Exchange, ou que vous ne trouviez pas certains composants dans votre Palette aprs une installation apparemment russie.
2.
Dans la vue Available Extensions, dans le champ droite, si ncessaire, saisissez le nom complet d'un composant ou une partie du nom dans le champ et cliquez sur le bouton Refresh afin de trouver rapidement le composant qui vous intresse. Cliquez sur le lien view/download pour afficher la page de tlchargement du composant.
3.
102
4.
Lisez les informations relatives au composant, notamment sa description et les commentaires des utilisateurs, ou crivez votre propre commentaire, et/ou notez le composant, si vous le souhaitez. Pour plus d'informations concernant les remarques et les notes des composants de la Communaut, consultez la section Commenter et noter un composant de la Communaut. Si ncessaire, cliquez sur la flche pointant vers la gauche afin de retourner la liste des composants.
5.
Cliquez sur le bouton Install droite de la page de tlchargement des composants pour commencer le tlchargement puis l'installation. Un indicateur de progression apparat pour vous montrer l'avancement du tlchargement et de l'installation. Lorsque l'installation est termine avec succs, la vue Downloaded Extensions s'ouvre et affiche le statut du composant, Installed.
103
Pour rinstaller un composant de la communaut que vous avez dj tlcharg ou mettre jour un composant install, procdez comme suit : 1. Dans la vue Exchange, cliquez sur Downloaded Extensions pour afficher une liste des composants dj tlchargs depuis Talend Exchange. Dans la vue Downloaded Extensions, les composants que vous avez installs dans votre version prcdente de Talend Open Studio for Big Data mais pas encore dans votre Studio actuel affichent un lien Install dans la colonne Install/Update. Les composants dont une mise jour est disponible dans Talend Exchange ont un lien Update. 2. Cliquez sur le lien Install ou Update du composant qui vous intresse afin de commencer l'installation. Un indicateur de progression apparat pour vous montrer l'avancement du tlchargement et de l'installation. Lorsque l'installation est termine avec succs, la vue Downloaded Extensions s'ouvre et affiche le statut du composant, Installed.
104
2.
Dans la page de tlchargement des composants, cliquez sur le lien write a review pour ouvrir la bote de dialogue [Review the component].
3.
Renseignez les information requises, un titre et un commentaire, cliquez sur l'une des cinq toiles afin de noter le composant, puis cliquez sur Submit Review afin de soumettre votre commentaire au serveur Talend Exchange. Aprs validation par le modrateur de Talend Exchange, votre commentaire est publi sur Talend Exchange et affich dans la zone User Review de la page de tlchargement des composants.
2.
Cliquez sur le lien Add New Extension dans la partie suprieure droite de la vue pour ouvrir la page de tlchargement du composant.
105
3.
Renseignez les informations requises, notamment le titre, la version initiale, les informations de compatibilit avec les Studios et la description du composant, renseignez le chemin d'accs au paquetage source dans le champ File puis cliquez sur le bouton Upload Extension. Aprs russite du chargement, le composant s'affiche dans la vue My Extensions, dans laquelle vous pouvez mettre jour, modifier et supprimer tout composant charg dans Talend Exchange.
106
2.
Renseignez la version initiale et la compatibilit des Studios, renseignez le chemin d'accs au paquetage source, dans le champ File, puis cliquez sur le bouton Update Extension. Lorsque le chargement du composant mis jour est russi, le composant est remplac par sa nouvelle version dans Talend Exchange et la vue My Extension affiche la nouvelle version du composant et sa date de mise jour.
Pour modifier les informations d'un composant charg dans Talend Exchange, procdez comme suit : 1. Dans la vue My Extensions, cliquez sur l'icne dans la colonne Operation du composant dont vous souhaitez modifier les informations, pour ouvrir la page d'dition des informations du composant.
2.
Renseignez les informations de compatibilit du Studio ainsi que la description du composant, puis cliquez sur le bouton Modify Extension pour mettre jour les informations du composant dans Talend Exchange.
107
Pour supprimer un composant que vous avez charg dans Talend Exchange, cliquez sur l'icne du composant, dans la vue My Extensions. Le composant est supprim de Talend Exchange et ne s'affiche plus dans la liste des composants de la vue My Extensions.
Pour accder la vue Modules, cliquez sur longlet Modules dans lespace de modlisation graphique.
Liste le nom des composant Talend utilisant le module. Si cette colonne est vide, le module est requis pour lutilisation gnrale de Talend Open Studio for Big Data.
108
Colonne
Description Cette colonne liste les librairies externes ajoutes aux routines cres et sauvegardes dans le dossier des librairies de votre Studio. Pour plus dinformations, consultez la section diter les bibliothques des routines utilisateur. Affiche le nom exact du module. Explique pourquoi le module/la librairie est requis(e). La case coche indique que le module est requis.
En plus de la vue Modules, Talend Open Studio for Big Data fournit un mcanisme qui vous permet d'identifier, de tlcharger et d'installer facilement la plupart des modules tiers partir du site de Talend et vous dirige vers les sites Web concerns pour les autres. Un assistant d'installation de Jar apparat lorsque vous : dposez un composant de la Palette pour lequel un ou des module(s) externe(s) requis sont manquants, ou cliquez sur le bouton Guess schema dans la vue Component d'un composant pour lequel un ou des module(s) externe(s) requis sont manquants, ou cliquez sur le bouton dans l'onglet Modules.
Lorsque vous cliquez sur ce bouton, l'assistant qui apparat liste tous les modules externes requis non intgrs dans Talend Open Studio for Big Data.
109
Description all Cliquez pour tlcharger et installer les modules requis disponibles sur le site Web de Talend. Cochez cette case afin que l'assistant n'apparaisse plus, moins que vous ne cliquiez sur le bouton dans la vue Modules. Cette case s'affiche uniquement lorsque vous dposez un composant ou rcuprez le schma d'une base de donnes, qui ncessite un module externe manquant. Cliquez sur ce bouton pour accder la documentation en ligne concernant l'installation de modules tiers.
Lorsque vous dposez un composant, ou rcuprez le schma d'une base de donnes, ncessitant un module externe, si le fichier Jar et l'URL de tlchargement ne sont pas disponibles sur le site de Talend, l'assistant d'installation de Jar n'apparat pas, mais la vue Error Log affiche une erreur vous informant que l'URL de tlchargement pour ce module n'est pas disponible. Cependant, vous pouvez la rechercher et tlcharger le Jar par vous-mme. Pour plus d'informations concernant la vue Error Log, consultez la section Onglets de configuration .
2.
Aprs l'installation des modules externes, une bote de dialogue apparat et vous informe du nombre de modules installs avec succs et/ou des modules dont l'installation a chou, s'il y en a. Pour installer manuellement un module externe manquant que vous avez tlcharg, procdez comme suit : 1. Dans la vue Modules, cliquez sur licne systme. dans le coin suprieur droit de la vue afin de parcourir votre
2.
Dans la bote de dialogue [Open], parcourez jusquau module que vous souhaitez installer.
Pour Oracle9i, le pilote JDBC tlchargeable depuis le site Web d'Oracle se nomme ojdbc14.jar, c'est le mme que pour Oracle 10g. Afin de faire fonctionner dans Talend Open Studio for Big Data le pilote JDBC tlcharg pour Oracle9i, vous devez modifier le nom du fichier en ojdbc14-9i.jar avant de l'installer dans le Studio.
3.
Double-cliquez sur le fichier Jar ou slectionnez-le, puis cliquez sur Open pour l'installer. La bote de dialogue se ferme et le module slectionn est install dans le dossier des librairies de votre Studio. Vous pouvez maintenant utiliser le composant ncessitant le module dans vos Jobs.
110
donnes ne sont pas configurables. L'une des proprits-clef de ces composants est l'assurance qu'ils seront toujours excuts mme si le Job contenant les donnes principales choue. Ils sont donc trs utiles pour dmarrer et arrter des actions pour un Job donn.
Puisque les composants tPrejob et tPostjob nont pas t crs pour le traitement de donnes, ils ne peuvent tre excuts en multi thread. Les tches du tPrejob et du tPostjob sont excutes une fois pour les sous-jobs suivants, quils soient excuts en squence ou en parallle.
Les parties pr-job et post-job saffichent en tant que composants dans lespace de modlisation graphique, ils sont donc disponibles dans la Palette de composants. Pour utiliser les composants tPrejob et tPostjob, dposez-les simplement dans lespace de modlisation graphique comme vous le feriez avec dautres composants et connectezles ceux-ci l'aide d'une connexion Trigger. Un carr orange affiche les parties pr et post-job qui sont des types diffrents de sous-jobs. Connectez aux tPrejob et tPostjob tous les composants organisant les tches qui ne sont pas directement relies au traitement des donnes, ou le sous-job principal pour permettre lorchestration du traitement qui suivra.
Les tches ncessitant lutilisation dun composant tPrejob sont par exemple : le chargement dinformations de contexte requises pour lexcution du sous-job, louverture dune connexion une base de donnes, la vrification quun fichier existe. Les tches ncessitant lutilisation dun composant tPostjob sont par exemple : la suppression des fichiers temporaires crs durant lexcution du Job principal, fermer la connexion une base de donnes ou un service extrieur, toute tche devant tre excute mme si le sous-job prcdent a chou.
111
La fonctionnalit Use Output Stream se trouve dans la vue Basic settings d'un grand nombre de composants, comme le tFileOutputDelimited. Pour utiliser cette fonctionnalit, cochez la case Use Output Stream de la vue Basic settings d'un composant contenant cette option. Dans le champ Output Stream ainsi activ, dfinissez votre flux de sortie l'aide d'une commande.
Avant d'utiliser la fonctionnalit de flux de sortie, vous devez avoir ouvert un flux. Pour un exemple dtaill de ce prrequis et de l'utilisation de cette fonctionnalit, consultez section Utilisation de la fonctionnalit Output Stream. Pour un exemple de Job utilisant cette fonctionnalit, consultez le second scnario du composant tFileOutputDelimited, dans le Guide de rfrence des Composants de Talend Open Studio for Big Data.
Pour un exemple dtaill de l'utilisation de cette fonctionnalit, consultez section Utilisation de la fonctionnalit Output Stream. Pour un exemple de Job utilisant cette fonctionnalit, consultez le composant tFileOutputDelimited dans le Guide de rfrence des Composants de Talend Open Studio for Big Data.
112
Considrons, par exemple, deux Jobs lis (un Job parent et un Job fils) devant se connecter votre bases de donnes MySQL distante. Pour utiliser dans deux Jobs une connexion partage une base de donnes, procdez comme suit : 1. 2. Cliquez-glissez un composant tMysqlConnection (si vous travaillez avec une base de donnes MySQL). Connectez-le au premier composant de votre Job pre l'aide d'un lien Trigger > OnSubjobOk.
3. 4.
Dans la vue Component du composant tMysqlConnection, saisissez les informations de connexion la base de donnes. Cochez la case Use or Register a shared connection et saisissez un nom pour la connexion dans le champ Shared DB Connection Name.
Vous pouvez rutiliser cette connexion dans votre Job fils. 5. Dans la vue Basic settings du composant tMysqlConnection dans le Job fils, cochez la case Use or Register a shared connection, puis saisissez dans le champ Shared DB Connection Name le mme nom que dans le Job pre.
Parmi les diffrents Jobs partageant une mme connexion une base de donnes, vous devez configurer les informations de connexion uniquement dans le premier Job ouvrant la connexion la base de donnes.
Pour plus dinformations concernant lutilisation des composants de connexion, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data.
113
Dposez un composant dans lditeur graphique. Tous les composants susceptibles dtre un composant Start, prennent une couleur darrire-plan distinctive (vert). Vous pouvez remarquer que la plupart des composants peuvent tre des composants Start et dbuter un processus. Seuls certains composants ne peuvent tre de type start, notamment le composant tMap, par exemple.
Pour identifier quel composant dbutera le processus, distinguez dabord le flux principal des flux secondaires de votre job. Le flux principal doit connecter un composant un autre laide dune connexion de type Row main. Le composant Start est alors automatiquement dfini sur le premier composant du flux principal (icne dont larrire-plan est vert). Les flux secondaires sont connects laide de connexion de type Row lookup et non plus main. Cette connexion Lookup tient lieu de rfrence, qui enrichit le flux principal de nouvelles donnes. Vous pouvez changer le statut du composant Start et par consquent le flux principal et secondaire, en modifiant une connexion Row Main en connexion Lookup, simplement via un simple clic droit sur la connexion. Voir galement : section Types de connexions. section Activation/Dsactivation dun Job ou dun sous-job.
114
Placez votre souris sur le composant pour faire apparatre les messages derreur et davertissement. Cette aide contextuelle vous informe sur les donnes manquantes ou le statut du composant.
Lorsque les bulles daide dun composant indiquent quun module est requis, vous devez installer ce module pour ce composant via la vue Module. Cette vue est masque par dfaut. Pour plus dinformations concernant linstallation de modules externes laide de cette vue, consultez la section Installer des modules externes.
Licne derreur apparat aussi ct du nom du Job dans longlet de lespace de modlisation. La compilation ou la gnration de code a uniquement lieu dans les cas suivants : louverture dun Job, le passage longlet Code viewer, lexcution du Job (en cliquant sur Run), lenregistrement du Job. Licne derreur apparatra lorsque vous effectuerez lune de ces actions. De plus, lexcution du Job, la bote de dialogue [Find Errors in Jobs] affichera la source et une courte description de chaque erreur rencontre.
115
Cliquez sur Cancel pour arrter lexcution ou sur Continue pour continuer lexcution de votre Job. Pour plus dinformations concernant les erreurs dans les composants, consultez la section Grer les icnes davertissement/derreur sur les composants.
Vous pouvez modifier la mise en forme de vos notes. Pour cela, slectionnez la note puis cliquez sur longlet Basic settings de la vue Component.
La case Opacity permet dafficher ou non la couleur de fond de la note. Elle est coche par dfaut lorsque vous ajoutez une note. Si vous dcochez cette case, le fond de la note devient transparent. Les options Fonts and Colors permettent de modifier le style, la taille, la couleur, etc. de la police, ainsi que la couleur du fond et des bordures de votre note. Les options Adjust horizontal et Adjust vertical permettent de dfinir lalignement vertical et horizontal du texte dans la note. Le champ Text contient le texte apparaissant dans la note.
116
3.6.5.1. Outline
Longlet Outline offre un aperu rapide du Job Design ouvert dans lespace de modlisation graphique mais aussi une arborescence de tous les lments utiliss dans le Job. Comme lespace de modlisation graphique, et comme toute zone de toute fentre peut tre rduit(e) ou agrandi(e) selon vos besoins, la vue Outline est utile pour savoir o vous tes dans lespace de modlisation graphique.
La partie du diagramme visible dans lespace de modlisation est mise en vidence laide dun rectangle bleu. Cliquez sur la zone bleue de laperu et dplacez-la pour afficher une autre partie du processus. Remarquez que la vue de lespace de travail se dplace de la mme manire. La vue Outline peut galement afficher un arborescence des composants utiliss dans le diagramme. Dveloppez le nud dun composant pour afficher la liste des variables disponibles pour ce composant. Pour passer dun aperu un autre, cliquez sur les icnes correspondantes en haut droite.
117
Ce surlignage bleu vous permet de distinguer plus facilement un sous-job dun autre.
Un Job peut tre compos dun seul sous-job. Les rectangles oranges correspondent aux pr-jobs et aux post-jobs, qui sont diffrents des sous-jobs. Pour plus dinformations sur les pr-jobs et les post-jobs, consultez section Utiliser les composants tPrejob et tPostjob.
Dans la vue Basic settings, cochez la case Show subjob title si vous souhaitez ajouter un titre au sous-job et dans le champ Title, saisissez le titre. Pour modifier la couleur du titre ou du sous-job : 1. 2. Dans la vue Basic settings, cliquez sur le bouton Title color/Subjob color pour afficher la bote de dialogue [Colors]. Slectionnez la couleur que vous souhaitez. Par dfaut, le titre est bleu et le sous-job bleu transparent.
118
Cliquez sur le signe moins [-] pour rduire le sous-job (capture dcran de gauche). Quand il est rduit, seul le premier composant du sous-job apparat. Cliquez sur le signe [+] pour le restaurer (capture dcran de droite).
Pour enlever le surlignage dun sous-job, cliquez-droit sur ce sous-job et slectionnez loption Hide subjob dans le menu contextuel.
119
Pour paramtrer les proprits Stats & Logs : 1. 2. Cliquez sur la vue Job. Slectionnez longlet Stats & Logs pour afficher la vue de configuration.
120
3. 4.
Renseignez les informations en fonction de votre composant de sortie (console, fichier ou base de donnes). Vrifiez que loption Catch correspond bien vos besoins.
Vous pouvez enregistrer automatiquement ces configurations dans vos paramtres de projets en cliquant sur le bouton . Sinon, vous pouvez accder ces paramtres via File > Edit project settings > Talend > Stats & Logs.
Lorsque vous utilisez les options Stats & Logs pour lun de vos jobs, vous avez la possibilit dappliquer ces mmes options ses sous-jobs.
Pour cela, cliquez sur le bouton Apply to sub jobs dans longlet Stats & Logs de la vue Job. Ainsi, les options slectionnes pour votre Job principal seront slectionnes pour tous ses sous-jobs.
121
Choisissez la source de vos paramtres de contexte : File ou Database et configurez manuellement laccs aux fichiers ou la base de donnes. Configurez les messages (erreur/warning/info) lorsque des comportements inattendus lis aux paramtres de contexte surviennent. Si vous avez renseign manuellement loption Implicit tContextLoad, vous avez la possibilit denregistrer ces paramtres dans les paramtres de votre projet en cliquant sur le bouton Save to project settings, et, ainsi, rutiliser ces paramtres pour dautres composants et dans dautres jobs. Vous avez la possibilit de rcuprer les paramtres de contexte dj dfinis dans les paramtres du projet (Project Settings) en cochant la case Use Project Settings. En cochant cette case, loption Implicit tContextLoad sera active et tous les champs seront renseigns automatiquement. Pour plus dinformations sur les paramtres de contexte, consultez section Dfinir les paramtres de contexte. Vous avez aussi la possibilit de rafrachir les paramtres de contexte rcuprs des paramtres du projet en cliquant sur le bouton Reload from project settings.
A partir de la Palette, vous avez la possibilit de rechercher tous les Jobs utilisant le composant slectionn. Pour ce faire : 1. Dans la Palette, cliquez-droit sur le composant que vous cherchez et slectionnez loption Find Component in Jobs.
Une barre de progression saffiche pour vous indiquer lvolution de la recherche en pourcentage, puis la bote de dialogue [Find a Job] saffiche lcran et donne la liste de tous les Jobs utilisant ledit composant.
122
2.
Dans la liste des Jobs, slectionnez celui qui vous intresse puis cliquez sur OK pour louvrir dans lespace de modlisation graphique.
3.6.9. Configurer les valeurs par dfaut dans le schma d'un composant
Vous pouvez configurer des valeurs par dfaut dans le schma de certains composants pour remplacer des valeurs nulles rcupres de la source de donnes.
Pour le moment, seuls les tFileInputDelimited, tFileInputExcel et tFixedFlowInput supportent les valeurs par dfaut dans le schma.
Dans l'exemple suivant, les champs company et city de certains enregistrements du fichier CSV source sont laisss blancs, comme dans la capture d'cran ci-dessous. Le composant d'entre lit des donnes du fichier source et complte les informations manquantes l'aide des valeurs par dfaut dans le schma, Talend et Paris respectivement.
id;firstName;lastName;company;city;phone 1;Michael;Jackson;IBM;Roma;2323 2;Elisa;Black;Microsoft;London;4499 3;Michael;Dujardin;;;8872 4;Marie;Dolvina;;;6655 5;Jean;Perfide;;;3344 6;Emilie;Taldor;Oracle;Madrid;2266 7;Anne-Laure;Paldufier;Apple;;4422
123
Pour configurer des valeurs par dfaut : 1. Double-cliquez sur le composant d'entre afin d'afficher sa vue Basic settings.
2.
Cliquez sur le bouton [...] ct du champ Edit schema et slectionnez l'option Change to built-in property dans la bote de dialogue afin d'ouvrir l'diteur du schma. Saisissez Talend entre guillemets dans le champ Default pour la colonne company. Saisissez Paris entre guillemets dans le champ Default pour la colonne city et cliquez sur OK pour fermer l'diteur de schma.
3.
4.
Configurez le composant de sortie tLogRow pour afficher les rsultats d'excution comme vous le souhaitez et excutez le Job.
124
Dans le flux de donnes de sortie, les informations manquantes sont compltes selon les valeurs configures par dfaut.
125
Vous pouvez aussi faire un clic-droit sur le composant et slectionnez la commande Activate/Deactivate qui saffiche en fonction du statut courant du composant. Si vous dsactivez un composant, aucun code ne sera gnr et vous ne pourrez ni ajouter ni modifier de liens partir de ce composant vers des composants actifs ou nouveaux. Voir galement : section Configurer un composant Start.
128
Dans la bote de dialogue qui s'ouvre, slectionnez le rpertoire ou le fichier archive contenant les lments que vous souhaitez extraire. Si vous avez export les lments de votre rfrentiel local dans un fichier archive (fichiers source et scripts inclus), utilisez l'option Select archive file, slectionnez le dossier contenant larchive puis passez l'tape suivante. Si les lments importer sont encore stocks sur le rfrentiel local, utilisez l'option Select root directory et slectionnez le dossier du projet dans votre systme puis passez l'tape suivante.
3.
Slectionnez le dossier correspondant au Projet dans le rpertoire Workspace. Il correspond au nom du projet que vous crez auparavant.
129
Import dlments
4.
Si vous souhaitez importer des lments spcifiques, notamment les Job Designs, slectionnez le dossier correspondant, tel que Process dans lequel tous les Job designs du projet sont stocks.. Mais si votre projet regroupe diffrents types dlments (Jobs Designs, Routines...), nous vous conseillons de slectionner le Projet en entier afin de tout importer en une seule fois. Cliquez sur OK pour continuer.
5.
130
Export de Jobs
6.
Cochez la case overwrite existing items si vous souhaitez craser les lments existants par ceux ayant le mme nom et devant tre imports. Cela va rafrachir la liste Items List. Tous les lments valides pouvant tre exports sont affichs dans la liste Items List. Par dfaut, tous les lments sont slectionns mais vous pouvez les dslectionner tous ou individuellement. Cliquez sur Finish pour valider limport. Les lments imports seront sauvegards dans le dossier correspondant sur le rfrentiel en fonction de leur nature.
7.
8.
131
Export de Jobs
Par dfaut, lorsqu'un Job est export, tous les fichiers Jars requis sont inclus dans la commande .bat ou .sh. Pour un Job complexe impliquant de nombreux Jars, le nombre de caractres dans la commande batch peut dpasser la longueur autorise par certains systmes d'exploitation. Pour viter l'chec de l'excution de la commande batch cause de cette limitation, avant d'exporter votre Job, cliquez sur Window > Preferences. Slectionnez Talend > Import/Export et cochez la case Add classpath Jar, when export job, afin de regrouper les Jars dans un fichier classpath.jar ajout au Job export. Pour exporter des Jobs, procdez comme suit : 1. Dans larborescence Repository, cliquez-droit sur le Job que vous voulez exporter et slectionnez Export Job pour ouvrir la bote de dialogue [Export Job].
Vous pouvez directement afficher ou cacher, dans la bote de dialogue [Export Job], larborescence de tous les Jobs ayant t crs dans Talend Open Studio for Big Data, en cliquant respectivement sur les boutons et . Les Jobs que vous avez prcdemment slectionns dans larborescence du Studio saffichent, prcds dune case coche. Cette fonctionnalit permet de modifier les lments slectionns pour les exporter directement partir de la bote de dialogue, sans avoir la fermer et retourner larborescence Repository dans Talend Open Studio for Big Data.
2. 3.
Dans le champ To archive file, cliquez sur le bouton Browse... et parcourez jusquau rpertoire dans lequel vous souhaitez sauvegardez votre Job export. Dans la liste Export Type, slectionnez le type dexport. Les diffrents types sont : Autonomous Job, Autonomous Route, Axis WebService (WAR), Axis WebService (Zip),JBoss ESB, Petals ESB et OSGI Bundle For ESB. Cochez la case Extract the zip file, si vous souhaitez extraire automatiquement le fichier dans le rpertoire cible. Dans la zone Options, slectionnez le type de fichiers que vous souhaitez ajouter larchive. Les options correspondant aux fichiers ncessaires lexcution du Job sont coches par dfaut, vous pouvez nanmoins les dcocher en fonction de ce que vous souhaitez exporter.
4. 5.
132
Export de Jobs
Description Cochez cette case pour exporter les fichiers .bat et/ou .sh ncessaires au lancement du Job export. All : exporte les fichiers .bat et .sh, Unix : exporte le fichier .sh, Windows : exporte le fichier .bat.
Context scripts
Cochez cette case pour exporter TOUS les fichiers de paramtres de contexte et pas uniquement ceux slectionns dans la liste correspondante. Pour exporter un contexte, slectionnez le contexte rpondant vos besoins dans la liste Context scripts, notamment les fichiers .bat ou .sh contenant les paramtres de contexte appropris. Vous pouvez ensuite, si vous le souhaitez, ditez les fichiers .bat et .sh pour modifier manuellement le type de contexte.
Cochez cette case si vous souhaitez appliquer le contexte slectionn dans la liste tous les Jobs fils. Cochez cette case pour exporter le fichier .java contenant les classes Java gnres par le Job lors de sa cration. Cochez cette case pour exporter les sources utiliss par le Job durant son excution, notamment les fichiers .item et .properties, ainsi que les sources Java et Talend. Si vous cochez la case Items ou Source files, vous pouvez rutiliser le Job export dans un Talend Open Studio for Big Data install sur une autre machine. Ces fichiers source sont uniquement utiliss dans Talend Open Studio for Big Data.
6.
Cliquez sur le bouton Override parameters values, si ncessaire. Une fentre souvre, dans laquelle vous pouvez mettre jour les paramtres et les valeurs de contexte du Job slectionn ou ajouter de nouveaux paramtres ou de nouvelles valeurs, selon vos besoins.
7.
Cliquez sur Finish pour valider les changements effectus, finaliser lexport et fermer la bote de dialogue.
133
Export de Jobs
Slectionnez le type darchive que vous souhaitez utiliser dans votre application Web.
Type darchive WAR Description Les options sont en lecture seule. En effet, larchive WAR gnre comprend tous les fichiers de configuration ncessaires lexcution ou au dploiement partir dune application Web. Toutes les options sont disponibles. Si tous les fichiers de configuration de votre application Web sont configurs, vous avez la possibilit de ne slectionner que les paramtres de contexte et de nexporter que les Classes dans larchive.
ZIP
Une fois que larchive est gnre, placez le fichier WAR ou le dossier Class du ZIP (ou des fichiers dcompresss) dans le rpertoire souhait de votre serveur dapplication Web. LURL utilise pour dployer votre Job ressemble la suivante :
http://localhost:8080/NomAppWeb/services/NomJob?method=runJob&args=null
Le retour dappel de lapplication Web sest droul sans erreur (0), en cas derreur le chiffre affich sera diffrent de 0. Pour un cas rel de cration et dexport de Job en tant que service Web et de dploiement de ce Job partir dun navigateur Web, consultez la section Exemple dexport de Job en tant que service Web. Le composant tBufferOutput a t conu spcialement pour ce type de dploiement. Pour plus dinformations concernant ce composant, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data.
Crer le Job
1. Dposez les composants suivants de la Palette dans lespace de modlisation : tFixedFlowInput et tFileOutputDelimited.
134
Export de Jobs
2.
3.
Dans lespace de modlisation, slectionnez le tFixedFlowInput et cliquez sur l'onglet Component pour paramtrer les proprits du tFixedFlowInput. Dans le champ Schema, slectionnez loption Built-In et cliquez sur le bouton [...] ct du champ Edit Schema afin de dcrire la structure des donnes que vous souhaitez crer partir des variables internes. Dans ce scnario, le schma est compos de trois colonnes : now, firstname et lastname.
4.
5.
Cliquez sur le bouton [+] pour ajouter vos trois lignes de paramtres et dfinir vos variables. Cliquez sur OK pour fermer la bote de dialogue et acceptez la propagation des modifications lorsque le message de confirmation vous le demande. Les trois colonnes dfinies apparaissent dans le tableau Values de longlet Basic settings du composant tFixedFlowInput.
6.
Cliquez sur la cellule Value de chaque colonne dfinie et appuyez sur Ctrl+Espace pour accder la liste des variables globales et slectionnez TalendDate.getCurrentDate() pour la colonne now, talendDatagenerator.getFirstName pour la colonne firstname, talendDataGenerator.getLastName pour la colonne lastname. Dans le champ Number of rows, saisissez le nombre de lignes gnrer.
7.
135
Export de Jobs
8.
Dans lespace de modlisation, slectionnez le composant tFileOutputDelimited, cliquez sur l'onglet Component et, dans le champ File name, slectionnez le fichier de sortie. Paramtrez les autres proprits du composant, si ncessaire.
9.
Si vous appuyez sur F6 pour excuter le Job, trois lignes contenant la date en cours et des noms et prnoms seront crits dans le fichier de sortie dfini.
136
Export de Jobs
2.
Dans le champ To archive file, cliquez sur le bouton Browse... et slectionnez un rpertoire dans lequel enregistrer le fichier archive contenant votre Job. Dans la liste Export type, slectionnez le type dexport que vous souhaitez utiliser dans votre application Web (WAR pour cet exemple) et cliquez sur Finish. La bote de dialogue [Export Job Scripts] disparat. Copiez le dossier War et collez-le dans le rpertoire du serveur dapplication Tomcat.
3.
4.
2.
Cliquez sur Enter pour excuter le Job partir de votre navigateur Web.
137
Export de Jobs
Le code retourn partir de votre application Web est 0 lorsquil ny a pas derreur et 1 si une erreur est apparue. Pour un cas rel de cration et dexport dun Job en tant que service Web via le composant tBufferOutput, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data.
Dans la bote de dialogue [Export Job Scripts], vous pouvez modifier le type dexport afin dexporter le Job slectionn dans une archive ESB. Le Job contenu dans cette archive peut ensuite tre automatiquement dploy sur le serveur JBoss. Pour exporter un Job en ESB : 1. 2. 3. Dans la zone Job Version, slectionnez la version du Job que vous souhaitez excuter sur le serveur JBoss ESB. Dans la liste Select export type de la zone Export type, slectionnez JBoss ESB. Dans la zone Option, slectionnez le type de fichiers que vous souhaitez ajouter larchive. Lorsque plusieurs contextes sont proposs dans la liste Context script, slectionnez celui qui correspond vos besoins. Cochez la case Apply to children si vous souhaitez appliquer le contexte slectionn dans la liste tous les Jobs fils. Pour exporter les sources utilises par le Job durant son excution, y compris les fichiers .item, .properties et les sources Java des Jobs et des routines, cochez la case Source files.
Si vous cochez la case Source files, vous pouvez rutiliser le Job export dans un Talend Open Studio for Big Data install sur une autre machine. Ces fichiers source sont utiliss uniquement dans Talend Open Studio for Big Data.
4.
5. 6. 7.
Dans la liste ESB Export type, slectionnez soit JBoss MQ, soit JBoss Messaging. Dans le champ Service name, saisissez le nom du service sur lequel dployer votre Job. Dans le champ Category, saisissez le nom de la catgorie du service sur lequel le Job sera dploy.
138
Export de Jobs
8. 9.
Dans le champ Message Queue Name, saisissez le nom de la queue utilise pour le dploiement du Job. Cliquez sur le bouton Browse... ct du champ To archive file et dfinissez le chemin daccs au fichier archive dans lequel vous souhaitez exporter le Job. Cliquez sur Finish. La bote de dialogue se ferme. Un indicateur de progression saffiche et vous montre le pourcentage davancement de lopration dexport. Le Job est export dans larchive slectionne.
Au lancement du serveur, une fois larchive ESB copie dans le rpertoire de dploiement, le Job est automatiquement dploy et prt tre excut sur le serveur ESB.
139
Export de Jobs
1.
Dans la vue Repository, cliquez-droit sur le Job que vous souhaitez exporter, puis slectionnez Export Job dans le menu contextuel. La bote de dialogue [Export Jobs] souvre.
2.
Dans le champ To archive file, parcourez votre rpertoire afin de dfinir le chemin daccs larchive dans laquelle vous souhaitez exporter le script. Dans la liste Select the job version, slectionnez la version du Job que vous voulez exporter. Dans la liste Select export type, dans la zone Export type, slectionnez Petals ESB. Les trois options suivantes, dans la zone Options sont slectionnes par dfaut : Singleton job et Source file. Vous pouvez slectionner toute autre option qui vous parat ncessaire. Le tableau ci-dessous vous explique les options dexport :
Option Singleton job Description Exporter le Job en tant que singleton : un Job singleton ne peut avoir quune seule instance lance la fois sur un serveur de messagerie applicative Talend dans Petals ESB.
Guide utilisateur de Talend Open Studio for Big Data
3. 4.
140
Export de Jobs
Description Gnre lend-point au moment du dploiement. Si cette option nest pas slectionne, le nom de lend-point sera le mme nom que le Job, avec le suffixe Endpoint. Valide tous les messages / requtes par rapport au WSDL. Slectionner cette option rduit les performances de votre systme (accs au disque).
Embarque les fichiers source dans le service-unit gnr. Liste dans laquelle slectionner le contexte qui sera utilis par dfaut dans le Job.
5.
Dans la bote de dialogue [Export Job], cliquez sur le lien Edit the exposed contexts afin douvrir la bote de dialogue [Context Export].
La bote de dialogue affichera une liste des toutes les variables de contexte utilises dans le Job export. Vous pouvez ici spcifier comment chaque variable de contexte doit tre exporte dans le fichier WSDL gnr. 6. Cliquez dans le champ Export Mode et slectionnez dans la liste le mode dexport pour chaque variable de contexte. Le tableau ci-dessous prsente les diffrentes options dexport :
Description Le contexte nest pas export (non visible en tant que paramtre). Le contexte pourra toujours tre export en utilisant les paramtres natifs (options) du Job. Le contexte est export en tant que paramtre dans lopration WSDL. Le contexte transmettra l'emplacement d'un fichier temporaire dont le contexte tait joint au message d'entre. Le contexte sera lu aprs excution du Job. -Ce contexte doit indiquer un fichier, -Le contenu du fichier sera lu par le serveur de messagerie applicative et joint la rponse, -Le nom du contexte sera utilis comme nom de pice jointe, -Le fichier sera supprim par le serveur de messagerie applicative juste aprs le chargement de son contenu.
Parameter Attachment
and
Out- Cette option est un mlange des modes Parameter et Out-Attachment. -Le contexte est expos en tant que paramtre, Il sera galement lu aprs excution du Job, -Le fichier sera supprim dans tous les cas,
Guide utilisateur de Talend Open Studio for Big Data 141
Export de Jobs
Export Mode
7. 8.
Cliquez sur OK afin de valider votre choix et fermer la bote de dialogue [Context Export]. Dans la bote de dialogue [Export Jobs], cliquez sur Finish. La bote de dialogue se ferme. Un indicateur de progression saffiche, afin de montrer le pourcentage davancement de lexport. Le Job est export dans larchive slectionne.
Le Job Talend est maintenant expos en tant que service dans lESB Petals et peut tre excut dans le bus.
1.
Dans la zone Export type, slectionnez OSGI Bundle For ESB afin d'exporter votre Job en tant que bundle OSGI. L'extension de votre export change automatiquement en .jar puisque c'est l'extension attendue par Talend ESB Container.
2.
Cliquez sur le bouton Browse... pour spcifier le dossier dans lequel exporter votre Job.
142
Export dlments
3.
3.
Maintenez la touche Ctrl enfonce et cliquez-droit sur llment exporter, puis slectionnez Export items dans le menu contextuel :
143
Au besoin, vous pouvez slectionner des lments supplmentaires exporter. 4. Slectionnez le rpertoire dans lequel vous souhaitez enregistrer les lments exports en cliquant sur Browse.... Sinon, dfinissez le fichier archive dans lequel les fichiers des lments slectionns seront compresss.
Cochez la case Export Dependencies si vous souhaitez dfinir et exporter les dpendances des routines avec les Jobs que vous exportez. Par dfaut, toutes les routines utilisateur sont slectionnes. Pour plus dinformations, consultez section Dfinition des routines
5.
Cliquez sur Finish pour fermer la bote de dialogue et exporter les lments.
144
Pour...
Paramtre
Changer valeur1 et valeur2 des paramtres --context_param key1=valeur1 --context_param key2=valeur2 respectifs key1 et key2 Changer une valeur contenant des caractres --context_param key1=chemin daccs despace comme dans les chemins daccs
2.
145
3.
Cliquez sur Yes (Oui) pour fermer la bote de dialogue et excuter les modifications apportes tous les Jobs concerns. Pour plus dinformations concernant la premire mthode de propagation des modifications, consultez la section Mettre jour manuellement les Jobs impacts. Cliquez sur No (Non) si vous voulez fermer la bote de dialogue sans propager les changements. Cela vous permettra de propager manuellement, une par une, les modifications apportes aux Jobs concerns. Pour plus dinformations concernant la deuxime mthode de propagation des modifications, consultez la section Mettre jour manuellement les Jobs impacts.
Vous pouvez ouvrir la bote de dialogue [Update Detection] tout moment, si vous cliquez-droit sur llment centralis dans le Repository et que vous slectionnez Manage Dependencies dans le menu contextuel. Pour plus dinformations, consultez la section Mettre jour manuellement les Jobs impacts.
2.
Dcochez la case correspondant aux Jobs que vous ne souhaitez pas mettre jour. Vous pouvez les mettre jour manuellement ultrieurement. Pour plus dinformations, consultez la section Mettre jour manuellement les Jobs impacts. Cliquez sur OK pour fermer la bote de dialogue et mettre jour les Jobs slectionns.
3.
146
2.
3.
Cochez les cases des Jobs mettre jour avec ou les paramtres de contexte modifis et dcochez les cases des Jobs que vous ne souhaitez pas mettre jour. Cliquez sur OK pour valider et fermer la bote de dialogue.
Les Jobs que vous naurez pas mis jour passeront automatiquement en Built-in, puisque le lien vers le Repository ne pourra pas tre maintenu. Cependant, les paramtres resteront les mmes que ceux dfinis avant les modifications.
4.
147
2.
Saisissez le nom ou une partie du nom du Job dans le champ en haut de la fentre. Lorsque vous commencez saisir le nom dans le champ, la liste des Jobs est automatiquement mise jour afin de nafficher que le ou les Job(s) dont le nom correspond aux lettres saisies.
3.
Slectionnez le Job souhait dans la liste et cliquez sur Link Repository pour afficher automatiquement le Job slectionn dans larborescence de la vue Repository. Si ncessaire, cliquez sur Cancel pour fermer la bote de dialogue et cliquez-droit sur le Job slectionn dans le Repository pour effectuer lune des oprations disponibles dans le menu contextuel.
4.
148
Sinon, cliquez sur OK pour fermer la bote de dialogue et ouvrir le Job slectionn dans lespace de modlisation.
149
La capture dcran prsente linterface du tMap. Celle du tXMLMap a une apparence lgrement diffrente. Par exemple, en plus des onglets Schema editor et Expression editor dans la partie infrieure de linterface, le tXMLMap contient un troisime onglet nomm Tree schema editor. Pour plus dinformations concernant le composant tXMLMap, consultez la section Prsentation du fonctionnement du tXMLMap.
Le Map Editor est compos de plusieurs zones : La zone Input sur le ct gauche de lditeur. Les tableaux Input offrent une reprsentation structure (schmas) de tous les flux entrants (main et lookup). Les donnes sont regroupes dans plusieurs colonnes des schmas Input. Notez que le nom de la table reflte le nom du lien Main ou Lookup dans lespace de modlisation graphique du Job. La zone Variables est au centre de lditeur. Ce tableau de variables permet de centraliser des informations redondantes et de raliser les transformations.
152
La zone Output est situe droite de la fentre. Les tableaux Output permettent daiguiller les donnes et les champs provenant des schmas Input et des variables vers les schmas de sortie Output. Les deux panneaux situs en bas de la fentre sont les descriptions des schmas dentre et de sortie. Longlet Schema editor dtaille les schmas Input et Output slectionns. Longlet Expression editor est loutil de rdaction des cls dexpression des schmas Input/Output, des variables ou des conditions de filtre. Le nom des schmas Input/Output dans le Map Editor reflte le nom des connexions entrantes et sortantes (connexion de type Row). Les sections suivantes prsentent sparment le tMap et le tXMLMap.
Le tMap utilise les connexions entrantes pour pr-remplir les schmas dentre dans le [Map Editor]. Par consquent, vous ne pouvez pas crer directement dans le [Map Editor], de nouveaux schmas dentre. Par contre, il vous faut mettre en place autant de connexions de type Row entrantes que ncessaire, pour que leur schma saffiche dans le [Map Editor]. De la mme faon, crez autant de connexions de sortie que ncessaire dans lespace de modlisation. Cependant, vous pouvez dfinir le type de donnes en sortie directement dans le [Map Editor] via un outil graphique de mapping.
153
Il ne peut y avoir quune seule connexion de type Main row. Toute connexion entrante supplmentaire devient automatiquement une connexion Lookup. Voir : section Connexion de type Row. Les connexions Lookup sont des connexions entrantes secondaires (ou de rfrence). Ces donnes de rfrence peuvent dpendre directement ou indirectement du flux principal. Cette relation de dpendance se traduit graphiquement par une jointure (Join) et la cration de cls dexpression. Bien que le tMap requiert que les connexions soient mises en place pour dfinir les flux dentre et de sortie (respectivement Input et Output), vous devez galement implmenter un mapping pour que la fonction daperu de lditeur de mapping soit disponible dans la vue Component de lespace de modlisation.
Double-cliquez sur licne tMap dans lespace de modlisation ou cliquez sur le bouton [...] ct du champ Map Editor de longlet Basic settings , dans la vue Component du composant tMap. Lditeur de mapping souvre dans une nouvelle fentre. Les sections suivantes vous donnent les informations ncessaires lutilisation du composant tMap dans vos Job Designs.
154
Vous pouvez utiliser les flches haut et bas pour intervertir les tables secondaires (provenant de connexions Lookup), mais vrifiez quelles ne sont pas lies par un lien Join. Si elles le sont, veillez ce que ce lien Join ne soit pas perdu. Voir galement : section Utiliser les jointures explicites.
155
Variables
Vous pouvez utiliser ou rutiliser les variables globales ou de contexte dfinies dans la zone Variables. Appuyez sur Ctrl+Espace pour accder la liste complte des variables, regroupant les variables globales, de contexte et de mapping. La liste des variables varie selon le contexte et saccrot au fur et mesure des nouvelles crations. Seules les variables pour le mapping en cours sont affiches dans la liste dauto-compltion.
Une fentre de mtadonnes est attache la liste de semi-compltion des variables. Elle fournit des informations concernant la colonne slectionne. Voir galement : section Mapping de variables
156
Le champ Expression key peut tre renseign par glisser-dposer des donnes en Join. Ce champ est modifiable dans la table de la zone Input ou partir de la vue Schema editor. Par contre, le nom des colonnes est modifiable uniquement partir du Schema editor, correspondant la table Input slectionne. Lors de votre glisser-dposer, vous avez la possibilit soit dinsrer les donnes slectionnes dans une nouvelle entre, soit de remplacer une entre existante ou encore de concatner une slection multiple dans une seule cellule.
157
Pour plus dinformations concernant les types de glisser-dposer possibles, consultez la section Paramtres Output .
Si vous avez beaucoup de tables input, vous pouvez les rduire ou les restaurer laide de licne correspondante dans la zone Input. La jointure liant les deux tables reste visible mme lorsque la table est rduite.
La cration dun Join assigne automatiquement une cl de hachage au niveau du nom de champ de la table relie. Le symbole dune cl violette apparat sur la table Input et disparat quand la jointure est supprime. Voir galement : section Utiliser le Schema editor . section Utiliser la fonction Inner Join. Avec une jointure explicite, vous pouvez choisir de mettre un filtre pour limiter le nombre de correspondances. Vous pouvez soit prendre en compte une seule correspondance (la dernire), soit la premire, soit toutes les correspondances. Pour dfinir le modle de mise en correspondance de la jointure explicite : 1. Cliquez sur le bouton tMap settings en haut de la table laquelle la jointure est relie afin dafficher les proprits de la table.
158
2. 3.
Cliquez dans le champ Value correspondant Match Model puis cliquez sur le bouton [...] qui apparat afin douvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur le modle souhait ou slectionnez-le et cliquez sur OK pour valider les paramtres et fermer la bote de dialogue.
Unique Match
Elle correspond loption par dfaut lorsque vous effectuez une jointure explicite. Cela signifie que seulement la dernire correspondance du flux secondaire sera prise en compte et passera dans la table de sortie. Les autres correspondances seront donc ignores.
First Match
Cette option signifie que plusieurs correspondances peuvent tre attendues dans le flux secondaire. Loption First signifie que seulement la premire correspondance du flux secondaire sera prise en compte et passera dans le flux principal de sortie. Les autres correspondances seront donc ignores.
All Matches
Cette option signifie que plusieurs correspondances sont attendues dans le flux secondaire. Ainsi, toutes les correspondances sont prises en compte et passent dans le flux principal de sortie.
159
Cette fonction empche les valeurs nulles de passer dans le flux principal de sortie. Elle permet aussi de faire passer les donnes rejetes dans une table dfinie comme table de rejet Inner Join Reject. Si les donnes cherches ne peuvent tre rcupres avec la jointure explicite ou un filtre de jointure (Inner join), en dautres termes la jointure interne ne peut tre tablie quelle quen soit la raison, dans ce cas, les donnes demandes sont rejetes vers une table de sortie appele Inner Join Reject. Dposez simplement le nom des colonnes dune table vers une table subordonne, afin de crer une relation de jointure entre les deux tables. La jointure saffiche graphiquement comme un lien violet, et cre automatiquement une cl qui sera utilise comme une cl de hachage pour augmenter la vitesse de correspondance. Pour dfinir le type de jointure explicite : 1. Cliquez sur le bouton tMap settings situ en haut de la table de rfrence vers laquelle pointe la jointure pour afficher les proprits du tableau. Cliquez dans le champ Value correspondant loption Join Model pour faire apparatre le bouton [...] et cliquez dessus pour ouvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur le type de jointure souhait, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
2.
3.
Une table Inner Join devrait toujours tre associe une table de rejet Inner Join Reject. Pour savoir comment dfinir une table de sortie comme table Inner Join Reject, consultez section Utiliser les Rejets Inner Join.
Vous pouvez utiliser le bouton de filtre pour diminuer le nombre de lignes traiter et ainsi amliorer les performances. Voir galement : section Utiliser les Rejets Inner Join.
160
Mapping de variables
Dans la zone de Filtre, saisissez les conditions que vous souhaitez appliquer, ce qui vous permet de rduire le nombre de lignes traiter en fonction du flux principal et ainsi amliorer les performances sur des flux importants et htrognes. Vous pouvez utiliser loutil dauto-compltion via le raccourci Ctrl+Espace pour reprendre les colonnes du schma dans la dclaration des variables.
161
Mapping de variables
Vous pouvez galement utiliser le champ Expression de la table Var pour raliser des transformations en langage Java. Les variables vous permettent de gagner du temps et vous vitent davoir ressaisir plusieurs fois les mmes donnes.
Il existe plusieurs possibilits pour crer des variables : Saisissez librement vos variables en Java. Saisissez les chanes de caractres entre guillemets simples ou concatnez plusieurs fonctions laide de loprateur appropri. Ajoutez de nouvelles lignes la table laide du bouton [+] et retirez des lignes laide du bouton [x]. Puis appuyez sur Ctrl+Espace pour rcuprer les variables globales et de contexte dj existantes. Dposez une ou plusieurs entres Input dans la table Var.
Slectionnez une entre dans la zone Input ou appuyez sur la touche Maj pour effectuer une slection multiple. Appuyez sur la touche Ctrl pour slectionner des entres disperses dans une table ou pour slectionner des entres de diverses tables. Lorsque vous slectionnez plusieurs entres, la premire slection peut prendre une couleur grise. Maintenez la touche Ctrl enfonce pour glisser-dposer toutes les entres en une fois. Une bulle daide contextuelle vous indique le nombre dentres slectionnes. Puis dposez la slection vers la table Var. Plusieurs types de glisser-dposer sont possibles, notamment :
Comment faire pour... Actions associes
Insrer toutes les entres slectionnes comme Faites simplement un glisser-dposer vers la table Var. Des flches latrales variables spares. vous indiquent o la nouvelle entre Var peut tre insre. Chacune des Input est insre dans une cellule spare. Concatner toutes les entres slectionnes avec une Dposez vers lentre Var concatner, elle se met alors en surbrillance. entre Var existante. Toutes les entres sont concatnes dans une seule cellule. Ajoutez les oprateurs requis laide des signes oprateurs Java appropris. Le point permet la concatnation. Ecraser une entre Var par les entres Input Dposez vers lentre Var approprie qui se met alors en surbrillance. slectionnes, et les concatner. Puis appuyez sur Ctrl et relchez. Toutes les entres slectionnes sont concatnes et crasent la variable slectionne. Concatner les entres Input slectionnes, avec Dposez vers des Var existantes puis appuyez sur Maj. Les premires entres plusieurs entres Var mises en surbrillance. Crer de sont concatnes avec les entres Var en surbrillance, et si ncessaire, de nouvelles lignes en cas de besoin. nouvelles lignes sont cres pour contenir les entres restantes.
162
3.
Saisissez le code Java selon vos besoins. Lexpression correspondante dans le panneau output est synchronise.
Rfrez-vous la documentation Java adquate pour plus dinformations concernant les fonctions et les oprations.
Pour ouvrir la bote de dialogue [Expression Builder], dans les panneaux Var ou Output dans le Map Editor, cliquez sur le bouton [...] ct de lexpression que vous souhaitez ouvrir.
163
164
Deux flux dentre sont connects au tMap. Un premier flux DB input, contenant une liste de personnes dont le nom et le prnom sont spars par un espace. Un autre flux File input, contenant la liste des tats des Etats-Unis, en minuscule. Dans le [Map Editor], utilisez lExpression builder pour : 1) Remplacer lespace entre le nom et le prnom par un tiret soulign ; 2) Mettre en majuscules le nom des tats. 1. 2. 3. Dans le [Map Editor], crez la jointure Inner Join correspondante pour crer le mapping de rfrence. Dposez la colonne Name du flux dentre principal Main (row1) de la zone Input dans la zone Output, et la colonne State du flux dentre secondaire Lookup (row2) vers la mme zone Output. Puis cliquez sur le premier champ Expression (row1.Name) pour afficher le bouton [...].
4. 5.
Dans la liste Category, slectionnez laction que vous souhaitez effectuer. Pour cet exemple, choisissez StringHandling, puis slectionnez la fonction EREPLACE dans la liste Functions. Dans row1.Name la place du texte, pour obtenir : ","_"). Cette expression remplacera lespace par un tiret soulign dans la chane de caractres fournie.
StringHandling.EREPLACE(row1.Name,"
la
zone
Expression,
collez
6. 7.
Vrifiez votre code en renseignant le champ Value correspondant dans la zone Test, par exemple saisissez Chuck Norris puis cliquez sur Test! et vrifiez que les changements ont bien t effectus, ici : Chuck_Norris Cliquez sur OK pour valider et rptez la mme opration pour la deuxime colonne (State).
165
8.
Dans le tMap de sortie, slectionnez lexpression row2.State et cliquez sur le bouton [...] pour ouvrir de nouveau lExpression builder.
Cette fois, la fonction StringHandling utiliser est UPCASE. Lexpression complte est : StringHandling.UPCASE(row2.State). 9. Vrifiez que la syntaxe de votre code est correcte, en saisissant par exemple indiana dans le champ Value de la zone Test. Cliquez sur Test! et le rsultat affich est INDIANA. Cliquez sur OK pour valider. Les deux expressions sont maintenant affiches dans le champ tMap Expression.
Ces changements seront reports tout au long du processus et le flux de sortie est affich ci-dessous. La sortie de cet exemple saffiche comme suit :
166
Paramtres Output
Lorsque vous cliquez sur le bouton [+], afin dajouter un schma Output ou deffectuer une jointure entre vos tables de sortie, une bote de dialogue souvre, vous proposant deux possibilits.
Pour... Ajouter une table de sortie. Effectuer une jointure entre vos tables de sortie. Dans la liste droulante, slectionnez la table partir de laquelle effectuer la jointure, puis dans le champ Named, saisissez le nom de la table crer.
A la diffrence de la zone Input, lordre des tables de schmas Output na pas une grande importance, car il nexiste aucune relation de subordination (Join) entre les sorties. Une fois que vous avez cr toutes les connexions de sortie, et de ce fait, tous les schmas Output, vous pouvez slectionner et organiser les donnes de ces sorties. Dposez une ou plusieurs entres partir de la zone Input directement vers la table Output approprie. Appuyez sur Ctrl ou Maj pour une slection multiple. Ou vous pouvez utiliser des expressions de la zone Var par glisser-dposer dans la table Output avec les donnes rutilisables appropries. Notez que si vous apportez des modifications la colonne Input du Schema Editor, une bote de dialogue vous demande de confirmer la propagation des modifications sur toutes les entres Input/Variable/Output concernes.
Action Glisser-dposer vers des expressions existantes Glisser-dposer vers une ligne dinsertion Glisser-dposer + Ctrl Glisser-dposer + Maj Glisser-dposer + Ctrl + Maj Rsultat Concatne lexpression slectionne, vers des expressions existantes. Insre une ou plusieurs nouvelle(s) entre(s) en dbut ou en fin de table ou entre deux lignes existantes. Remplace les expressions en surbrillance par les expressions slectionnes. Ajoute les champs slectionns toutes les expressions en surbrillance. Insre de nouvelles lignes si ncessaire. Remplace toutes les expressions en surbrillance par les champs slectionns. Insre de nouvelles lignes si ncessaire.
167
Paramtres Output
Vous pouvez ajouter des filtres et un rejet pour personnaliser vos sorties.
Vous pouvez saisir librement vos conditions de filtre laide doprateurs et de fonctions Java. Dposez des expressions dune zone Input ou dune zone Var vers lentre de Filtre de la table Output approprie.
Un lien graphique de couleur orange apparat. Ajoutez loprateur Java ncessaire pour finaliser votre formule de filtre. Vous pouvez crer plusieurs filtres sur diffrentes lignes. Loprateur AND est la conjonction logique de tous les filtres formuls.
168
Paramtres Output
Le principe de rejet (Reject) concatne tous les filtres des tables non-rejet et les dfinit comme formulation ELSE. Pour dfinir une table de sortie comme la partie ELSE des tables rgulires : 1. 2. Cliquez sur le bouton tMap settings en haut de la table de sortie pour afficher le tableau des proprits. Cliquez sur le champ Value correspondant loption Catch output reject et cliquez sur le bouton [...] qui apparat pour ouvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur true, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
3.
Vous pouvez dfinir plusieurs tables Reject afin daffiner les sorties multiples. Pour diffrencier les variantes de rejets, ajoutez des tables Reject, des lignes de filtre en cliquant sur la flche au bouton [+]. Une fois quune table est dfinie comme table de rejet, le processus de vrification des donnes commencera par les tables rgulires avant de prendre en considration les filtres possibles des tables de rejet. Les donnes ne sont pas exclusivement traites vers une seule sortie. Mme si une donne satisfait le filtre de sortie et quelle est donc route vers elle, elle est galement vrifie contre les autres filtres et peut tre galement route vers dautres sorties.
3.
169
Paramtres Output
3.
170
Paramtres Output
Une nouvelle table appele ErrorReject saffiche dans lditeur du tMap, dans la zone de sortie. Cette table de sortie comprend automatiquement deux colonnes : errorMessage et errorStackTrace, qui retrouvent le message et la trace de la pile de lerreur rencontre durant lexcution du Job. Les erreurs peuvent tre des erreurs de format de dates, des null pointer exceptions, des problmes de conversion, etc. Vous pouvez galement glisser-dposer des colonnes (ici id et date) des tables dentre vers cette table de sortie de rejets. Ces donnes en erreur peuvent tre retrouves avec le message derreur correspondant et tre corriges ensuite.
Une fois la table ErrorReject dfinie, les flux correspondants peuvent tre envoys vers un composant de sortie.
171
Pour ce faire, dans lespace de modlisation graphique, cliquez-droit sur le composant tMap, slectionnez Row > ErrorReject dans le menu, et cliquez sur le composant de sortie correspondant, ici, le tLogRow. Lorsque vous excutez le Job, les erreurs sont retournes via le flux ErrorReject.
Le rsultat contient le message derreur, la trace de sa pile, et les deux colonnes id et date, glisses et dposes dans la table ErrorReject, spares par une barre verticale |.
172
Utilisez la barre doutils place sous la table de schma pour ajouter, dplacer et supprimer des colonnes du schma. Vous pouvez galement charger un schma partir du rfrentiel ou exporter le schma courant vers un fichier.
Mtadonnes Column Key Type Description Nom de colonne tel que dfini dans le schma du [Map Editor] et dans le schma du composant Input ou Output correspondant. La cl indique si la valeur de la cl dexpression devrait tre utilise pour retrouver les donnes dune autre table travers un lien Join. Si cette case est dcoche, la relation Join est dsactive. Type de donnes : Chane de caractres (String) ou entier (Integer). Cette colonne est obligatoire dans la version Java. Length Precision Nullable Default Comment -1 indique quaucune valeur de longueur na t dfinie dans le schma. Prcise le nombre de chiffres, droite de la virgule. Dcochez cette case si vous ne souhaitez pas autoriser les valeurs de champs nulles. Indique les valeurs par dfaut, si elles sont dfinies. Champ texte libre. Saisissez tout commentaire que vous jugerez utile.
Les schmas Input et Output sont indpendants les uns des autres. Vous pouvez par exemple changer le libell dune colonne Output sans que le libell du schma Input ne change.
Cependant, toute modification apporte au schma est immdiatement reporte sur le schma correspondant de la zone Input ou Output approprie, mais galement au niveau des proprits elles-mmes du composant Input ou Output concern. Un arrire-plan rouge saffiche lorsquun caractre non valide a t saisi. La plupart des caractres spciaux sont interdits pour rduire les risques de mauvaise interprtation dans le code. Les caractres autoriss sont : les minuscules et les majuscules, les chiffres ( lexception du caractre de dbut de chane).
173
rfrence dans la mmoire systme et ainsi en atteindre les limites, loption Store temp data vous permet de stocker les donnes de rfrence dans un dossier temporaire sur votre disque dur. Cette option peut tre slectionne sur la table Lookup de la zone Input ( gauche) de lditeur du tMap, le [Map Editor]. Pour activer loption Store temp data, suivez les tapes suivantes : 1. 2. Double-cliquez sur le composant tMap de votre Job pour lancer le [Map Editor]. Dans le panneau de gauche, correspondant aux sources Input et Lookup, cliquez sur la table Lookup affichant les donnes de Lookup que vous souhaitez charger sur le disque pour ne pas encombrer la mmoire. Cliquez sur le bouton tMap settings pour afficher le tableau des proprits. Cliquez sur le champ Value correspondant loption Store temp data, et cliquez sur le bouton [...] pour ouvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur true, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
3. 4.
5.
Pour que cette option soit totalement active, vous devez dfinir le rpertoire de votre disque dans lequel les donnes seront stockes, et la taille du buffer, savoir le nombre de lignes de donnes stockes dans chaque fichier temporaire. Vous pouvez spcifier le rpertoire de stockage temporaire des donnes et la taille du buffer la fois partir du Map Editor et de la vue Component du tMap. Pour paramtrer le rpertoire de stockage temporaire et la taille du buffer partir du Map Editor : 1. Cliquez sur le bouton Property Settings en haut de la zone Input pour ouvrir la bote de dialogue [Property Settings]. Dans la bote de dialogue [Property Settings], renseignez le chemin daccs complet vers le dossier dans lequel les donnes temporaire seront stockes dans le champ Temp data directory path. Dans le champ Max buffer size (nb of rows), spcifiez le nombre maximum de lignes contenues dans chaque fichier temporaire. La valeur par dfaut est de 2 000 000 lignes. Cliquez sur OK pour valider les paramtres et fermer la bote de dialogue [Property Settings].
2.
3.
4.
174
Pour paramtrer le rpertoire de stockage temporaire du composant tMap sans avoir ouvrir le Map Editor : 1. Cliquez sur le composant tMap dans lespace de modlisation pour le slectionner, puis slectionnez la vue Component pour afficher longlet Basic settings. Dans la zone Store on disk, renseignez le chemin daccs complet vers le dossier dans lequel les donnes temporaires seront stockes dans le champ Temp data directory path. Vous pouvez aussi utiliser une variable de contexte laide du raccourci Ctrl+Espace si vous avez configur une variable dans un groupe de contexte dans le Repository. Pour plus dinformations sur les contextes, consultez la section Centraliser les Contextes et les Variables
2.
A la fin de votre sous-job, les fichiers temporaires seront nettoys. Ainsi, vous limitez lutilisation de mmoire ddie pour le traitement des donnes de rfrence (lookup) sur votre disque.
Etant donn que lcriture du flux principal sur le disque ncessite le stockage de donnes, lordre des lignes en sortie peut ne pas tre respect.
175
Dans la vue Advanced settings, vous pouvez aussi ajouter un buffer, au besoin. Pour cela, renseignez le champ Max. buffer size (Nb of rows) afin de sparer les donnes stockes sur le disque en autant de fichiers que ncessaire.
Pour configurer le mode de chargement du flux de rfrence : 1. Cliquez sur le bouton tMap settings en haut de la table de rfrence (lookup) pour afficher le tableau des proprits. Cliquez sur le champ Value correspondant loption Lookup Model, et cliquez sur le bouton [...] pour ouvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur le mode de chargement souhait, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
2.
3.
176
Pour un exemple dutilisation de ces options, consultez la section tMap du Guide de rfrence des Composants de Talend Open Studio for Big Data.
Lorsque vous utilisez une table en flux de rfrence, nous vous conseillons douvrir une connexion la base de donnes au dbut de votre Job, afin doptimiser les performances. Pour un exemple de scnario utilisant cette option, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data.
Le tXMLMap est conu pour utiliser le type de donnes Document afin de traiter des donnes XML, en cas de transformation mlangeant souvent des donnes hirarchiques (XML) et des donnes plates. Il vous permet dajouter autant de flux dentre et de sortie que ncessaire dans un diteur graphique de mapping dans lequel vous pouvez effectuez des oprations, comme : multiplexage et dmultiplexage des donnes, transformation des donnes sur tout type de champs, particulirement sur le type Document, mise en correspondance de donnes via diffrents modes, par exemple le mode Unique match (consultez la section Utiliser les jointures explicites), construction automatise darbre XML des cts dentre et de sortie, jointures Inner Join et Left Outer Join (consultez la section Utiliser la fonction Inner Join), flux lookup entre tous types de sources de donnes, XML ou plates l'aide de modles comme Load once (consultez la section Gestion des rfrences), concatnation et inversion de champs, filtrage de champs laide de contraintes, gestion des rejets de donnes.
177
Comme pour le tMap, un diteur de mapping est requis pour configurer ces oprations. Pour ouvrir cet diteur, vous pouvez double-cliquer sur l'icne du tXMLMap dans l'espace de modlisation graphique ou bien cliquer sur le bouton [...] ct du Map Editor dans la vue Basic settings du composant tXMLMap. Les composants tXMLMap et tMap ont un fonctionnement quasiment identique. Ainsi, les sections qui suivent ne couvriront que le fonctionnement spcifique au tXMLMap, savoir le traitement des donnes hirarchiques. Les oprations relatives aux donnes hirarchiques sont : lutilisation du type Document. Pour plus dinformations, consultez la section Utiliser le type Document pour crer l'arborescence XML. la gestion des donnes XML de sortie. Pour plus d'informations, consultez la section Dfinir le mode de sortie. ldition de schmas darborescence XML. Pour plus dinformations, consultez la section Utiliser le Tree schema editor. Les sections suivantes reprennent plus en dtails les diverses fonctionnalits du tXMLMap.
A la diffrence du tMap, le tXMLMap ne possde pas l'option Store temp data pour stocker les donnes temporaires dans un rpertoire de votre disque. Pour plus d'informations concernant cette option du tMap, consultez la section Rsolution des problmes de mmoire lors de lutilisation du tMap.
178
Dans la plupart des cas, le tXMLMap rcupre le schma du composant prcdent ou suivant, par exemple, d'un tFileInputXML ou d'un scnario ESB, d'un tESBProviderRequest. Cela permet d'viter les efforts manuels lors de la dfinition du type Document dans le flux XML traiter. Cependant, pour continuer modifier la structure XML ainsi que le contenu d'une ligne de type Document, vous devez utiliser le Map editor.
Un flux Document comporte une arborescence XML personnalise et reprsente un seul champ du schma, pouvant contenir plusieurs champs de types diffrents. Pour plus d'informations concernant la configuration d'un schma, consultez section Onglet Basic settings.
Une fois une ligne de donnes dfinie comme type Document dans la table du flux de donnes correspondante, une arborescence XML de base est cre automatiquement pour reflter les dtails de la structure. L'arborescence reprsente le nombre d'lments minimum requis pour une arborescence XML valide, dans le tXMLMap : L'lment root (racine) : il est l'lment requis par une arborescence XML traiter et, si ncessaire, il est la base d'une arborescence XML plus sophistique. L'lment loop (de boucle) : il dtermine l'lment sur lequel s'effectue l'itration, afin de lire les donnes hirarchiques dans une arborescence XML. Par dfaut, l'lment racine est dfini comme l'lment de boucle.
Cette capture d'cran vous montre un exemple du flux dentre XML, Customer. A partir de la racine XML cre, vous pouvez dvelopper l'arborescence XML qui vous intresse. Pour ce faire, vous devez : 1. importer l'arborescence XML personnalise partir de sources de type : fichiers XML ou XSD (consultez la section Importer une structure XML partir de fichiers XML et XSD).
Lorsque vous importez un fichier XSD, vous crez la structure XML que dcrit le fichier XSD.
Si ncessaire, vous pouvez dvelopper manuellement l'arborescence XML qui vous intresse, l'aide des options fournies dans le menu contextuel.
2.
Dfinir l'lment de boucle pour l'arborescence XML que vous crez. Si vous avez cr plusieurs arborescences XML, vous devez dfinir un lment de boucle pour chacune d'entre elles. Si ncessaire, vous pouvez continuer modifier l'arborescence XML l'aide des options fournies dans le menu contextuel. Le tableau suivant prsente les oprations que vous pouvez effectuer via ces options.
Options Create Sub-element et Create Attribute Oprations Ajoute des lments ou des attributs l'arborescence XML importe. Consultez galement la section Ajouter un sous-lment ou un attribut une structure XML. Ajoute et gre des espaces de nommage donns dans la structure XML importe. Consultez galement la section Grer un espace de nommage. Supprime un lment ou un attribut. Consultez galement la section Supprimer un lment ou un attribut depuis la structure XML. Renomme un lment ou un attribut.
179
Oprations Dfinit ou rinitialise un lment de boucle. Cette option est disponible uniquement sur l'lment de boucle que vous avez dfini. Lorsque l'lment correspondant existe dans le fichier source, l'lment de boucle facultatif fonctionne de la mme manire qu'un lment de boucle normal. Sinon, il dfinit automatiquement son lment pre comme lment de boucle. En l'absence d'lment pre dans le fichier source, il prend l'lment du plus haut niveau hirarchique, avant l'lment racine. Cependant, dans des cas d'utilisation relle, avec des diffrences entre l'arborescence XML et la structure du fichier source, il est recommand d'adapter l'arborescence XML au fichier source, pour amliorer les performances.
Dans la structure XML de sortie, dfinit un lment comme group element. Consultez galement la section Grouper les donnes de sortie. Dans la structure XML de sortie, Dfinit un lment aggregate. Consultez galement la section Agrger les donnes de sortie. Configure l'lment Choice. Tous ses lments fils dvelopps seront contenus dans cette dclaration. Cet lment provient des concepts XSD. Il permet au tXMLMap d'excuter la fonction de l'lment Choice XSD afin de lire ou d'crire un flux Document. Lorsque le tXMLMap traite un lment Choice, les lments contenus dans sa dclaration ne sont pas crits en sortie, moins que leurs expressions de mapping soient dfinies de manire approprie. Le composant tXMLMap dclare automatiquement tout lment Choice dfini dans le fichier XSD import.
Set as Substitution
Configure l'lment Substitution afin de spcifier l'lment substituable pour un lment Head donn, dfini dans le XSD correspondant. L'lment de substitution permet au tXMLMap d'excuter la fonction de l'lment Substitution XSD afin de lire ou d'crire un flux Document. Lorsque le tXMLMap traite un lment de substitution, les lments contenus dans sa dclaration ne sont pas crits en sortie, moins que leurs expressions de mapping soient dfinies de manire approprie. Le composant tXMLMap dclare automatiquement tout lment Substitution dfini dans le fichier XSD import.
Les sections suivantes prsentent de manire dtaille les processus de cration d'arborescence XML.
2.
180
3.
Dans la bote de dialogue, parcourez votre systme jusqu'au fichier XML que vous souhaitez utiliser pour fournir la structure XML, puis double-cliquez sur le fichier.
Pour importer la structure XML d'un fichier XSD, procdez comme suit : 1. Dans la table dentre correspondante, cliquez-droit sur le nom de la colonne pour ouvrir le menu contextuel. Dans cet exemple, cliquez-droit sur la colonne Customer.
2. 3. 4.
Dans ce menu, slect Import From File. Dans la bote de dialogue, parcourez votre systme jusqu'au fichier XSD que vous souhaitez utiliser pour fournir la structure XML, puis double-cliquez sur le fichier. Dans la bote de dialogue qui apparat, slectionnez un lment racine dans la liste Root pour tre la racine de votre arborescence XML puis cliquez sur OK. L'arborescence XML dcrite par le fichier XSD importe est tablie.
La racine de l'arborescence XML est adaptable : Lorsque vous importez une structure XML d'entre ou de sortie partir d'un fichier XSD, vous pouvez choisir l'lment racine de votre arborescence XML. Une fois qu'une structure XML a t importe, la balise root est automatiquement renomme avec le nom de la source XML. Pour modifier le nom de la racine manuellement, vous devez utiliser l'diteur de schma. Pour plus d'informations concernant cet diteur, consultez la section Utiliser le Tree schema editor.
Puis spcifiez llment de boucle de cette structure XML. Pour plus dinformations sur le paramtrage de llment de boucle, consultez la section Dfinir ou rinitialiser un lment de boucle pour une structure XML cre.
5.3.1.3. Dfinir ou rinitialiser un lment de boucle pour une structure XML cre
Vous devez dfinir un minimum un lment de boucle pour tous les flux de donnes XML nayant pas dlment boucle dj dfini. S'ils en ont dj un, vous devez rinitialiser l'lment de boucle lorsque c'est ncessaire. Pour dfinir ou rinitialiser un lment de boucle, procdez comme suit : 1. Dans la structure XML cre, cliquez-droit sur llment que vous souhaitez dfinir comme lment boucle. Par exemple, vous souhaitez dfinir le nud Customer comme lment boucle.
2.
Dans le menu contextuel, slectionnez As loop element afin de dfinir l'lment slectionn comme lment boucle.
181
Une fois ceci effectu, l'lment slectionn se voit ajouter le texte suivant : loop : true.
Si vous fermez le Map Editor sans avoir dfini les lments de boucle ncessaires, comme expliqu plus tt dans ce scnario, l'lment racine est automatiquement dfini comme lment de boucle.
2.
Dans lassistant [Create New Element], saisissez le nom du sous-lment ou de lattribut ajouter.
182
3.
Cliquez OK pour valider la cration du nouvel lment. Ce nouveau sous-lment ou attribut apparat alors dans la structure XML.
2.
Llment ou lattribut slectionn est supprim, ainsi que tous les sous-lments ou attributs quil contenait.
183
2. 3.
Dans le menu contextuel, slectionnez Set A Namespace et lassistant [Namespace dialog] souvre. Dans cet assistant, saisissez lURI utiliser.
4.
Si vous devez ajouter un prfixe cet espace de nommage, cochez la case Prefix dans lassistant et saisissez le prfixe utiliser. Dans cet exemple, cochez la case et saisissez xhtml.
5.
184
2. 3. 4.
Dans le menu, slectionnez Set A Fixed Prefix pour ouvrir lassistant correspondant. Saisissez la nouvelle valeur dans cet assistant. Cliquez sur OK pour valider cette modification.
2.
Une fois le group element dfini, tous ses sous-lments sauf la boucle sont utiliss comme conditions pour regrouper les donnes de sortie. Vous devez crer avec soin larborescence XML pour une utilisation optimale dun group element donn. Pour plus dinformations concernant lutilisation dun group element, consultez le tXMLMap dans le Guide de rfrence des Composants de Talend Open Studio for Big Data.
Le tXMLMap propose des lments "group" et "aggregate" afin de classer les donnes dans la structure XML. Lorsque vous grez une ligne de donnes XML, la diffrence de comportement est la suivante :
185
L'lment "group" traite toujours les donnes en un seul flux. L'lment "aggregate" spare ce flux en diffrents flux XML complets.
2.
Cet lment de la slection devient le group element. La capture dcran vous montre un exemple de larborescence XML avec le group element.
2.
186
1.
Pour dfinir un lment en tant qu'lment "aggregate", cliquez-droit sur l'lment concern dans l'arborescence XML du ct droit du Map editor, puis, dans le menu contextuel, slectionnez As aggregate element. Cet lment devient l'lment "aggregate". Un texte lui est ajout : aggregate : true.
2.
Pour rvoquer la dfinition de l'lment "aggregate", cliquez-droit sur cet lment puis slectionnez Remove aggregate element, dans le menu contextuel.
Pour dfinir un lment "aggregate", assurez-vous que cet lment n'a pas d'enfant et que la fonctionnalit All in one est dsactive. L'option As aggregate element est disponible dans le menu contextuel si les deux conditions sont respectes. Pour plus d'informations concernant la fonctionnalit All in one, consultez la section Ecrire dans un document les lments en sortie.
Pour un exemple d'utilisation de l'lment "aggregate" avec le tXMLMap, consultez le Guide de rfrence desComposants de Talend Open Studio for Big Data.
Le composant tXMLMap propose les lments "group" et "aggregate" pour classer les donnes dans une structure XML. Lors de la gestion d'une ligne de donnes (flux XML complet), la diffrence de comportement est la suivante : L'lment "group" traite toujours les donnes dans un flux unique. L'lment "aggregate" spare ce flux en diffrents flux XML complets.
187
2.
Cliquez sur le champ All in one et, dans la liste droulante, slectionnez true ou false afin de choisir si le flux XML doit tre crit en un flux unique. Si vous slectionnez true, les donnes XML sont crites en un seul flux. Dans cet exemple, le flux unique s'affiche comme suit :
188
Si vous slectionnez false, les donnes XML sont crites dans des flux spars, chaque boucle reprsentant un flux. Dans cet exemple, les flux sont les suivants :
189
Chaque flux contient une structure XML complte. La structure du premier flux, par exemple est la suivante :
La fonctionnalit All in one est dsactive si vous utilisez l'lment "aggregate". Pour plus d'informations concernant l'lment "aggregate", consultez la section Agrger les donnes de sortie.
190
2.
Dans le panneau, cliquez sur le champ Create empty element et, dans la liste droulante, slectionnez true ou false afin de choisir d'crire ou non l'lment vide. Si vous slectionnez true, l'lment vide est cr dans le flux XML de sortie et crit, par exemple, comme suit <customer><LabelState/></customer>. Si vous slectionnez false, l'lment vide n'est pas crit.
Par exemple, dans cette capture d'cran, l'lment types est la boucle primaire et les donnes crites en sortie seront tries selon la valeur de cet lment.
191
Dans le cas d'une rception de plusieurs lments de boucle en entre, un bouton [...] apparat ct de l'lment recevant la boucle, ou dans le cas de donnes plates, apparat en haut de la table reprsentant le flux de donnes plat. Pour dfinir la squence des boucles, procdez comme suit : 1. Cliquez sur le bouton [...] pour ouvrir la fentre de configuration de squence comme dans la capture d'cran prsente prcdemment dans cette section. Utilisez les boutons de monte ou de descente afin de dfinir l'ordre de votre squence.
2.
192
Le schma de larborescence XML du flux dentre apparat gauche de longlet Tree schema editor, et celui du flux de sortie apparat droite. Le tableau suivant fournit des informations concernant cet diteur de schma.
Mtadonne XPath Key Type Description Le chemin absolu pointant sur chaque lment ou attribut de larborescence XML et ditez le nom de l'lment ou attribut correspondant. La cl indique si la valeur de la cl dexpression devrait tre utilise pour retrouver les donnes dune autre table travers un lien Join. Si cette case est dcoche, la relation Join est dsactive. Type de donnes : String, Integer, Document, etc. Cette colonne est obligatoire. Nullable Pattern Indique si les valeurs de champs nulles sont autorises. Indique si un modle est utilis pour les donnes de type Date. Les schmas dentre et de sortie sont indpendants les uns des autres. Vous pouvez par exemple changer le libell dune colonne de sortie sans que le libell dentre ne change.
Cependant, toute modification apporte au schma est immdiatement reporte sur le schma correspondant dans la zone Input ou Output correspondante dans lditeur du tXMLMap, mais aussi au niveau des proprits ellesmmes des composants Input et Output concern. Pour des scnarios dtaills concernant les nombreuses oprations que vous pouvez effectuer laide du tXMLMap, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data.
193
Toutes les routines sont conserves sous le nud Code > Routines de la vue Repository sur la gauche du Studio. Pour plus dinformations concernant les routines systme, consultez la section Accs aux routines systme. Pour plus dinformations concernant la cration des routines utilisateur, consultez la section Crer des routines personnalises.
Vous pouvez galement dfinir les dpendances des routines dans des Jobs. Pour ce faire, cliquez-droit sur un Job dans la vue Repository et slectionnez Set up routine dependencies. Dans la bote de dialogue qui souvre, toutes les routines sont dfinies par dfaut. Vous pouvez utiliser la barre doutils afin de supprimer les routines, si ncessaire.
196
Chaque classe rpertorie dans le dossier system contient plusieurs routines (fonctions). Double-cliquez sur la classe que vous souhaitez ouvrir. Toutes les routines, autrement dit toutes les fonctions prsentes dans une classe, se composent d'un commentaire explicatif suivi du code correspondant Java. 1. Appuyez sur Ctrl + O dans la routine ouverte. Une bote de dialogue affiche une liste des diffrentes routines de la catgorie. 2. Cliquez sur la routine souhaite. La vue bascule vers la section comprenant le texte descriptif de la routine et le code correspondant.
La syntaxe dappel des routines est sensible la casse.
Pour plus dinformations concernant une slection des routines les plus courantes (en Java), consultez l'annexe Routines systme.
2.
3. 4.
197
5. 6. 7.
Dans lespace de travail, slectionnez tout ou partie du code, et copiez-le via Ctrl+C Cliquez sur longlet correspondant votre routine utilisateur et collez le code du presse-papier (Ctrl+V). Adaptez ensuite le code vos besoins, et appuyez sur Ctrl+S afin de lenregistrer.
Nous vous recommandons dutiliser la partie commentaire (en bleu) pour dtailler les paramtres dentre et de sortie de votre routine et ainsi en faciliter la maintenance et la rutilisation.
198
2. 3.
Puis cliquez-droit sur Routines et slectionnez Create Routine. Lassistant [New routine] souvre. Saisissez les informations ncessaires la cration de la routine, telles que son nom, sa description... Cliquez sur Finish pour valider la cration et accder lditeur.
4.
La routine utilisateur nouvellement cre apparat directement sous le nud Routines dans la vue Repository. Lespace de travail souvre sur un modle de routine contenant par dfaut un exemple simple, compos dun commentaire en bleu, suivi du code correspondant.
Nous vous recommandons de documenter votre routine utilisateur laide dun commentaire dtaill. Ce commentaire inclut gnralement les paramtres dentre et de sortie attendus pour lutilisation de votre routine, ainsi que le rsultat retourn par la routine et un exemple dillustration. Ces informations sont gnralement utiles pour la maintenance des routines et le travail collaboratif.
199
public static void helloExample(String message) { if (message == null) { message = "World"; //$NON-NLS-1$ } System.out.println("Hello " + message + " !");
5.
Adaptez ou remplacez ce modle par votre propre code et sauvegardez-le laide de Ctrl+S, ou refermez le fichier pour lenregistrer automatiquement.
Vous pouvez galement copier tout ou partie dune classe ou routine systme vers une routine utilisateur laide des raccourcis du presse-papier : Ctrl+C et Ctrl+V afin de les adapter vos besoins. Pour plus dinformations concernant la personnalisation des routines, consultez la section Personnalisation des routines systme.
Pour diter vos routines utilisateur : 1. 2. 3. Cliquez-droit sur la routine que vous souhaitez diter, puis slectionnez Edit Routine. La routine souvre dans lespace de travail, et vous pouvez la modifier. Une fois adapte vos besoins, appuyez sur Ctrl+S afin de lenregistrer.
Si vous souhaitez rutiliser une routine systme pour vos besoins spcifiques, consultez la section Personnalisation des routines systme.
200
3.
Cliquez sur New pour ouvrir une nouvelle bote de dialogue dans laquelle vous pourrez importer la bibliothque externe.
Vous pouvez supprimer tout fichier de routine dj import en slectionnant le fichier dans la liste Library File et en cliquant sur le bouton Remove.
4. 5. 6.
Saisissez le nom du fichier bibliothque dans le champ Input a librarys name suivi du format de fichier (.jar), ou Slectionnez loption Browse a library file et cliquez sur Browse pour dfinir le chemin daccs au fichier dans le champ correspondant. Au besoin, saisissez une description dans le champ Description puis cliquez sur OK afin de confirmer vos modifications. Le fichier bibliothque import est affich dans la liste Library File, dans la bote de dialogue [Import External Library].
7.
Le fichier bibliothque est import dans le dossier bibliothque de votre Studio et saffiche dans la vue Module de votre Studio.
201
Pour plus dinformations concernant la vue Modules, consultez la section Installer des modules externes.
Pour faire appel lune de ces routines, il vous suffit dappeler le nom de la classe suivi du nom de la routine puis des paramtres attendus, tel que :
<ClassName>.<RoutineName>
1.
Dans la Palette, cliquez sur le dossier File > Management, puis glissez un tFileTouch dans lditeur graphique. Ce composant permet de crer un fichier vide.
202
2. 3.
Double-cliquez sur le composant afin dafficher sa vue Basic settings dans longlet Component. Dans le champ FileName, saisissez le chemin daccs votre fichier, ou cliquez sur le bouton [...] afin de parcourir votre rpertoire.
4. 5. 6.
Fermez les guillemets avant lextension de votre fichier, tel que : "D:/Input/customer".txt. Ajoutez le signe plus (+) entre les guillemets fermants et lextension du fichier. Puis appuyez sur Ctrl+Espace pour ouvrir la liste exhaustive des routines. Dans la liste dauto-compltion qui saffiche, slectionnez TalendDate.getDate pour utiliser la routine de Talend qui permet dobtenir la date courante. Modifiez le format de date fourni par dfaut si besoin. Saisissez + aprs la variable getDate pour terminer lappel de routine, puis entourez de guillemets lextension du fichier.
7. 8.
Si vous tes sous Windows, les : entre les heures et les minutes, et entre les minutes et les secondes doivent tre retirs.
9.
Appuyez sur F6 afin dexcuter votre Job. Le composant tFileTouch a cr un fichier vide qui porte la date du jour, telle que rcupre lors de lexcution de la routine appele GetDate.
203
206
Ralise lagrgation (sum, tSQLTemplateAggregate average, count, etc.) dun ensemble de donnes.
Rollback
Envoie une instruction Rollback tSQLTemplate au SGBDR. tSQLTemplateAggregate tSQLTemplateCommit tSQLTemplateFilterColumns tSQLTemplateFilterRows tSQLTemplateMerge tSQLTemplateRollback Supprime une source table. tSQLTemplate tSQLTemplateAggregate tSQLTemplateFilterColumns tSQLTemplateFilterRows tSQLTemplateAggregate tSQLTemplateFilterColumns tSQLTemplateFilterRows
Null
DropSourceTable
DropTargetTable
FilterColumns
Slectionne et extrait un tSQLTemplateAggregate ensemble de donnes dans des tSQLTemplateFilterColumns colonnes donnes du SGBDR. tSQLTemplateFilterRows
Nom de la table cible (et schma) Nom de la table source (et schma)
FilterRow
Slectionne et extrait un tSQLTemplateFilterRows ensemble de donnes dans des lignes donnes du SGBDR.
Nom de la table cible (et schma) Nom de la table source (et schma) Conditions
MergeInsert
Insre des enregistrements dune tSQLTemplateMerge table source vers une table cible. tSQLTemplateCommit
207
Nom de la table source (et schma) Conditions MergeUpdate Met jour la table cible avec tSQLTemplateMerge les enregistrements de la table tSQLTemplateCommit source. Nom de la table cible (et schma) Nom de la table source (et schma) Conditions
Chaque dossier contient un sous-dossier system, dans lequel se trouvent des instructions SQL prdfinies, et un sous-dossier UserDefined dans lequel vous pouvez stocker les instructions SQL que vous avez cres ou personnalises. Chaque dossier systme contient diffrents types de modles SQL, chaque modle tant cr pour accomplir une tche ddie. A lexception du dossier Generic, les modles SQL sont groups dans diffrents dossiers, selon le type de base de donnes avec lequel les utiliser. Les modles du dossier Generic ne sont ddis aucune base de donnes, ils sont standards et conviennent toutes. A partir de ceux-ci, vous pouvez dvelopper des modles SQL plus spcifiques que ceux dfinis par Talend Open Studio for Big Data.
Les dossiers system et leur contenu sont en lecture seule.
Dans la vue Repository, procdez comme suit pour ouvrir un modle SQL : 1. Dans la vue Repository, dveloppez le nud SQL Templates et parcourez jusquau modle que vous souhaitez ouvrir. Double-cliquez sur la classe que vous voulez ouvrir, par exemple aggregate, dans le dossier Generic. La vue du modle aggregate saffiche dans lespace de travail.
2.
208
Vous pouvez lire les instructions aggregate prdfinies dans la vue du modle, ainsi que les paramtres, tels que TABLE_NAME_TARGET, operation, qui sont dfinir lors de la cration de Jobs lis. La configuration peut ensuite facilement tre paramtre, via les composants associs, comme expliqu dans la section Dfinition des SQL Templates Talend. A chaque fois que vous cliquez sur un modle SQL ou que vous ouvrez un modle SQL, la vue des proprits correspondante ce modle saffiche en bas du Studio. Par exemple, vous cliquez le modle aggregate ou vous louvrez, ses proprits seront prsentes comme suit :
Pour plus dinformations concernant les types de modles SQL, consultez la section Les types de SQL Templates systme. Pour plus dinformations concernant lutilisation des modles SQL avec les composants associs, consultez la section Utiliser les SQL Templates.
209
2.
Cliquez-droit sur UserDefined et slectionnez Create SQL Template pour ouvrir lassistant [SQL Templates].
210
3.
Saisissez les informations requises pour crer le modle, puis cliquez sur Finish pour fermer lassistant. Le nouveau modle apparat sous le nud UserDefined, dans la vue Repository. Un diteur de modles SQL souvre dans lespace de modlisation graphique. Vous pouvez saisir le code du nouveau modle.
211
Fentre principale
214
Les diffrentes vues et leurs fonctionnalits associes sont dcrites dans la suite de ce manuel.
Tous les panneaux, onglets et vues dcrites dans cette documentation son spcifiques Talend Open Studio for Big Data. Certaines vues listes dans la bote de dialogue [Show view] sont spcifiques Eclipse et ne concernent pas cette documentation. Pour plus d'informations sur ces vues, veuillez consulter la documentation Eclipse sur http:// www.eclipse.org/documentation/
project Ouvre un bote de dialogue permettant de personnaliser les proprits du projet. Pour plus dinformations, consultez la section Personnalisation des paramtres du projet.
Import Export Exit Open File Edit Undo Move Node Redo Cut
Ouvre un assistant permettant dimporter diffrents types de ressources (fichiers, lments, prfrences, catalogues XML, etc.) de diffrentes sources. Ouvre un assistant permettant dexporter diffrents types de ressources (fichiers, lments, prfrences, catalogues XML, etc.) vers diffrentes destinations. Ferme la fentre principale du Studio. Ouvre un fichier partir du Studio. Annule la dernire action effectue dans lespace de modlisation du Studio. Reproduit la dernire action effectue dans lespace de modlisation du Studio. Coupe lobjet slectionn dans lespace de modlisation du Studio.
215
Menu
Description Copie lobjet slectionn dans lespace de modlisation du Studio. Colle lobjet pralablement copi dans lespace de modlisation du Studio. Supprime lobjet slectionn dans lespace de modlisation du Studio. Slectionne tous les composants prsents dans lespace de modlisation du Studio. Affiche limage du Job ouvert en plus grand. Affiche limage du Job ouvert en plus petit. Affiche la grille dans lespace de modlisation graphique. Tous les lments salignent alors sur la grille. Active la fonction Snap to Geometry (Aligner sur la grille). Ouvre une liste de diffrentes perspectives selon les lments de la liste. Ouvre la bote de dialogue [Show View] permettant dafficher les diffrentes vues dans le Studio.
View
Window
Maximize Active Agrandit la vue courante. View or Editor... Preferences Ouvre la bote de dialogue [Preferences] permettant de paramtrer les prfrences de Talend Open Studio for Big Data. Pour plus dinformations concernant les prfrences, consultez section Configuration des prfrences de Talend Open Studio for Big Data. Help Welcome Help Contents la
Ouvre une page daccueil contenant des liens vers la documentation de Talend Open Studio for Big Data et vers les sites pratiques de Talend. Ouvre laide en ligne dEclipse.
About Talend Open Affiche : Studio for Big Data -la version du logiciel utilis -des informations dtailles sur la configuration du logiciel pouvant tre utile en cas de problme -des informations dtailles sur le(s) plug-in(s) -des informations dtailles concernant les fonctionnalits de Talend Open Studio for Big Data. Export logs Ouvre un assistant vous permettant dexporter tous les fichiers .log gnrs par le Studio et des informations sur la configuration de votre ordinateur dans un fichier archive. Find and Install... : Ouvre un assistant [Install/Update] permettant de chercher les mises jour des fonctionnalits installes ou de chercher de nouvelles fonctionnalits installer. Manage Configuration... : Ouvre une bote de dialogue [Product Configuration] dans laquelle grer la configuration de Talend Open Studio for Big Data.
Software Updates
216
Repository
Icne
Description Enregistre en tant que nouveau Job. Exporte les lments du Repository dans un fichier archive, pour les dployer en dehors de Talend Open Studio for Big Data. Si vous souhaitez importer les lments exports dans une version plus rcente de Talend Open Studio for Big Data ou dun autre ordinateur, assurez-vous davoir inclu les fichiers source dans larchive, en cochant la case adquate. Importe les lments du Repository dun fichier archive dans la version courant de Talend Open Studio for Big Data. Pour plus dinformations, consultez la section Import dlments. Lance lassistant de recherche de Job vous permettant douvrir tout Job list dans la vue Repository. Excute le Job courant ouvert dans lespace de modlisation. Pour plus dinformations, consultez la section Excuter un Job Lance lassistant de cration. A partir de ce menu, vous pouvez crer nimporte quel lment du Repository :, Job Designs, contextes, routines, etc. Lance la fentre [Project Settings] des paramtres du projet. A partir de cette fentre, vous pouvez ajouter une description au projet en cours et personnaliser laffichage de la Palette. Pour plus dinformations, consultez la section Personnalisation des paramtres du projet. Cherche les mises jour disponibles pour vos Jobs. Lance lassistant [Export Talend projects] dExport de projet. Pour plus dinformations concernant lExport de projet, consultez la section Exporter un projet.
Import items
A.3. Repository
Le rfrentiel, Repository, est une arborescence regroupant les lments techniques disponibles la conception des Job Designs. Le Repository vous donne accs aux Job Designs ainsi qu toutes les routines rutilisables pour leur conception. Ce Repository centralise et conserve localement tous les lments ncessaires la conception d'un Job contenus dans un projet. La capture dcran ci-dessous montre les lments stocks dans le Repository.
Le bouton
vous permet de mettre jour l'arborescence et d'y inclure les dernires modifications.
217
Le Repository stocke tous vos projets (Jobs ) . Le tableau ci-dessous dcrit les nuds de la vue Repository.
Description Le dossier Job Designs montre larborescence des Jobs crs dans le projet courant. Double-cliquez sur le nom dun Job pour louvrir dans lespace de modlisation graphique. Pour plus dinformations, consultez le chapitre Conception dun Job dintgration de donnes. Le dossier Context groupe les fichiers contenant les variables de contextes que vous souhaitez rutiliser dans diffrents Jobs, comme les chemin daccs ou les informations de connexion. Pour plus dinformations, consultez section Centraliser les Contextes et les Variables. Le dossier Code est une librairie regroupant les routines disponibles dans ce projet et les autres pices de code pouvant tre rutilises dans le projet. Cliquez sur lentre de larborescence afin de dvelopper la pice de code correspondante. Pour plus dinformations, consultez le chapitre Conception dun Job dintgration de donnes.
Contexts
Code
Le dossier SQL Templates regroupe tous les modles SQL systme et offre la possibilit de crer des modles SQL personnaliss. Pour plus dinformations, consultez section Utiliser les SQL Templates. Recycle bin, la Corbeille rassemble tous les lments supprims partir de tout dossier du Repository. Les lments supprims sont toujours prsents dans vos fichiers systme, dans la Corbeille, jusqu ce que vous cliquiez-droit sur licne de la Corbeille et slectionnez Empty Recycle bin. Dveloppez la Corbeille afin de voir les dossiers, les sous-dossiers ou lments qu'elle contient. Vous pouvez agir directement sur un lment depuis la Corbeille, le restaurer ou le supprimer dfinitivement en cliquant-droit dessus et en slectionnant l'action souhaite dans la liste.
218
Palette
Une Palette est rattache lespace de modlisation pour vous permettre daccder rapidement tous les lments graphiques (formes et composants techniques) rpondant vos besoins.
A.5. Palette
A partir de la Palette, dposez lesnotes ou composants techniques dans lespace de modlisation. Puis dfinissez et formatez les lments graphiques laide des paramtres de proprits disponibles dans la vue Component pour les Job Designs. Voir galement : chapitre Conception dun Job dintgration de donnes. section Personnaliser lespace de travail.
219
Onglets de configuration
Les onglets Component, Run Job et Error Log regroupent toutes les informations relatives aux lments graphiques slectionns dans lespace de modlisation ou lexcution elle-mme du Job complet. Les onglets Modules et Scheduler se trouvent dans la mme zone que les onglets Component, Run Job et Error Log. Ces deux vues sont indpendantes des Jobs, actifs ou inactifs, ouverts dans lespace de modlisation.
Vous pouvez afficher plus donglets et ouvrir la vue correspondante directement si vous slectionnez Window > Show view puis, dans la bote de dialogue, dveloppez un nud et slectionnez llment que vous souhaitez afficher.
220
Description Pour plus dinformations, consultez section Installer des modules externes. La vue Job affiche de nombreuses informations relatives au Job ouvert dans lespace de modlisation graphique. Cette vue contient les onglets suivants : Onglet Main Cet onglet affiche des informations simples concernant le Job ouvert dans lespace de modlisation graphique, cest--dire son nom, son auteur, son numro de version, etc. Ces informations sont en lecture seule. Pour les diter, vous devez fermer votre Job, cliquer-droit sur son libell dans la vue Repository et cliquez sur Edit properties dans le menu contextuel. Onglet Extra Cet onglet affiche les paramtres supplmentaires comme les fonctions de multi thread et de chargement de contexte implicite. Pour plus dinformations, consultez section Fonctions Extra Onglet Stats & Logs Cet onglet vous permet dactiver/dsactiver les statistiques et les logs du Job complet. Vous pouviez dj utiliser ces fonctions pour chaque composant de votre Job, en utilisant et configurant les composants adquats : tFlowMeterCatcher, tStatCatcher, tLogCatcher. Pour plus dinformations concernant ces composants, consultez le Guide de Rfrence des Composants de Talend Open Studio for Big Data. De plus, vous pouvez dornavant appliquer ces fonctionnalits la totalit de votre Job actif (cest--dire tous les composants de votre Job) en une seule fois, sans utiliser les composants Catcher mentionns plus haut. Ainsi, tous les composants sont rcuprs et transfrs dans un fichier log ou une table de donnes en fonction de votre Job. Vous pouvez galement sauvegarder les paramtres courants comme paramtres de projet en cliquant sur le bouton .
Pour plus dinformations concernant le fonctionnement automatique des Stats & Logs, consultez section Automatiser lutilisation des statistiques & logs Onglet Version Cet onglet regroupe les diffrentes versions du Job ouvert, ainsi que leurs date et heure de cration et de modification. Problems Cette vue affiche tous les messages lis aux icnes lies aux composants en cas de problme, par exemple lorsquil manque une partie de la configuration. Trois types dicnes/messages existent : Error, Warning et Infos. Pour plus dinformations, consultez section Grer les icnes davertissement/derreur sur les composants. Job Hierarchy Cette vue affiche, sous forme darborescence, les Jobs enfant du Job parent slectionn. Pour faire apparatre cette vue, cliquez-droit sur un Job parent dans le Repository et slectionnez loption Open Job Hierarchy dans le menu contextuel. Vous pouvez galement afficher cette vue en suivant le chemin Window > Show view... > Talend > Job Hierarchy. La hirarchie dun Job napparatra que si vous crez un Job parent et un ou plusieurs enfant(s) laide du composant tRunJob. Pour plus dinformations concernant le tRunJob, consultez le Guide de Rfrence des Composants de Talend Open Studio for Big Data.
221
Raccourcis clavier
Pour plus dinformations, consultez la section Afficher les onglets Code ou Outline de votre Job.
Excuter le Job courant ou afficher la vue Run Job si aucun Job nest Application globale ouvert. Afficher la vue Module. Afficher la vue Problems. Affiche longlet Designer du Job courant. Afficher longlet Code du Job courant. Restaurer la vue Repository initiale. Synchroniser les templates javajet. Ouvrir un Job. Passer en mode Debug. Rafrachir la vue Repository. Arrter le Job courant. Rafrachir le statut dinstallation des Modules. Excuter les requtes SQL. Application globale Application globale Application globale Application globale Dans la vue Repository Application globale Application Windows) globale (sous
Dans la vue Run Job Dans la vue Repository Dans la vue Run Job Dans la vue Modules Commande Windows) Talend de la (sous vue
Accder aux variables globales et de contexte. Cela peut tre des Dans un champ messages derreur ou le numro de ligne, en fonction du composant Component slectionn.
222
224
Cration du Job
1. Cration du Job, configuration du schma d'entre et lecture du fichier d'entre selon le schma dfini. 2. Dfinition de la commande activant la fonctionnalit de flux de sortie. 3. Mapping des donnes via le composant tMap. 4. Ecriture en sortie du flux de donnes slectionn. Vous pouvez voir le Job termin dans la capture d'cran ci-dessous. Pour consulter les instructions dtailles relatives la cration du Job, lisez les sections suivantes.
2. 3. 4.
Cliquez sur le bouton [...] ct du champ File name/Stream et parcourez votre systme jusqu' votre fichier d'entre. Vous pouvez galement saisir manuellement le chemin d'accs ce fichier. Cliquez sur Edit schema pour ouvrir une bote de dialogue dans laquelle configurer la structure du fichier d'entre. Cliquez six fois sur le bouton [+] pour ajouter six colonnes, puis, dans la colonne Type, slectionnez Integer pour les colonnes id et CustomerAge, String pour les colonnes CustomerName, CustomerAddress et CustomerCity. Slectionnez Date pour la colonne RegisterTime.
225
Cration du Job
5.
2.
La commande saisie ci-dessus cr un nouveau rpertoire C:/myFolder pour sauvegarder le fichier de sortie customerselection.txt. Vous pouvez personnaliser la commande selon vos besoins.
3.
Reliez le tJava au tFileInputDelimited l'aide d'un lien Trigger > On Subjob Ok. Cela dclenche le tJava lorsque le sous-job commenant par le tFileInputDelimited est correctement excut.
226
Cration du Job
2.
Cliquez sur le bouton [...] ct du Map Editor pour ouvrir une bote de dialogue dans laquelle configurer le mapping. Cliquez sur le bouton [+] de gauche pour ajouter six colonnes au schma d'entre, ces colonnes devant tre id, CustomerName, CustomerAge, CustomerAddress, CustomerCity, RegisterTime.
3.
4.
227
Cration du Job
5.
Slectionnez New output et cliquez sur OK pour sauvegarder votre schma de sortie. Le schma de sortie est vide. Cliquez sur le bouton [+] sous la table out1 pour ajouter trois colonnes aux donnes de sortie.
6.
7.
Dposez les colonnes id, CustomerName et CustomerAge de la gauche la droite, dans leurs lignes respectives.
8.
2.
228
Cration du Job
3.
Reliez le tFileInputDelimited au tMap l'aide d'un lien Row > Main puis reliez le tMap au tFileOutputDelimited l'aide du lien Row > out1, dfini dans le Map Editor du tMap. Cliquez sur le bouton Sync columns pour rcuprer le schma du composant prcdent.
4.
Pour crire dans la console les donnes slectionnes : 1. Dposez un tLogRow de la famille Logs & Errors dans l'espace de modlisation graphique. Double-cliquez sur ce composant afin d'ouvrir sa vue Basic settings Slectionnez l'option Table dans la zone Mode.
2.
3. 4.
Reliez le tFileOutputDelimited au tLogRow l'aide d'un lien Row > Main. Cliquez sur Sync columns pour rcuprer le schma dfini dans le composant prcdent.
Appuyez sur les touches Ctrl+S afin de sauvegarder votre Job et appuyez sur F6 pour l'excuter.
229
Les donnes slectionnes sont galement crites dans le fichier local customerselection.txt.
Pour un exemple de Job utilisant cette fonctionnalit, consultez le composant tFileOutputDelimited du Guide de rfrence des Composants de Talend Open Studio for Big Data. Pour consulter les principes de la fonctionnalit Use Output Stream, consultez la section Utiliser la fonctionnalit Use Output Stream.
230
Prsentation du scnario
231
Du scnario au Job
B.2.2.1. Etape 1 : Cration du Job, dfinition des donnes dentre, lecture du fichier
Aprs avoir lanc Talend Open Studio for Big Data, crez un projet en local ou importez un projet dmo si vous lancez Talend Open Studio for Big Data pour la premire fois. Pour plus d'informations, veuillez vous rfrer section Lancement de Talend Open Studio for Big Data et section Travailler avec les projets. Cette fentre est divise en plusieurs espaces : A gauche : le Rfrentiel (Repository) dans lequel sont rfrencs tous les Jobs, Code partag, etc. Au centre : lEditor (l'Editeur, espace de modlisation principal) En bas : les onglets Component et Job, etc. A droite : la Palette des composants techniques . Sur la gauche du Studio, le Rfrentiel donne accs aux trois principaux outils de Talend Open Studio for Big Data: Le Job Designer : Pour plus dinformations, consultez la section Crer un Job. Pour crer le Job, cliquez dabord sur llment Job Designs du Rfrentiel avec le bouton droit de la souris et slectionnez la premire option du menu : Create Job. Dans la bote de dialogue qui apparat alors lcran, seul le premier champ Name est obligatoire. Saisissez California1 et cliquez sur Finish. Un Job vide souvre ensuite dans la fentre principale et la Palette de composants techniques apparat (par dfaut, droite du Studio) affichant une dizaine de familles de composants, notamment : Databases, Files, Internet, Data Quality, etc. Plus de 400 composants sont disponibles actuellement. Pour lire le fichier California_Clients, utilisez le composant tFileInputDelimited. Ce composant se trouve dans la famille File > Input de la Palette. Cliquez sur ce composant et placez-le la gauche de lespace de modlisation. Dfinissez maintenant les proprits de lecture de ce composant : chemin daccs, sparateur de colonnes, encodage, etc.
232
Du scnario au Job
Pour ce faire : 1. 2. 3. 4. 5. Glissez le tFileInputDelimited du groupe File de la Palette dans l'espace de modlisation graphique. Double-cliquez sur le tFileInputDelimited pour ouvrir sa vue Basic settings dans l'onglet Component. Dans le champ File name/Stream, dfinissez le chemin d'accs au fichier d'entre. Dans le champ Header, dfinissez le nombre de lignes que vous ne souahitez pas voir apparatre en lisant le fichier d'entre. Cliquez sur le bouton [...] prs du bouton Edit schema pour ouvrir la bote de dialogue [Schema] pour dfinir la structure du fichier d'entre. Cliquez ensuite sur OK pour fermer la bote de dialogue.
233
Du scnario au Job
A cette tape, terminez votre flux en envoyant tout simplement les donnes lues dans le fichier dentre vers une sortie standard (StdOut). Pour ce faire, ajoutez un composant tLogRow (de la famille Logs & Errors). Pour lier ces deux composants, cliquez-droit sur le composant dentre et slectionnez Row > Main. Puis cliquez sur le composant de sortie tLogRow. Ce Job est maintenant prt tre excut. Pour lexcuter, slectionnez la vue Run dans le bas de la fentre. Activez les statistiques en cochant la case Statistics dans longlet Advanced settings de la vue Run, puis excutez le Job en cliquant sur le bouton Run, dans longlet Basic Run.
234
Du scnario au Job
Supprimez la connexion reliant vos deux composants via un clic-droit sur cette connexion et en slectionnant loption Delete. Puis placez le tMap entre les deux autres composants et reliez-le au composant dentre comme vous lavez fait prcdemment. Enfin, pour lier le composant tMap la sortie standard, cliquez-droit sur le tMap et slectionnez Row > *New Output* (Main). Saisissez out1 dans la bote de dialogue et cliquez sur le composant tLogRow pour crer la connexion. Logiquement, une bote de dialogue apparat (pour la rtro-propagation des schmas), ignorez-la en cliquant sur No. Maintenant, double-cliquez sur le tMap pour accder son interface. A gauche, vous trouverez le schma (description) de votre fichier dentre (row1). A droite, votre sortie est encore vide pour le moment (out1). Dposez les colonnes FirstName et LastName de la gauche vers la droite dans la colonne Name, comme le montre la capture dcran suivant. Puis dposez les autres colonnes Address et City dans leur ligne respective.
Puis effectuez les transformations suivantes sur chaque colonne : Changez les donnes de la colonne Name de la manire suivante : row1.Firstname + " " + row1.LastName Cette action concatne les colonnes Firstname et Lastname dans une seule colonne en respectant la syntaxe Java employe. Changez les donnes de la colonne Address de la manire suivante : row1.Address.toUpperCase()Cette action met ladresse en majuscule. Puis supprimez la colonne LastName de la table out1, et augmentez la longueur des colonnes restantes. Pour cela, cliquez sur longlet Schema Editor situ en bas de lditeur du [Map Editor] et procdez comme suit :
1. 2. 3.
Slectionnez la colonne supprimer du schma, et cliquez sur licne reprsentant une croix rouge. Slectionnez la colonne dont vous souhaitez augmenter la longueur. Saisissez la longueur que vous voulez dans la colonne Length. Dans cet exemple, modifiez la longueur de chaque colonne restante en 40.
Comme les noms et prnoms des clients sont concatns, il est ncessaire daugmenter la longueur de la colonne name, afin de prendre en compte la longueur complte du nom.
Aucune transformation nest effectue sur la colonne City. Cliquez sur OK pour valider les modifications et fermer lditeur. Si vous excutez votre Job cette tape (via longlet Run, comme prcdemment), vous remarquerez que les changements que vous avez apports ont t implments.
235
Du scnario au Job
Ladresse a t mise en majuscule et les prnoms et noms ont t regroups dans une seule colonne.
B.2.2.3. Etape 3 : Dfinition du fichier de rfrence, mapping des donnes de rfrence, slection du mode Inner Join
Dfinissez la mtadonne correspondant au fichier LosAngelesandOrangeCounties.txt comme vous lavez fait dans ltape 1 avec le fichier California_clients. Commencez par glisser un autre composant tFileInputDelimited dans l'espace de modlisation graphique et dfinissez ses proprits de base : le chemin d'accs au fichier d'entre, le nombre de lignes faire disparatre et la dfinition du schma. Reliez ce composant au tMap.
236
Du scnario au Job
Double-cliquez de nouveau sur le composant tMap pour ouvrir son interface. Notez que la table de rfrence (row2) correspondant au fichier LosAngelesandOrangeCounties.txt, apparat gauche de la fentre dans la zone Input dentre, juste en dessus de votre flux dentre principal (row1). Maintenant, dfinissez la jointure entre le flux principal et le flux de rfrence. Dans ce scnario, la jointure est simple dfinir puisque la colonne City est prsente dans les deux fichiers dentre et que les donnes correspondent parfaitement. Mais si a navait pas t le cas, il aurait t possible de rapprocher les donnes (padding, changement de casse, etc.) directement ce niveau. Pour tablir la jointure, dposez la colonne City de la premire table dentre vers la colonne City de la table de rfrence. Un lien violet apparat pour matrialiser cette jointure.
Maintenant, vous pouvez utiliser la colonne County de la table de rfrence dans la table de sortie (out1).
Enfin, cliquez sur le bouton OK pour valider les modifications et excutez ce nouveau job. La sortie suivante saffichera dans la console :
237
Du scnario au Job
Comme vous pouvez le voir, la dernire colonne ne contient que les villes des rgions dOrange et de Los Angeles. Pour les autres villes, cette colonne reste vide. Ceci est d au fait que par dfaut le tMap tablit une jointure Left Outer Join. Si vous souhaitez appliquer un filtre permettant de nafficher que les donnes pour lesquelles une correspondance a t trouve par le tMap, cliquez sur le bouton tMap settings et slectionnez Inner Join dans la liste Join Model sur la table de rfrence (row2).
Dans longlet Basic Settings de ce composant : 1. 2. 3. Saisissez LA_Orange_clients dans le champ Table pour nommer votre table cible qui va tre cre la vole. Slectionnez loption Drop table if exists and create dans le champ Action on table. Cliquez sur Edit Schema et sur le bouton Reset DB type (le bouton en forme de base de donnes dans la barre doutils) pour renseigner automatiquement le type de base de donnes, si ncessaire.
Excutez nouveau le Job. La table cible devrait tre automatiquement cre et remplie en moins dune seconde. Dans ce scnario, seuls quatre composants diffrents sont utiliss, mais la Palette en contient plus de 450 (bases de donnes, Webservices, FTP, etc.). Dautres composants, raliss cette fois par la communaut, sont disponibles sur le site communautaire : talendforge.org. Pour plus dinformations concernant les composants, consultez le Guide de rfrence des Composants de Talend Open Studio for Big Data.
238
3.
239
2.
Dans les listes correspondantes, slectionnez la distribution Hadoop ainsi que sa version. Dans cet exemple, utilisez les paramtres par dfaut : distribution HortonWorks avec le numro de version HortonWorks Data Platform V1. Renseignez, entre guillemets doubles, le nom de l'hte ou l'adresse IP de votre serveur Templeton ainsi que le port de Templeton. Dans la liste Operation on, slectionnez Database. Dans la liste Operation, slectionnez Create. Dans le champDatabase, saisissez un nom pour la base de donnes que vous crez, talenddb_hadoop dans cet exemple. Dans le champ Username, saisissez l'identifiant d'authentification la base de donnes. Dans le champ Database location, saisissez l'emplacement du fichier de base de donnes crer dans HDFS.
3.
4. 5.
6. 7.
240
2.
Comme dans le premier tHCatalogOperation, spcifiez votre distribution et sa version, l'hte ou l'adresse IP de Templeton, ainsi que son port. Dans la liste Operation on, slectionnez Table. Dans la liste Operation, slectionnez Create. Lorsque vous travaillez sur une table, HCatalog vous demande de dfinir un schma pour cette table. Ce schma, cependant, n'intervient pas dans les oprations suivantes, vous pouvez donc simplement cliquer sur le bouton [...] et ajouter une colonne au schma. Donnez-lui un nom diffrent de celui que vous allez utiliser pour la colonne de partition.
3.
4.
Spcifiez la mme base de donnes et le mme identifiant que dans le premier composant tHCatalogOperation. Dans le champ Table, saisissez un nom pour la table crer, weblog dans cet exemple. Cochez la case Set partitions et cliquez sur le bouton [...] ct du champ Edit schema afin de configurer une partition et un schma de partition. Notez que le schma de partition ne doit contenir aucun nom de colonne dfini dans le schma de la table. Dans cet exemple, la colonne du schma de partition se nomme ipaddresses.
5. 6.
241
2.
3.
4. 5.
2.
242
3.
Cliquez sur le bouton [...] pour vrifier que le schma a bien t propag depuis le composant prcdent. Si ncessaire, cliquez sur le bouton Sync columns afin de rcuprer le schma. Pour les renseignements suivants, utilisez les mmes informations que dans le premier Job : Distribution et version de Hadoop Hte ou adresse IP de Templeton et numro de son port Table de la base de donnes HCatalog et identifiant
4.
5. 6. 7. 8.
Dans le champ NameNode URI, saisissez l'URI du NameNode de HDFS. Dans le champ File name, spcifiez le chemin d'accs et le nom du fichier de sortie dans HDFS. Dans la liste Action, slectionnez Create poru crer le fichier, ou Overwrite si le fichier existe dj. Dans le champ Partition, saisissez la paire de partition nom-valeur, ipaddresses='192.168.1.15' dans cet exemple. Dans le champ File location, saisissez l'emplacement o sauvegarder les donnes, /user/hcat/access_log dans cet exemple.
9.
243
2.
Cliquez sur le bouton [...] pour ouvrir la bote de dialogue [Schema] et dfinir le schma d'entre. Dans cet exemple, copiez simplement le schma du composant tApacheLogInput ou tHCatalogOutput. Pour toutes les autres options, utilisez les mmes paramtres que dans le composant tHCatalogOutput. Dans la vue Basic settings du tLogRow, slectionnez le mode Vertical afin d'afficher pour chaque ligne la cl et la valeur, l'excution du Job.
3. 4.
244
245
2.
Dans la vue Basic settings du composant tPigFilterRow, cliquez sur le bouton [+] pour ajouter une ligne la table Filter configuration et configurez les paramtres de filtre, afin de supprimer les enregistrements contenant le code 404 et de passer les autres enregistrements dans le flux de sortie : Dans le champ Logical, slectionnez AND. Dans le champ Column, slectionnez la colonne code du schma. Cochez la case NOT Dans le champ Operator, slectionnez equal. Dans le champ Value, saisissez 404.
3.
Dans la vue Basic settings du tPigFilterColumns, cliquez sur le bouton [...] pour ouvrir la bote de dialogue [Schema]. Dans le panneau Output, configurez deux colonnes, host et count, stockant les informations des adresses IP ainsi que le nombre de visites sur le site Web, respectivement.
246
4. 5.
Dans la vue Basic settings du composant tPigAggregate, cliquez sur le bouton Sync columns afin de rcuprer le schma du composant prcdent et propagez-le au composant suivant. Configurez les paramtres suivants afin de compter le nombre d'occurrences de chaque adresse IP : Dans la zone Group by, cliquez sur le bouton [+] pour ajouter une ligne la table et slectionnez la colonne count dans le champ Column. Dans la zone Operations, cliquez sur le bouton [+] pour ajouter une ligne la table et slectionnez la colonne count dans le champ Additional Output Column, slectionnez count dans la fonction Function et slectionnez la colonne host dans le champ Input Column.
6.
Dans la vue Basic settings du composant tPigSort, configurez les paramtres de tri, afin de trier les donnes passer : Cliquez sur le bouton [+] pour ajouter une ligne la table Sort key.
247
Dans le champ Column, slectionnez count pour dfinir la colonne count comme cl. Dans le champ Order, slectionnez DESC pour trier les donnes en ordre descendant.
7.
Dans la vue Basic settings du tPigStoreResult, configurez les proprits du composant afin de charger les donnes de rsultats l'emplacement spcifi dans le systme Hadoop : Vrifiez le schma, rcuprez-le du composant prcdent si ncessaire. Dans le champ Result file, saisissez le chemin d'accs au fichier de rsultats. Dans la liste Store function, slectionnez PigStorage. Si ncessaire, cochez la case Remove result directory if exists.
248
2.
Pour les options suivantes, utilisez les mmes paramtres que dans le Job prcdent : Le schma doit contenir deux colonnes, host et count, selon la structure du fichier charg dans HDFS via la chane Pig dans le Job prcdent. La distribution et la version de Hadoop, HortonWorks et HortonWorks Data Platform V1. URI du NameNode, hdfs://talend-hdp:8020/.
3. 4. 5.
Dans le champ User name, saisissez un identifient pouvant accder au fichier dans HDFS. Dans le champ File Name, saisissez le chemin d'accs et le nom du fichier dans HDFS. Dans la vue Basic settings du tLogRow, slectionnez l'option Table.
Aprs avoir configur les quatre Jobs, vous pouvez les excuter un par un. Aprs russite de l'excution du dernier Job, la console systme affiche les adresses IP ainsi que les appels de services correctement excuts et le nombre de visites sur le site Web pour chaque adresse IP.
Guide utilisateur de Talend Open Studio for Big Data 249
250
Cre une squence si elle nexiste pas et attribue Numeric.resetSequence (Identifiant une nouvelle valeur de dbut. squence, valeur de dbut) Supprime une squence.
Numeric.RemoveSequence squence) (Identifiant
de
la
Retourne un entier au hasard entre les valeurs Numeric.random(valeur minimale et maximale. valeur limite de fin)
limite
de
dbut,
Retourne un dcimal laide dun modle dcimal Numeric.convertImpliedDecimal implicite. Format("Format Cible", valeur convertir)
La valeur saisie en paramtre est convertie automatiquement par la routine selon le format dcimal implicite fourni :
252
Pour accder ces routines, double-cliquez sur la classe Relational du dossier system. La classe Relational contient plusieurs routines notamment :
Routine ISNULL Description vrifie si la variable donne est de valeur nulle. Syntaxe
Relational.ISNULL(variable vrifier)
Vous pouvez tester une routine Relational, comme la routine ISNULL, laide dun composant tJava par exemple :
vrifie si lexpression est trie par ordre StringHandling.ALPHA("chane vrifier") alphabtique. Retourne le boolen true si lordre alphabtique est vrifi, et false, dans le cas inverse. vrifie si lexpression ne contient que des StringHandling.IS_ALPHA("chane vrifier") caractres alphabtiques. Retourne le boolen true si cest le cas, et false dans le cas inverse. remplace un lment dune chane de caractres StringHandling.CHANGE("chane vrifier", par llment de remplacement dfini et retourne "chane remplacer","chane de la nouvelle chane. remplacement") retourne le nombre doccurrences dune sous- StringHandling.COUNT("chane chane dans une chane de caractres. "chane compter")
vrifier",
IS_ALPHA
CHANGE
convertit toutes les majuscules dune expression en StringHandling.DOWNCASE("chane minuscules et retourne la nouvelle chane. convertir") convertit toutes les minuscules dune expression en StringHandling.UPCASE("chane convertir") majuscules et retourne la nouvelle chane. entoure une expression de guillemets doubles.
StringHandling.DQUOTE("chane traiter")
retourne la position, dans une chane de caractres, StringHandling.INDEX("chane du premier caractre de la sous-chane recherche. "sous-chane recherche") Si la sous-chane recherche nexiste pas dans la chaine, -1 est retourn.
vrifier",
253
Description
Syntaxe
vrifier",
retourne une sous-chane correspondant aux n StringHandling.LEFT("chane premiers caractres dune chane de caractres. nombre de caractres) retourne une sous-chane correspondant aux n StringHandling.RIGHT("chane derniers caractres dune chane de caractres. nombre de caractres) retourne la longueur dune chane de caractres.
vrifier",
retourne une chane faite du nombre de caractres StringHandling.SPACE(nombre vides indiqu. crer) entoure une expression de guillemets simples.
supprime les espaces et les tabulations en dbut StringHandling.TRIM("chane traiter") et fin dune chane de caractres et retourne la nouvelle chane. supprime tous les espaces et les tabulations aprs StringHandling.BTRIM("chane traiter") le dernier caractre non vide dune chane de caractres et retourne la nouvelle chane. supprime tous les espaces et les tabulations StringHandling.FTRIM("chane traiter") jusquau premier caractre non vide dune chane de caractres et retourne la nouvelle chane.
BTRIM
FTRIM
254
La routine retourne un entier qui correspond la position du premier caractre de la chane recherche, ou retourne -1 si la chane recherche na pu tre trouve :
La vrification retourne un entier correspondant la longueur de la chane, y compris les espaces et caractres vides :
255
retourne un prnom pris alatoirement dans TalendDataGenerator.getFirstName() une liste factice de prnoms amricains courants. retourne un nom de famille pris TalendDataGenerator.getLastName() alatoirement dans une liste factice de noms de famille amricains courants. retourne une adresse prise alatoirement TalendDataGenerator.getUsStreet() dans une liste factice de rues amricaines courantes. retourne une ville prise alatoirement dans TalendDataGenerator.getUsCity() une liste de villes connues des Etats-Unis. retourne le nom dun Etat pris alatoirement TalendDataGenerator.getUsState() dans une liste des Etats amricains. retourne le code pris alatoirement dans une TalendDataGenerator.getUsStateId() liste dabrviations correspondant aux Etats amricains.
getLastName
getUsStreet
Aucun paramtre dentre nest attendu car la liste des donnes factices est fournie par Talend.
Vous pouvez personnaliser les donnes factices en modifiant les routines de gnration de donnes. Pour plus dinformations concernant la personnalisation des routines, consultez section Personnalisation des routines systme.
256
Lensemble des donnes prises alatoirement dans les listes de donnes factices est affich dans la vue Run :
ajoute n jours, n mois, n heures, n minutes ou n TalendDate.addDate("String date initiale", secondes une Date Java et retourne la nouvelle "format Date - ex: yyyy/MM/dd", entier date. n,"format de la donne ajouter - ex :yyyy"). Le paramtre de format de donne Date est : "yyyy", "MM", "dd", "HH", "mm", "ss" ou "SSS".
compareDate
compare tout ou partie de deux dates, selon le TalendDate.compareDate(Date date1, Date modle date si spcifi. Retourne 0 si les dates sont date2, "format comparer - ex : yyyy-MM-dd ") identiques, 1 si la premire date est ultrieure la deuxime et -1 si elle est antrieure la deuxime. retourne la diffrence entre deux dates, en nombre TalendDate.diffDate(Date1(), Date2(), de jours, mois ou annes selon le paramtre de "format de donnes comparer - ex yyyy") comparaison spcifi. retourne la diffrence entre deux dates, en TalendDate.diffDateFloor(Date1(), Date2(), nombre dannes, mois, jours, heures, minutes, "format de donnes comparer - ex MM") secondes ou millisecondes selon le paramtre de comparaison spcifi. retourne une expression de type date formate TalendDate.formatDate("format de date - ex : selon le modle date spcifi. yyyy-MM-dd HH:mm:ss ", Date() formater) transforme une date en une chane de caractres TalendDate.formatDateLocale("format cible", de type date/heure selon le modle et la locale java.util.Date date, "code de la langue ou spcifis. Retourne la nouvelle date formate. du pays") retourne la date courante. Aucun paramtre TalendDate.getCurrentDate() dentre nest attendu. retourne les date et heure courantes dans le format TalendDate.getDate("Format de spcifi (optionnel). Cette chane peut contenir des caractre - ex : CCYY-MM-DD") chanes de caractres fixes, ou des variables lies la date. Par dfaut, le format de la chane de caractres attendu est DD/MM/CCYY. change le jour dune date en premier jour du mois TalendDate.getFirstDayMonth(Date) courant et retourne la nouvelle date. change le jour dune date en dernier jour du mois TalendDate.getLastDayMonth(Date) courant et retourne la nouvelle date. retourne une partie dune date dans le format TalendDate.getPartOfDate("Chane de spcifi. Cette chane peut contenir des chanes de caractres indiquant la partie de la date caractres fixes, ou des variables lies la date.
chane de
diffDate
diffDateFloor
formatDate formatDateLocale
getCurrentDate getDate
257
Routine
Description
Syntaxe
rcuprer", "Chane de caractres au format date parser")
getRandomDate isDate
vrifie si lexpression est de type Date et TalendDate.isDate(Date() vrifier, "format correspond au modle spcifi. Retourne le de date cible - ex : yyyy-MM-dd HH:mm:ss ") boolen true si cest le cas, et false dans le cas inverse. transforme une chane de caractres en Date. TalendDate.parseDate("format date de la Retourne une date formate en standard. chane parser", "Chane de caractres au
format date parser")
parseDate
parseDateLocale
parse une chane de caractres correspondant un TalendDate.parseDateLocale("format date de la modle spcifi, et en extrait une date. Retourne chane parser", "Chane de caractres au une date formate selon la locale spcifie. format date parser", "code de la langue ou
du pays")
setDate
modifie une partie de la date en entre par un entier TalendDate.setDate(Date, entier n, "format de spcifi et bas sur le format spcifi. la donne changer - ex :yyyy")
La date du jour est instancie par la fonction Java new date()et saffiche dans la vue Run :
258
La date du jour est instancie par la fonction Java new date()et la valeur -1 saffiche dans la vue Run pour indiquer que la date du jour est en fait antrieure la date de rfrence :
La date courante suivie de la nouvelle date configure saffiche dans la vue Run :
259
Dans cet exemple, sont retourns le jour du mois (DAY_OF_MONTH), le mois (MONTH), lanne (YEAR), le numro de jour de lanne (DAY_OF_YEAR) et le numro de jour de la semaine (DAY_OF_WEEK). Toutes les donnes retournes sont de type numrique.
Dans la console de la vue Run, la chane de caractres qui renvoie aux mois (MONTH) va de 0 11 : 0 correspondant janvier, et 11 correspondant dcembre.
retourne une chane de caractres o les TalendString.replaceSpecialCharForXML ("chane de caractres spciaux (ex : <, >, &...) ont caractres contenant les caractres spciaux - ex:
Thelma & Louise")
260
Routine
Description Syntaxe t remplacs par des caractres XML quivalents. identifie les chanes de caractres TalendString.checkCDATAForXML("chane commenant par <![CDATA[ et se caractres parser") terminant par ]]> en tant que XML et les retourne sans modification. Transforme les chanes identifies comme non-XML sous une forme compatible XML et les retourne ainsi formates.
de
checkCDATAFor XML
talendTrim
parse la chane de caractres en entre et TalendString.talendTrim("chane de caractres en retire le/les caractres de remplissage parser", "caractre de remplissage retirer", en dbut ou en fin de chane selon la position du caractre) valeur dalignement spcifie: -1 pour les caractres de remplissage de fin de chane, 1 pour ceux de dbut de chane et 0 pour les deux. Puis retourne la chane nettoye.
removeAccents
enlve les accents dune chane de TalendString.removeAccents("Chane caractres et retourne cette chane non caractres") accentue.
de
getAsciiRandom String
gnre une chane de caractres alatoire, TalendString.getAsciiRandomString (entier de la du nombre de caractres spcifis. longueur de chane)
Dans cet exemple, le caractre "&" est remplac pour tre intelligible en XML :
Les caractres toiles sont retirs alternativement en dbut puis en fin de chane, et enfin des deux cts :
261
Les caractres avec accent sont remplacs par des caractres sans accent :
262
Instructions SQL
Cette syntaxe ne peut tre utilise dans une instruction SQL. Elle doit tre utilise entre deux instructions SQL spares. Par exemple, la syntaxe dans le code suivant est valide :
#sql sentence DROP TABLE temp_0; <% #loop for (int i=1; i<10; i++) ( %> #sql sentence DROP TABLE temp_<%=i %>; <% ) %> #sql sentence DROP TABLE temp_10;
Dans cet exemple, la syntaxe est utilise entre deux modles SQL spars : DROP TABLE temp_0; et DROP TABLE temp_<%=i%>;.
264
La syntaxe <%=...%>
Les instructions SQL ont pour but de supprimer plusieurs tables, en commenant par temp_0. Le code entre <% et %> gnre un nombre de squences dans la boucle, afin d'identifier les tables supprimer et fermer la boucle aprs la gnration du nombre de squences. A l'intrieur de cette syntaxe, la syntaxe <%=...%> ou </.../> ne doit pas tre utilise.
<%=%> et </.../>, sont galement des syntaxes lies aux modles SQL. Les sections suivantes donnent des
Le code est utilis pour supprimer la table dfinie laide dun composant associ. Pour plus dinformations concernant les composants associs aux modles SQL, consultez le chapitre chapitre Conception dun Job dintgration de donnes. Pour plus dinformations concernant la syntaxe <%...%>, consultez la section section La syntaxe <%...%>. Pour plus dinformations concernant la syntaxe </.../>, consultez la section suivante.
Les paramtres auxquels les modles SQL peuvent accder grce cette syntaxe sont simples. Ils sont souvent utiliss lors de connexions et peuvent tre facilement dfinis dans les composants, par exemple TABLE_NAME, DB_VERSION, SCHEMA_TYPE, etc.
265
L'instruction accde au paramtre TABLE_NAME et supprime la table correspondante. Pour plus dinformations concernant la syntaxe <%...%>, consultez la section La syntaxe <%...%>. Pour plus dinformations concernant la syntaxe <%=...%>, consultez la section prcdente. Les sections suivantes prsentent un code plus spcifique pour accder des paramtres plus complexes.
Les paramtres auxquels les modles SQL peuvent accder grce cette syntaxe sont simples. Ils sont souvent utiliss lors de connexions et peuvent tre facilement dfinis dans les composants, par exemple TABLE_NAME, DB_VERSION, SCHEMA_TYPE, etc.
Dans cet exemple, selon vos objectifs, le code __ELT_METADATA_SHEMA__[i].name peut tre remplac par __ELT_METADATA_SHEMA__[i].dbType, __ELT_METADATA_SHEMA__ [i].isKey, __ELT_METADATA_SHEMA__[i].length ou __ELT_METADATA_SHEMA__[i].nullable pour accder aux autres champs des colonnes du schma. Linstruction extraite est SCHEMA(__ELT_METADATA_SHEMA__);. Dans cette instruction, ELT_METADATA_SHEMA est le nom de la variable reprsentant les paramtres du schma extraire. Le nom utilis dans ce code est simplement un exemple. Vous pouvez changer ce nom en nom dune autre variable, afin de reprsenter les paramtres de schma, selon votre systme de nommage. Vrifiez que le nom que vous saisissez nentrera en conflit avec aucun autre paramtre. Pour plus dinformations concernant les schmas des composants, consultez la section Onglet Basic settings.
266
Vous pouvez accder ces paramtres de transformation, naturellement plus flexibles et complexes, de deux faons diffrentes. Lapproche </.../>.
</.../> est lune des syntaxes utilises par les modles SQL. Cette approche ncessite souvent du code dur pour
chaque paramtre extraire. Par exemple, un nouveau paramtre est cr par lutilisateur et nomm NEW_PROPERTY. Si vous souhaitez y accder en utilisant </NEW_PROPERTY/>, le code ci-dessous est requis.
else if (paramName.equals("NEW_PROPERTY")) { List<Map<String, String>> newPropertyTableValue = (List<Map<String, String>>) ElementParameterParser.getObjectValue(node, "__NEW_PROPERTY__"); for (int ii = 0; ii <newPropertyTableValue.size(); ii++) { Map<String, String> newPropertyMap =newPropertyTableValue.get(ii); realValue += ...;//append generated codes } }
Lapproche EXTRACT(__GROUPBY__);. Le code ci-dessous montre la seconde mthode daccs au paramtre de transformation (GROUPBY).
<% String query = "insert into " + __TABLE_NAME__ + "(id, name, date_birth) select sum(id), name, date_birth from cust_teradata group by"; EXTRACT(__GROUPBY__); for (int i=0; i < __GROUPBY_LENGTH__ ; i++) { query += (__GROUPBY_INPUT_COLUMN__[i] + " "); } %> <%=query %>;
Lors de lencodage des instructions, respectez les rgles comme suit : Linstruction extraite doit utiliser EXTRACT(__GROUPBY__);. Les majuscules sont requises, et les caractres despacement ne sont pas autoriss. Cette instruction doit tre utilise entre <% et %>. Utilisez le code __GROUPBY_LENGTH__, dans lequel le nom du paramtre, suivi de _LENGTH, permet dobtenir le numro de ligne des paramtres du tableau GROUPBY dfinis dans la zone Groupby de la vue Component. Il peut tre utilis entre <% et %> ou <%= et %>. Utilisez le code __GROUPBY_INPUT_COLUMN__[i] afin dextraire les valeurs des paramtres. Il peut tre utilis entre <% et %> ou entre <%= et %>. Pour accder aux paramtres correctement, nutilisez pas le mme prfixe pour le nom de plusieurs paramtres. Par exemple, dans un composant, vitez de dfinir deux paramtres avec le nom PARAMETER_NAME et PARAMETER_NAME_2, car plusieurs prfixes semblables produisent des erreurs lors de la gnration du code.
267