U

UNNIIV
VEER
RS ES
SIITTE Siid
dii M
Mooh
haam
meed
dBBeen
nAAb
bddeellllaah
h

F
Faac
cuulltt D
Deess S
Scciieen
ncceess E
Ett T
Teec
chhn
niiq
quueess F
Fss
D
Dppaar
rtteem
meen
ntt d
dIIn
nffo
orrm
maattiiq
quuee

PPr
roojjeett d dee F
Fiin
nd dE
Ettu
uddeess
M
Master Sciences et Techn
a s te r S c i e n c e s e t Te c h niiq
quueess
S
Syyssttm
meess IIn
ntteelllliig
geen
nttss &
&RRsseeaau
uxx

Environnement Informatique Virtuel

Dapprentissage et Patrimoine

Lieu de stage : Laboratoire Modlisation, Information et Systmes

Ralis par : Azziz ANGHOUR

Soutenu le : 20 Juin 2013

Encadr par : Devant le jury compos de :

Ahlame BEGDOURI Ahlame BEGDOURI
Dominique LECLET Dominique LECLET

Thierry CONDAMINES Abderrahim BENABBOU

Azzeddine ZAHI
Jamal KHARROUBI

Thierry CONDAMINES

Anne Universitaire 2012-2013

1
Rsum
Ce mmoire traite de lutilisation de la ralit mixte (RM) comprenant la ralit augmente
et les interfaces (TUI) tangibles dans les environnements informatiques pour lapprentissage
humain (EIAH). La premire partie de ce manuscrit dresse un tat de lart sur les concepts en
jeu. Nous introduisons tout dabord les EIAH en gnral puis un type particulier dEIAH qui
est les Jeux Srieux . Ensuite, nous dfinissons le concept de la RM, puis nous
commenons la prsentation de la ralit augmente, sa dfinition, ses fonctionnalits, ses
domaines dapplication et ses apports dans les jeux srieux. Ensuite, nous abordons les TUIs,
leurs dfinitions, les concepts lis aux TUIs, la conception des TUIs, etc. La seconde partie de
ce manuscrit traite de la mise en uvre dun EIAH utilisant les technologies de la RM. Nous
commenons par prsenter les outils ncessaires pour le dveloppement dune application de
RM telles que la technologie DFusion, le langage de script Lua et lAutodesk Maya. Ensuite,
nous prsentons un cadre dapplication, le portail de Vierge dore de la cathdrale
dAmiens, puis le scnario pdago-ludique et enfin la ralisation concrte dun prototype.

Mots-cls : Environnement Informatiques pour lApprentissage Humain (EIAH) ; Jeux

Srieux ; Ralit Mixte (RM) ; Ralit Augmente ; Interfaces Utilisateurs Tangibles (TUI).

2
 Abstract
This memoir discusses the use of mixed reality (MR) including augmented reality and
tangibles users interfaces (TUI) in computing environments for human learning (EIAH). The
first part of this memoir describes the state of the art concepts in games. First the EIAH is
presented in general and after that its presented as a particular type of EIAH, the "Serious
Games". Next, we define the concept of RM, and then we begin the presentation of
augmented reality, its definition, its features, its applications areas and its contribution in
serious games. Next step, we present the TUIs, their definitions, concepts related holsters,
design holsters, etc.. The second part of this memoir deals with the implementation of an
EIAH using technologies of RM. We begin by presenting the necessary tools for the
development an application of MR such as D'Fusion technology, the Lua scripting language
and the Autodesk Maya. Then, we present an application framework, the "Golden Virgin"
gate of Amienss Cathedral, the edu-fun scenario and finally the concrete realization of a
prototype.

Keywords: Computing Environments for Human Learning (EIAH); Serious Games; Mixed
Reality (MR); Augmented Reality; Tangibles Users Interfaces (TUI).

3
Remerciement
Je tiens remercier en premier lieu mes encadrant Madame Dominique LECLET et
Monsieur Thierry CONDAMINES pour leurs engagement dans lencadrement de ce stage,
pour le temps pass, pour leurs aides et conseilles durant ce travail. Ainsi que Madame
Ahlame BEGDOURI qui ma beaucoup aid faire ce stage au labo MIS et de son suivi
distance.

Je tiens galement remercier tous les membres du jury prsents pour la soutenance de ce
stage qui ont accepts dvalue ce travail par visioconfrence.

Je noublie bien sur pas de remercier tous mes enseignants de la formation Master la
Facult des Sciences et Techniques de Fes.

Jai une pense toute particulire pour mon frre Farid ANGHOUR, qui ma beaucoup
soutenue financirement et moralement durant toutes mes cursus universitaires.

Je noublie pas non plus remercie toute ma famille, mes parents, mes frres et ma seule
sur.

Je voudrais remercier les collgues du centre du laboratoire MIS. Mon sjour de stage dans
le laboratoire a t loccasion de nombreux changes enrichissants.

Je tiens galement remercier particulirement mes amis Adil ABIBOU, Issam SAHMOUDI
et Mohamed RAIS pour notre amiti, nos changes ainsi que leurs aides dorganisation de ma
soutenance (Edition du rapport du stage, organisation matrielles et logiciels ).

Enfin, un grand merci tous mes collgues de la FST pour les annes quon a passes
ensemble.

4
5
Table des matires
Rsum...............................................................................................................................................2
Abstract ..............................................................................................................................................3
Remerciement ....................................................................................................................................4
Liste des figures ..................................................................................................................................9
INTRODUCTION ................................................................................................................................ 10
CONTEXTE ........................................................................................................................................ 12
1. Problmatique .......................................................................................................................... 12
2. La structure daccueil : le laboratoire MIS .................................................................................. 12
PARTIE 1 : ETAT DART ...................................................................................................................... 14
Chapitre 1 : Les environnements informatiques dapprentissage....................................................... 15
1. Prsentation ............................................................................................................................. 15
2. Diffrents types dEIAH ............................................................................................................. 16
3. Environnements de simulation .................................................................................................. 17
4. Les Jeux Srieux ........................................................................................................................ 18
4.1. Prsentation.......................................................................................................................... 18
4.2. Domaines dapplication ......................................................................................................... 19
4.3. Exemples de jeux srieux....................................................................................................... 20
Chapitre 2 : La ralit mixte dans les jeux srieux.............................................................................. 22
1. Concepts et dfinitions.............................................................................................................. 22
1.1. Dfinitions de la ralit augmente ............................................................................... 23
1.2. Fonctionnalits de la ralit augmente ........................................................................ 24
2. Domaines dapplication de la ralit augmente ....................................................................... 25
3. Apports de la ralit augmente dans les jeux srieux : GoEduc3D .......................................... 26
Chapitre 3 : Les interfaces tangibles .................................................................................................. 29
1. Prsentation ............................................................................................................................. 29
1.1. Historique...................................................................................................................... 29
1.2. Dfinition....................................................................................................................... 30
1.3. Terminologie ................................................................................................................. 30
2. Les systmes de liaison ............................................................................................................. 32
2.1. Les TUI avec des interacteurs actifs ................................................................................ 32
2.2. TUI avec des interacteurs passifs ................................................................................... 35
3. Les techniques dinteraction...................................................................................................... 39
3.1. Interaction symbolique .................................................................................................. 40

6
 3.2. Interaction semi-directe................................................................................................. 41
3.3. Interaction directe ......................................................................................................... 42
4. Catgories et caractristiques des interfaces tangibles ............................................................. 43
4.1. Les catgories des TUIs .................................................................................................. 43
4.2. Les caractristiques des TUIs ......................................................................................... 45
5. Conception des interfaces tangibles .......................................................................................... 45
5.1. Un processus de conception .......................................................................................... 45
5.2. Le modle MCRit ........................................................................................................... 47
5.3. Les TUIs contre GUIs ...................................................................................................... 47
5.4. Les boucles de rtroaction ............................................................................................. 48
Synthse ........................................................................................................................................... 50
PARTIE 2 : MISE EN UVRE DUN ENVIRONNEMENT INFORMATIQUE DAPPRENTISSAGE ................. 51
Chapitre 1 : Outils et technologies .................................................................................................... 52
1. La technologie D'Fusion .......................................................................................................... 52
1.2. Le moteur DFusion Augmented Reality ........................................................................... 53
1.3. Le module de vision par ordinateur DFusion CV .............................................................. 54
1.4. Larchitecture globale de DFusion AR .............................................................................. 55
2. Le langage d script Lua .............................................................................................................. 55
3. LAutodesk Maya....................................................................................................................... 56
4. Aperu de droulement ............................................................................................................ 56
4.1. La cration et lexportation des medias 3D ........................................................................ 56
4.2. conception et dveloppement de scnario de RA .............................................................. 56
4.3. le dploiement de lapplication.......................................................................................... 56
Chapitre 2 : Ralisation dun prototype ............................................................................................. 58
1. Un cadre dapplication : le portail de Vierge dore .............................................................. 58
1.1. Contexte............................................................................................................................ 58
1.2. Le scnario pdago - ludique ............................................................................................. 58
1.3. Ltape 1 en 3D.................................................................................................................. 61
2. Dveloppement ........................................................................................................................ 61
2.1. Modlisation de 9 objets en 3D ......................................................................................... 62
2.2. Dveloppement du scnario et dploiement ..................................................................... 63
Conclusion ........................................................................................................................................ 65
Conclusion et perspectives................................................................................................................ 66

7
8
Liste des figures
Figure 1 : Army Battlezone, premie jeu srieux (Extrait de [MURATET 2010]) ................................ 19
Figure 2 : Champ dapplication des jeux srieux selon ZYDA (Extrait de [ALVAREZ 2007]) .......... 20
Figure 4 : Darfur is dying (Extrait de [MURATET 2010]) ................................................................. 21
Figure 3 : Americas Army (Extrait de [MURATET 2010]) .............................................................. 20
Figure 5 : Continuum de ralit-virtualit (Extrait de [DEHAIS 2008]) ............................................. 22
Figure 6 : Systmes mixtes, deux continua pour distinguer ralit augmente et virtualit
augmente (Extrait de [DUBOIS 2001]) ......................................................................................... 23
Figure 7 : Simulation dune application de ralit augmente utilise par lclaireur (Extrait de
[M&T&S 2011]) ............................................................................................................................... 28
Figure 8 : Lapplication GraspDraw (Extraite de [FITZMAURICE 1996]) ........................................ 29
Figure 9 : Projet du laboratoire MERL (extrait du [GARREAU 2005]) .............................................. 31
Figure 10 : Fragments archologiques (Extrait de [REUTER 2008]) .................................................. 32
Figure 11 : Les mmes fragments numriss, puis assembls (Extrait d [REUTER 2008]) ................. 33
Figure 12 : Linterface ArcheoTUI (Extrait de [REUTER 2008]) ...................................................... 34
Figure 13 : ActiveCube, un exemple dune forme 3D avec 39 cube (Extrait de [KITAMURA 2004]) 35
Figure 14 : La fentre principale de lapplication ESKUA (Extrait de [COUTURE 2005]) ................ 36
Figure 15 : Suivi de marqueurs (Extrait de [GARREAU 2005])......................................................... 36
Figure 16 : Processus global de lapproche par modle (Extrait de [GARREAU 2005]) ..................... 38
Figure 17 : Construction d'un modle avec Twin-Objects (Extrait de [ERNST 1999]) ....................... 39
Figure 18 : Simulation industrielle (Extrait de [ERNST 1999]) .......................................................... 39
Figure 19 : Illustration de linteraction symbolique (Extrait de [GARREAU 2005])........................... 40
Figure 20 : Illustration de linteraction semi-directe (Extrait de [GARREAU 2005]).......................... 41
Figure 21 : Cube Mouse (Extrait de [ROSENBLUM 2000]) .............................................................. 42
Figure 22 : Modification de la trajectoire d'un puits de ptrole (Extrait de [ROSENBLUM 2000]) ..... 42
Figure 23 : Illustration linteraction directe (Extrait de [GARREAU 2005])....................................... 43
Figure 24 : Modlisation des interfaces graphiques et tangibles (Extrait de [Rivire 2009], Reproduit et
traduit de [ULLMER 2002]) ............................................................................................................. 47
Figure 25 : Modlisation des interfaces graphiques et tangibles (Extrait de [Rivire 2009], Reproduit et
traduit de [ISHII 2008]) .................................................................................................................... 48
Figure 26 : Modlisation de linteraction graphique et de linteraction tangible (Extrait de [Rivire
2009], Schma d Oren Zuckerman) ................................................................................................... 48
Figure 27 : Premire et deuxime boucle de rtroaction (Extrait de [Rivire 2009], Reproduit et traduit
de [ISHII 2008]) ............................................................................................................................... 49
Figure 28 : La troisime boucle de rtroaction (Extrait de [Rivire 2009], Reproduit et traduit de
[ISHII 2008]) .................................................................................................................................... 49
Figure 29 : Etapes pour raliser une augmentation [COMMUNITYDEV] ......................................... 53
Figure 30 : Larchitecture de DFusion Augmented Reality [COMMUNITYDEV] ......................... 55
Figure 31 : Linterface de DFusion Studio [COMMUNITYDEV] .................................................... 56
Figure 32 : Ltape 1 en 3D............................................................................................................... 61
Figure 33 : Les objets du portail en 3D .............................................................................................. 62
Figure 34 : Scnario de ralit augmente appliqu sur le Trumeau ............................................. 64

9
INTRODUCTION

Lutilisation de linformatique pour lapprentissage et lenseignement se dveloppe et

volue sous le coup de diffrents facteurs inter-relies comme la demande sociale et la pouss
technologique (matrielles et logicielles). Actuellement de nouvelles technologies, comme la
ralit augmente et les interfaces tangibles, voient le jour et commencent sintgrer dans
plusieurs domaines et particulirement les environnements informatiques pour
lapprentissage.

Lobjectif de ce stage est deffectuer une recherche sur les avancs des travaux sur ces
technologies et leurs utilisation dans les environnements informatiques dapprentissage.

Notre stage de recherche sy droul au sein du laboratoire Modlisation, Information et

Systmes (MIS) de lUniversit Picardie Jules Verne dAmiens sous la direction de Madame
Dominique LECLET, Matre de Confrences, Habilit Diriger des Recherches, et Monsieur
Thierry CONDAMINES, Matre de Confrences.

Cette mmoire sorganise en deux parties. La premire partie dresse un tat de lart sur les
concepts en jeu.

Dans le chapitre 1 nous prsentons le domaine denvironnements informatiques pour

lapprentissage humain. Nous dfinissons ce domaine puis, nous prsentons les diffrents
types dEIAH. Ensuite, nous se focalisons sur les deux types dEIAH, les environnements de
simulation et surtout les jeux srieux. Dans la section sur les jeux srieux, nous prsentons les
dfinitions, les domaines dapplication et enfin, nous donnons quelques exemples des jeux
srieux.

Le chapitre 2 est consacr la ralit mixte et particulirement la ralit augmente. Dans

une premire section nous dfinissons les le concept de la ralit mixte. Les sections suivantes
sont consacres la ralit augmente, sa dfinition, ses fonctionnalits, ses domaines
dapplication et finalement ses apports dans le domaine de jeux srieux.

Le chapitre 3 concerne les interfaces tangibles. Ce chapitre est constitu de 5 sections. La

premire section est une prsentation des TUI, elle comprend la dfinition, lhistorique et les
terminologies lis aux TUI. Les systmes de liaison interacteurs-systme sont prsents dans
la seconde section. La troisime section est consacre aux techniques dinteraction hommes
machine qui linteraction symbolique, semi-directe et directe. Lavant dernire section
prsente les catgories et les caractristiques des interfaces tangibles. Enfin, nous abordons le
cadre de conception des interfaces tangibles.

La deuxime partie traite les lments ncessaires pour la mise en uvre dune application
utilisant la ralit augmente ainsi que la ralisation concrte dune simple application.

10
 Le chapitre 1 prsente les technologies et les outils qui permettent la ralisation dune
exprience de ralit augmente telle que, la technologie DFusion, le langage Lua ainsi que
loutil Autodesk Maya de la modlisation des mdias 3D.

Le chapitre 2 traite la ralisation dun prototype. Notre cas dapplication, notre scnario
pdagogique et finalement le dveloppement de la premire tape de scnario.

11
 CONTEXTE
1. Problmatique
Le cadre de ce stage est centr sur les Environnements Informatiques pour lApprentissage
Humain (EIAH) dont les problmatiques de recherche sattachent dterminer en quoi et
comment les avances technologiques de linformatique peuvent faciliter lapprentissage
humain. Ces environnements sont des mondes artificiels qui nexistent que dans lunivers
informatique. Dans ces environnements virtuels, des apprenants peuvent y interagir un peu
comme dans la ralit, tre amens sy promener et y faire des dcouvertes. Dans
lducation, ces environnements sont appels systmes ouverts dapprentissage et qui se
traduisent par des environnements de simulation ou des jeux srieux.

Actuellement, de nouvelles technologies comme les interfaces tangibles et la ralit

augmente, voient le jour. Ces technologies sont facteurs dans le domaine de la conception et
de linteraction : facteur dengagement et dimmersion, rduction de lcart entre situation
relle et la situation dapprentissage ludique. Elles sannoncent comme une promesse dune
nouvelle relation lobjet technologique, dune relation intuitive, simple et ludique, promesse
dinnovations dans le secteur du Jeu Srieux.

Lobjectif de ce travail est de faire un recensement des travaux de recherche dans les
domaines des EIAH, jeux srieux, la ralit mixte (ralit augmente et interfaces tangibles)
et notamment ces domaines en relation avec le patrimoine. Il sagit prcisment de dterminer
quels sont les gains de lutilisation des technologies de la ralit mixte dans le cadre dun
environnement informatique dapprentissage (jeu srieux) ?, et comment intgrer ces
technologies dans les jeux srieux ?

.Un petit prototype dun environnement virtuel base des technologies cit ci-dessus devra
tre propos.

2. La structure daccueil : le laboratoire MIS

Le laboratoire MIS (Modlisation, Information et Systmes) [MISWEB] est un laboratoire
en Sciences et Technologies de l'Information et de la Communication de lUniversit de
Picardie Jules Verne (STIC). Il fdre des enseignants chercheurs en Informatique,
Automatique, Robotique et Vision par ordinateur.

Les objectifs scientifiques du laboratoire sinscrivent dans le domaine des Sciences et

Technologies de lInformation et de la Communication. Pour atteindre sa mission scientifique,
le MIS s'appuie sur des enseignants chercheurs confirms. Son effectif est constitu de 80
personnes avec 40 enseignants chercheurs, 35 doctorants et 4 personnels administratifs et
techniques.

12
 Lanimation scientifique seffectue principalement au niveau de ses cinq quipes de
recherche, ces quipes sont :

Equipe COVE (Commandes et Vhicules) dont les objectifs de recherche visent l'laboration
des stratgies de contrle et de diagnostic des systmes lectromcaniques et thermiques :
Reprsentation des systmes par des multimodles ; Contrle Robuste des multimodles ;
Diagnostic des systmes dcrits par des multimodles ; Estimateurs et observateurs ;
Diagnostic robuste et commande tolrante aux fautes.

Equipe GOC (Graphes, Optimisation et Contraintes) dont les domaines de recherche sont :
o Modlisation : modlisation des problmes et des informations sous forme de graphes ou
de contraintes
o Systmes : dveloppement des systmes d'aide la dcision en utilisant diffrentes
mthodes, compltes ou incompltes, exactes ou approches, ou des mthodes hybrides
pour trouver des solutions aux problmes.

Equipe PR (Perception et Robotique) dont le projet est centr autour de l'amlioration de

l'autonomie des engins mobiles (au sol ou dans l'espace) par la perception artificielle.
L'approche pour contribuer cette problmatique consiste concevoir des capteurs originaux
(visionomnidirectionnelle monoculaire, les systmes de vision omnidirectionnelle 3D et
capteur de localisation par balises actives) et des mthodes pour les exploiter (algorithmes de
localisation par les invariants globaux sensori-moteurs).

Equipe SDMA (Systmes Distribus, Mots et Application) dont activit est centre sur un
projet complet, alliant des aspects fondamentaux et appliqus de la recherche en Informatique.
Ce projet va des rseaux aux applications distribues en passant par les modles, les
algorithmes et les contrles associs. La structuration de lquipe se fait en deux axes :
"modles et algorithmique" et "rseaux".

Equipe COS (Connaissances), cest lquipe o sest droul mon stage de recherche. Le
projet de lquipe est centr autour de la notion de connaissances , considre dans une
perspective dingnierie de conception de systmes (logiciels) utilisant des connaissances.
Lenjeu est de dfinir des thories, mthodes et outils pour exprimer les connaissances et les
reprsenter en machine en rendant leur signification exploitable des fins dinfrences.
Lquipe dveloppe ses recherches suivant trois directions qui sont : les ontologies, les
mmoires dorganisation et enfin les environnements informatiques pour lapprentissage
humain.

13
PARTIE 1 : ETAT DART

14
 Chapitre 1 : Les environnements
informatiques dapprentissage

1. Prsentation
Le champ scientifique des EIAH correspond aux travaux focaliss sur les environnements
informatiques dont la finalit explicite est de susciter et daccompagner lapprentissage
humain. Il comprend les questions scientifiques et technologiques souleves par la
conception, la ralisation et lvaluation de ces environnements, ainsi que la comprhension
de leurs impacts sur la connaissance, la personne et la socit.

Selon P.Tchounikine [TCHOUNIKINE 2002], un EIAH (Environnements Informatiques

pour lApprentissage Humain) est un environnement informatique conu dans le but de
favoriser lapprentissage humain, c'est--dire la construction de connaissance chez
lapprenant. Ce type denvironnement intgre des agents humains (lve, enseignant) et
artificiels (i.e., informatiques) et leur offre des conditions dinteractions, localement ou
travers les rseaux informatiques, ainsi que des conditions daccs des ressources
formatives (humaines et/ou mdiatises), ici encore locales ou distribues .

Dans son livre les machines enseigner Eric Bruillard illustre que le sigle EIAH dnote
une volution des ides de lEnseignement Programm lEnseignement Assist par
Ordinateur, puis lEnseignement Intelligemment Assist par Ordinateur (EIAO) dans sa
premire acception, puis la seconde acception de lEIAO pour Environnements Interactifs
dApprentissage avec Ordinateur et, actuellement, lEIAH :

Lenseignement programm : dfinit comme une mthode pdagogique qui permet de

transmettre des connaissances sans lintermdiaire directe dun professeur ou dun moniteur,
ceci tout en respectant les caractristiques de chaque lve pris individuellement
[MONTMOLLIN 1971]. Ainsi, lenseignement est considr comme le droulement dun
programme, lapprenant devant rpondre aux sollicitations de la machine. Les interactions
sont effectues sous la forme de questions-rponses et la rponse une question conditionne
la question suivante [JOIRON 2002].
EAO : les systmes dEAO sont apparus avec larrive des premiers ordinateurs dans les
annes 60. Le principe dEAO consiste dcomposer les matires de lenseignement en
units lmentaires dont lenchanement est tablit pralablement. Lapprenant doit acqurir
une unit aprs lautre. La progression dans les units denseignement est conditionne par les
rponses de lapprenant aux questions poses par lordinateur la fin de la prsentation de
chaque unit.
EIAO : dans les annes 80, EAO est devenu lEIAO o I signifie Intelligemment grce
lintgration des techniques de lintelligence artificielles dans les systmes dapprentissage.
Les logiciels de lEIAO cherchent sadapter lapprenant en situation dapprentissage par
rsolution de problmes et ce, grce a lintgration explicite de diffrentes expertises

15
 concernant respectivement le domaine enseigner (expert du domaine), les stratgies
pdagogiques (lenseignement), comptences et connaissances de llve (lapprenant)
[GEORGE 2001]. Le dbut des annes 90 a connu la pris en compte de linteraction dans les
systmes dapprentissage, le mot Intelligemment est alors remplac par Interactif . Ici,
llve n'est plus considr comme un systme isol en interaction avec un objet, mais comme
un systme qui utilise des "outils" pour interagir avec cet objet et grer cette interaction.

Lvolution des technologies de tlcommunication la fin des annes 90 a gliss les EIAO
vers des environnements permettant la communication et linteraction des machines et des
humains distribus dans lespace. Ainsi, lhumain est replac au centre du dispositif
denseignement. Dans ce sens, un nouveau terme est apparu, celui dEIAH [GEORGE 2001][
JOIRON 2002].

2. Diffrents types dEIAH

Micromondes : dvelopps dans les annes 80. Lide est ici, la cration des
environnements dans les quels llve construit leurs propres connaissances en agissant sur
des objets rel. Ainsi, llve est plong dans un environnement voisin de la ralit, destin
lui apprendre apprendre par lexprience, il doit dcouvrir lui-mme les solutions au
problme pos par linteraction avec lenvironnement, il sagit de la dcouverte guid. La
manipulation des objets permet llve de les transposer et les formaliser afin dtablir un
lien smantique entre le rel et le formel. Le micromonde est donc un monde virtuel pour
laction cratrice sur des objets de cet environnement commun, la fois, des objets formels
de la discipline et plus concrets de lexprience [AGOSTINELLI 1994]. Le micromonde
le plus connu est LOGO, dvelopp par Seymour Papert et dont lobjectif est dappliquer,
dans un environnement informatique dapprentissage, les thses piagtiennes sur la
construction des concepts chez lenfant durant la phase des oprations concrtes
[AGOSTINELLI 1994].
Hyperdocument : Le concept d'hyperdocument (ou de faon plus prcise
d'hypertexte ou hypermdia) permet "l'immersion" dans une mer "d'information" o le lecteur
"navigue" selon un processus associatif [GUERAUD et al]. Un hyperdocument peut tre
considr comme un rseau de nuds et de liens, o les nuds reprsentent les contenants
d'information, et les liens, des relations entre les nuds ou portions de nuds.
Les tuteurs intelligents : ou tuteurs automatiss, intgrent des techniques de
lintelligence artificielle. La forte capacit de rsolution de problmes, de ladaptabilit
lapprenant, de lexplication et de pdagogie est les principales caractristiques des tuteurs
intelligents [SALEM 2005]. Dans les tuteurs intelligents, la machine exerce pleinement un
rle de guidage (intelligent et ferm) [AGOSTINELLI 1994].
Ralit virtuelle : dvelopper des systmes dapprentissage avec ordinateur revient
grer les modes dinteractions entre les diffrents acteurs : il sagit de concevoir des
environnements complexes, intgrant des machines assumant plusieurs rles avec des
acteurs humains diffrents [D.LECLET 2004]. La ralit virtuelle est un domaine
scientifique et technique exploitant linformatique et les interfaces comportementales en
vue de simuler dans un mode virtuel le comportement dentits 3D, qui sont en
interaction en temps rel entre elles et avec un ou des utilisateurs en immersion pseudo
naturelle par lintermdiaire de canaux sensori-moteurs [M. GRANDBASTIEN]. Dans

16
 les EIAH, il est de plus en plus utilis pour permettre des personnes dapprendre en
faisant. Son utilisation permet de raliser des applications prenant de formes varies.
Judicieusement utilise, les apprentissages y sont guids et peuvent devenir plus faciles
quen situation relle. Le spectre de ces applications est large. Il va des apprentissages
conceptuels abstraits lapprentissage de gestes professionnels (le geste de soudage par
exemple), au modle fonctionnel dun processus (le processus dusinage comme
exemple). Les EIAH qui utilisent les technologies de la ralit virtuelle ou encore la
ralit mixte (voir chapitre 2) appels aussi Environnements Virtuels pour
lApprentissage , visent crer une situation propice lapprentissage. Ils sont
particulirement utiles lorsque le monde rel ne permet pas de crer une situation
dapprentissage adquate du fait, par exemple, des risques existants, du cot des moyens
engager et/ou de la complexit des apprentissages. Ils permettent aussi de crer des
situations o lapprentissage se trouve tre plus facile quen situation relle ou pouvant
soprer selon des modalits nouvelles.
Apprentissage collectif : cest le terme adopt par S.GEORGE [GEORGE 2001] pour
englober lapprentissage collaboratif et lapprentissage coopratif qui sont deux
approches dans les quelles les autres apprenants jouent un rle essentiel dans la
construction par chacun des connaissances :
o Lapprentissage collaboratif : travail en groupe, gnralement distance, avec
des outils logiciels en rseau permettant une interaction entre des lves pour
coproduire un mme objet ou rsultat.
o Lapprentissage coopratif : production personnelle incluant la comparaison du
travail de llve avec celui d'autres apprenants ont un but global commun.
Simulation et Jeux Srieux: ces deux types font lobjet des deux sections suivantes
(section 3 et section 4).

3. Environnements de simulation
Selon la dfinition du dictionnaire, la simulation est considre comme l'action d'imiter, de
copier, de reproduire. Dans linformatique, le terme simulation repose sur une logique de
reproduction dlments issus du monde rel. Il recouvre un panel dapplications de types trs
varis. Guraud et al [GUERAUD et al], ont proposs de rpartir les simulations
informatiques en trois catgories selon lobjectif poursuivi : simuler pour comprendre, simuler
pour construire, simuler pour apprendre.

Simuler pour comprendre : consiste progresser dans la comprhension d'un phnomne

rel en proposant un modle (le plus souvent numrique), et en comparant d'une part, les
rsultats produits par une simulation de ce modle et d'autre part, les phnomnes
constats dans le monde rel.
Simuler pour construire : consiste utiliser l'outil informatique pour simuler un nouvel
objet avant de le crer vritablement. Cet usage sert le plus souvent proposer et valider
des solutions varies pour un problme donn, en vitant de toutes les raliser
concrtement.
Simuler pour apprendre : llve apprend en modifiant les paramtres et en observant les
consquences de ses actions dans lenvironnement simuler.

17
 La simulation est aujourd'hui de plus en plus utilise dans le processus d'apprentissage.
Elle peut concerner des domaines aussi varis que :

L'apprentissage de pratiques mdicales, avec par exemple, un certain nombre de projets

qui ont pour but l'apprentissage de la manipulation d'outils chirurgicaux en faisant appel
des techniques de ralit virtuelle.
L'apprentissage de la conduite d'engins ou d'avions. On doit insister ici sur les notions
de gnricit et de configurabilit, et sur la ncessit pdagogique du ralisme
(utilisation de son, d'images de synthse).
L'apprentissage de matires scientifiques. Par exemple, la simulation des phnomnes
dynamiques lis lexcution des programmes pour lapprentissage de lalgorithmique.
La matrise de situations de ngociation ou de communication.

Ces exemples montrent bien la varit d'utilisation de la simulation dans le processus

d'apprentissage. On peut remarquer que selon les contextes, et en fonction des objectifs
pdagogiques, il peut tre fait appel des techniques plus ou moins sophistiques telles que
la ralit virtuelle, la manipulation directe, le recours au multimdia.

La simulation est utilise dans le processus d'apprentissage pour des raisons qui sont
qualifies daffectives et pratiques :

Affectives : l'attrait de la simulation pour l'apprenant, l'augmentation de sa motivation,

une meilleure comprhension des phnomnes, une plus grande aptitude l'adaptation
pour des problmes similaires dans d'autres contextes, etc.
Pratiques : le travail sur un systme rel peut tre trop coteux ou trop long, dangereux
pour lhomme, lenvironnement ou le matriel, source dangoisse pour le dbutant. Dans
une simulation, on peut introduire des situations d'extrme gravit pour entraner
l'apprenant ragir, changer l'chelle de temps pour amliorer la comprhension,
simplifier ou altrer une ralit pour mieux l'tudier.

4. Les Jeux Srieux

4.1.Prsentation

Le terme Jeux Srieux selon la dfinition de Julian Alvarez [ALVAREZ 2007] est une
Application informatique, dont lobjectif est de combiner la fois des aspects srieux
(Serious) tels, de manire non exhaustive, lenseignement, lapprentissage, la
communication, ou encore linformation, avec ressorts ludiques issus du jeu vido (Game).
Une telle association, qui sopre par limplmentation dun scnario pdagogique , a
donc pour but scarter du simple divertissement .

La dfinition de Julian Alvarez est une approche rsultante de son tude [ALVAREZ
2007] autour des autres approches, notamment celles de Michael ZYDA et Ben SAWYER.
Michael ZYDA a propos la dfinition suivante : un jeu srieux est un dfi crbral, jou
avec un ordinateur selon des rgles spcifiques, qui utilise le divertissement en tant que
valeur ajoute pour la formation et lentrainement dans les milieux institutionnels ou privs,
dans les domaines de lducation, de la sant, de la scurit civile, ainsi qu des fins de
stratgie de communication [ZYDA 2005]. A son tour Ben SAWYER a dfinit les jeux

18
 srieux comme tant des applications informatiques, ralises par des dveloppeurs, des
chercheurs, des industriels , qui regardent comment utiliser les jeux vido et les
technologies associes en dehors du divertissement .

Le but de ltude ralise par Julian Alvarez t de bien cerner le concept Jeux
Srieux , et ce grce une comparaison et analyse des deux approches, mais aussi
didentifier ce qui caractrise les jeux srieux des autres types de jeux et notamment ceux
des jeux vido. Le rsultat t la proposition de la dfinition globale cit en haut. Cette
dfinition annonce un nouveau concept qui est le scnario pdagogique , ce dernier est,
selon Julian Alvarez, le concept qui permet de distinguer les jeux srieux des jeux vido.

Lavnement des jeux srieux en tant quapplication informatique daterait, selon Ben
SAWYER, de 2002. Cependant, la notion de Jeux Srieux telle que nous lentendons
aujourdhui semble t avanc pour la premire fois en 1790 par Clark ABT dans son
ouvrage Serious Game [ABT 1970]. Le jeu prsent dans cet ouvrage il ne sagit pas
dapplication informatique, ceci tant probablement trop prmatur pour lpoque, mais plutt
un jeu de cartes ou de plateaux de type stratgie conu dans un but ducatif.

Dans sa thse Mathieu MURATET [MURATET 2010], signale quon pourrait considrer
comme premier jeu srieux celui dvelopp par Atari en 1980 sous le nom Army Battlezone
(figure 1). Le jeu est conu pour lentranement des militaires amricains.

Figure 1 : Army Battlezone, premie jeu srieux (Extrait de [MURATET 2010])

En France, les premires tentatives dutilisation de jeux srieux dans lducation se trouvent
principalement, selon MURATET, dans la communaut des muses via le Palais de la
dcouverte et la Cit des sciences et de lindustrie Paris.

4.2.Domaines dapplication

Les jeux srieux peuvent tre employs dans divers domaines dapplication, voir dans tous
les domaines. ZYDA a dress un organigramme (Figure 2) de domaines dans lesquels les jeux
srieux peuvent tre utiliss.
19
Figure 2 : Champ dapplication des jeux srieux selon ZYDA (Extrait de [ALVAREZ 2007])
Les secteurs dapplication de jeux srieux sont donc selon, cet organigramme, sont :
lducation, lvaluation par le jeu, la formation, la dfense, la sant, la simulation, la
communication, lergonomie, et la scurit civile.

Dans le but de bien classer les jeux srieux Julian ALVAREZ [ALVAREZ 2007], a propos
son tour six domaines dapplication qui sont, selon lui, les principaux domaines
dapplication de jeux srieux. Ces domaines sont : Militaire, Militant, Marketing,
Education/formation, Information et Mdical.

4.3.Exemples de jeux srieux

Nous prsentons quelques exemples de jeux srieux dans lordre chronologique de cration
comme ils sont dresss dans la thse de MURATET [MURATET 2010].

Figure 3 : Americas Army (Extrait de [MURATET 2010])

20
 Americas Army (Figure 3) : cest lun des premiers jeux srieux qui remporter un
vrai succs. Le jeu est dvelopp en 2002 par linstitut MOVES (Modeling, Virtual
Environnements, and Simulation). Il sagit dun jeu gratuit distribu sur Internet, il
permet aux joueurs de simuler des exercices dentranements militaires et des
missions de combat. Le jeu il a t initialement dvelopp comme outil de
recrutement dans larme amricaine.
Tactical Language & Culture : dvelopp en 2003 comme un projet de recherche au
sein du laboratoire Southern Californias Sciences Institute. Le jeu permet aux joueurs
dapprendre les langues et cultures trangres telles, larabe dIrak, le pashtou
dAfrghanistan, et le franais de Sahel Africain en vue de prparer les militaires aux
oprations dans ces rgions.

Figure 4 : Darfur is dying (Extrait de [MURATET 2010])

Darfur is Dying (Figure 4) : ou September 12th, est un jeu dvelopp avec la

fondation Reebok Human Rights et le groupe International Crisis. Ce jeu est conu
dans lobjectif de sensibiliser le grand public la situation du Darfour ainsi qu celle
des implications de lattaque terroriste du 11 Septembre. Il est disponible gratuitement
sur Internet depuis Avril 2006.

21
 Chapitre 2 : La ralit mixte dans les
jeux srieux
Ce chapitre prsente dans une premire partie (section 1) les concepts de la ralit mixte.
Nous citons quelques domaines dapplication de la ralit mixe dans la seconde partie (section
2). Enfin, nous prsentons dans une troisime partie (section 3) lapport de la ralit mixte aux
jeux srieux.

1. Concepts et dfinitions
Linteraction Homme-machine se situe habituellement entre un utilisateur et un ordinateur
apparaissant souvent comme une boite noire, dont les entres et sorties sont essentiellement
limites un cran, un clavier et une souris [DUBOIS 2001]. Avec ce mode dinteraction il y
a une grande frontire entre le monde rel (cest--dire lenvironnement physique de
lutilisateur, compos dobjet physique) et le monde virtuel (cest--dire les moyens
informatiques mis sa disposition qui regroupent des moyens de traitement, des moyens de
stockage et des donnes informatiques). Les systmes de la ralit mixte ont pour objectif de
briser la frontire existant entre le monde rel, lutilisateur et son environnement, et le monde
virtuel en intgrant des lments du monde rel dans le processus dinteraction. Ainsi,
lutilisateur bnficie de moyens et de capacit informatique tout en restant en contact avec
son environnement rel en utilisant des composants complmentaires pour associer les
dispositifs de traitement et les objets rels de lenvironnement impliqus dans la tache de
linteraction.
Le terme de la ralit mixte a t introduit par MILGRAM [MILGRAM 1994], concept
dsignant lhybridation dans un continuum reliant le monde physique au monde numrique
(figure 5)

Figure 5 : Continuum de ralit-virtualit (Extrait de [DEHAIS 2008])

Dans ce continuum, la ralit mixte occupe tout lespace entre les extrmits du continuum
et regroupe deux sous-domaines, dit daugmentation : la ralit augmente et la virtualit
augmente. Du cot gauche se trouve la ralit augmente et du cot droite se trouve la
virtualit augmente. On pourrait par exemple classer tout gauche les systmes de vido-
confrence et de visiophonie, tout droite les dispositifs immersifs tels que les casques de
ralit virtuelle. Cependant, ce continuum nadopte pas le point de vue de linteraction de
lutilisateur avec le systme et ne prend pas en compte le fait que lobjet de la tache puisse
tre rel ou virtuel. Prenant en considration ces dernires contraintes, les systmes mixtes ne
peuvent pas se dcrire sur un seul continuum, mais sur deux continua distincts [DUBOIS
2001]-(figure 6) : le continuum de la ralit augmente et le continuum de la virtualit

22
augmente. Le continuum de la ralit augmente permet de caractriser les systmes dont
lobjet de la tache est dans le monde rel en ajoutant une quantit dinformation numrique au
monde physique. Par exemple, laffichage dinformations numriques sur le corps dun
patient sur une table dopration dans les systmes de chirurgie assiste par ordinateur. Le
continuum de la virtualit augmente est ddi aux systmes dont lobjet de la tache rside
dans le monde numrique, il consiste ajouter une quantit de physique au monde numrique,
les interfaces tangibles (voir le chapitre 3) sont un exemple de systmes de virtualit
augmente.

Figure 6 : Systmes mixtes, deux continua pour distinguer ralit augmente et virtualit
augmente (Extrait de [DUBOIS 2001])

Dans la suite de ce chapitre nous nous focalisons sur la ralit augmente. Nous donnons
des dfinitions, quelques domaines dapplication et un cas dapplication dans les jeux
srieux : GoEduc3D. Nous revenons sur la virtualit augmente dans le chapitre 3 au travers
les interfaces tangibles.

1.1. Dfinitions de la ralit augmente

S. BOTTECCHIA dans [BOTTECCHIA 2010] signale que lexpression de la ralit

augmente a t introduite au dbut des annes 90 par Caudell comme tant tout
systme interactif prsentant un individu une combinaison en temps rel dentits
virtuelles (gnres par ordinateur) avec des lments physiques de lenvironnement
rel . Toutefois, la qualification du concept ralit augmente a beaucoup varie et
volue au cours du temps. En effet, certaines (comme P.Milgram dans [MILGRAM
1994] et R.Azuma dans [AZUMA 1997]) ont orients la dfinition vers laspect
technologique ou visuel, autres (comme P.Fuchs dans [FUCHS 2000]) ont exclut
totalement la multimodalit en tenant compte seulement de limportance du lien qui unit
le rel et le virtuel. Nous conseillons au lecteur la thse de [BOTTECCHIA 2010] pour
plus dinformations. De notre part, nous confirmons la dfinition de S. BOTTECCHIA qui
nous semble gnrique et qui inclut la multimodalit ainsi que la relation existante entre le
rel et le virtuel sans exclure les dfinitions antrieures.

La ralit augmente est la combinaison de lespace physique avec lespace numrique

dans un contexte smantiquement li . [BOTTECCHIA 2010]
23
1.2. Fonctionnalits de la ralit augmente

Proposes par P.Fuchs [FUCHS 2000] dans le but de dresser une liste de diffrents types
de relations qui peuvent exister entre le rel et le virtuel. Les fonctionnalits sont
numrotes de 1 5 dans lordre approximativement croissant des difficults techniques et
scientifiques. Noter quon peut carter le cas o il ya une prise en compte de la relation
entre le rel et le virtuel sur un mme support de visualisation mais sans aucun rapport
smantique entre elles. Lutilisateur utilise donc un seul support pour deux affichages
indpendants. Ce cas est class en fonctionnalit 0.

Fonctionnalit 0 : dfinit par labsence de relation entre le contenu des lments virtuels
et des lments rels affichs sur un mme support. Ainsi, les lments rels et les
lments virtuels peuvent tre affichs soit simultanment sur la totalit du support, soit
sur deux fentres du mme support ou soit sur une seule fentre et en fond du support de
visualisation.

Fonctionnalit 1 : ralit documente ou virtualit documente . Dfinit la

fonctionnalit minimum de la ralit augmente, elle enveloppe toute existence dun
rapport smantique entre les lments rels et les lments virtuels visualiss dans deux
cadres daffichage diffrents. Gnralement, ce sont des lments virtuels (sous forme
textuelle) qui permettent de mieux comprendre les lments rels. On parle ici de la
ralit documente . Pour la virtualit documente , il sagit de rattacher des
lments rels des reprsentations virtuels dans le but de faciliter la comprhension de la
scne en cours.

Fonctionnalit 2 : ralit comprhension ou visibilit augmente . Dfinit les

lments rels et les lments virtuels sont dans un mme cadre daffichage. Par
consquence, il y a deux sous-niveaux selon lapport de laugmentation.

Ralit comprhension augmente : il sagit de lincrustation dlments virtuels

vhiculant de linformation smantique passive afin daugmenter la
comprhension des images de la scne relle. Les lments virtuels (titres,
lgendes, symboles) apportent de linformation complmentaire sur des objets
rels. Dans cette fonctionnalit, linversement des lments rels et des lments
virtuels nest pas envisageable.
La ralit visibilit augmente : permet de surligner les objets rels pour faciliter
leurs perceptions en utilisant, gnralement, de modles fil de fer . Les modles
des objets doivent tre connus au pralable pour assurer la correspondance
gomtrique avec les objets virtuels.

Fonctionnalit 3 : permet dajouter de nouveaux objets virtuels la scne relle. Elle

prsente deux cas selon le niveau dintgration des objets virtuels dans la scne relle :

24
 Lassociation par superposition : les objets virtuels sont incrusts (overlay) par-
devant les objets virtuels sans aucune occultation des objets virtuels par les objets
rels.
Lassociation tridimensionnelle : les objets virtuels sont intgrs dans les objets
rels avec occultation, les deux mondes paraissant cohabiter spatialement et
temporellement. Cependant, une gestion des occultations entre les deux mondes
est ncessaire.

Fonctionnalit 4 : dfinit les interactions gomtriques et physiques entre les objets rels
et les objets virtuels. Connaissant la scne relle et ses objets, on peut modliser
smantiquement les objets virtuels en tenant compte de leurs proprits physiques (masse,
gravit, lasticit) ce qui permet denrichir la scne.
Fonctionnalit 5 : substitution du rel par le virtuel ou ralit virtualise . Ici, il est
question doffrir la possibilit de remplacer la scne relle (visuellement) par la scne
virtuelle quivalente. Connaissant et modlisant les proprits de la scne relle, il est
possible prsenter lutilisateur soit le monde rel ou virtuel, partir du mme point de
vue ou partie dun point de vue alternatif dans le monde virtualis, ceci afin de faciliter
la comprhension de lenvironnement.

2. Domaines dapplication de la ralit augmente

Les domaines dapplication de la ralit augmente sont nombreux. Nous dcrivant dans
cette section quelques domaines pris de travaux de C .DEHAIS [DEHAIS 2008].

Applications mdicales : La plus connue est lassistance au geste chirurgical o les

systmes de la ralit augmente sont utiliss lors des oprations, par exemple pour
superposer des donnes mdicales sur le corps du patient.

Une autre application est lapprentissage et la validation de gestes mdicaux, les diffrentes
tapes dune opration pouvant tre superposes la vue de lapprenti, qui na plus se
dtourner du patient pour consulter un manuel. Les objets virtuels peuvent galement servir
la localisation des organes.

Maintenance et assemblage industriel : Pour faciliter les oprations de montage et de

rparations, ces oprations sont prsentes par exemple sous forme de modles 3D anims des
pices manipuler. Lutilisation de la ralit augmente dans ce domaine a permet de rduire
les couts qui sont parfois important.

Divertissement : Au travers les jeux vido. C. DEHAIS dans [DEHAIS 2008] signale que
parmi les premires exprimentations dun systme de ralit augmente est le jeu vido
ARQuake. Le jeu se droule en extrieur et les lments virtuels sont intgrs dans
lenvironnement physique en combinant diffrents capteurs (GPS, compas numrique et suivi
visuel de marqueurs placs dans lenvironnement). La disponibilit de camras bon march
(webcam) et la puissance de calcul grandissante des consoles de jeux et des ordinateurs
permettent lessor de jeux utilisant linteraction vido et la superposition dobjets virtuels.

25
 Un autre domaine dapplication important est celui de lapprentissage humain au travers un
autre type de jeux : les jeux srieux (comme nous avons pu le voir au chapitre 1). Nous
dcrivant dans la suite lapport de la ralit mixte, et plus particulirement celui de la ralit
augmente, dans les jeux srieux.

3. Apports de la ralit augmente dans les jeux srieux : GoEduc3D

Les jeux srieux reprsentent un vritable moyen dapprentissage pour la construction de
connaissances et comptences. La comptence a t dfinit comme tant un ensemble
organis, cohrent et finalis de savoir-faire, savoirs et stratgies de raisonnement sexerant
dans un contexte et contrlable par des rsultats [COURDAVAULT 2010]. Ceci implique
que la comptence est bien lie laction de la personne dans un contexte donn. On est donc
bien dans un cadre dinteraction, do limportance dutiliser les techniques de la ralit
mixte. Lintgration de la ralit mixte dans les jeux srieux permet de prendre en compte de
nouveaux paradigmes dinteraction. Lun des jeux srieux qui illustre bien limportance de la
ralit augmente est le jeu GoEduc3D.

GoEduc3d [M&T&S 2011][S&M&S 2010] est un projet financ par le rseau GEOIDE et
port par le dpartement de sciences gomatiques de luniversit Laval (Qubec) et des
partenaires de lindustrie du jeu. Les finalits de GoEduc3D sont :

Proposer des jeux interactifs ducatifs, sappuyant sur les technologies gospatiales
(gomatique). La gomatique se dfinit comme tant lensemble des techniques de traitement
informatique des donnes gographiques [E.W2012]
Concevoir et mettre en uvre un ensemble doutils dapprentissage innovants qui vont
permettre daugmenter l'exprience du joueur (jeu en ralit augmente).

Un des objectifs poursuivi par lquipe de GoEduc3D est daugmenter lintrt des lves
ltude des sciences et de technologies par le biais dune familiarisation aux mthodes
instruments lis aux domaines de la gomatique ainsi qu son efficacit leur faire
comprendre la complexit du monde dans lequel ils vivent, particulirement au regard de
thmatiques traitant de questions environnementales comme changements climatiques,
dforestation, eau potable et lnergie. Les enseignants sont invits favoriser le
dveloppement dune culture scientifique et technologique de base chez les lves au travers
le dveloppement de trois comptences disciplinaires (sarticulant avec dautres comptences
dites transversales qui constituent un ensemble de repre permettant de mieux cerner des
dimensions importantes de lapprentissage qui ne doivent pas faire lobjet dun travail en soi,
en dehors de tout contenu de formation, mais tre sollicites et travailles tant dans les
domaines disciplinaires que dans les domaines gnraux de formation ][S&M&S 2010]). Ces
comptences amnent llve : chercher des rponses ou des solutions des problmes
dordre scientifique ou technologique, mettre profit ses connaissances scientifiques et
technologiques et de communiquer laide des langages utiliss en science et technologies.

Le premier prototype a t dvelopp par lquipe GoEduc3D au sein de luniversit Laval

sous forme dun jeu de rle qui se droule sur le campus de Queens University. Lobjectif du
jeu est la capture et lamnagement de btiments afin damliorer leur efficacit nergtique.
Un joueur commence le jeu en choisissant son rle au sein de lquipe, rle qui est associ

26
 des outils privilgis lui permettant dagir et daccomplir sa mission sur le terrain. Les outils
sont manipuls directement par les joueurs ce qui favorise une gestion efficace dinformations
en temps rel et donc de rsoudre des problmes environnementaux directement sur le terrain.
Remarquons que le choix des diffrents rles devait tre peaufin afin dassurer le
dveloppement de comptences bien distinctes pour chacun des joueurs. Le tableau 1
reprsente les diffrents rles, fonctions et outils utiliss dans le jeu :

Role du Fonction du joueur Outil employ

joueur
Un Coordonner les quipes sur le terrain Application sur Internet qui permet de
responsable voir les participants sur le terrain en
du quartier temps rel
gnral
Un Communiquer les informations au responsable du Application web de rseautage Twitter
responsable quartier gnral sur les actions entreprises sur le qui permet dcrire des messages au
des terrain responsable du quartier gnral
communicati
ons
Eclaireur Observer les obstacles qui se trouve sur le terrain Application mobile de ralit augmente
afin de protger son quipe et rcuprer les qui permet de voir les lments
informations ncessaires la progression dans le distribus ( Hot spots ) (Obstacles,
jeu informations, activits) sur le terrain.
Expert en Permet de fournir des informations afin de Application web 2.0 : Digg qui est un
environneme rsoudre des problmes concrets en lien avec des site Internet communautaire o les
nt solutions environnementales utilisateurs peuvent inscrire des
nouvelles, des informations sur des
sujets dactualits. (recherche en ligne
avec lenvironnement)
Expert en Permet de fournir des informations en lien avec la Application mobile : calculatrice
nergie rentabilit nergtique et la construction scientifique
dinfrastructures nergtiques (Panneau Application web 2.0 : AltEnergy
photovoltaique, olienne, pompe vapeur, etc.) Cette application permet doffrir de
linformation en lien avec lutilisation
des ressources dnergies renouvelables.
Il le montre le potentiel des aplications
solaires, hydro-lectrique, gothermique.
Expert en Permet de fournir des informations sur la Application web 2.0 : Wikimobile
ressources construction de matriaux afin daccroitre la Cette application permet doffrir de
matrielles rentabilit nergtique dun btiment. (Matriaux linformation pertinente sur la
comme le chanvre, le lige, plaques de gypse- construction de matriaux afin
cellulose, etc.) daccroitre la rentabilit nergtique
dun btiment.
Tableau 1 : Prsentation des diffrents rles des joueurs, fonctions et les outils utiliss dans le
jeu (Extrait de [M&T&S 2011])

Lapplication de la ralit augmente (figure 7) est utilise par le joueur ayant comme rle
Eclaireur . Ce dernier il se dplace sur le terrain avec une appareille mobile (Android ou
iPhone). En plus dobserver les zones qui pourraient contenir des balises de golocalisation
ainsi quidentifier leur position, lapplication permet lclaireur de rcuprer des
informations sur le terrain ou encore de dcider dviter une zone contenant un obstacle. Par

27
exemple, sur limage ci-dessous, le disque rouge indique la prsence dun obstacle loign
dune distance de 2.3 m par rapport la position courante de lclaireur.

Figure 7 : Simulation dune application de ralit augmente utilise par lclaireur (Extrait de
[M&T&S 2011])
Nous abordons dans le chapitre suivant un cas particulier de ralit mixte, les interfaces
tangibles

28
Chapitre 3 : Les interfaces tangibles
1. Prsentation

Linteraction entre lhomme et la machine est longtemps reste cantonne lusage du

triplet clavier-souris-cran. Le processus dinteraction peut tre vu comme un systme
bilatral ayant une extrmit la donne numrique et lautre extrmit lutilisateur
[GARREAU 2005]. Les interfaces tangibles (TUI) sinscrivent dans la volont de proposer de
nouvelles formes dinteraction pour faire communiquer lutilisateur et la donne numrique.

1.1. Historique

Les premiers prototypes des TUIs furent crs la fin des annes 70 [GARREAU 2005] par
Frazer et Aish. Linterface tangible Aish permet lutilisateur de manipuler la structure dun
btiment et den calculer les proprits techniques. Lutilisateur insre des panneaux
rectangulaires sur un socle. Chaque panneau symbolise un pan de mur. Le socle symbolise le
sol. Il est reli lordinateur pour communiquer les actions de lutilisateur.

En 1995, Ishii, Fitzmaurice et Buxton [FITZMAURICE 1995] ont introduit le concept

dinterfaces palpables au travers de linterface appele GraspDraw (voir figue 8) dvelopp
pour tester quelques techniques dinteraction. GraspDraw permet aux utilisateurs de crer des
objets tels que des lignes, des cercles, des rectangles et des triangles. Une fois crs, les objets
peuvent tre dplacs, tourns et mis l'chelle. Les interfaces palpables permettent le control
direct des objets virtuels grce des poignes physiques appeles briques. Les briques
peuvent tre "attaches" des objets virtuels, ce qui rend les objets virtuels physiquement
palpable.

En 1997, Ishii et Ullmer proposent le concept des interfaces tangibles [ISHII-CHI1997] qui
sont une nouvelle vision qui englobe les interfaces palpables. Les interfaces palpables sont un
sous-ensemble des TUIs.

Figure 8 : Lapplication GraspDraw (Extraite de [FITZMAURICE 1996])

29
1.2. Dfinition

Nous adoptons la dfinition de H.Ishii et B.Ullmer qui indique que : Les interfaces
utilisateur tangibles donnent une forme physique linformation numrique, en employant
des artfacts physique la fois comme reprsentation et contrle pour la mdiation de
linformation numrique . (Extrait de [RIVIERE 2009], traduit de [ULLMER & ISHII
2000]).

Ainsi lide cl de TUI est de donner des formes physiques, sappuyant sur la virtualit
augmente, linformation numrique dans le but de pouvoir la manipul. Ici il ne sagit plus
de manipuler la souris et de taper sur un clavier pour interagir avec linterface mais
linteraction humain-systme se fait via des formes physiques qui servent la fois des
reprsentations et des contrles pour leurs homologues numriques.
Comme toute interface homme-machine, une TUI est compose de dispositifs dentre et de
dispositifs de sortie. Les dispositifs dentre permettent de transmettre des informations
provenant du monde physique vers le monde numrique et les dispositifs de sortie permettent
de transmettre des informations provenant du monde numrique vers le monde physique.

1.3. Terminologie

Dans le processus dinteraction nous dfinissons deux espaces : lespace daction et lespace
de perception. Lespace daction est lespace o lutilisateur ralise ses actions. Lespace de
perception est lespace o lutilisateur peroit le rsultat de ses actions. Les interfaces
tangibles reprsentent linformation [ISHII 2006] sous des formes tangibles et intangibles.
Pour communiquer avec le systme, lutilisateur agit sur des formes tangibles appeles
interacteurs tangibles. Nous dfinissons dans la suite la porte du terme tangible ainsi que la
notion dinteracteur tangible.

1.3.1. Tangibilit

Selon le dictionnaire franaise (Larouse) le terme tangible : adjectif (bas latin tangibilis,
du latin classique tangere, toucher) 1. Qu'on connat par le toucher ; matriel, sensible. 2. Que
chacun peut constater, qui ne saurait tre mis en doute ; concret .
Dans le contexte des TUIs les implications du terme tangible vont au-del du caractre
physique. En effet, pour le considrer comme tangible lobjet physique doit correspondre,
un moment donn, ltat des donnes numriques, il doit tre utilis comme reprsentation
physique dune information numrique. Ainsi un objet physique utilis au sein dune interface
utilisateur nest pas forcment un objet tangible. Par exemple un stylo lectronique, pour
crire sur un PC tablette, ce nest pas une TUI par ce quil nutilise pas la virtualit augmente
et il ne reprsente pas la donne numrique au moment de processus dinteraction. En
revanche, un mme objet physique peut tre tangible au sein dune certaine interface
utilisateur et pas dans une autre. Ainsi, utiliser lorientation dun stylo lectronique [Rivire
2009] pour spcifier des chemins chirurgicaux est une TUI.

Donc un objet tangible est un objet physique interactif qui contrle et reprsente, un
moment donn, linformation numrique au sein du processus dinteraction.

30
1.3.2. Interacteur tangible

Dans son article, G.Calvary [CALVARY 2005], signal que la notion dinteracteur
(composition des mots interaction et acteur) t introduit en 1990 par Faconti et Paterno
comme tant labstraction dune entit capable la fois dentre et de sortie dans un systme
interactif graphique. En 1993 Duke et Harrison annoncent que cette notion est intressante
pour raisonner sur les systmes interactifs en gnrale et que la dfinition doit donc tre revue
pour tre porte au-del du graphique. Les interacteurs tangibles, appels aussi : artifact,
container, props, objects , dsignent la partie tangible de linterface, ils sont des objets du
monde rel manipulables par lutilisateur. Ils sont utiliss pour contrler et/ou reprsenter des
donnes du monde virtuel au sein dune TUI. Prenons par exemple lapplication dveloppe
au sein du laboratoire MERL (Mitsubishi Electric Research Laboratory) [GARREAU 2005]
qui permet de construire des formes 3D de btiment en se basant sur le principe dassemblage
dlments de type Lego TM. Lutilisateur assemble les interacteurs dans le monde physique
pour crer une forme 3D symbolisant les murs du btiment (voir figure 9) de la mme
manire quun maon construit les murs dune maison. Ensuite, la structure est relie un
ordinateur pour visualiser le modle 3D dans le monde virtuel. Le modle est enrichi par des
textures, des toits et des fentres gnrs par un logiciel.

Figure 9 : Projet du laboratoire MERL (extrait du [GARREAU 2005])

Par ailleurs B.Ullmer[ULLMER 2002] a dfinit quatre proprits principales dun

interacteur tangible qui sont lincarnation physique, la reprsentation physique, la
manipulation physique et la configuration spatiale.

Lincarnation physique : linformation numrique ou la fonctionnalit en quelque sorte

incarne dans une forme physique. un certain niveau, chaque dispositif de calcul implique
une certaine forme d'artefact physique, autrement dit la forme de linteracteur voque sa
fonctionnalit par ses proprits physiques.

La reprsentation physique : les interacteurs servent de manifestations physiques de

certains types d'associations numriques. La forme de linterafteur fait rfrence la donne
numrique ou la tache.

31
 La manipulation physique : les interacteurs de la TUI sont gnralement palpables. Les
objets peuvent tre pris dans la main, et physiquement manipul la main avec les doigts.

La configuration spatiale : lutilisateur agit rellement sur les interacteurs dans lespace
daction. Les mouvements de translation et de rotation appliques sur les objets physique doit
correspondre celles de lespace de perception.

2. Les systmes de liaison

Pour faire communiquer lapplication informatique et les interacteurs, les interfaces
tangibles possdent des systmes faisant la liaison interacteurs-systme, ces systmes
permettent comme le systme optique dune souris dans les interfaces graphiques- dvaluer
tout moment ltat actuel de linteracteur. Garreau [GARREAU 2005] a regroup les
systmes de liaison en deux catgories : les systmes avec des interacteurs actifs et ceux avec
des interacteurs passifs. Les interacteurs actifs possdent des composants lectroniques
permettant de connaitre leurs tats et de les communiquer lapplication informatique. Les
interacteurs passifs laissent un systme extrieur analyse leurs tats et les communiqus au
systme informatique.

2.1. Les TUI avec des interacteurs actifs

Ici, il sagit souvent de reprer les interacteurs par rapport une base relie au PC dont la
position est connue. Les interacteurs fixs cette base, par lutilisateur, communiquent leurs
identifiants et leurs tats. Crer un systme lectronique qui permet de suive ltat de
linteracteur (mouvement de translation et/ou rotation) et de le communiquer lapplication
informatique sans imposer des contraintes fortes sur la forme, taille, couleur, etc, et qui
vrifie les quatre proprits (cf 1.3.2) est la principale difficult relie ce type de systmes
de liaison. Nous dcrivons dans la suite deux solutions possibles travers des exemples de
TUI notamment linterface ArcheoTUI et ActiveCubes.

2.1.1. Utilisation de connexions : ArcheoTUI

Figure 10 : Fragments archologiques (Extrait de [REUTER 2008])

Linterface ArcheoTUI [REUTER 2008] est conue sur la demande darchologues pour
facilit la reconstruction de pices archologiques fragmentes (figure 10). En effet, les
fragments archologiques trouvs sont souvent briss en un grand nombre de fragments ce qui
rend la tache de la reconstruction de puzzles 3D trs difficile. De plus leur taille augmente
cette difficult : trop petits, lpaisseur de la colle ne permet pas de finir lassemblage

32
correctement, ou trop gros, les blocs dun puit ne peuvent tre manipuls avec une grue pour
tester lassemblage. Scanner les fragments et les assembler virtuellement est une solution
lgante. Cependant, assembler virtuellement des fragments dans une scne 3D avec la souris
sest avre peu performante, car dans une tache dassemblage de deux fragments pour les
mettre en correspondance, lutilisateur doit manipuler deux fois six degrs de libert, pour
chaque fragment trois translations et trois rotations sur les trois axes.
Avec ArcheoTUI deux fragments sont affichs sur lcran (figures 11 et 12). Lutilisateur
dans chaque main deux interacteurs et tous les actions de dplacement et rotations effectuer
sur les interacteurs dans lespace daction sont immdiatement retransmis, en temps rel, aux
deux fragments numriques associs.
Les interacteurs tangibles de linterface ArcheoTUI sont deux cubes de 5 * 5 * 3 cm. Les
deux cubes sont relis au PC par une liaison filaire et servent la fois de reprsentation
physique et un moyen de contrler les fragments archologiques numriss. Deux pdales
sont intgres au systme au niveau des pieds de lutilisateur pour associer/dissocier les
mouvements des interacteurs aux mouvements des fragments numriques. A chaque pdale
correspond un interacteur. Cest seulement lorsque les pdales sont enfonces, que les
mouvements de translation et de rotations des interacteurs correspondants sont associs la
visualisation sur lcran de fragments virtuels.

Figure 11 : Les mmes fragments numriss, puis assembls (Extrait d [REUTER 2008])

33
 Figure 12 : Linterface ArcheoTUI (Extrait de [REUTER 2008])

2.1.2. Addition de capteurs aux interacteurs : ActiveCube

Linterface tangible ActiveCube [KITAMURA 2004] permet un utilisateur de construire

et d'interagir avec une forme 3D. Les interacteurs sont des cubes rigides avec 5 cm de ct.
Les cubes sont quips de capteurs ultrason, de capteurs gyroscopiques, de capteurs tactiles,
de capteurs infrarouges, de lumires, de moteurs et de vibreurs. Les utilisateurs peuvent
construire diverses structures 3D en combinant les cubes comme ils le souhaitent et la forme
rsultante est reproduite sur un cran dordinateur (figure 13) en temps rel en utilisant le
rseau de communication en temps rel entre les cubes. Les faces des cubes sont les mmes
de sorte que chaque cube peut tre connect n'importe quel autre cube.
Pour obtenir la fonctionnalit d'interaction en temps rel, un systme de gestion de rseau en
temps rel appel LON (Local Operating Network) est utilis. Un numro d'identification est
attribu chaque cube pour l'identification univoque des cubes. Un numro d'identification
est galement attribu chaque face du cube pour identifier la face de connexion. Les cubes
possdent un microprocesseur pour communiquer leur identifiant et sont relis l'ordinateur
hte par l'intermdiaire d'un cube spcial appel un cube de base.

34
 Figure 13 : ActiveCube, un exemple dune forme 3D avec 39 cube (Extrait de [KITAMURA
2004])

2.2. TUI avec des interacteurs passifs

Dans ce type de TUI les interacteurs nont aucune liaison physique avec lordinateur,
ce dernier est totalement transparent par rapport lutilisateur. Ltat de linteracteur est
valu par un systme extrieur. Plusieurs solutions existent pour implmenter des TUI
avec des interacteurs passifs. Nous dcrivons dans cette partie deux TUIs une base sur la
mthode de suivie par vido et lautre base sur la technique de dtection de mouvement.

2.2.1. Mthode de suivie par vido : ESKUA

ESKUA [GARREAU 2005][COUTURE 2003] est une interface tangible permettant au

concepteur de raliser lassemblage de pices CAO (Conception Assiste par Ordinateur)
dun produit. Lutilisateur ralise lassemblage de pices mcaniques dans lespace
dnteracteurs tangibles et le rsultat sera reproduit en 3D sur lcran de visualisation en temps
rel (figure 14 page suivante). Les interacteurs sont de tailles et de formes varies (cylindre,
paralllpipde) avec la possibilit de greffer aux certains interacteurs des surfaces
fonctionnelles dans le but de limiter le nombre dinteracteurs et doffrir plusieurs solutions
pour lassemblage.
Pour traduire les actions de lutilisateur, ralises dans lespace physique, le systme doit
connaitre la position et lorientation des interacteurs dans la scne relle. Pour ce faire, les
crateurs dESKUA ont proposs deux techniques de suivi : une repose sur lutilisation de
marqueurs et lautre utilise une approche base sur les modles.

35
 Figure 14 : La fentre principale de lapplication ESKUA (Extrait de [COUTURE
2005])

2.2.1.1.Mthode base sur lutilisation des marqueurs

Cette approche consiste suivre des marqueurs disposs sur les interacteurs et dont la
couleur est connue. Lobtention des points caractristiques devient rapide avec un simple
filtre de couleur. Trois marqueurs carrs de couleurs verte sont disposs sur trois des quatre
angles de la face de dessus de linteracteur. Lutilisation de trois marqueurs au lieu de un ou
deux pour but de lever lambigit sur langle entre linteracteur et laxe des abscisses.

Le processus de dtection de la position de marqueurs passe par trois tapes (figure 15) :
identification des marqueurs en parcourant limage ligne par ligne, lassociation des sommets
de linteracteur aux marqueurs et enfin la dtection de dplacement et lorientation de
linteracteur.

Figure 15 : Suivi de marqueurs (Extrait de [GARREAU 2005])

36
 Cette technique a permet de suivre jusquaux cinq interacteurs en temps rel avec une
cadence suprieur 15 images par seconde. Cependant, elle prsente deux contraintes cause
de lutilisation des marqueurs et dune seule camra. La premire contrainte ne permet pas un
suivi en trois dimensions avec six degrs de libert (la plupart des utilisateurs aimeraient
mouvoir les interacteurs dans lespace 3D) : deux translations et une rotation. La seconde
contrainte apparait lorsque des marqueurs se touchent : lalgorithme regroupe les deux zones
vertes en une seule et ne considre plus quun marqueur. Enfin la mthode montre aussi sa
limite lorsque lutilisateur masque et dplace en mme temps les interacteurs. En effet,
lalgorithme mlange les marqueurs.

2.2.1.2.Technique base sur des modles 3D

Pour pallier aux limitations de lapproche base marqueurs, les crateurs dESKUA ont
proposs un algorithme reposant sur une approche par modle incluant le calibrage de la
camra. Le calibrage de camra permet de restreint le nombre dinconnues seulement aux
postions x, y et z de lobjet et ses orientations autour des axes.
Le principe des algorithmes par modles est de comparer un modle rel et un modle
virtuel. Le modle virtuel est obtenu partir dune camra virtuelle simulant la camra relle.
Ensuite, les images relles et virtuelles sont compares pour estimer les dplacements entre le
modle rel et le modle virtuel. Lalgorithme est dcompos en trois tapes : lextraction des
paramtres de la projection, la construction d limage virtuelle et lvaluation des
dplacements (figure 16).
Cette mthode a permet de lever la contrainte du suivi des interacteurs dans le plan ainsi que
le problme li au contact des interacteurs. Cependant, elle est trop couteuse en temps de
calcule et semble dlicat implmenter, en particulier pour un suivi lorsquil y a
simultanment une occlusion et un mouvement ou lors de dplacement dans lespace.

37
 Figure 16 : Processus global de lapproche par modle (Extrait de [GARREAU 2005])

2.2.2. Technique de dtection de mouvement

Linterface tangible Brevie [ERNST 1999][Rivire 2009][Gareau 2005] est un

environnement dapprentissage pour la formation professionnelle dans l'ingnierie de
production ralise dans le cadre du projet europen BREVIE (Bridging REalty and VIrtuality
with a graspable interface). Cette interface permet de construire une maquette de chaine de
production industrielle dans le monde physique en utilisant des interacteurs appeles Twin-
Objects (figure 17). La maquette ainsi construite est visualise en 3D dans le monde virtuel en
temps rel comme le montre le figure ci-aprs (figure 18). Les Twin-Objects sont des blocs,
des tapis, et des chaines et nont pas la mme fonction. En effet, deux types dinteracteurs
sont distingus : les interacteurs de type tache et ceux de type objet. Linteracteur de type
tache permet de symboliser une action. Linteracteur de type objet fait rfrence un objet.
Linteraction est gnre par le dplacement de la main. En effet, un magntique qui
quipe un doigt de lutilisateur permet de dterminer les actions de saisie de la main et de
calculer les dplacements des Twin-Objects.
Cette application permet dutiliser une large varit dinteracteurs avec la prcision et la
facilit dutilisation quoffrent les capteurs. Leur nombre est rduit car lapplication capture
seulement les mouvements de la main. En revanche, lutilisateur doit toujours dbuter
lapplication en mettant tous les interacteurs dans une position connue.

38
 Figure 17 : Construction d'un modle avec Twin-Objects (Extrait de [ERNST 1999])

La maquette virtuelle gnre en temps rel

Figure 18 : Simulation industrielle (Extrait de [ERNST 1999])

3. Les techniques dinteraction

Selon L.Garreau [GARREAU 2005] Les techniques dinteraction sont les possibilits
dactions proposes lutilisateur avec les priphriques matriels et leurs composants
logicielles.

39
 Dans [GARREAU 2005], L.Garreau a ralis une tude sur les diffrents types dinterfaces
dinteraction Homme-Donnes conues pour la manipulation gomtrique de modles 3D. Le
cadre de cette tude t hors des IHM de type TUI afin dinspirer des qualits dautres IHM
pour les adapter aux interfaces tangibles.
Les objectifs de son tude ont t dune part, de dcrire les diffrentes solutions utilises en
IHM pour permettre la manipulation gomtrique en se focalisant principalement sur les
composants daction, les composants de perception, la tache et lutilisateur et dautre part,
dtudier le lien entre le degr de libert (possibilits de mouvement suivant un axe donn) de
la composante daction, les mtaphores dinteractions et une interaction simple apprendre.
Cette tude a mene distingue trois manires dinteraction : linteraction symbolique,
linteraction semi-directe et linteraction directe. Linteraction symbolique sappuie
essentiellement sur lutilisation de mtaphores logicielles (fentres, menu, zone de texte, etc.)
tandis que linteraction semi-directe et directe sappuient sur des mtaphores materielles.

3.1. Interaction symbolique

Selon L.Garreau [GARREAU 2005] Linteraction symbolique est base sur des
mtaphores dinteraction sappuyant sur une action (click, dplacement, etc.) et un
contexte (exemple : souris) trs diffrent de laction virtuelle.

Figure 19 : Illustration de linteraction symbolique (Extrait de [GARREAU 2005])

Dans ce type dinteraction (figure 19) le triplet utilisateur, priphrique dinteraction et

lapplication informatique sont trs spares. En effet, dune part le geste excut rellement
par lutilisateur sur le priphrique dans le monde physique est diffrent de son effet sur
lobjet dans le monde virtuel et dautre part lors de processus dinteraction, lutilisateur pense
son action sur linterface logicielle et non la manipulation relle sur le priphrique. Un
exemple dinterface qui explique bien ce type dinteraction est les interfaces graphiques avec
la souris comme priphrique dinteraction.

40
 Cette catgorie dinteraction est simple implmenter car, la conception est concentre
seulement sur la partie logicielle et du faite de la disponibilit des technologies qui facilitent
le dveloppement dapplications informatique. Un autre avantage, ce quelles offrent un grand
nombre dactions ; les actions ne sont limites que par linterface logicielle. Cependant, elles
demandent un effort cognitif important pour comprendre et apprendre les actions proposes
par lapplication.

3.2. Interaction semi-directe

Nous adoptons aussi la dfinition de L.Garreau [GARREAU 2005] : les actions virtuelles
reproduites sur la donne sont les mmes actions que celles ralises avec la composante
daction. Le retour dinformation se situe dans un espace diffrent de celui de laction.

Figure 20 : Illustration de linteraction semi-directe (Extrait de [GARREAU 2005])

Contrairement linteraction symbolique o la manipulation de la donne numrique se fait

au travers linterface logicielle, dans linteraction semi-directe (figure 20), lutilisateur
modifie la donne informatique par une manipulation directe de la partie matrielle de
linterface. En effet, lutilisateur excute ces actions directement, dans le monde physique, sur
le priphrique pour modifier ltat de la donne numrique. Ainsi, les fonctionnalits
principales quoffre linterface sont accessible des gestes naturels sur le composant
dinteraction. Les actions de lutilisateur dans le monde rel et ses rpercussions dans le
monde virtuel sont les mmes et lespace de linteraction est diffrent de celui de perception.
Un exemple qui illustre ce type dinteraction est linterface Cubic Mouse [GARREAU 2005]
o le composant dinteraction est une boite la forme de cube avec trois tiges
perpendiculaires passant par son centre (figure 21 page suivante) et quip dun capteur
permettant de connaitre lorientation du cube ainsi que ses mouvements (translation et
rotation). Les tiges peuvent tre pousses et tires, ce qui permet de potentiels mouvements
sur les trois tiges. Le priphrique possde un total de 12 degrs de libert, six mouvements
du priphrique en entier dans lespace et six mouvements du cube sur les trois tiges.

41
 Parmi les prototypes dapplications mis en place est le systme de go-visualisation
scientifique (figure 22) permet lexploration des donnes de lindustrie du ptrole et du gaz
dans les environnements virtuels locales et distribues.

Figure 21 : Cube Mouse (Extrait de Figure 22 : Modification de la trajectoire d'un puits de ptrole
[ROSENBLUM 2000]) (Extrait de [ROSENBLUM 2000])

Lapprentissage de ce type dinteraction est plus rapide et plus simple et il ne demande pas
des efforts cognitifs car lutilisateur effectue des gestes qui sont connus. Cependant, la
conception est beaucoup complique. En effet, la conception de linterface implique, en plus
de la conception logicielle, la conception des composants matriels dinteraction pour chaque
ensemble de manipulation. En fin, le nombre dactions possible est limit par rapport
linteraction symbolique.

3.3. Interaction directe

Toujours selon L.Grreau [GARREAU 2005] linteraction directe est dfinie comme tant :
Mtaphore dinteraction transparente, lespace daction est confondu avec lespace de
perception et les actions relles et virtuelles sont quasi-identiques.

Le terme directe est justifi par le fait que, dans ce type dinteraction (figure 23)
lutilisateur interagit sur la donne et pas avec la prsentation de la donne, cas de
linteraction semi-directe. Lespace de perception est confondu avec lespace daction en se
basant sur les techniques de la ralit mixte.

Dans linteraction directe, lutilisateur il se concentre seulement sur la ralisation de ses

actions dans le monde physique et tout autre composant de linterface, que les priphriques
dinteraction, devient transparent. Les priphriques dinteraction ont le mme comportement
que la donne numrique.

42
 Figure 23 : Illustration linteraction directe (Extrait de [GARREAU 2005])

Un exemple qui illustre ce type dinteraction est linterface URP (Urban Planning
Workbench) [Ishii 2006] permettant de visualiser, directement sur une table via un vido
projecteur, les effets de ports dombre et la circulation du vent entre les btiments.

Comme linteraction semi-directe, dans linteraction directe les actions effectues dans le
monde physique et ses rpercutions dans le monde virtuel sont les mmes. Cependant, la
principale diffrence est que lespace daction, dans linteraction directe, est confondu avec
lespace de visualisation.

4. Catgories et caractristiques des interfaces tangibles

4.1. Les catgories des TUIs

Dans [Ishii 2006] et [ISHII 2008], H.Ishii a dfinit huit catgories des interfaces tangibles :

1. La tl-prsence tangible : repose sur lentre haptique de cartographie des

reprsentations haptiques sur une distance. Le mcanisme sous-jacent est la
synchronisation des objets distribus et la simulation gestuelles dinteracteurs,
comme le mouvement, permettant aux utilisateurs de transmettre leurs manipulations
haptique des objets physiques distance.

2. La mmoire cintique tangible : permettant de reproduire les gestes et les

mouvements.

3. Les assemblages constructifs : cette catgorie sappuie sur linterconnexion des

lments physiques modulaires.
43
 4. Les jetons avec contraintes : se sont des TUIs qui utilisent des contraintes
mcaniques pour fonctionner linformation numrique.

5. Les surfaces interactives tangibles : appeles aussi tables interactives tangibles, les
objets physiques sont manipulables sur la surface de la table et le retour visuel est
pourvu sur la surface de la table aussi.

6. Les TUI en plastique dformable : les TUIs de cette catgorie ont la capacit de
pouvoir changer les formes de reprsentations tangibles au cours dinteractions.

7. Laugmentation des objets du quotidien : augmentent des objets physiques de la

vie quotidienne via des technologies pour quils deviennent interactifs.

8. Le tangible ambiant : sont des lments de lespace ambiant qui informe par son
tat dune situation. Il ny a pas dinteractions directes avec lutilisateur.

Plus tard, Rivire dans [Rivire 2009] a propos une catgorisation qui repose sur un socle
trois niveaux :
La nature de la reprsentation (tangible ou intangible) de la donne
La localisation des espaces daction et de perception
Et la nature des oprations contrles.

Objet ou systme : du point de vue de lutilisateur, une TUIs peut tre de objet ou
systme .dans le cas dune TUI de type objet, lutilisateur interagit avec des objets seuls,
qui nont pas besoin dinfrastructure pour fonctionner. Dans le cas des TUIs de type systme,
lutilisateur interagit avec divers composants tangibles ou intangibles.

Tangible ambiant : ces TUIs reprsentent souvent linformation numrique par un

phnomne physique, par actualisation de ltat physique des reprsentations tangibles, dans
le but de raliser la mdiation de linformation numrique en exploitant la conscience des
informations environnantes de lutilisateur.

Avec ou sans mtaphore : dans les TUIs sans mtaphore, lutilisateur touche la donne
quil manipule. Alors que, dans les TUIs avec mtaphore lutilisateur ne touche pas la donne
quil manipule.

Reprsentation tangible ; outil ou donne : la partie tangible dune TUI peut etre soit une
reprsentation tangible de la donne manipule, soit un outil pour agir sur la reprsentation
intangible de la donne manipule.

Tangible noyau : permettent dassurer de manire relativement uniforme le contrle des

oprations noyaux susceptibles dtre prsentes dans la majorit des TUIs au traves un moyen
proposer par des interacteurs tangibles appels interacteurs noyaux .
Miroir magique : dans ce type les donnes possdent deux reprsentations ; lune est le
contrle tangible et lautre est une reprsentation intangible. Les deux reprsentations sont

44
couples, et la manipulation des reprsentations tangibles est retranscrite sur la reprsentation
intangible.

4.2. Les caractristiques des TUIs

Dans sa thse [Rivire 2009] Rivire, a cit les diffrentes caractristiques des TUIs
proposes par Fitzmaurice. Ces caractristiques sont :

Multiplex dans le temps : en conditions dentre multiplexe dans le temps, un

dispositif physique contrle diffrentes fonctions logiques diffrents moments dans le
temps. Le dispositif physique est ainsi attach et dsattach de manire rpte aux
fonctions logique.

Multiplex dans lespace : en conditions dentre multiplexe dans lespace, chacune

des fonctions est contrle par un transducteur ddi, chacune occupant ainsi sa propre
place. [] chaque transducteur peut tre accessible indpendamment mais aussi
simultanment. Les conditions dentre multiplexe dans lespace permettent de tirer
avantage de la forme, de la taille et de la position de multiples contrleurs physiques
pour augmenter laspect fonctionnel et diminuer la complexit. Lattachement potentiel
dun transducteur une fonction peut tre accru.

Forme spcialise : la forme dun dispositif physique dentre est spcialise quand
elle correspond approximativement la forme et aux caractristiques de manipulation
du contrleur logique.

Forme gnrique : la forme dun dispositif dentre est gnrique lorsquelle nest pas
spcialise. Cest--dire quelle ne correspond pas la forme et aux caractristiques de
manipulation du contrleur logique. Une forme gnrique nexiste pas en soit car cette
qualification dpend de la fonction logique qui est contrle, et une forme gnrique
peut devenir spcialise. Par extension, un dispositif dentre est qualifi de gnrique,
ou de non-spcialis, lorsquil est utilis pour contrler de multiples fonctionnalits.

5. Conception des interfaces tangibles

Les modles sont intressants de part leurs pouvoirs descriptifs, gnratifs et comparatifs.
Le premier est la capacit de dcrire un ventail important des interfaces existantes et de les
classifier. Le deuxime, est la capacit daider les concepteurs crer de nouvelles interfaces.
Enfin, le troisime, est la capacit daider lvaluation de plusieurs conceptions possibles
[Rivire 2009]. Nous prsentons dans la suite de cette partie le modle MCRit introduit par
Ullmer et Ishii, une comparaison entre les TUIs et les interfaces graphiques classiques (GUI)
et nous terminons par le processus de conception de TUI introduit par N.Couture.

5.1. Un processus de conception

Le but de permettre au concepteur de concevoir la fois la partie physique et la partie

logicielle de son TUI, [COUTURE 2010] propose une mthode do conception qui intgre les
mthodes du gnie logiciel et de la conception de produit. Ainsi, la mthode associe ds le

45
dbut du processus des reprsentants de lutilisateur final, du concepteur de produit
manufacturs et des dveloppeurs. Dune part, ce processus de conception aide le concepteur
de la TUI choisir une forme physique adquate pour reprsenter linformation numrique
et/ou le contrle sur linformation numrique. Dautre part, il permet dintgrer les
interacteurs tangibles dans un systme interactif. Le processus intgre les principes de la
conception centre utilisateur. Cette dernire, consiste considrer les utilisateurs et leurs
besoins tout au long du processus de dveloppement dune application informatique. Le
processus se droule en sept tapes :

1. Sance de crativit avec les utilisateurs finaux : Les runions sont organises avec les
utilisateurs finaux afin de dterminer le contexte dutilisation, les scnarios
dutilisations, les donnes manipuler, les principales taches et les difficults
rencontres dans lancienne faon de travailler. Il est recommand dans cette tape
de bien analyser les conditions de travail et les savoirs faire de lutilisateur final dans sa
manire de travailler, avec les outils traditionnels , gnralement de type GUI, voire
dans sa manire de travailler, lorsque cest possible, avant larrive des systmes
informatiques. A lissue de cette tape, les concepteurs de la TUI fournissent la liste
exhaustive des besoins des utilisateurs finaux et pour chacun deux des solutions
dinterfaces et des techniques dinteraction.

2. Objets intermdiaires / dmonstrateurs : Les concepteurs dveloppent des maquettes

prliminaires illustrant les solutions adoptes ltape 1 et les prsentent aux utilisateurs
finaux.

3. Adaptation des spcifications fonctionnelles et des contraintes

4. Simulation : A cette tape, les premires maquettes ne vont pas ncessairement utiliser
la technologie finale. Par exemple, si la technologie nest pas disponible ou complexe
mettre en uvre la technique de magicien dOz (technique d'valuation exprimentale
qui consiste faire simuler par un "compre" humain dissimul des services manquants
dans un systme informatique [D.SALBER]) peut tre utilise pour mener des tudes sur
les premiers utilisateurs.

5. Mise en situation : A lissue de cette tape, la solution technologique finale est dcide
ainsi que la technique dinteraction.

6. Conception dtaille, dveloppement et tests : les concepteurs dveloppent un

prototype de travail.

7. Exprimentation avec les utilisateurs : Les premires tudes exprimentales sont

menes avec les utilisateurs finaux sur le prototype de travail, afin de valider
dfinitivement les choix de conception.

Le processus peut tre vu comme un cycle spirale (une dmarche qui boucle et reboucle
jusqu ce que le systme satisfasse aux exigences dfinies chaque tape).

46
5.2. Le modle MCRit

Dans un premier temps B.Ullmer et H.Ishii [ULLMER & ISHII 2001] ont introduit le
modle MCRdp (Model-Control-Representation phisical and digital) en inspirant du modle
MVC (Modle-Vue-Contrleur) des GUI (figure 24-a), puis, B.Ullmer [ULLMER 2002] a
chang le nom MCRdp par MCRit pour Model-Control-Representation tangible and
intangible. MCRit dcrit les diffrentes entits du monde physique et numrique qui
interviennent au sein dune TUI (figure 24-b).
Le schma de MVC illustre lambigit du processus dinteraction classique, oscillant entre
le domaine physique et le domaine numrique. Le modle est dans le domaine physique tandis
que le control et leur retour sont la fois dans les deux domaines. En revanche, cette
ambigit napparait pas dans le schma MCRit o le contrle est une reprsentation physique
de la donne. Dans ce cas le processus dinteraction est entirement dans le domaine rel
[GARREAU 2005].

Figure 24 : Modlisation des interfaces graphiques et tangibles (Extrait de [Rivire 2009],

Reproduit et traduit de [ULLMER 2002])

5.3. Les TUIs contre GUIs

Plus tard H.Ishii dans [Ishii 2006], compare les GUIs et les TUIs de la manire suivante :
une interface graphique reprsente linformation avec des pixels intangibles retranscrits sur un
affichage bit bit et du son. Des dispositifs dentres universels permettent lutilisateur de
contrler ces reprsentations (figure 25-a). En donnant une reprsentation tangible (physique)
linformation numrique, les interfaces tangibles rendent linformation directement
saisissable et manipulable avec une rtroaction haptique. Des reprsentations intangibles
synchronises, comme par exemple un projecteur vido, peuvent complter les
reprsentations tangibles (figure 25-b)

47
 Figure 25 : Modlisation des interfaces graphiques et tangibles (Extrait de [Rivire 2009],
Reproduit et traduit de [ISHII 2008])

En 2009, [Rivire 2009] dcrit la schmatisation de linteraction avec une GUI et une TUI
introduite par Oren Zuckerman. Dans linteraction graphique, lutilisateur agit sur les
dispositifs physiques dentre, souris et clavier, peroit visuellement les rtroactions sur le
dispositif de sortie, les pixels de lcran (figure 26-a). Dans linteraction tangible, lorsquun
utilisateur agit sur linteracteur tangible, il peroit le rsultat de ses actions au travers du
systme informatique, mais aussi directement sur lobjet physique de manire passif (figure
26-b).

Figure 26 : Modlisation de linteraction graphique et de linteraction tangible (Extrait de

[Rivire 2009], Schma d Oren Zuckerman)

5.4. Les boucles de rtroaction

Restant dans le cadre de modlisation de linteraction tangible qui peut tre modlise par
un utilisateur qui excute ses actions sur un interacteur tangible dans le monde physique et
peroit le rsultat au travers du systme informatique et directement, de manire passif, sur le
dispositif physique quil manipule. H.Ishii dans son article publi en 2008 [ISHII 2008],
propose une modlisation de linteraction tangible selon trois boucles de rtroaction :

48
 La premire boucle de rtroaction
haptique passive (figure 27) fournit
lutilisateur la confirmation immdiate
quil a saisi ou dplac lobjet physique.
Cette boucle existe de manire intrinsque
dans le monde physique, et il ne ncessite
aucune perception ou calcul de la part du
systme informatique. Ainsi, il n'y a
aucun retard de calcul. L'utilisateur peut
commencer manipuler l'objet comme
dsir sans avoir attendre la deuxime
boucle de rtroaction, la confirmation
visuelle de l'interface. En revanche,
lorsque l'utilisateur utilise une souris avec
un ordinateur GUI, il doit attendre le
Figure 27 : Premire et deuxime boucle de rtroaction (Extrait
retour visuel (la deuxime boucle) pour
effectuer une action. de [Rivire 2009], Reproduit et traduit de [ISHII 2008])

La deuxime boucle de rtroaction numrique (figure 28) ncessite la perception par le

systme informatique des mouvements des objets physiques, le calcul dune rponse
partir donnes collectes et laffichage de rsultat comme une rtroaction visuelle (et
ventuellement auditive). Ainsi, la deuxime boucle dure plus longtemps que la premire
boucle.
La troisime boucle de rtroaction
physique par actualisation (figure 28)
permet au systme informatique de fournir
une rtroaction sur ltat de linformation
numrique, quand le modle change ou
quil ragit aux calculs. Lactualisation de
ltat physique des artefacts physiques par
le systme informatique permet de
maintenir ltat physique en cohrence
avec ltat numrique du systme et
dextrioriser les informations numriques
autrement que par des rtroactions
visuelles ou auditives.

Figure 28 : La troisime boucle de rtroaction (Extrait de

[Rivire 2009], Reproduit et traduit de [ISHII 2008])

49
Synthse
Dans cette partie, nous nous somme intresss prsenter un tat dart sur les concepts qui
rentrent en jeu dans notre problmatique, notamment les EIAH, les jeux srieux (un type
dEIAH), et la ralit mixte (ralit augmente et interfaces tangibles). Lobjectif tait
dabord de clarifier ces concepts et puis dtudier les recherches et avances scientifiques
dans ces domaines afin de les positionner par rapport notre problmatique. Rappelons que
nous cherchons cerner les bnfices de la ralit mixte et de les intgrer dans les EIAH de
type jeux srieux. A partir de ce que nous avons prsent, nous pouvons rsumer les intrts
de la ralit mixte dans les points suivants :

Limmersion : lutilisateur est plong dans un univers interactif compos de rel et de

virtuel. Limmersion signifie que lutilisateur se sent comme appartenant cet univers.
Linteraction : la ralit mixte rend linteraction entre lutilisateur et lordinateur plus
concrte, et ce grce lintgration des lments matriels reprsentatifs du monde rel
dans lenvironnement informatique. Les actions de lutilisateur sont naturelles.
Le temps rel : cest une dimension important, il est li tous les autres points, c'est--
dire linteraction, la combinaison du monde rel et du virtuel et limmersion se font en
temps rel.
Combinaison du rel et du virtuel : la ralit mixte permet de diminue la frontire entre
le rel et le virtuel. Elle est possible de rendre une situation plus proche de la ralit.

Le jeu srieux GeoEduc3D que nous avons prsent dans le chapitre 2 est un environnement
dapprentissage qui exploite une partie de la ralit mixte qui est la ralit augmente et plus
prcisment, la fonctionnalit 1 de la ralit augment (Ralit Documente). Lapplication
BREVIE (chapitre 3) est son tour un environnement dapprentissage qui intgre cette fois ci,
la deuxime partie de la ralit mixte qui est les interfaces tangible mais lapplication nest
pas un jeu srieux.

Un des rcent projets qui ont tents dintgrer la ralit mixte en entier est le projet
SEGAREM [SEGWEB10-12][SYMETRIXSERIOUSG]. SEGAREM est un projet de
recherche dvelopp dans les annes 2010-2012. Les partenaires de ce projet sont le
laboratoire LIRIS de lINSA de Lyon [LIRISWEB], lentreprise Symetrix
[SYMETRIXWEB], et Total Immersion [TOTALWEB]. Lobjectif de projet tant de
dvelopper des outils permettant lutilisation de jeux srieux en ralit mixte comme support
lapprentissage.

Daprs notre premire exprience de recherche dans ce domaine, nous pouvons dire quil
ny a pas beaucoup de travaux autour de la ralit mixte en gnrale et particulirement la
ralit mixte dans les EIAH. Le domaine est encoure jeune et rcent.

50
 PARTIE 2 : MISE EN UVRE DUN
ENVIRONNEMENT INFORMATIQUE
DAPPRENTISSAGE

51
Chapitre 1 : Outils et technologies
Techniquement parlons, la ralit augmente est ltat de lart de la technologie permettant
de supprimer les limites entre ce qui est rel et ce qui est virtuel (gnrer par ordinateur). Le
terme Ralit Augmente dsigne galement la technologie utilise pour raliser
l'augmentation. Lorsque cette augmentation est effectue en temps rel, l'utilisation de la
ralit augmente peut vraiment amliorer la perception de la ralit travers l'information
interactive et numrique manipulable, et aboutir la cration de nouvelles expriences
tonnantes.

1. La technologie D'Fusion
DFusion est la technologie brevete dveloppe par Total Immersion. Sous cette
appellation on trouve :

D'Fusion Studio Suite pour les dveloppeurs. Cest la suite logicielle qui permet de
concevoir, crer, et dployer facilement des applications de ralit augmente non
commercial.
D'Fusion Studio Suite Pro conu seulement pour les partenaires. Cest le package
complet qui intgre lensemble des outils de conception et de dveloppement
permettant la ralisation des projets de grande chelle pour les professionnels. Fournit
en outre avec la possibilit de crer des applications commerciales par l'acquisition
d'une licence d'excution qui va dbloquer toutes les marques de tatouage sur les
documents originaux.
D'Fusion SDK pour Adobe flash pour les partenaires seulement, une bibliothque
de reconnaissance et de suivi qui peut tre utilis avec loutil de dveloppement
Adobe pour crer des scnarios de suivi dans Adobe Flash.
D'Fusion Pro, D'Fusion @Home, D'Fusion Mobile et D'Fusion for
Adobe Flash Player les runtimes qui permet lexcution des applications
dveloppes avec D'Fusion.

1.1.Laugmentation : comment a marche ?

La ralit Augmente comble lcart entre les mondes rel et virtuel et ceci en temps
rel. Dans l'image ci-dessous (figure 29), par exemple, une exprience de ralit augmente
est obtenue par les tapes suivantes:

L'utilisateur prsente une image d'une camra qui est utilis en tant que connecteur
pour le monde rel
L'image est reconnue dans le flux vido en temps rel capture partir de la webcam
Un objet en 3D gnre par ordinateur est alors superpos sur l'image comme on le
voit dans limage ci-aprs

52
 L'utilisateur peut ensuite interagir avec l'objet 3D, en temps rel, par le dplacement
de l'image dans le monde rel

Figure 29 : Etapes pour raliser une augmentation [COMMUNITYDEV]

Total Immersion [TOTALWEB] a mis au point la technologie ncessaire pour effectuer

toutes les oprations lies l'augmentation, et fournit un Framework pour dvelopper des
applications de ralit augmente au sein dun Workflow de production - de la cration de
medias 3D avec des outils de rendu 3D comme Autodesk Maya ou 3ds Max jusquau le
dploiement des applications sur Internet, sur le PC bureau (applications desktop) ou sur des
appareils mobiles. La technologie dveloppe par Total Immersion et appele D'Fusion , et
la plate-forme de dveloppement qui permet la conception, le dveloppement et le
dploiement des applications de ralit augmente est appele D'Fusion Studio Suite.

Le moteur DFusion est la technologie noyau de toutes branches de DFusion, il se compose

de deux modules principaux : D'Fusion Augmented Reality, le moteur de rendu et de script
qui permet la cration, le contrle et l'excution dapplications de RA. D'Fusion Computer
Vision, le module de suivi de traitement d'image qui permet le calibrage et le suivi sans
marqueurs des d'objets en 2D et 3D.

1.2. Le moteur DFusion Augmented Reality

D'Fusion Ralit Augmente est le moteur de ralit augmente capable d'effectuer tous les
calculs ncessaires et de manipuler des scnarios de RA lors du traitement dapplications.
D'Fusion Studio Suite s'appuie sur le moteur D'Fusion. Toutes les fonctionnalits de
D'Fusion sont ainsi intgres dans le paquet D'Fusion Studio Suite. Il regroupe les outils
suivants :

53
 Un outil de calibrage (D'Fusion Camra Calibration) pour calibrer la camra et
capteurs
Un outil d'dition intgr dans Autodesk Maya et 3ds Max (exportateur de DFusion
pour Maya, exportateur de DFusion pour 3ds Max et D'Fusion 3D Viewer) pour
produire du contenu 3D, pr visualiser et exporter pour le moteur D'Fusion.
Un outil de cration (D'Fusion Studio) pour concevoir les scnarios et dfinir les
comportements et les interactions qui peuvent tre contrls l'aide de script Lua (voir
section 3)
Un moteur de scnario (D'Fusion @ Home, D'Fusion Mobile) pour grer l'mission en
temps rel
Un moteur physique (bas sur le moteur de Bullet) afin d'amliorer les interactions
naturelles et rendu
Un moteur de rendu (bas sur le moteur Ogre3D) pour fusionner aisment des objets
gnrs par ordinateur avec le monde rel travers un flux vido en temps rel
Un dbogueur pour faciliter le processus de dveloppement
Un Framework ouvert, permettant d'ajouter facilement des propres plug-ins pour aux
besoins spcifiques des utilisateurs

1.3. Le module de vision par ordinateur DFusion CV

Le module DFusion Computer Vision extrait les informations utiles partir de flux vido
en temps rel. Cette partie gre toute la vision par ordinateur:

Reconnaissance des cibles 2D

Suivi de cibles multiples 2D et 3D en 6 degrs de libert
Le suivi de visage

D'Fusion Computer Vision peut tre utilis de deux manires:

Comme un Module Standalone : les sorties sont envoys travers le rseau (UDP)
pour les logiciels tiers ncessitant des informations de suivi prcis en temps rel
En tant que plugin : les sorties sont directement envoyes au module DFusion de
ralit augmente qui fonctionne avec D'Fusion Computer Vision comme un capteur
de position standard.

Un des points forts de D'Fusion Computer Visions est sa capacit reconnatre et suivre
les lments naturels en vitant l'utilisation pertinents de marqueurs prdfinis.

54
 1.4. Larchitecture globale de DFusion AR

Le graphique suivant montre larchitecture globale de D'Fusion AR:

Figure 30 : Larchitecture de DFusion Augmented Reality [COMMUNITYDEV]

2. Le langage d script Lua

Lua est un langage de programmation dextension destin pour supporter la
programmation gnrale procdurale avec une faciliter de description de donnes. Il
offre galement un bon support pour la programmation oriente objet, la
programmation fonctionnelle et la programmation guide par les donnes. Etre un
langage de script, Lua na pas de la notion de programme principale, il suffit de
lintgr dans un client hte appel programme dintgration ou tout simplement
programme hte. Ce programme hte, peut appeler des fonctions excuter, un
morceau de code Lua, il peut crire et lire des variables Lua comme il peut aussi
enregistrer des fonctions C pour tre appeles par un code Lua [LUAWEB].
Lutilisation de script est la cl pour crer et grer efficacement des applications de
RA interactives. Il permet d'ajouter des comportements qui peuvent tre contrls lors

55
 de l'excution. D'Fusion Studio offre aux utilisateurs la possibilit de crer des scripts
Lua propre leur besoin, en utilisant un diteur intgr, et les attachs n'importe
quel objet de leur scnario afin de rendre les objets interactifs.

3. LAutodesk Maya
Le logiciel d'animation 3D Autodesk Maya offre un ensemble complet de fonctionnalits
cratives pour l'animation assiste par ordinateur, la modlisation, la simulation, le rendu et le
compositing 3D sur une plate-forme de production hautement volutive. Maya intgre
dsormais une technologie d'affichage nouvelle gnration, des workflows de modlisation
acclrs et de nouveaux outils pour la gestion de donnes complexes [MAYAWEB]. Il est
trs fortement implant dans le milieu professionnel et en particulier dans le domaine de
l'animation o il est devenu une rfrence.

4. Aperu de droulement
La ralisation des applications de ralit augmente avec DFusion Studio Suite se droule
selon les tapes suivantes :

4.1. La cration et lexportation des medias 3D

D'Fusion Studio Suite permet de crer des applications de RA avec des mdias 3D. Ces
medias, avec ventuellement des modles danimations 3D, peuvent tre cres laide dun
logiciel de conception graphique 3D comme Autodesk Maya ou 3ds Max et dutiliser les
exportateurs de DFusion (pour Maya et/ou 3ds Max) pour les exporter dans un format
compatible avec D'Fusion. Les exportateurs pour Maya et pour 3ds Max sont des plugins
dvelopps par la communaut Total Immersion pour DFusion Studio.

4.2. conception et dveloppement de scnario de RA

DFusion Studio permet de concevoir et de dvelopper des scnarios de ralit augmente

en utilisant son interface (figure 31) et le langage de script Lua pour le contrle de scnario

4.3. le dploiement de lapplication

56

Figure 31 : Linterface de DFusion Studio [COMMUNITYDEV]

 D'Fusion Studio permet de dvelopper des scnarios de RA qui peuvent ensuite tre
exportes vers plusieurs plates-formes cibles (ordinateurs et mobiles) avec une possibilit de
personnaliser les paramtres d'exportation de scnario pour chaque plate-forme. Le
dploiement d'une application de ralit augmente passe par de deux tapes principales:

Exporter le scnario de RA pour une plate-forme cible particulire

Dployer une version d'excution du scnario de RA sur la plate-forme cible (c'est
dire l'application finale) en utilisant un outil de dploiement. Deux outils sont
dvelopps par la communaut Total Immersion. D'Fusion Mobile pour le
dploiement des applications sur des plates-formes mobiles (Android et iOS).
D'Fusion @Home pour les applications bureautiques et web.

Nous abordons dans le chapitre suivant notre cas dapplication et la mise en uvre dun
prototype en utilisant les techniques et les technologies prsents ci-dessus.

57
Chapitre 2 : Ralisation dun prototype
1. Un cadre dapplication : le portail de Vierge dore
1.1. Contexte

Cette application rentre dans le cadre du projet E-Cathdr@le inscrit du laboratoire

MIS. Le projet E-Cathdr@le, est un projet ambitieux de ralisation et dexploitation
dune maquette numrique de la cathdrale dAmiens. Il fait lobjet dun partenariat
entre le laboratoire MIS de LUPJV, Amiens Mtropole, la DRAC Picardie, lENSG
et lIGN. Le projet va permettre, trs court terme, de raliser un outil dexploitation
de la partie numrise de la cathdrale dAmiens : le portail de la vierge dore.
Cette application vise la production dun jeu srieux permettant la dcouverte du
patrimoine culturel et mondial quest la Cathdrale dAmiens et ce grce sa
reconstruction 3D/virtuelle. Lenvironnement virtuel dans lequel le public sera plong
en utilisant ces technologies, lui permettra dapprhender les aspects mconnus de cet
difice. Le jeu fera une grande place la cathdrale, come objet culturel ancr dans la
ville et sa rgion.
Le public cibl est celui dont la tranche dge est comprise entre 18 et 25 ans, parce
quil aurait chapp par le pass aux actions culturelles dj mises en place (cadre
scolaire, cadre culturel) ou parce quil est tranger la rgion Picardie.
D.LECLET du laboratoire MIS propose de travailler le portail de la vierge dore
(ancien portail St Honor de la faade Sud du transept) parce quils disposent de
son modle numrique depuis la compagne de numrisation effectue en octobre 2010
avec le soutien dAmiens Mtropole. En outre, la chronologie en termes de
construction peut tre raconte selon cinq poques. Ce portail est trs intressant
de part sa disposition dans la construction de la cathdrale, son statut (volution de
lart gothique) et sa mutation. Plus prcisment le scnario pdago-ludique est dclin
autour de la notion de Portes et de Passage avec pour commencer, un focus
autour du la vierge dore et son trumeau, qui permet ainsi expliciter larchitecture, la
construction, la profondeur de sculptures.
Au travers du scnario Portes et Passage , le jeu met laccent sur la construction
dun portail : son esquisse, ses pierres, ses sculptures au sol, son assemblage, et son
rendu. A travers cette construction, lutilisateur peut voir ce qui sassemble
correctement ou non et pourquoi, et quelles sont les explications, en respectant les
rgles du jeu.

1.2. Le scnario pdago - ludique1

Le scnario se dcline en 9 tapes allant de la priode du 1200 2012 :

Etape 1 : Expliquer des nophytes, comment est construit un portail et quelle en est
sa composition. Il sagit donc de faire un glisser-dposer avec des concepts (des mots
cls) droite et une structure gauche (figure 1).

1
Ce scnario est confidentiel est ne peut tre divulgu il est propos par D.LECLET -
58
 Voussures Trumeau

Etape 2 : commencer la construction du portail par les lments du bas (version 1200)

Etape 3 : poursuive construction du portail, les lments du haut (version 1300)

Etape 4 : Qui est la statue du milieu ? Trouver avec 3 indices ou plus et dcouvrir que
cest St Honor et quen fait, il nest pas l Imaginer une chasse au trsor dindice (
dfinir).

Etape 5 : Remettre St Honor sa place actuelle et de ce fait soit le replacer sur le

portail principal ou le mettre sur un plan (2D) ?

59
Etape 6 : Trouver qui se cache sa place (la vierge dore) et o elle se trouve en vrai
dans la cathdrale. Entrer alors dans lapplication panoramique pour trouver la vierge
dore et la prendre et la mettre dehors sur le portail.

Etape 7 : Jeux des 7 erreurs (les 7 vierges). Prendre des images diffrentes des copies
des 7 vierges et retrouver quelle est la bonne. Il faut pour cela avoir diffrentes
copies. A voir.

Etape 8 : Coloriser la bonne copie. Avoir une palette de couleur ou des explications
qui prcisent que certaines couleurs taient interdites ou, quelles nexistaient pas au
moyen ge. A dfinir prcisment. Fonctionnalit de glisser-dposer.

Etape 9 : La vierge se remet au bon endroit. Passer cette fois-ci au modle numrique
3D qui permettrait de la voir en relle, avec ses couleurs et ajouterait un plus
lapplication. Voir si possible. Et si on peut faire une rotation et comment... ensuite
sur le Net ?

Une premire version du jeu a t dveloppe par un stagiaire du laboratoire MIS

avec Adobe Flash, cette version a t ralise en 2D et permet la mise en place des
cinq premires tapes du scnario gnral. Cependant, comme cit plus haut, le projet
vise la production dun jeu permettant la reconstruction de la cathdrale en 3D, cest
lun des principaux objectifs de notre travail.
En plus de migration de la version 2D vers la version 3D, nous visons amliorer
les techniques dinteraction homme-systme et de rendre le jeu plus amusante en
intgrant de nouvelles technologies notamment la ralit augmente et les interfaces
tangibles. Lutilisation de la ralit augmente permet de rendre le jeu temps rel et
damliorer la perception de la ralit par des informations virtuelles (Texte, Objets
2D, Objets 3D). Lutilisation dune interface tangible permet de faciliter la
manipulation des objets 3D. En effet, construire le portail de la cathdrale en
manipulant des objets 3D en 6 degrs de libert est, sans doute, plus facile que
dutiliser une souris qui noffre que deux degrs de libert.
La ralisation du jeu en 3D et lintgration des technologies de ralit augmente et
dune interface tangible implique ncessairement une adaptation du scnario gnral

60
 propos par les partenaires du projet. Cest ce que nous avons commenc faire par
ladaptation de la premire tape.

1.3. Ltape 1 en 3D

Rappelons que lobjectif de cette tape est dexpliquer aux nophytes, comment
construire un portail et quelle en est sa composition. Pour cela, lapprenant dispose dune
image contient le nom dun composant du portail (Trumeau, Voussures, Statues, Porte
droite, ). Ensuite, lapprenant est invit montrer une image parmi celles quil dispose
travers la webcam, de ce fait lapplication (figure 32) doit affiche lobjet 3D dont le nom
est dtect avec une animation et une description textuelle (Ralit Documente).

Figure 32 : Ltape 1 en 3D

2. Dveloppement
Pour mettre en place les tapes du scnario de jeu et notamment ltape 1 sur laquelle
nous travaillons, nous avons besoin du modle numrique du portail dcoup en
composants. Or, le modle dont on dispose est un modle complet, donc il est ncessaire
de le dcoup pour avoir chaque composant part. En plus, le modle est de format
.Ply qui est un format incompatible avec nos outils (Maya et DFusion).

La premire solution que nous avons propos est dimporter le fichier .Ply dans un
outil compatible (Blender ou Meshlab par exemple) et de lexporter par la suite dans le
format universel .obj compatible avec Maya. Un autre problme est apparut, cest que
la taille du modle est trop grande (6100422 sommets et 11062336 faces) ce qui bloque
les machines dont on dispose.

61
 La deuxime solution que nous avons propose est de modliser des formes proches de
celles de composants du portail pour dvelopper un prototype en attendant de trouver une
solution pour le modle dont nous disposons.

2.1. Modlisation de 9 objets en 3D

Nous avons cr 9 objets 3D en utilisant lAutodesk Maya. La combinaison de ces

objets constitue le portail de la cathdrale (figure 33-a).

Figure 33-a : Le portail Figure 33-b : Le Figure 33-c : La porte

trumeau

Figure 33-d : Le gable Figure 33-e : Le pilier Figure -33f : Voussures

Figure 33 : Les objets du portail en 3D

62
 Le trumeau (figure 33-b) : portion de mur entre deux baies, fentres ou portes. En
particulier, on dsigne notamment ainsi le pilier, souvent sculpt, qui, dans un grand
portail dglise, supporte en son milieu le linteau, sous le tympan, en divisant
louverture en deux parties gales.
Les portes (figure 33-c) : cest la porte droite et la porte gauche de la faade Sud de la
cathdrale.
Les gables (figure 33-d) : de forme triangulaire, ils coiffent souvent les fentres ou les
portes, mais ils peuvent galement tre disposs en arcatures aveugle contre un mur.
Ils sont trs souvent ajours.
Les piliers : (figure 33-e) : nous avons cr quatre piliers, deux pour les cots de
lextrieur droite et gauche et deux autres sont attachs aux portes droite et gauche.
En ralit, les deux piliers qui sont attachs aux portes sont esquisss par des
arcatures, des statues, des socles, etc.
Les Voussures (figure 33-f) : la forme que nous avons ralis ce nest pas vraiment les
voussures, nous avons appel cette forme voussure parce quelle est constitue en
grande partie par des voussures. Les voussures sont composes darcs concentriques,
formant des frises sculptes circulaires, en gnral au-dessus dune porte dglise. Les
claveaux sont orns soit de motifs gomtriques, soit de reprsentation de
personnages, en relation avec le thme de tympan, sil ya en a un.

Dans le but de mettre en valeur et damliorer la perception des objets 3D, nous avons
associ chaque objet une animation qui sera contrle lors de dveloppement du scnario.
Les objets crs sont ensuite exporter dans un format compatible avec DFusion Studio en
utilisant lexportateur DFusion prinstall sur Maya.

2.2. Dveloppement du scnario et dploiement

Nous avons dvelopp un scnario de ralit augmente pour les deux composants du
Portail, le Trumeau et le Gable. Lapplication permet lutilisateur de connaitre la forme et la
description du composant en prsentant la camra une image contient le nom du composant
(figure 34).

63
 Image contient
le nom
Le Trumeau

La description
textuelle du
Trumeau

Limage relle
affiche dans la
scne 3D en
temps rel

Lobjet
Trumeau (3D)
est superpos
sur limage, en
temps rel, aprs
sa dtection.

Figure 34 : Scnario de ralit augmente appliqu sur le Trumeau

Lutilisateur dispose de deux images, une contient le nom Le Trumeau et la deuxime

contient le nom Le Gable . Selon ce quil a mont la camra, Le Trumeau ou Le Gable,
lapplication reconnaitre limage et affiche lobjet 3D en superposition avec limage ainsi que
leur description textuelle.

Lapplication est dveloppe en utilisant les objets 3D cres sous Maya et Dfusion et le
langage Lua pour le scnario de ralit augmente.

Le scnario est dploy comme une application Web.

64
Conclusion
Lobjectif de cette partie tait de concevoir et de dvelopp un petit prototype dun
environnement virtuel dapprentissage avec un minimum de fonctionnalits de la ralit
mixte.

Nous avons commenc par la prsentation des technologies ncessaire pour la mise en
uvre dune exprience de la ralit mixte, notamment la technologie DFusion, le langage de
scripte Lua et lAutodesk Maya. Ensuite, nous avons prsent le scnario pdago-ludique
propos par D.LECLET, ce dernier est compos de 9 tapes et permet la dcouverte du
patrimoine culturel, quest le portail de la vierge dore de la Cathdrale dAmiens, grce sa
reconstruction 3D/virtuelle. Une adaptation de la premire tape (la seule tape que nous
avons dveloppe) a t ralise en intgrant les deux fonctionnalits 1 et 3 (ralit
document et lassociation par superposition) de la ralit augmente. Des difficults de
compatibilit et de la taille du modle numrique du portail dont nous disposons nous ont
ramen dvelopp un modle simplifi de ce portail en utilisant lAutodesk Maya. Enfin,
une implmentation concrte de la premire tape a t ralise en utilisant les technologies
DFusion et Lua.

65
Conclusion et perspectives
A lheure o nous crivons les dernires lignes de ce mmoire, le chemin nest pas encore
terminer. Il reste concevoir une solution pour pouvoir appliquer notre premire exprience
de ralit mixte sur le vrai modle numrique du Portail avec les exprimentations
ncessaires, avant de pouvoir dresser une conclusion gnrale de ce projet de recherche. Nous
ne pouvons quesquisser ici une conclusion provisoire de nos travaux, nos expriences, nos
acquises, ainsi que les perspectives long terme de ce projet.

Nous avons commenc par une recherche documentaire sur les domaines dEIAH, Jeux
Srieux (un type dEIAH), et la ralit mixte. Cette recherche nous a permet de dresser un tat
dart sur ces domaines (partie 1). Ensuite, nous avons effectu une tude sur les outils,
logiciels et langages de programmation, qui permettent limplmentation dune exprience de
ralit mixte dans les EIAH telle que la technologie DFusion, le langage Lua et la
modlisation 3D avec lAutodesk Maya. En se basant sur nos travaux de recherche et les
outils cits ci-dessus, nous avons dvelopp un petit prototype exploitant un minimum de
fonctionnalits de la ralit mixte dans le contexte dEIAH. Ce prototype reprend la premire
tape du scnario pdago-ludique propos par D.LECLET et ladapter pour un environnement
3D virtuel, et ce en intgrant les richesses technologiques de la ralit mixte.

Comme nous avons prsent dans la premire partie de ltat dart, il existe cinq
fonctionnalits de la ralit augmente. Le prototype exploite les fonctionnalits 1 et 3 de la
ralit augmente. La fonctionnalit 1 ou ralit augment qui enveloppe toute existence dun
rapport smantique entre les lments rels et les lments virtuels visualiss dans deux
cadres daffichage diffrents, cest la description textuelle du composant dans notre cas. La
fonctionnalit 3 ou lassociation par superposition qui permet dajouter de nouveaux objets
virtuels la scne relle, cest ce que nous faisons lorsque nous affichons le composant du
portail superpos sur limage relle.

Durant ce projet de recherche sur les EIAH et la ralit mixte, nous avons dcouvert tout un
nouveau potentiel cratif et insouponn. Les perspectives de recherche de ce travail de
master pourraient tre lintgration des autres fonctionnalits de ralit augmente dans un
Jeu Srieux et la conception dune interface tangible modifiable et adaptable selon le profil de
lusager.

66
Bibilographie
[ABT 1970] C. Abt. Serious Games. University Press of America, 1970.

[AGOSTINELLI 1994] Serge AGOSTINELLI. La rgulation interactive dans un

environnement dapprentissage informatique : une exprience en physique. Thse de
lUniversit de Provence Aix-Marseille. 1994. 253 pages.

[AZUMA 1997] Ronald Azuma. A survey of augmented reality. Presence: Teleoperators and
Virtual Environments, 6(4) :355385, 1997.

[BOTTECCHIA 2010] Sbastien BOTTECCHIA. Systme T.A.C. : Tl-Assistance

Collaborative ; Ralit augmente et NTIC au service des oprateurs et des experts dans le
cadre dune tche de maintenance industrielle supervise. Thse de Doctorat de lUniversit
de Toulouse III, Toulouse-France, (2010), 154 pages.

[CALVARY 2005] Galle CALVARY, Olfa DAASSI, Jolle COUTAZ, Alexandre

DEMEURE. Des widgets aux comets pour la Plasticit des Systmes Interactifs. revue
dInteraction Homme-Machine, Vol 6 N1, 2005.

[COURDAVAULT 2010] Charlotte Courdavault. Intgration de la ralit mixte dans les

serious games. Confrence RJC EIAH 2010, rencontres jeunes chercheurs en
Environnements Informatiques pour l'Apprentissage Humain, poster, Lyon, France, mai 2010,
p.147-148.

[COUTURE 2003] Nadine Couture, Jrmy Legardeur 1, Ludovic Garreau. Des interacteurs
pour lassemblage mcanique en CAO. In Electronical Proc. CPI2003, Meknes (Morroco),
October 22-24 2003.

[COUTURE 2005] Nadine Couture, Fabrice Depaulis, Ludovic Garreau, Jeremy Legardeur.
Avideotracking solution for any propsinTUIdesign Proceedings of Virtual Concept 2005
Biarritz, France, November8thNovember10th, 2005.

[COUTURE 2010] Nadine ROUILLON COUTURE. Interaction Tangible, de lincarnation

physique des donnes vers linteraction avec tout le corps. HDR, LUNIVERSIT
BORDEAUX 1, 2010. 90 pages.

[DEHAIS 2008] Christophe DEHAIS. Contributions pour les applications de ralit

augmente ; Suivi visuel et recalage 2D ; Suivi d'objets 3D reprsents par des modles par
points. Thse de Doctorat de lUniversit DE TOULOUSE. (2008), 153 pages.

[DUBOIS 2001] Emmanel DUBOIS. Chirurgie augmente, un cas de ralit augmente ;

Conception et Ralisation Centres sur lUtilisateur. Thse de Doctorat de lUniversit Joseph
Fourier, Grenoble-France, (2001), 283 pages.

[D.LECLET 2004] Dominique LECLET. Environnement interactifs dapprentissage dans

des contextes professionnels, des tuteurs intelligents aux systmes supports dapprentissage
distance. HDR de lUniversit de Picardie Jules Verny. 227 pages.

67
[D.SALBER] Daniel Salber. LE PROJET NEIMO : UNE PLATE-FORME MAGICIEN
D'OZ MULTIMODALE. Laboratoire de Gnie Informatique, IMAG B.P. 53 X, 38041
Grenoble Cedex

[ERNST 1999] Hauke Ernst, Kai Schfer, Willi Bruns. Creating Virtual Worlds with a
Graspable User Interface. Published in: 15th Twente Workshop on Language Technology
(TWTL 15): Interactions in Virtual Worlds. Nijholt, A.; Donk, O.; Dijk, B. (Eds.). University
of Twente, NL, 1999.

[E.W2012] Elise WIEDERKEHR, Apports de la gomatique pour une caractrisation

physique multi-chelle des rseaux hydrographiques ; laboration dindicateurs appliqus au
bassin du Rhne. Thse de Doctorat de lEcole Normale Suprieure de Lyon - Universit de
Lyon. 2012. 287 pages.

[FITZMAURICE 1995] George W. Fitzmaurice, Hiroshi Ishii, William Buxton. Bricks:

Laying the Foundations for Graspable User Interfaces. Published in the Proceedings of CHI
1995, May 7-11 2001, ACM Press, 1995 ACM.

[FITZMAURICE 1996] George W. Fitzmaurice . GRASPABLE USER INTERFACES.

Thse de Doctorat de lUniversit de Toronto. 1996. 181 pages.

[FUCHS 2000] Philippe Fuchs, Guillaume Moreau. La trait de la ralit virtuelle ; Volume
1 : Fondement et interfaces comportementales. Livre ; 2eme Edition. (2000), 548 pages.

[GARREAU 2005] Ludovic Garreau. Elaboration dune Interface Tangible pour

lAssemblage en CAO. Thse de Doctorat de lUniversit Bordeaux 1. 2005. 115 pages.

[GEORGE 2001] Sbastien GEORGE. Apprentissage collectif distance, SPLACH un

environnement informatique support dune pdagogie du projet. Thse de lUniversit de
Maine. 2001. 356 pages.

[GUERAUD et al] V. GUERAUD, J-P. PERNIN, J-M. CAGNAT, G. CORTES.

Environnements d'apprentissage bass sur la simulation, Propositions doutils auteur et
exprimentations. Equipe ARCADE - Laboratoire CLIPS-IMAG. France.

[ISHII-CHI1997] Hiroshi Ishii, Brygg Ullmer. Tangible Bits: Towards Seamless Interfaces
between People, Bits and Atoms. Published in the Proceedings of CHI '97, March 22-27,
1997, 1997 ACM

[ISHII 2006] Hiroshi ISHII. Tangible User Interfaces. Tangible Media Group MIT Media
Laboratory. CHI 2006 workshop.

[ISHII 2008] Hiroshi Ishii. Tangible Bits: Beyond Pixels. Proceedings of the Second
International Conference on Tangible and Embedded Interaction (TEI'08), Feb 18-20 2008,
Bonn, Germany.
[JOIRON 2002] Cline JOIRON. Une contribution aux systmes supports de Formation
Mdicale Continue distance et dapprentissage entre pairs : conception et exprimentation
du forum DIACOM (Discussions Interactives bAse de Cas pour la fOrmation Mdicale).
Thse de lUniversit de Picardie Jules Verne dAmiens. 2002. 322 pages.

68
[KITAMURA 2004] Yoshifumi Kitamura, Yuichi Itoh, Fumio Kishino. Real-time 3D
Interaction with ActiveCube. Conference on Human Factors in Computing Systems, March
31 - April 5, 2001, Seattle, Washington, USA.

[MILGRAM 1994] Paul Milgram. A TAXONOMY OF MIXED REALITY VISUAL

DISPLAYS. IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994.

[MONTMOLLIN 1971] De MONTMOLLIN. Lenseignement programm sais-je ? 1971

[MURATET 2010] Mathieu MURATET. Conception, ralisation et valuation d'un jeu

srieux de stratgie temps rel pour l'apprentissage des fondamentaux de la programmation.
Thse de Doctorat de lUniversit de Toulouse. 2010. 211 pages.

[M. GRANDBASTIEN] Monique GRANDBASTIEN. EIAH, un tat de lart en franais.

2006

[M&T&S 2011] Marc-Antoine Dumont, Thomas Michael Power, Sylvie Barma. Goduc3D:
volution des jeux srieux vers la mobilit et la ralit augmente au service de
l'apprentissage en science et technologie. Canadia journal of learning and technology. 2011.

[REUTER 2008] Patrick Reuter, Nadine Couture, Guillaume Rivire. ArcheoTUI. IHM08-
ACM 2008.

[RIVIERE 2009] Guillaume RIVI`ERE. Interaction Tangible sur Table Interactive :

application aux gosciences. Thse de Doctorat d lUniversit Bordeaux 1. 2009. 278 pages.

[ROSENBLUM 2000] Lawrence Rosenblum, Michael Macedonia. Cubic-Mouse-ased

Interaction in Virtual Environments. 0272-1716/00/$10.00 2000 IEEE.

[SALEM 2005] Yassine Salem. Conception dun Tuteur Intelligent en langage naturel
franais pour lenseignement de la modlisation conceptuelle des donnes dun systme
dinformation. Contemporary Engineering Sciences, Vol. 2. 2009.

[S&M&S 2010] Sylvie Barma, Michael Power, Sylvie DANIEL. Ralit augmente et jeu
mobile pour une ducation aux sciences et la technologie ; GODUC3D Universit Laval
Session 2 (Interactivit, interactions et pratiques ducatives). 2010.

[TCHOUNIKINE 2002] Pierre TCHOUKINE. Pour une ingnierie des Environnements

Informatiques pour lApprentissage Humain, Revue I3 information interaction intelligence
2. 2002

[ULLMER 2002] Brygg Anders Ullmer. Tangible Interfaces for Manipulating Aggregates of
Digital Information. Program in Media Arts and Sciences
August 9, 2002. 268 pages.

[ULLMER & ISHII 2000] Brygg Ullmer, Hiroshi Ishii. Emerging Frameworks for Tangible
User Interfaces. IBM SYSTEMS JOURNAL, VOL 39, NOS 3&4, 2000

69
[ULLMER & ISHII 2001] Brygg Ullmer, Hiroshi Ishii. Emerging Frameworks for Tangible
User Interfaces. In Human-Computer Interaction in the New Millenium, John M. Carroll,
ed.; Addison-Wesley, August 2001, pp. 579-601.

70
Webliographie
[COMMUNITYDEV] https://community.t-immersion.com/getting-started#WhatIsAR 21 Mai
2013

[LIRISWEB] http://liris.cnrs.fr/?set_language=fr 16 Juin 2013.

[LUAWEB] http://www.lua.org/manual/5.1/ 21 Mai 2013.

[MAYAWEB] http://www.autodesk.fr/products/autodesk-maya/overview 17 Juin 2013.

[MISWEB] http://www.mis.u-picardie.fr/ 17 Juin 2013.

[SEGWEB10-12] http://liris.cnrs.fr/segarem/Serious_Games_et_Realite_Mixte.html 16 Juin

2013.

[SYMETRIXWEB] http://www.symetrix.fr/ 16 Juin 2013.

[SYMETRIXSERIOUSG] http://www.elearning-symetrix.fr/blog/?post/2010/08/17/Segarem-
%3A-SErious-GAmes-et-REalit%C3%A9-Mixte 16 Juin 2013.

[TOTALWEB] http://www.t-immersion.com/

71