Agents intelligents

IFT-17587
Concepts avancs pour systmes intelligents
Luc Lamontagne

Tir du matriel de S. Paquet 1

Plan

Quest-ce quun agent intelligent?

Comment les agents intelligents doivent agir?

Structure dun agent intelligent

Types denvironnements

2
Quest-ce quun agent intelligent?
Agent intelligent:
tout ce qui peroit son environnement
laide de ses capteurs
et qui agit sur son environnement
laide de ses effecteurs.

percepts capteur

Environnement ?
agent
actions

effecteurs
3
Agents vs Objets
Agent
entit autonome interagissant avec son environnement
Objet
entit passive possdant un tat et sur lequel on peut effectuer
des oprations.
Un agent degr dabstraction plus lev quun objet.
Un agent peut tre constitu de plusieurs objets.
Un agent logiciel peut tre la fois client et serveur
Paradigme de programmation mettant en vidence
lautonomie
les interactions (par ex. la programmation oriente agent)

4
Exemple trs simple dagent
Un agent aspirateur

5
Tabulation de la fonction dagent
Percepts Action

[A, Propre] Droite

[A, Sale] Aspire
[B, Propre] Gauche
[B, Sale] Aspire
[A, Propre] , [A, Propre] Aspire
[A, Propre] , [A, Sale] Aspire

[A, Propre] , [A, Propre] , [A, Propre] Aspire
[A, Propre] , [A, Propre] , [A, Sale] Aspire

6
Agent rationnel
Agent rationnel:
doitexcuter laction qui maximise sa mesure de
performance
en fonction de sa perception du monde et de ses
connaissances.
Mesure de performance
Externe
Fixe par le concepteur
Propre la tche
Critre de succs du comportement de lagent

7
Choix de la mesure de performance

Il faut faire attention ce quon choisit

Ex: Quantit de salet ramass en 8 heures
Lagent pourrait ramasser la salet, la redposer et
ainsi de suite.
Une meilleure option:
Rcompenser lagent pour un plancher propre
Ex: un point pour chaque carr propre chaque
intervalle de temps
Peut-tre avec une pnalit pour llectricit consomm.

8
Agent rationnel
Rationnel distinct de lomniscience
Tout savoir, connaissance infinie
Lagent peut accomplir ses actions pour :
Accomplir ses buts
Modifier sa perception de lenvironnement pour obtenir des
informations utiles
Agent autonome
Comportement dtermin par ses propres expriences
Capacit dadaptation et dapprentissage
Notion dagent
Un outil danalyse de systmes
non pas une caractrisation absolue qui divise le monde en
deux: agents et non-agents.

9
Environnement de la tche
La premire tape lors de la conception dun
agent est de spcifier lenvironnement de la
tche (task environment) qui contient les quatre
lments suivants (PEAS):
Mesure de la performance (Performance measure)
Environnement (Environment)
Effecteurs (Actuators)
Capteurs (Sensors)

10
Exemple
Conducteur de taxi automatique
Mesure de performance: scurit, vitesse, lgalit,
confort, profits, etc.
Environnement: routes, autres autos, pitons, clients,
etc.
Effecteurs: volant, acclrateur, frein, clignotant,
klaxon, etc.
Capteurs: camras, sonar, odomtre, indicateur de
vitesse, capteurs du moteur, etc.

11
Autre exemple
Systme de diagnostic mdical
Mesure de performance: patient en sant, viter les
poursuites, minimiser les cots
Environnement: patient, hpital, personnel
Effecteurs: lcran du systme
questions, tests, diagnostic, traitements, rfrences
Capteurs: clavier
saisie des symptmes, vidences, rponses du patient

12
Proprits de lenvironnement
Compltement observable vs partiellement observable

Dterministe vs stochastique

pisodique vs squentielle

Statique vs dynamique

Discret vs continu

Un agent vs plusieurs agents

13
Proprits de lenvironnement
Compltement observable vs partiellement observable:
Est-ce que les capteurs de lagent lui donne accs ltat
complet de lenvironnement tout moment ?
Dterministe vs stochastique:
Est-ce que le prochain tat de lenvironnement est
compltement dtermin par son tat courant et laction de
lagent ?
pisodique vs squentielle:
Un pisode est une squence perception-action.
Le prochain pisode ne dpend pas des actions effectues dans
les pisodes prcdents.

14
Proprits de lenvironnement
Statique vs dynamique:
Est-ce que lenvironnement change pendant que lagent
dlibre?
Discret vs continu :
La distinction entre discret et continu peut tre applique
ltat de lenvironnement
la faon dont le temps est gr
et aux perceptions et aux actions de lagent.
Un agent vs multi-agents :
Est-ce quil y a plus quun agent interagissant ensemble ?

15
Proprits de lenvironnement
Situation la plus difficile:
Partiellement observable
Stochastique
Squentielle
Dynamique
Continue
Multiagent
Exemple, conduite automatise dun taxi

16
Exemple
Environnement Observable Dterministe pisodique Statique Discret Agents

Mots-croiss Compltement Dterministe Squentiel Statique Discret Un

chec avec une
Compltement Stratgique Squentiel Semi Discret Multi
horloge
Poker Partiellement Stratgique Squentiel Statique Discret Multi
Backgammon Compltement Stochastique Squentiel Statique Discret Multi
Conduire un taxi Partiellement Stochastique Squentiel Dynamique Continu Multi
Diagnostique
Partiellement Stochastique Squentiel Dynamique Continu Un
mdical
Analyse dimage Compltement Dterministe pisodique Semi Continu Un
Robot
ramasseur de Partiellement Stochastique pisodique Dynamique Continu Un
pices
Contrleur de
Partiellement Stochastique Squentiel Dynamique Continu Un
raffinerie
Enseignant
Partiellement Stochastique Squentiel Dynamique Discret Multi
interactif

17
Fonctions et programmes dagent
Un agent est compltement spcifi par une fonction
dagent
Mise en correspondance des percepts et des actions
But : trouver un moyen dimplanter cette fonction de
manire concise
Problme des tables de fonction :
Immense
Prends un temps norme construire
Aucune autonomie
Mme avec apprentissage, ncessite un temps considrable
pour apprendre les lments du tableau

18
Structure dun agent
4 types de base en ordre de gnralit
grandissante:
Agent simple rflexe
Agent rflexe avec tat interne
Agent bas sur les buts
Agent bas sur lutilit
Tous ces types peuvent tre transforms en
agents apprenants.

19
Agent simple rflexe
Ce type dagent choisit ses actions en se
basant uniquement sur le percept courant,
en ignorant les percepts prcdents.

20
Agent simple rflexe
Agent Capteurs

Environnement
Comment le monde
est maintenant?

Quelle action dois-je

Rgles condition-action
faire maintenant?

Effecteurs

21
Agent rflexe avec tat interne
Agent Capteurs

Environnement
tat Comment le monde
est maintenant?
Comment le monde volue?

Quel est limpact de mes actions?

Quelle action dois-je

Rgles condition-action
faire maintenant?

Effecteurs

Model-based reflex agent

22
Agent bas sur les buts
Agent
tat
Comment le monde volue?
Quel est limpact de mes actions?
Buts
Goal-based agent
Capteurs
Environnement
Comment le monde
est maintenant?
Comment sera le monde
si je fais laction A?
Quelle action dois-je
faire maintenant?
Effecteurs
23
Agent bas sur lutilit
Les buts ne font la distinction que entre un
tat heureux ou pas heureux .
Fonction dutilit: tat valeur
Aide dans deux cas o les buts chouent:
Buts en conflits (ex: vitesse et scurit)
Lorsquil y a plusieurs buts

24
Agent bas sur lutilit
Agent Capteurs

tat Comment le monde

est maintenant?

Environnement
Comment le monde volue?
Comment sera le monde
Quel est limpact de mes actions?
si je fais laction A?

quel point je vais tre

Utilit
satisfait dans un tel tat?

Quelle action dois-je

faire maintenant?

Effecteurs

25
Agent apprenant
Souvent, il est trs fastidieux o mme
impossible de dfinir le comportement de lagent
la conception.
Lapprentissage permet:
De simplifier la conception
lagent davoir plus de flexibilit
lagent dagir dans des environnements inconnus et
de devenir meilleur avec le temps.

26
Agent apprenant
Standards de performance

Capteurs
Critique

Environnement
Rtroaction

Changements
Module Module de
dapprentissage performance
Connaissances
Buts
dapprentissage
Gnrateur de
problmes

Agent Effecteurs
27
Agent taxi apprenant
Module de performance
Connaissances et procdures pour choisir les actions.
Critique
Observe lagent et donne des informations au module
dapprentissage.
Module dapprentissage
Modifie le module de performance.
Gnrateur de problmes
Identifie les possibilits damlioration et suggre des
exprimentations.

28
Conclusion
Un agent est un artefact (robot, logiciel) qui peroit et
agit sur un environnement
La mesure de performance value le succs du
comportement de lagent
Lenvironnement de tches varie selon diffrentes
dimensions.
Le programme dun agent est une implmentation de la
fonction dagent.
4 agents, aux fonctionnalits croissantes, bas sur les :
Rflexes, les modles, les buts et lutilit
Chacun peut tre amlior par lapprentissage.

29