Evaluacin de la calidad docente en

entornos virtuales de aprendizaje

Josep M. Duart
Director acadmico de la UOC
jduart@campus.uoc.es
Mara Jess Martnez
ro!esora"coordinadora docente de los Estudios de Economa #
Empresa de la UOC
mmartinezar$@campus.uoc.es
Resumen: En los ltimos a%os se &an $eneralizado en el 'm(ito
universitario los sistemas de evaluacin de la calidad. )u o(jetivo es
$arantizar la e!icacia de los servicios prestados por las distintas
instituciones universitarias. *a idea su(#acente a esos sistemas es +ue
una universidad, como cual+uier otro proveedor de servicios, &a de estar
orientada &acia la satis!accin de las necesidades de sus clientes. En este
artculo se presta atencin a una dimensin espec!ica # especialmente
relevante de la realidad universitaria- la actividad docente. En concreto, se
propone un modelo +ue permite evaluar la calidad de la actividad docente
realizada en un marco espec!ico- los entornos virtuales de aprendizaje
(e-learning). *as caractersticas peculiares de este nuevo paradi$ma
educativo &acen imprescindi(le un modelo de evaluacin del desempe%o
i$ualmente novedoso, (asado en tres pilares- el an'lisis interno de los
procesos, el an'lisis e.terno de los clientes"estudiantes # el an'lisis de los
resultados de la actividad docente. El o(jetivo ltimo del modelo es +ue
cual+uier universidad +ue opere en un entorno virtual de aprendizaje
pueda disponer de in!ormacin so(re el nivel de calidad +ue est'n
proporcionando realmente las personas encar$adas del contacto cotidiano
con los estudiantes, &aciendo con ello posi(le la implantacin de un
sistema de mejora continua de los procesos !ormativos.[*]
1. La calidad docente en entornos virtuales de
aprendizaje
1.1. Gestin de la calidad
*a r'pida di!usin de los sistemas de $estin de la calidad &a
revolucionado las or$anizaciones de nuestros das. En el 'm(ito
industrial, su impacto es tal +ue una empresa +ue no satis!a$a los
est'ndares de calidad e.i$idos por sus clientes o consumidores lo
tendr' mu# di!cil para &acer !rente a sus competidores. /un+ue en
un primer momento el empleo de sistemas de ase$uramiento de la
calidad o de $estin total de la calidad se $eneraliz en el 'm(ito
industrial, en la actualidad, son utilizados de !orma creciente en el
sector servicios e incluso en 'm(itos tan aparentemente ajenos al
'm(ito empresarial como las or$anizaciones sin 'nimo de lucro.
*os sistemas de $estin de la calidad toman como punto de partida
la idea de +ue satis!acer las necesidades de los clientes # &acerlo al
menor coste posi(le es el o(jetivo de cual+uier or$anizacin. Una
empresa e.itosa ser' a+uella +ue sea capaz de identi!icar,
interiorizar, satis!acer # superar de !orma continua las e.pectativas
de sus clientes en relacin con los productos # servicios
suministrados. *o revolucionario de esta nocin de calidad radica en
+ue es el propio cliente, el consumidor, el +ue determina si un
producto es o no acepta(le, convirtindose as en juez nico #
supremo de la calidad.
*a $estin de la calidad e.i$e +ue el dise%o de cual+uier producto o
servicio parta de un pro!undo conocimiento de las necesidades,
pre!erencias, valores # criterios de compra de los clientes. El
pro(lema radica en +ue la satis!accin de las necesidades de los
clientes es un proceso complejo. *a e.periencia indica +ue las
intuiciones de los directivos o empresarios so(re cu'les son los
atri(utos de sus productos o servicios m's valorados no tienen
por+u coincidir, # de &ec&o no suelen &acerlo, con las pre!erencias
e!ectivas de estos. De a& la necesidad de recurrir a tcnicas de
investi$acin # modelos +ue permiten a las empresas identi!icar a
sus clientes potenciales, conocer sus e.pectativas respecto a los
productos o servicios o!recidos # medir su nivel de satis!accin.
1.2. Gestin de la calidad en la universidad
*a preocupacin por la calidad de la docencia, entendida en el
sentido +ue a+u nos ocupa, no &a sido, en trminos $enerales, una
prioridad en el 'm(ito universitario. Este !enmeno contradictorio,
+ue &a llevado a a!irmar +ue la universidad es una institucin +ue lo
investi$a todo salvo sus propias actividades[1], se e.plica
analizando la evolucin &istrica del mercado universitario.
0asta las ltimas dcadas del si$lo pasado cada universidad
dispona todava de un 'm(ito territorial propio en el +ue poda
actuar como cuasi"monopolista. /dem's, las universidades se
en!renta(an a una demanda creciente, derivada de las secuelas del
baby-boom # del proceso de democratizacin del acceso a la
universidad +ue tiene lu$ar en ese periodo. En un mercado poco
competitivo # en e.pansin la preocupacin por la calidad de la
docencia poda +uedar rele$ada a un se$undo plano, #a +ue no era
esencial para ase$urar la supervivencia de la institucin.
En la actualidad la situacin es mu# di!erente. /l $eneralizarse el
acceso a la universidad la condicin de licenciado pierde, en (uena
medida, su valor distintivo. 1a no se trata tanto de o(tener un ttulo
como de o(tenerlo en una universidad presti$iosa. El mercado
universitario es a&ora un mercado maduro, caracterizado por una
reducida tasa de crecimiento, un nmero elevado de competidores
2nuevas universidades p(licas #, en especial, privadas2 en el +ue
la di!erenciacin # la ima$en de marca co(ran una importancia
!undamental. *a calidad de la docencia se convierte #a en un !actor
estrat$ico de primera ma$nitud.
Esta creciente atencin &acia la calidad docente &a llevado a las
/dministraciones (licas a ela(orar pro$ramas para ase$urar la
calidad de los servicios universitarios[2]. /dem's, en toda Europa
aparecen a$encias +ue analizan la calidad de los sistemas
universitarios p(licos # privados # las propias universidades,
conscientes de su creciente importancia, ponen en marc&a
pro$ramas de mejora # evaluacin de la calidad.
1.3. Calidad evaluacin del rendimiento
Una caracterstica comn de todas las or$anizaciones +ue operan en
el sector servicios es su dependencia del !actor &umano. *os
servicios son prestados por personas # la actuacin de stas es la
+ue determina en ltima instancia el nivel de calidad de la
or$anizacin. En el caso de la universidad esto es particularmente
cierto. *as universidades cl'sicas, presenciales 2e incluso al$unas
no presenciales2 son, utilizando la terminolo$a acu%ada por
Mintz(er$ 345546, 7(urocracias pro!esionales7. *a caracterstica
principal de estas or$anizaciones, desde el punto de vista +ue nos
ocupa, es +ue en ellas los docentes disponen de un elevado mar$en
de autonoma en el desempe%o de su actividad, autonoma +ue
incluso $oza de proteccin jurdica al amparo de la li(ertad de
c'tedra.
El pro(lema reside, como se%ala Mintz(er$, en +ue en estas
or$anizaciones no e.iste pr'cticamente control al$uno del tra(ajo
!uera de la pro!esin, ni !orma al$una de corre$ir las de!iciencias
+ue los propios pro!esionales decidan pasar por alto. El e!ecto de
esa li(ertad de accin es +ue permite +ue al$unos pro!esionales
&a$an caso omiso de las necesidades de sus clientes # estimula a
otros muc&os para +ue desatiendan las necesidades de la
or$anizacin. /dem's, se trata de una estructura in!le.i(le, apta
para la produccin de outputs normalizados, pero inadecuada para
adaptarse a los cam(ios e innovaciones tecnol$icas.
*os dos pro(lemas apuntados 2ausencia de control # resistencia al
cam(io2 convierten a la (urocracia pro!esional en una estructura
or$anizativa incapaz de adaptarse al modelo peda$$ico +ue
caracteriza a la docencia en entornos virtuales. Este modelo, cu#as
implicaciones se analizan en el apartado si$uiente, modi!ica el papel
del estudiante # del pro!esor # va asociado a unas pautas
peda$$icas +ue alteran de !orma radical la docencia, su evaluacin
#, en su conjunto, el estilo or$anizativo de la universidad. 1 ese
nuevo modelo de or$anizacin &a de disponer de &erramientas
espec!icas, adaptadas a sus peculiaridades para evaluar el
rendimiento de sus docentes, &erramientas +ue les permitan
conocer si stos asumen # ponen en pr'ctica el modelo peda$$ico
de la institucin.
En la universidad tradicional la evaluacin del rendimiento &a
tenido, &asta una poca relativamente reciente, escaso
predicamento. En primer lu$ar, por la di!icultad in&erente a la
medicin de los conocimientos o aptitudes peda$$icas de un
pro!esor. En se$undo lu$ar, por+ue el control mutuo es escaso, por
la mencionada li(ertad de c'tedra # por la resistencia $eneralizada,
&a(itual en cual+uier 'm(ito pro!esional, a evaluar el tra(ajo de un
7cole$a7.
Cuando la accin docente se desarrolla en entornos virtuales la
necesidad de evaluar la calidad docente se incrementa, si ca(e, an
m's. *a universidad virtual se articula como una or$anizacin en
red, en la +ue la docencia est' a car$o de numerosos pro!esionales
+ue, en el marco del modelo peda$$ico de la institucin, realizan
su actividad docente a tiempo parcial. )e trata, m's +ue de
pro!esionales de la ense%anza, de e.pertos contratados ad hoc +ue
aportan, como principal valor a%adido, los conocimientos #
e.periencias ad+uiridos en el ejercicio de su propia actividad
pro!esional. Este modelo de docencia en red enri+uece los procesos
!ormativos 2con la presentacin de e.periencias pro!esionales
reales # en constante actualizacin2 # dota de ma#or !le.i(ilidad a
la or$anizacin de la docencia 2al permitir una r'pida adaptacin a
las nuevas e.i$encias del mercado. En contrapartida, tam(in
incrementa la necesidad de disponer de &erramientas +ue ase$uren
la calidad de la ense%anza.
/se$urar la calidad de la docencia es el o(jetivo de la evaluacin del
rendimiento. )e trata de un proceso sistem'tico dise%ado para
medir de !orma o(jetiva el rendimiento la(oral del docente en
entornos virtuales. ara +ue ten$a operatividad es preciso +ue se
trate de un proceso-
)istem'tico- la evaluacin del rendimiento no es un conjunto
de acciones puntuales sino una actividad +ue de(e &acerse
peridicamente, en !uncin de un pro$rama previamente
consensuado. /dem's, de(e superar la dimensin descriptiva para
co(rar sentido como &erramienta al servicio del modelo peda$$ico
de la institucin. En otras pala(ras, la evaluacin de(e tener un
propsito # ese propsito de(e estar en consonancia con el modelo
peda$$ico.
O(jetivo- se de(e $arantizar, en la medida de lo posi(le, la
o(jetividad de las evaluaciones, a lo +ue contri(uir' la e.istencia de
diversas !uentes de in!ormacin.
articipativo- toda la or$anizacin, empezando por el propio
evaluado, de(e participar en la de!inicin e implantacin del
sistema.
8le.i(le- se trata de un sistema, no de una tcnica. Ello
si$ni!ica +ue de(e ele$irse el mtodo de evaluacin en !uncin de
las caractersticas de la or$anizacin.
*a evaluacin del rendimiento slo tiene sentido en el marco de una
or$anizacin +ue apli+ue la !iloso!a de la $estin de la calidad en
todas sus 'reas # actividades # en el conte.to de un sistema de
$estin de personal en el +ue se intente involucrar al personal en la
de!inicin de los o(jetivos or$anizativos.
1.!. La accin docente en entornos virtuales
*a actividad docente entendida como la accin desarrollada para
!acilitar el aprendizaje 2la necesidad a satis!acer2 de una persona
concreta 2el cliente2 de(e articularse en un determinado marco de
relacin. 0o#, las or$anizaciones educativas avanzan &acia la
complementariedad del cl'sico entorno educativo 2el aula o el
campus universitario2 con el tra(ajo en un nuevo marco relacional
+ue llamamos entorno virtual de aprendizaje 3E9/6. /ctualmente los
productos !ormativos diri$idos a personas adultas # en pleno
ejercicio de su actividad pro!esional contemplan #a la
complementariedad del marco !ormativo cl'sico del aula con el uso
m's o menos intensivo de las tecnolo$as aplicadas a la educacin,
#a sea a travs de los recursos de la red :nternet, de materiales
multimedia de aprendizaje o de espacios relacionales virtuales de
aprendizaje.
En el proceso de la incorporacin del uso intensivo de las
tecnolo$as de la in!ormacin # de la comunicacin en la educacin
de(emos tener en cuenta la importancia +ue representa el nuevo
marco relacional en el +ue se desarrolla la actividad docente # de
aprendizaje- los E9/. )e trata de un medio nuevo para el +ue
de(emos desarrollar nuevas estrate$ias[3]. ;o podemos usar las
mismas din'micas o metodolo$as docentes en el marco relacional
sncrono 2presencial2 +ue en el asncrono 2virtual. *a !uerte
irrupcin actual de la tecnolo$a en las metodolo$as educativas
de(e ser utilizada para el esta(lecimiento de estrate$ias espec!icas
para el desarrollo del aprendizaje en los nuevos marcos +ue se
con!i$uran. 0acer lo mismo de siempre usando tecnolo$a punta es
po(re a la vez +ue un $ran error.
*a actividad docente en los entornos virtuales de aprendizaje se
desarrolla de !orma complementaria al uso de unos materiales
did'cticos, multimedia o no, +ue de(en servir como re!erencia del
conocimiento a impartir. El docente 7virtual7 de(e situarse en el
nuevo espacio !ormativo sa(indose $ua # compa%ero de viaje del
prota$onista del proceso de aprendizaje- el estudiante. El rol del
docente virtual se !undamenta en el acompa%amiento, no en ser la
principal (ase de in!ormacin o de conocimiento. *a interaccin es
la (ase de los E9/. :nteraccin entre docentes, estudiantes,
materiales, # con la propia institucin en su conjunto. Di!cilmente
encontraremos un nico emisor. 0a(lamos de un marco en el +ue la
construccin del conocimiento compartido es la (ase del
aprendizaje.
*a accin docente en los modelos educativos +ue usan de !orma
intensiva las tecnolo$as de la in!ormacin # de la comunicacin no
es tarea de una persona, sino +ue es, esencialmente, tarea de la
institucin. *a or$anizacin educativa de(e decidir # de!inir los
pro$ramas !ormativos, sus o(jetivos, su estructura, los materiales
+ue los desarrollar'n # el sistema de evaluacin. ara ello, de(e
dotarse de un colectivo acadmico +ue por 'm(itos tem'ticos de
conocimiento coordine el proceso de creacin de contenidos as
como la actividad docente desarrollada por el mismo e+uipo o por
un $rupo de pro!esionales e.ternos. En de!initiva, estamos &a(lando
de las si$uientes !i$uras-
<esponsa(le acadmico del pro$rama. ersona +ue reci(e el
encar$o institucional de de!inir # controlar el proceso de creacin de
un determinado pro$rama, se$n las directrices de la or$anizacin
educativa # las propias del mercado de !ormacin.
/utor de contenidos. Es la persona o personas encar$ada=s de
redactar los contenidos del pro$rama. 0a(itualmente se trata de un
e+uipo de autores +ue tra(ajan coordinadamente con e+uipo
multidisciplinar de la institucin de !ormacin tales como
dise%adores intruccionales, in!orm'ticos, dise%adores $r'!icos, entre
otros a$entes.
Coordinador del pro$rama. ersona de la institucin educativa
encar$ada de coordinar el desarrollo del pro$rama !ormativo, de
velar por su adecuacin # de diri$ir # asesorar a los docentes +ue lo
imparten.
Docente. ro!esional +ue imparte el pro$rama, de acuerdo con
los materiales previamente ela(orados, # +ue interacta
directamente con el estudiante o participante.
Cada uno de los per!iles citados participa en di!erentes !ases del
proceso de creacin de un pro$rama !ormativo para entornos
virtuales de aprendizaje. >odos # cada uno de ellos in!lu#e de !orma
directa en la calidad de la docencia, pero slo una !i$ura tiene
contacto directo con el destinatario de los pro$ramas acadmicos-
el docente. Es &a(itual +ue en las instituciones educativas +ue
imparten pro$ramas en E9/ la !i$ura del docente sea la de una
persona e.terna +ue tra(aja a tiempo parcial como docente # +ue
aporta a los procesos !ormativos tanto sus conocimientos tericos
como su propia e.periencia pro!esional.
El o(jetivo del presente artculo es proponer un modelo de
evaluacin de la calidad de la docencia en entornos virtuales +ue,
pese a estar orientado de !orma directa &acia la evaluacin de la
actividad de los docentes contemple, sin em(ar$o, la interaccin
e.istente entre todas las !i$uras +ue participan en los procesos
docentes en entornos virtuales.
2. "n nuevo modelo de evaluacin de la calidad
docente en entornos virtuales
2.1. Los inputs del proceso de evaluacin
0emos de!inido la evaluacin del rendimiento como un proceso
sistem'tico cu#a !inalidad es medir de !orma o(jetiva el rendimiento
de un empleado en su puesto de tra(ajo. ero, ?+uin es el
encar$ado de medir ese rendimiento@ ?Auin puede, en nuestro
caso, validar la e!icacia de la accin docente@
*a evaluacin del desempe%o en el 'm(ito empresarial, en su
concepcin cl'sica, &a correspondido a los je!es del evaluado. Este
tipo de evaluacin &a dejado paso en los ltimos a%os a sistemas de
evaluacin m's complejos, +ue tienen en cuenta tam(in la opinin
de otros a$entes, como los clientes o los propios compa%eros del
evaluado. En el 'm(ito universitario &a sido el estudiante +uien de
!orma casi e.clusiva &a evaluado, mediante encuestas o
cuestionarios, la calidad de la accin docente. Este es+uema resulta,
a nuestro juicio, incompleto, siendo pre!eri(le un modelo de
evaluacin de la calidad docente articulado so(re tres inputs
in!ormativos di!erentes-
*a evaluacin e.terna a car$o de los estudiantes.
*a evaluacin interna, por parte del e+uipo docente.
*os resultados acadmicos.
Evaluacin e.terna. )i por calidad se entiende satis!accin del
cliente # el cliente es el estudiante, ste de(era ser el principal
evaluador de la calidad docente. 0a#, no o(stante, varias razones
+ue aconsejan un modelo de evaluacin di!erente. En primer lu$ar,
el estudiante slo tiene in!ormacin acerca de una parte de los
procesos !ormativos, a+uella +ue le a!ecta de !orma directa.
Desconoce, #a +ue no le compete, la dimensin interna de esos
procesos, los cuales ocupan, sin em(ar$o, una parte considera(le
del tra(ajo docente. /dem's, las valoraciones del estudiante so(re
su $rado de satis!accin pueden estar contaminadas por sus
intereses a corto plazo, +ue le &ar'n ser m's (enevolente con los
responsa(les de a+uellas materias +ue resulten m's !'ciles de
asimilar #=o de superar.
Evaluacin interna. En el mundo la(oral +ue nace con la
revolucin industrial la opinin de cada tra(ajador acerca de sus
compa%eros es irrelevante, siempre # cuando todos ellos realicen el
tra(ajo +ue les &a sido asi$nado. En un entorno (asado en la
cooperacin # la interaccin la situacin es (ien distinta. *a !orma
en la +ue tra(ajamos, aprendemos # nos comunicamos con
nuestros compa%eros a!ecta a la productividad, a nuestro 'nimo # a
la calidad de nuestro tra(ajo. *a accin docente en entornos
virtuales no se desarrolla en r$imen de aislamiento sino en el
marco de un modelo peda$$ico # en un conte.to en el +ue una
pluralidad de a$entes coopera de !orma activa en el dise%o de los
pro$ramas !ormativos. De a& +ue resulte imprescindi(le conocer la
opinin de los dem's miem(ros del e+uipo acadmico so(re el
tra(ajo desempe%ado por el docente. *os responsa(les acadmicos
# los coordinadores de pro$rama, por su contacto cotidiano #
directo con el docente est'n en condiciones de !acilitar una
in!ormacin valiosa so(re aspectos tan importantes de su actividad
como su contri(ucin a $enerar un (uen am(iente de tra(ajo, su
!le.i(ilidad # predisposicin a aceptar las innovaciones promovidas
institucionalmente, su e!icacia en el desempe%o de las !unciones
asi$nadas # su compromiso $eneral con el modelo peda$$ico de la
or$anizacin.
ara realizar una evaluacin de este tipo es imprescindi(le +ue
antes se &a#an de!inido con claridad, # +ue sean conocidas por el
docente, las competencias 2aptitudes, conocimientos, valores,
actitudes2 +ue de(e reunir en relacin con las !unciones +ue le &an
sido asi$nadas. *a de!inicin de esas competencias no se realizar'
de !orma a(stracta, sino teniendo presente el entorno 2el campus
virtual en el caso +ue nos ocupa2 # el modelo peda$$ico de la
institucin.
<esultados acadmicos. *os resultados acadmicos o(tenidos
por los estudiantes tam(in constitu#en un indicador de la e!icacia
de la accin docente. ero se trata de un indicador cu#a utilizacin
de(e ser mu# cuidadosa, #a +ue !acilita los comportamientos
estrat$icos. ara entender el pro(lema ima$inemos una
universidad +ue considera ptimo un elevado porcentaje de
apro(ados. Este o(jetivo puede ser alcanzado a travs de un
la(orioso es!uerzo de mejora de la actividad docente, +ue
redundar' en (ene!icio del presti$io de la institucin. ero tam(in
puede conse$uirse, a un coste menor, incrementando de !orma
ar(itraria el nmero de apro(ados. En el se$undo caso, en
apariencia, se &a(r' cumplido el o(jetivo de calidad marcado. ero
si este tipo de comportamientos adaptativos o estrat$icos se
$eneraliza, se da%ar' la ima$en de la institucin # disminuir' el
valor +ue el mercado otor$ar' as a sus titulaciones.
Un modelo de evaluacin del rendimiento como el +ue a+u se
postula presenta induda(les ventajas so(re los modelos (asados de
!orma e.clusiva en las opiniones de los alumnos. En concreto, es
m's-
Justo, #a +ue la in!ormacin o(tenida procede de diversas
!uentes, lo +ue a#uda a eliminar ses$os.
8ia(le # consistente, al proceder del conjunto de a$entes en
contacto con la persona evaluada, los resultados de la evaluacin
proporcionan una in!ormacin m's acurada so(re la calidad real de
la docencia.
Cre(le, puesto +ue resulta m's di!cil rec&azar una
su$erencia de mejora si sta viene avalada por las opiniones #
su$erencias de di!erentes personas.
Motivador, al !acilitar un clima de participacin # cola(oracin
en el +ue todos pueden aportar mejoras constructivas.
9alioso, #a +ue en lu$ar de orientar a los evaluados &acia la
satis!accin de las e.pectativas de su je!e, concentra sus es!uerzos
en la satis!accin de las necesidades de a+uellos +ue reci(en sus
servicios- los clientes internos 2el resto de miem(ros de la
or$anizacin2 # e.ternos 2los estudiantes.
El &ec&o de utilizar tres !uentes de in!ormacin distintas no aleja a
la or$anizacin de la perspectiva del servicio al estudiante. Bste es
el +ue, a travs de encuestas # otros mtodos de an'lisis, in!orma a
la universidad de lo +ue pretende conse$uir. )on sus e.i$encias 2
claridad, atencin personalizada2 las +ue &an de estar en el punto
de mira de la universidad. *o +ue ocurre es +ue sta dispondr' de
una mejor perspectiva para analizar si esas e.i$encias se cumplen
si tam(in tiene en cuenta la opinin de otros a$entes involucrados
en el proceso. Esta ptica multidimensional del proceso de
evaluacin es consecuente con las ltimas corrientes en materia de
$estin de la calidad, +ue consideran como clientes de una
or$anizacin no slo a a+uellos +ue ad+uieren sus productos o
servicios, sino tam(in a sus empleados # a la sociedad en su
conjunto.
2.2. #l modelo de evaluacin
/l optar por un modelo de evaluacin (asado en tres inputs
in!ormativos di!erentes se &ace necesario determinar el peso +ue
tendr' cada uno de ellos en el sistema de evaluacin del
desempe%o. )e trata de una cuestin central, +ue a!ecta a la
esencia del modelo, #a +ue o(li$a a tomar una decisin so(re la
importancia # so(re las limitaciones de cada una de esas tres
!uentes de in!ormacin.
>rat'ndose de universidades +ue operan en entornos virtuales,
resulta aconseja(le otor$ar un peso !undamental a la evaluacin
interna. /s, en nuestro modelo se asi$na a sta un CDE de la
puntuacin total posi(le. *a primaca de la evaluacin interna +ueda
justi!icada si se tiene en cuenta dos de las caractersticas de la
accin docente en los llamados E9/-
;aturaleza cooperativa. En los entornos virtuales de
aprendizaje la accin docente no es el resultado e.clusivo de la
actividad del docente sino una tarea cooperativa, !ruto de la
interaccin de un colectivo !ormado por pro!esionales con
competencias diversas, +ue ejercen sus !unciones al servicio del
estudiante # en el conte.to del modelo peda$$ico de la institucin.
En esas condiciones, la evaluacin de la docencia por los
estudiantes tiene una e!icacia m's limitada, #a +ue stos i$noran
&asta dnde alcanza la responsa(ilidad del docente so(re cada
in$rediente 2el sistema de evaluacin o los materiales did'cticos,
por ejemplo2 del modelo peda$$ico.
;aturaleza a(ierta. En la docencia universitaria tradicional la
accin docente es de naturaleza (ilateral- el pro!esor # los
estudiantes se relacionan en el conte.to de una clase !sica en la
+ue el pro!esor es la principal, sino la nica, !uente de in!ormacin.
El pro!esor universitario, prote$ido por la li(ertad de c'tedra # por
la naturaleza espec!ica de sus conocimientos, realiza su actividad
con nota(le autonoma respecto a las directrices acadmicas o
peda$$icas de la institucin. En este conte.to resulta l$ico +ue
sean los estudiantes los +ue dispon$an de ma#or in!ormacin so(re
la e!icacia de la accin docente +ue se lleva a ca(o dentro de los
muros de la clase #, por tanto, los encar$ados de evaluarla. En un
entorno virtual de aprendizaje la situacin es distinta. *a accin
docente no discurre en un conte.to cerrado sino a(ierto- el campus
virtual. *os dem's miem(ros del e+uipo docente no slo participan
en el dise%o de la accin docente sino +ue, al desarrollarse sta en
un espacio a(ierto, asisten de !orma directa a su desarrollo
cotidiano. El estudiante #a no es el nico +ue sa(e lo +ue sucede
intramuros. >am(in los miem(ros del e+uipo docente, por su
contacto cotidiano con el pro!esor # por su supervisin re$ular de su
actividad, est'n en condiciones de evaluar si ste realiza de !orma
e!icaz las !unciones +ue le &an sido asi$nadas.
*a naturaleza a(ierta # cooperativa de la docencia en E9/ sita a la
evaluacin interna en el epicentro del proceso de evaluacin. En
cam(io, la evaluacin e.terna, a car$o de los estudiantes, an
conservando un papel !undamental 2representa el FCE de la
puntuacin del modelo2 +ueda rele$ada, por las razones +ue
aca(amos de ver, a un se$undo plano. *o mismo ocurre con los
resultados acadmicos, a los +ue se atri(u#e un 4CE de la
puntuacin total. En este caso la e.plicacin de su reducido peso en
el conjunto del modelo $uarda relacin, como #a se apunt, con el
&ec&o de +ue se trata de un indicador !'cilmente desvirtua(le
mediante comportamientos estrat$icos por parte de los docentes.
*a valoracin otor$ada en el modelo a cada uno de los tres inputs
del proceso de evaluacin, en una escala de D a 4DD puntos, es la
+ue puede o(servarse en la 8i$ura G.
Cada input de(e ser desa$re$ado, para su an'lisis en unidades
menores, +ue re!lejen di!erentes dimensiones de la accin docente.
/s, por ejemplo, la evaluacin e.terna, realizada por los
estudiantes, incluir' su(cate$oras +ue re!lejar'n su opinin so(re
aspectos tales como la rapidez a la &ora de responder a sus
consultas o la capacidad del docente para estimular su aprendizaje.
En el ane.o : se inclu#e un cuadro"resumen en el +ue se propone
un cat'lo$o de su(cate$oras # la ponderacin +ue corresponde a
cada una de ellas en el modelo.
/ su vez, en cada su(cate$ora 2conocimientos del docente, por
citar un ejemplo2 se analizan diversos aspectos 2dominio de la
asi$natura o capacidad de actualizacin, en el ejemplo citado. *a
relacin de aspectos a estudiar en cada su(cate$ora es !le.i(le,
puesto +ue cada or$anizacin, en !uncin de cu'les sean las
caractersticas ('sicas de su modelo peda$$ico # las del pro$rama
en particular, puede seleccionar a+uellos +ue considere m's
relevantes.
Es desea(le +ue la evaluacin inclu#a tanto aspectos cuantitativos
3por ejemplo, el porcentaje de apro(ados6, como cualitativos 3por
ejemplo, la opinin del estudiante so(re los conocimientos del
pro!esor6. *a inclusin de elementos cualitativos, aun+ue compleja
desde el punto de vista operativo, permite o(tener una in!ormacin
m's rica # valiosa. De a& la conveniencia de estimular la aportacin
de comentarios # su$erencias de mejora por parte de los a$entes
+ue intervienen en el proceso de evaluacin #, tam(in, por parte
del propio evaluado.
/ continuacin se e.aminan en detalle los aspectos +ue de(en ser
o(jeto de an'lisis en cada una de las tres dimensiones del proceso
de evaluacin.
2.3. La evaluacin interna
*a evaluacin interna es el pilar !undamental del proceso de
evaluacin de la calidad docente en entornos virtuales. )e lleva a
ca(o en el seno de la propia universidad, por los responsa(les
acadmicos # los coordinadores del pro$rama, mediante
cuestionarios como el +ue !i$ura en el /ne.o ::. / continuacin se
e.ponen los apartados o cate$oras +ue ser'n o(jeto de encuesta #
ulterior an'lisis en el 'm(ito de la evaluacin interna-
2.3.1. Conocimientos del docente
Este apartado incluir' in!ormacin so(re su-
Conocimiento de los instrumentos # &erramientas necesarios
para tra(ajar en un entorno virtual- destreza # &a(ilidad en su
manejo.
Dominio de la asi$natura- tanto de su contenido, estructura #
caractersticas $enerales 2car$a lectiva, en!o+ue # posicin en el
plan de estudios2, como de los materiales did'cticos.
Capacidad para adaptarse a los cam(ios en el entorno de
tra(ajo.
8acilidad para su$erir e incorporar todas a+uellas innovaciones
did'cticas +ue sean de inters.
Capacidad de actualizacin permanente.
Capacidad para adecuar los conocimientos a la pr'ctica
pro!esional.
2.3.2. $rientacin del aprendizaje
Este apartado analiza la capacidad del docente para-
Esta(lecer los o(jetivos de aprendizaje +ue los estudiantes
de(en lo$rar, as como la metodolo$a adecuada para alcanzarlos.
roponer (i(lio$ra!a pertinente, tanto ('sica como
complementaria.
>emporalizar el estudio de la asi$natura de acuerdo con la
car$a lectiva de la misma # los o(jetivos a conse$uir.
Ela(orar $uas +ue !aciliten el proceso de aprendizaje,
priorizando contenidos # actividades, aclarando contenidos #
orientando al estudiante so(re los recursos +ue tiene a su
disposicin para re!orzar su proceso de aprendizaje.
Dise%ar # esta(lecer actividades, de(ates # pr'cticas +ue
contri(u#an a consolidar los contenidos de la asi$natura.
<edactar de manera clara # concisa los mensajes #
documentos diri$idos a los estudiantes.
oner la in!ormacin a disposicin del estudiante con rapidez
#, en todo caso, en los plazos previstos.
2.3.3. %otivacin dinamizacin del aprendizaje
Este apartado se ocupa de evaluar en +ue medida los docentes-
8omentan la participacin de los estudiantes en el aula.
:ntervienen con re$ularidad en el aula, enviando mensajes
+ue $uen # orienten el aprendizaje # eviten el potencial des'nimo
de los estudiantes.
romueven el espritu crtico # la e.presin de ideas #
opiniones so(re temas de actualidad relacionados con la asi$natura.
Estimulan la participacin # el se$uimiento de la evaluacin
continua.
8omentan la interaccin # el tra(ajo cooperativo entre los
estudiantes.
8avorecen, con la claridad # oportunidad de sus mensajes, la
dinamizacin # consolidacin del proceso de aprendizaje de los
estudiantes.
Esta(lecen contacto con los tutores siempre +ue resulte
oportuno a !in de realizar un adecuado se$uimiento de los
estudiantes.
2.3.!. #valuacin del aprendizaje
)e trata de averi$uar si los docentes-
<ealizan prue(as de evaluacin continua +ue permitan valorar
de !orma continua # co&erente el aprendizaje pro$resivo del
estudiante.
<ealizan prue(as de evaluacin continua cu#a car$a de
tra(ajo resulta co&erente con la car$a lectiva de la asi$natura.
/decuan el contenido de las prue(as de evaluacin continua #
los e.'menes a los o(jetivos de la asi$natura.
Dise%an las prue(as de evaluacin continua # los e.'menes
!inales !omentando la re!le.in crtica # la asimilacin de los
contenidos.
Dise%an las prue(as de evaluacin continua # los e.'menes
!inales procurando conectar los contenidos de la asi$natura con la
pr'ctica pro!esional # la actualidad.
9elan para +ue e.ista un alto $rado de co&erencia entre las
prue(as de evaluacin continua # los e.'menes !inales de la
asi$natura, as como con el tra(ajo desarrollado durante el curso.
Corri$en # proporcionan soluciones #=o comentarios
individualizados so(re el $rado en +ue los estudiantes est'n
alcanzando los o(jetivos previamente esta(lecidos.
<edactan los enunciados, las soluciones # las correcciones de
los di!erentes ejercicios de evaluacin con claridad # en los plazos
esta(lecidos.
)on capaces de de!inir con claridad lo +ue de(e &acerse en
cada ejercicio de evaluacin # los criterios de valoracin a emplear.
2.3.&. Relacin con el e'uipo docente
En particular, se evaluar' si el docente-
Mantiene una relacin !luida # re$ular con el resto del e+uipo
docente.
Coordina su actividad con la de los dem's pro!esores de la
asi$natura.
Cola(ora # comparte ideas, documentos # mejoras con el
resto del e+uipo.
articipa activamente en los encuentros virtuales #
presenciales del e+uipo acadmico.
Muestra iniciativa # capacidad de respuesta ante situaciones #
pro(lemas imprevistos.
2.!. La evaluacin e(terna
*a evaluacin e.terna se realiza de !orma peridica por los
estudiantes, mediante tests o encuestas, en los +ue se analizar'n
los si$uientes aspectos-
2.!.1. )ominio de los contenidos
)e trata de averi$uar si el docente, a juicio de los estudiantes-
>iene un dominio adecuado del contenido de la asi$natura.
Dispone de in!ormacin # conocimientos actualizados.
Conoce los materiales, documentos, artculos # dem's
in!ormacin a la +ue tienen acceso los estudiantes.
Es consciente del lu$ar +ue ocupa la asi$natura en el plan de
estudios.
2.!.2. $rientacin del aprendizaje
El estudiante evaluar' si el docente-
resenta de manera clara los o(jetivos a alcanzar.
Esta(lece una temporalizacin del estudio adecuada.
Orienta, a travs de sus documentos # mensajes, de manera
e!ectiva el proceso de aprendizaje.
Contri(u#e, mediante las actividades, pr'cticas, ejercicios #
de(ates propuestos, a !acilitar la apre&ensin # consolidacin de los
contenidos de la asi$natura.
Da indicaciones +ue permiten pro!undizar #=o complementar
los contenidos de los materiales.
2.!.3. %otivacin
*as opiniones de los estudiantes permitir'n averi$uar si el docente-
Es capaz de suscitar inters por la asi$natura.
Conecta los contenidos con la actualidad # la pr'ctica
pro!esional.
8omenta la participacin de los estudiantes en el aula.
Estimula al estudiante para +ue realice las actividades #
prue(as necesarias para alcanzar los o(jetivos marcados.
8omenta el tra(ajo cooperativo entre los estudiantes.
Contrarresta el potencial des'nimo de los estudiantes en su
proceso de aprendizaje.
/#uda a +ue el estudiante sienta +ue !orma parte de un
$rupo.
2.!.!. *roceso de evaluacin
)e trata de conocer la opinin del estudiante acerca de si-
*as prue(as de evaluacin continua # los e.'menes !inales se
re!ieren a los contenidos !undamentales de la asi$natura.
El proceso de evaluacin continua !omenta la asimilacin de
los contenidos.
*os e.'menes !inales son co&erentes con las prue(as de
evaluacin continua # con el tra(ajo desarrollado durante el curso.
*os enunciados de todas las prue(as # e.'menes son claros.
*os criterios de evaluacin son conocidos.
)e proporcionan soluciones #=o comentarios individualizados
so(re el $rado en +ue el estudiante alcanza los o(jetivos
esta(lecidos.
2.!.&. Rapidez claridad en las respuestas
Cada estudiante de(er' mostrar su opinin acerca de si-
El docente les enva mensajes claros, oportunos #
correctamente redactados.
*as respuestas proporcionadas en los mensajes son
co&erentes con las pre$untas planteadas.
El docente contesta sus dudas en un plazo de tiempo
razona(le.
2.&. Resultados acad+micos
En este apartado se analizan los resultados acadmicos, como
indicadores o(jetivos de la e!icacia de la accin docente.
2.&.1. ,e-uimiento del curso
Dentro de esta su(cate$ora se estudian los si$uientes aspectos-
*a participacin activa de los estudiantes en las di!erentes
actividades del curso- de(ates, pr'cticas # prue(as de evaluacin
continua.
El porcentaje de estudiantes presentados al e.amen !inal de
la asi$natura.
2.&.2. .provec/amiento
)e inclu#e a+u in!ormacin so(re-
El porcentaje de estudiantes +ue superan la evaluacin
continua.
El porcentaje de estudiantes +ue superan la asi$natura.
*a nota media o(tenida por los estudiantes.
2.0. #l pro-rama de evaluacin
)a(emos +ue la evaluacin de la docencia va a ser
tridimensional 2interna, e.terna # so(re resultados2, conocemos
el peso relativo de cada una de esas dimensiones # los di!erentes
aspectos a evaluar. ero la evaluacin slo comienza realmente
cuando disponemos de un pro$rama de evaluacin, +ue de(er'
incluir-
Una memoria descriptiva del propsito de la evaluacin # del
modelo acadmico +ue la inspira.
Una de!inicin e.acta del alcance su(jetivo 2a +uin a!ecta2
# o(jetivo 2+u se va a evaluar2 del proceso.
Una de!inicin del es+uema de evaluacin 2+uin o +uienes
van a realizarla2, de los procedimientos de o(tencin de
in!ormacin 2encuestas, in!ormes, estudios2 # de los criterios
empleados.
Un manual de evaluacin, documento +ue servir' de (ase #
de $ua para llevar a ca(o la evaluacin.
Un calendario de evaluacin # un plan de se$uimiento de los
resultados.
*os o(jetivos de la evaluacin # los criterios con arre$lo a los cuales
sta va a realizarse de(en esta(lecerse de !orma consensuada en el
seno de la or$anizacin, con participacin de los propios evaluados.
/l &acerlo de esta !orma los o(jetivos del pro$rama de evaluacin
ser'n m's realistas # se incrementar' la motivacin del docente. De
lo contrario, si ste no tiene una idea clara de +u es lo +ue la
or$anizacin le pide # de cmo va a ser valorado su tra(ajo,
resultar' m's di!cil +ue pueda mejorar su rendimiento. De a& la
importancia de +ue el docente, adem's de reci(ir una !ormacin
inicial +ue $arantice su conocimiento del entorno 2el E9/2 # del
modelo peda$$ico adoptado por la institucin, sea in!ormado de
los o(jetivos del pro$rama de evaluacin # de su papel en el mismo.
Es imprescindi(le, asimismo, +ue-
<eci(a un feedback adecuado de los resultados de la
evaluacin para &acer posi(le una mejora continua de su
desempe%o.
Dispon$a de cauces para transmitir sus propias e.periencias e
ideas en relacin con la evaluacin # con la actividad docente +ue le
&a sido asi$nada.
*a evaluacin de la docencia es un sistema # como tal slo
proporciona in!ormacin relevante si se realiza un se$uimiento
estadstico del mismo, compro(ando # comparando los resultados
de las distintas evaluaciones. ara aprovec&ar al m'.imo su
potencial ser' necesario disponer de in!ormacin acerca de-
*as tendencias &istricas del docente.
*os resultados o(tenidos por otros docentes de la misma
asi$natura.
*os resultados o(tenidos por los docentes de otras
asi$naturas pertenecientes al mismo pro$rama.
*os resultados o(tenidos en otras instituciones en asi$naturas
# pro$ramas an'lo$os.
*a evaluacin del desempe%o es una &erramienta !undamental para
$estionar la calidad docente. ero es m's +ue eso. >am(in cumple,
en el conte.to de la poltica de $estin de recursos &umanos de
cada or$anizacin, otras importantes !unciones. /s, posi(ilita el
esta(lecimiento de planes salariales (asados en el rendimiento,
!acilita el dise%o de un sistema de promocin pro!esional, permite
detectar necesidades de !ormacin no satis!ec&as # estimula las
relaciones &umanas en el seno de la or$anizacin # el nacimiento de
una cultura corporativa de orientacin &acia el cliente # mejora
continua.
Conviene &acer dos precisiones adicionales acerca de la evaluacin
del desempe%o. En primer lu$ar, &a de ser renta(le, en el sentido
de +ue los costes asociados a su dise%o e implementacin no de(en
ser pro&i(itivos. ara conse$uirlo es necesario dise%ar un sistema
+ue permita o(tener # procesar la in!ormacin de !orma simple,
r'pida # e!icaz. 1, en se$undo lu$ar, la evaluacin del desempe%o &a
de estar orientada &acia la satis!accin de las necesidades del
cliente"estudiante. )i esas necesidades se olvidan 2utilizando, por
ejemplo, criterios de evaluacin +ue no re!lejen la calidad real de la
docencia2 los resultados de la evaluacin no slo no ser'n !ia(les,
sino +ue estimular'n comportamientos de tipo adaptativo en el
docente, diri$idos, m's +ue a (ene!iciar al cliente"estudiante, a
ma.imizar sus 7cali!icaciones7 en el proceso de evaluacin.
3. Conclusiones
En cual+uier manual so(re $estin de la calidad se advierte al lector
del car'cter su(jetivo # multidimensional de este concepto. En
e!ecto, la calidad de un producto o servicio tiene un si$ni!icado
distinto dependiendo del punto de vista del o(servador. Esto resulta
especialmente cierto en el 'm(ito universitario, en el +ue e.iste un
$ran a(anico de actores 2personal acadmico, personal de $estin,
alumnos, !amilias, administraciones p(licas # !inalmente, la propia
sociedad2 +ue &acen di!erentes # le$timas interpretaciones so(re
las caractersticas +ue &a de reunir una universidad para alcanzar la
e.celencia.
*a nica !orma de acotar el concepto de calidad pasa por adoptar
un modelo determinado para su evaluacin. En los sistemas de
$estin de la calidad la (ase de ese modelo es la satis!accin de los
re+uerimientos # e.pectativas de los usuarios actuales #
potenciales. De a& +ue en el 'm(ito universitario el epicentro del
sistema &a#a de ser el estudiante, como destinatario !inal del
proceso !ormativo, cu#os intereses # necesidades &a(r'n de
orientar el proceso de evaluacin de la calidad.
Un sistema de evaluacin del desempe%o docente +ue considere
esta actividad desde una perspectiva &olstica # multidimensional,
+ue la evale con arre$lo a criterios consensuados, (ien de!inidos #
conocidos por los evaluados cumple una do(le !uncin. ara
empezar, permite a cada a$ente, # a la or$anizacin en su conjunto,
conocer en +u medida la docencia cumple con los est'ndares de
calidad +ue resultan e.i$i(les. /dem's, !acilita, a travs de
sucesivos re!inamientos, el inicio de un proceso de mejora continua
de la docencia #, en ltima instancia, de la propia universidad en su
conjunto.
/l desarrollarse en un marco distinto 2los E9/ o entornos virtuales
de aprendizaje2, la evaluacin de la accin docente slo puede
&acerse utilizando un modelo +ue ten$a en cuenta las
peculiaridades tecnol$icas #, so(re todo, peda$$icas, asociadas al
e"learnin$. El cam(io en el rol del pro!esor, la irrupcin de la
tecnolo$a en las metodolo$as educativas # la aplicacin intensiva
de un modelo peda$$ico de naturaleza cooperativa orientado &acia
el estudiante, &an de tener su re!lejo en las tcnicas de evaluacin
del desempe%o docente. :nserto en este modelo peda$$ico, el
discurso evaluador cam(ia # adopta un en!o+ue multidimensional #
participativo, convirtindose en la mejor $aranta de la calidad de
los procesos de ense%anza # aprendizaje.
.ne(o 1
Cuadro <esumen-
.ne(o 11
Evaluacin :nterna de la actividad docente-
""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
2i3lio-ra45a:
/OD/C/, .H *OI/>O, C. 3Editores6. 3455J6. Calidad en la Universidad:
Orientacin y !valuacin" Iarcelona- Editorial *aertes.
DU/<>, J.M. 3GDDD6. 7/prender sin distancias7. #ueva $evista, nK JD, p.
4LM"4CG.
DU/<>, J.M.H )/;N<O, /. 3Compiladores6. 3GDDD6. %prender en la
virtualidad" Iarcelona- Nedisa Editorial.
N:**, D.H <:E>O, C. 3455P6. 7/lineando el desempe%o individual con los
valores or$anizativos- el !eed(acQ FMDK en NE Capital7. Capital &umano,
nK 44L, p. M4"MM.
*JO)O E.H <ERRED/*, >. 3455F6. 'rom e(ternal Control to )nternal *uality
%ssurance" Oslo- ;orSe$ian /sociacin !or Distance Education.
M/<>T;EU, M.J. 345556. 7Nestin de la calidad en la empresa7. En-
V*9/<EU, J.*. +o ,ue se aprende en los mejores -.%" Iarcelona-
Ediciones Nestin GDDD. . CJF"M4M.
M:;>UIE<N, 0. 345546. +a estructuracin de las organizaciones"
Iarcelona- /riel Economa.
MU<01, ;.J. 3455F6. 7er!ormance Measurement and /ppraisal7.
!mployment $elations /oday, LJ"MG.
E<ED/, ).H IE<<OC/*, 8. 345556. 0estin de $ecursos &umanos por
Competencias" Madrid- Editorial Centro de Estudios <amn /reces.
<:UO, 0. 345556. 7Evaluacin del docente universitario7. $evista
!lectrnica )nteruniversitaria de 'ormacin del 1rofesorado2 G346.
""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
#nlaces relacionados:
)/;N<O, /. 7*a calidad en las e.periencias virtuales de educacin
superior7.
&ttp-==SSS.uoc.es=Se(=esp=art=uoc=D4DMDGL=san$ra.&tml
'$ina Se( de la Con!erencia de <ectores de las Universidades Espa%olas
&ttp-==SSS.crue.or$=
:: lan ;acional de Evaluacin de la Calidad de las Universidades
Espa%olas
&ttp-==SSS.mec.es=consejou=calidad=;E.&tml
>&e Aualit# /ssurance /$enc# !or 0i$&er Education
&ttp-==SSS.+aa.ac.uQ=
W8ec&a de pu(licacin- octu(re GDD4X
6 7osep %. )uart8 %ar5a 7es9s %art5nez8 2::1
)UM/<:O
4. *a calidad docente en entornos virtuales de aprendizaje
4.4 Nestin de la calidad
4.G Nestin de la calidad en la universidad
4.F Calidad # evaluacin del rendimiento
4.L *a accin docente en entornos virtuales
G. Un nuevo modelo de evaluacin de la calidad docente en
entornos virtuales
G.4 *os inputs del proceso de evaluacin
G.G El modelo de evaluacin
G.F *a evaluacin interna
G.L *a evaluacin e.terna
G.C <esultados acadmicos
G.M El pro$rama de evaluacin
F. Conclusiones
;ota*:
""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
*os autores a$radecen los comentarios # su$erencias de :sa(el
)olY.
;ota1:
""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
3id. *JO)/, E.H <ERRED/*, >. 3455F6'rom !(ternal Control /o
)nternal *uality %ssurance" .C.
;ota2:
""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
Es el caso, entre otros, del lan ;acional de Evaluacin de la
Calidad de las Universidades promovido por el Consejo de
Universidades.
;ota3:
""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
Duart, J.M.3GDDD6. 7/prender sin distancias7. #ueva $evista.
;m.JD, p.4LM"4CG.