CONFERENCIA MAGISTRAL LA EVALUACIN AUTNTICA DE COMPETENCIAS

Carles Monereo1 Universitat Autnoma de Barcelona, (ESPAA) Introduccin En la actualidad ningn investigador educativo se atrevera a discutir la decisiva influencia que tiene la evaluacin sobre los procesos de enseanza y de aprendizaje. Fredericksen (1984), y ms recientemente Prodromou (1995), han demostrado que la evaluacin tiene una influencia decisiva en el contenido de lo que ensean los docentes, incluso en relacin a apartados del temario que el profesor considera menos importantes pero cuya presencia en las pruebas de evaluacin los convierten el centrales. En el caso del aprendizaje ocurre algo similar. La evaluacin, o mejor dicho, la percepcin que tiene el estudiante de las caractersticas de esa evaluacin, resulta determinante en el modo de enfocar el estudio de la materia (Gibbs, 1992; Wolf et al., 1991). Gulikers, Bastiaens y Kirschner (2004) lo resumen
Doctor en Psicologa por la Universidad Autnoma de Barcelona (1985), profesor Titular de universidad (1988), fundador y coordinador del "Seminario Interuniversitario de investigacin en estrategias de aprendizaje" (SINTE), que entra a formar parte de los equipos ICE de la Universidad Autnoma de Barcelona a partir de 1996. Especialista en procesos de Enseanza-Aprendizaje por ordenador, como en el tratamiento curricular de las estrategias de aprendizaje. Es miembro del Consejo editorial de las revistas de investigacin educativa: Infancia y Aprendizaje (desde 1996) Anuario de Psicologa (desde 1998) Mente y conducta en situacin educativa (desde 1998) Interactive Educational Multimedia (desde 2000). Artculos: "Les Demoiselles" de Picasso. Cambio cognitivo y conocimiento estratgico Carles Monereo Font; ENSEAR A CONCIENCIA Hacia una didctica metacognitiva?. Carles Monereo Font; Internet Search and Navigation Strategies Used by Experts and Beginners APRENDER A APRENDER: UNA DEMANDA DE LA EDUCACIN DEL SIGLO XXI Juan Ignacio Pozo Municio; Carles Monereo Font; La orientacin e intervencin psicoeducativa desde un punto de vista constructivista Carles Monereo Font; La enseanza estratgica: Ensear para la autonoma. Carles Monereo Font; Estrategias para autorregular el esfuerzo en el aprendizaje. Contra el culturismo del esfuerzo.
1

[1]

de forma contundente: Aprendizaje y evaluacin son dos caras de la misma moneda, e influyen fuertemente el uno en la otra. Para cambiar el aprendizaje del alumno en la direccin del desarrollo de competencias autnticas es necesaria una enseanza basada en competencias autnticas, alienada con una evaluacin basada tambin en competencias autnticas (p. 68). Modificando la manera en que evaluamos aquello que aprenden nuestros alumnos tenemos la posibilidad de modificar lo que realmente aprenden y, consecutivamente, tambin tenemos la oportunidad de modificar el modo en que se ensea lo que aprenden. Las dos razones ms importantes para aproximarse a una authentic competency-based assessment son, en palabras de Gielen, Dochy y Dierick (2003), la validez de constructo y la validez consecuencial. La primera tiene que ver con la necesidad de valorar la naturaleza misma de lo que se pretende medir. Si hablamos de competencias, entendidas como un conjunto coordinado de recursos (conocimientos, habilidades, estrategias) que nos permiten resolver problemas prcticos, ya sea de la vida cotidiana o profesional, su evaluacin deber, necesariamente, plantear problemas semejantes a los de referencia. Por consiguiente deberemos presentar al alumno tareas situadas, de carcter prctico, que requieran la puesta en marcha de estrategias de resolucin. La validez consecuencial se refiere precisamente a los efectos de la evaluacin sobre la enseanza y el aprendizaje. Cuando el estudiante percibe una relacin coherente entre lo que se explica, la forma y el nivel con que se hace, y lo que se demanda, es decir la manera y la exigencia con que se evala, se produce un impacto positivo sobre la manera en que este estudiante se enfrenta al estudio de esa materia en cuestin (Seges, Dierick y Dochy, 2001). Deberamos aadir una ltima razn, no menor; al aumentar la autenticidad de las evaluaciones, incidimos positivamente en la motivacin de los alumnos como muestran los estudios de Herrington y Herrington (1998) o Sambel, McDowell y Brown (1997). Pero, cmo definimos y cules son las caractersticas estructurales del concepto de evaluacin autntica?. El concepto de evaluacin autntica. La expresin evaluacin autntica suele emplearse de manera genrica para describir una amplia variedad de nuevos enfoques e instrumentos de evaluacin que se contraponen a los utilizados

[2]

reiteradamente en la evaluacin tradicional, la denominada testing culture, la cultura del examen (lvarez, 2005; Angelo y cross, 1993; Monereo, 2003). Entre estos enfoques suelen citarse la evaluacin no formal o alternativa (alternative assessment), la evaluacin del proceso de realizacin (performance assessment), la evaluacin basada en problemas (problem-based assessment), la evaluacin dinmica, la evaluacin formadora o la evaluacin formativa (ver al respecto Campbell, 1994; Custer, 1998; Darling-Hammond, 1995; Darling-Hammond y Snyder, 2000; Nunziati, 1990; Sternberg y Grigorenko, 2003; Weber, 1999; Weinstein y Meyer, 1998). Las tres primeras podramos situarlas dentro del paraguas de la evaluacin autntica, no as las tres ltimas que tienen algunas caractersticas diferenciales que hemos tratado de sintetizar en la Tabla 1. Centrndonos en el trmino autntico, el diccionario2 establece que algo es autntico cuando es cierto original, es decir no es falso, y se corresponde con lo esperado o buscado, por lo tanto existen pruebas que atestiguan o demuestran su veracidad. Como afirman Honebein, Duffy y Fishman (1993), la garanta de autenticidad solo puede establecerse en comparacin con alguna otra realidad (lvarez, 2005). En todo caso, existen distintas interpretaciones sobre este tpico, que de forma resumida expresamos en la siguiente lista: a) Autntico en calidad de evaluacin genuina o legtima al tratarse de una evaluacin propia a la forma de evaluar del profesor. En este sentido podramos hablar de proximidad ecolgica en cuanto a que parte de los recursos naturales del profesor. b) Autntico en calidad de propedutico: como preparacin para enfrentar evaluaciones similares en esta otra materia de ste o de prximos cursos. c) Autntico en calidad de funcional: til para resolver necesidades del alumno en sus diferentes escenarios de desarrollo (tambin en el acadmico). d) Autntico en calidad de centrado en la evaluacin de la actuacin o realizacin de una tarea (performanceassessment): orientado a valorar las operaciones necesarias para solucionar el problema o tarea. e) Autntico en calidad de extra-acadmico: La situacin o problema que se plantea est vinculada a escenarios no escolares (vida cotidiana, noticias de impacto social y
2

P.e. Diccionario Sopena.Barcelona, 2006

[3]

cultural, futuro profesional, ocio, etc.). Los problemas intra-acadmicos (intramatemticos, intralingsticos o intracientficos), que aludiran a cuestiones propias del universo disciplinar (p.e. smbolos, estructuras y objetos matemticos) seran, desde esta perspectiva, poco autnticos. f) Autntico en calidad de verosmil: la situacin que se plantea al alumno podra realmente ocurrir, an cuando no necesariamente al propio alumno. g) Autntico en calidad de real: la actividad desarrollada no solo se produce en condiciones prcticamente idnticas a las que habitualmente conocemos, sino que adems se trata de una actividad en la que el alumno o ya ha estado involucrado en la vida cotidiana o lo estar en un futuro prximo. De entre estas diferentes perspectivas y acepciones las que sin duda han tenido mayor eco en la literatura especializada han sido las que hacen equivalente la evaluacin autntica con una evaluacin del proceso de ejecucin - performance-assessment(p.e. Hart, 1994; Torrance, 1995) y las que han subrayado el realismo de la tarea que se propone (Herrington y Herrington, 1998). Con el propsito de dilucidar la cuestin Reeves y Okey (1996) afirman que la diferencia sustancial entre ambos enfoques est en el grado de fidelidad de las condiciones en que se ejecuta la tarea. Cuanto ms fielmente se reproduzcan las condiciones en que esa tarea tiene lugar en su contexto habitual, ms autntica ser la evaluacin. Por lo tanto toda evaluacin autntica incluye una evaluacin del proceso de realizacin, pero no toda evaluacin de proceso es autntica. En este mismo sentido, Savery y Duffy (1995) dan una vuelta ms de tuerca y definen la autenticidad de una tarea como la similitud, no solo en las condiciones de ejecucin, sino especialmente entre las demandas cognitivas requeridas en la evaluacin y las solicitadas en el contexto en el que esa tarea o problema suele producirse (Calfee, 1994). Por lo tanto cuanto ms se confunda una tarea de evaluacin con su homnima en un contexto de prctica social, ms autntica podremos considerarla. Demostrar que algo es autntico, autenticarlo o refrendarlo, supone aportar pruebas de que eso pertenece al mismo sitio, funciona del mismo modo, obliga al mismo esfuerzo o tiene la misma importancia que el original. Tratando de resumir las principales diferencias entre una evaluacin tradicional y una evaluacin autntica, la siguiente

[4]

Tabla 2, adaptada de Wiggins (1990), esquematiza las principales discrepancias entre ambos enfoques. Evaluacin tradicional Evaluacin autntica Para evaluar, emplea tems Se examina directamente la indirectos ejecucin del aprendiz en base a tareas relevantes Revela solo si los estudiantes Requiere que los estudiantes reconocen aquello que han apliquen el saber adquirido a aprendido en las aulas, fuera situaciones de la vida de ellas extraescolar Las pruebas convencionales Se evalan a la vez un suelen ser de lpiz y papel y conjunto de competencias y las preguntas a menudo contenidos necesarios para suponen una nica respuesta resolver aquella situacin Suelen tenerse en cuenta solo Se requiere la justificacin los resultados argumentada de las respuestas La validez se determina Se evala la capacidad de mediante el apareamiento de actuar en contextos sociales tems con el contenido del de manera idnea currculum Se evalan elementos Se proponen problemas mal estticos, y arbitrarios, que estructurados, ambiguos, que pueden resolverse casi reflejen la complejidad del siempre a travs de la mundo extraacadmico. aplicacin mecnica de principios y formulaciones. Tabla 2. Diferencias entre evaluacin tradicional y autntica (adaptado de Wiggins, 1990) Como puede observarse, una evaluacin autntica se caracteriza por valorar especialmente el proceso de decisin necesario para resolver un problema complejo, en el que deban activarse y aplicarse coordinadamente distintos conocimientos y competencias, y haya que demostrar la capacidad estratgica imprescindible para autorregular la propia conducta y ajustarse a los cambios inesperados, justificando posteriormente las acciones efectuadas. En el prximo apartado profundizaremos en las dimensiones que debe contemplar una tarea de evaluacin autntica. Anlisis de la autenticidad de una tarea. Analizar la autenticidad de una determinada actividad o tarea de evaluacin significa situarla en un continuo de mayor o menor proximidad a la actividad que queremos en realidad evaluar.

[5]

Ese continuo vendra definido por el realismo de la tarea, su relevancia acadmica, personal o profesional, su proximidad a las prcticas usuales del centro y el grado en que permite la socializacin dentro de una determinada comunidad de prctica. Algunas propuestas como la de Daz Barriga (2003), emplean un sistema de coordenadas, donde las ordenadas constituyen el grado de relevancia funcional y las abscisas el nivel de realismo que se otorga a la actividad o tarea en cuestin. A estas coordenadas podemos aadir dos dimensiones que nos parecen importantes, y que acabamos de citar, el grado de cercana o proximidad ecolgica de la tarea con el contexto educativo en el que pretendemos inscribirla y aplicarla, y el nivel de enculturizacin identitaria (identity enculturation) que favorece. Seguidamente trataremos de profundizar en el significado de estas cuatro dimensiones que resultan clave en toda prctica autntica de evaluacin, a partir de los aspectos en que converge la literatura especializada (Cronin, 1993; Gijselaers, 1996; Hill, 1998; Gulikers, Bastiaens, y Kirschner, 2004; Hung & Der-Thanq, 2007): Realismo. Antes de nada es preciso matizar el uso que se hace del trmino real. Todas las comunidades sociales en las que se desarrollan las personas, incluida por supuesto la comunidad educativa, son reales en el sentido de que las prcticas que all se realizan son genuinas y permiten a cualquier participante socializarse y llegar a ser un miembro plenamente integrado y activo en esa comunidad. Ms especficamente, siguiendo a Engestrm (2005), cada comunidad tiene un conjunto de creencias, actitudes, normas y roles que suponen orientaciones epistemolgicas hacia el conocimiento y constituyen identidad. Cuando nos referimos a prcticas autnticas en los centros educativos debemos distinguir entre aquellas que se inscriben en el contexto propiamente escolar y se orientan a socializar al individuo en calidad de alumno, de aquellas otras que se orientan a hacer lo mismo pero en el mbito profesional. En realidad deberamos hablar de un continuo de prcticas que permitiran a un alumno transitar hacia una identidad profesional, y viceversa, caso por ejemplo de una persona del mundo laboral que, despus de muchos aos, decidiese incorporarse nuevamente a una comunidad educativa. Como ya apuntamos con anterioridad, el realismo de una tarea de evaluacin vendr definido por el grado de fidelidad de las

[6]

condiciones y exigencias cognitivas en que se realiza la actividad, con las condiciones y exigencias que demandan esas mismas actividades en los contextos sociales o profesionales de referencia. Determinar el realismo de una tarea de evaluacin supone, en primer lugar, haber identificado aquellos problemas profesionales que el alumno deber ser capaz de resolver en el futuro y, en segundo lugar, analizar el conjunto de competencias, estrategias y conocimientos que el alumno debe haber adquirido para hacerlo. En cuanto a la tipologa de problemas a los que un profesional deber hacer frente, hemos descrito en otro sitio (Monereo y Pozo, 2007) dos grandes grupos de problemas: 1) Problemas prototpicos: estaramos hablando de tareas que por su frecuencia resultan habituales en el trabajo de un determinado profesional. Desde el currculo universitario debera garantizarse que el estudiante, cuando termine sus estudios de grado, ser competente para resolver ese tipo de problemas. 2) Problemas emergentes: se referira a dos tipos de demandas profesionales. En primer lugar a aquellas que, si bien resultan poco frecuentes en el momento actual, existen suficientes pruebas (estudios de prospectiva, sociolgicos, de mercado, etc.) de que su incidencia se incrementar en un futuro prximo. En segundo lugar deberan tambin incluirse aquellas situaciones, fenmenos o sucesos que, si bien la sociedad no considera an conflictivas o problemticas, inciden negativamente en el desarrollo de las personas, y es obligacin de la universidad hacer visible su nociva influencia. En la Tabla 3 se muestra un ejemplo de cuales podran ser, a grandes rasgos, algunos de los problemas prototpicos y emergentes en los distintos niveles educativos (en la universidad se toma el caso de la licenciatura de Psicopedagoga).

[7]

Enseanza obligatoria

Enseanza Postobligatoria y grado (Psicopedagoga) Formar profesionales tcnicos Realizar una adecuacin curricular

Postgrado Universidad (Psicopedagoga)

Doctorado

Finalidad

Formar ciudadanos

Formar profesionales especialistas Desarrollar un proyecto de innovacin

Formar investigadores

Problemas Prototpicos

Seleccionar y comprar un producto

Enmarcar tericamente un estudio

Problemas emergentes

Principios ecologa domstica

Bsqueda especializada en internet

Cooperacin redes interprofesionales Anlisis sistmico del contexto

Analizar el discurso de una muestra Anlisis de datos cualitativos

Competencias

Evaluacin de Evaluacin y necesidades y coordinacin de productos actores y recursos

Tabla 3. Un ejemplo de problemas y competencias segn la finalidad de cada nivel educativo. Una vez determinados los problemas prototpicos y emergentes que, al finalizar un perodo lectivo, el estudiante deber ser capaz de afrontar, el segundo paso consistir en analizar qu recursos ponen en juego los profesionales experimentados para manejar convenientemente esos problemas y situarlos, en la medida de lo posible, al alcance de los estudiantes. Cuanto ms afinados y pertinentes sean los problemas que se planteen, y ms fidedignas las condiciones para su solucin, ms realistas sern los procesos cognitivos y emocionales implicados y, por lo tanto, ms autntica la evaluacin del alumnado. En este sentido Wiggins (1989; 1990) y posteriormente Gulikers, Bastiaens y Kirschner (2004), adems de la autenticidad de los problemas a los que se enfrenten los alumnos, se refieren tambin a la autenticidad del contexto fsico (fidelidad con el lugar en que trabajan los profesionales, con condiciones de tiempo, orden, limpieza, recursos, etc. similares a las que un da el alumno encontrar), del contexto social (acceso a los recursos sociales habituales en el contexto de referencia: interaccin con otros y posibilidad de pedir ayuda cuando se necesite), del resultado (si la calidad del producto que se obtenga se podr medir con los mismos parmetros con los que se miden esos mismos productos en la [8]

vida profesional) y de los criterios de evaluacin (si se basan en los utilizados en las situaciones homnimas del ejercicio profesional). Relevancia. Apela al nivel de utilidad del conjunto de competencias que tratan de ensearse y evaluarse, nuevamente en relacin a los contextos profesionales de referencia. Una prctica de evaluacin puede ser relevante para el estudiante por distintos motivos: porque resulta propedutica para preparar aprendizajes posteriores, porque es directamente funcional para apoyar al alumno en sus estudios y trabajos educativos, porque plantea una situacin verosmil, es decir que podra ocurrir realmente; porque se refiere a tareas no propiamente acadmicas o, finalmente, porque es una legtima muestra de las prcticas de la comunidad profesional de destino. Como veremos en el prximo apartado la transicin hacia actividades plenamente autnticas probablemente deber graduar estas distintas opciones. Proximidad ecolgica. Se refiere a la conexin de la modalidad de evaluacin elegida con las prcticas de evaluacin habituales del profesorado que las pone en juego, dentro de su zona de desarrollo docente. Se trata, por una parte, de que la innovacin sea asumible, en tanto se percibe cercana, pero tambin de que suponga un enriquecimiento de la prctica cotidiana. No es lo mismo que esa tarea de evaluacin parta o tenga su origen en actividades anteriores realizadas en el propio centro, que se trate de una tarea importada de otro contexto e instaurada all. En el primer caso la actividad, incluyendo las modificaciones que sufra, est legitimada o acreditada por una prctica educativa anterior que la convierte en un producto de esa cultura; dicho de otro modo, alguien avala la autenticidad de una determinada tarea al considerarla como propia, perteneciente a una experiencia previa y singular. Siguiendo esta lnea argumental, distintas investigaciones demuestran que cuando el profesorado considera una prctica como propia, y por lo tanto no extraa o ajena, las posibilidades de que logre implicarse en su desarrollo y aplicacin aumentan de manera considerable. Apropindonos del concepto introducido en su momento por Vigotsky (1977), el cambio, la innovacin propuesta, debe estar en la zona de

[9]

desarrollo del docente para que tenga posibilidades de prosperar. Identidad. El concepto de identidad se utiliza aqu en relacin al grado de socializacin profesional que favorece la prctica en cuestin. La literatura sobre comunidades de prctica ha insistido en la importancia del proceso de enculturizacin identitaria (identity enculturation) que debe seguir un miembro legtimo de toda comunidad (Lemke, 2002). La identidad debe considerarse como un constructo que evoluciona dentro de un proceso dialctico de bsqueda de significados entre personas. Coconstruimos nuestras identidades en relacin a otros, en contextos sociales en los que nos comprometemos a participar (Bauman, 1996; Barresi, 1999; Guile & Young, 2003), y estos selfs se apropian de concepciones, discursos, estrategias y emociones que forman paquetes integrados listos para activarse ante problemas prototpicos y emergentes-, propios de la comunidad, en nuestro caso la profesional (Monereo, 2007; Monereo y Monte, 2011). Facilitar desde los centros educativos (secundaria y universidad) una progresiva integracin en el mundo profesional no supone pues nicamente favorecer el proceso de adquisicin de conocimientos, implica adems ofrecer un contexto de enculturizacin donde apropiarse de una identidad (Brown & Duguid, 2000; Gee, 2000; Wenger, 1998). Una evaluacin autntica debera ser especialmente sensible a este componente y tratar, al menos en alguna ocasin, de evaluaren-contexto al estudiante. En este sentido, y a modo de resumen, una tarea sera ms autntica cuando: a) Su nivel de realismo sea elevado, es decir cuando las condiciones para su aplicacin y las exigencias cognitivas implicadas, sean idnticas o muy similares a las condiciones y exigencias de esa misma tarea ejecutada en el entorno cotidiano o profesional en el que habitualmente se produce. b) Su relevancia sea elevada, es decir los aprendizajes que conlleva sean directamente tiles para que el alumno enfrente situaciones o solucione problemas que son o sern habituales o prototpicos en su vida personal y/o profesional.

[10]

c) Su proximidad con las tareas y actividades propias del contexto educativo en el que se inscribirn y aplicarn, sea tambin elevada. Dicho de otro modo, cuando la tarea no se aleje de los planteamientos que habitualmente tienen los docentes de ese centro cuando ensean o evalan. d) Su implicacin identitaria sea asimismo alta. Se evale al alumno en situaciones que supongan distintos grados de inmersin profesional. Lgicamente estas dimensiones pueden variar en su nivel de cumplimiento, situando cualquier tarea de evaluacin en un continuo de mayor o menor autenticidad. Por otra parte las dimensiones que acabamos de presentar podran emplearse tambin para estimar la autenticidad de una actividad de enseanza.

[11]

Mtodos de evaluacin autntica. Tomando como ejes organizadores las dimensiones que hemos identificado y analizado en el apartado anterior, podramos clasificar algunos instrumentos de evaluacin segn su grado de autenticidad. En la figura 1 puede observarse esta clasificacin que dara lugar a cuatro cuadrantes:

Proximidad
Autentificacin de pruebas

Relevancia (identitario)
Proyectos

Portafolios
Dossier Apuntes Incidentes/ Simulaciones

Escolar
Pruebas tradicionales Auto y Co-evaluaciones (rbricas) Casos pensamiento

Extra-escolar

Ejercicios

Irrelevancia (impersonal)

Lejana

a) Mtodos usuales en la comunidad educativa (proximidad ecolgica), pero irrelevantes desde el punto de vista del alumno y artificiales, por cuanto su nica referencia es intraacadmica. Formaran parte de este grupo las pruebas tradicionales de lpiz y papel, tipo ejercicio, es decir aquellas que pueden resolverse aplicando una rutina o algoritmo conocido, como por ejemplo la aplicacin de una frmula en matemticas o de una regla ortogrfica en lengua. Tambin, aunque con un mayor grado de realismo, la aplicacin de conocimientos a situaciones de la vida cotidiana, aunque poco verosmiles y bastante descontextualizadas (p.e. los tpicos problemas de matemticas

[12]

en los que dos trenes se cruzan o un agricultor vende su mercanca). Un nivel ms alto de autenticidad en este cuadrante lo tendran propuestas como la elaboracin de un dossier de apuntes de clase en la que el estudiante debe ampliar la informacin expuesta en el aula por su profesor a travs de experiencias personales y ejemplos de la vida extraacadmica. b) Mtodos prximos a los empleados en la comunidad ciudadana y/o profesional, relevantes para el alumnado puesto que evalan aspectos funcionales de su futuro desempeo y suponen cierta enculturizacin (aunque tmida), pero que mantienen cierto nivel de artificiosidad al estar insuficientemente contextualizados y no enfrentarse a la complejidad e incertidumbre de las condiciones de situaciones profesionales reales. En esta esfera estn los mtodos de evaluacin basados en las emulaciones y simulaciones en las que el aprendiz puede manipular algunas variables controladas de un determinados sistema y demostrar sus conocimientos y pericia a travs de los resultados que obtiene (p.e. en programas expertos por ordenador), o puede asumir determinados roles en una situacin problemtica y manifestar as su competencia en la gestin de dicha situacin (p.e. un alumno que acta como candidato en una entrevista laboral). Otros conjunto de mtodos que se situaran en esta direccin son los basados en sistemas de auto-evaluacin (el alumno evala sus propios avances) y co-evaluacin (el alumno evala a un compaero y es evaluado a su vez por otro compaero). En numerosos medios profesionales la autorregulacin de las propias acciones, y la evaluacin por parte de los compaeros, estn a la orden del da y su dominio es obligado. En este tipo de actividades resulta fundamental que el profesor logre compartir con los alumnos los criterios de evaluacin de una determinada competencia con el fin de que stos los interioricen y empleen autnomamente. En uno y otro caso el profesor puede introducir elementos que minimicen el sesgo en el que pueden caer los alumnos al evaluarse y evaluar a sus compaeros; por ejemplo, calificando positivamente a aquellos alumnos que se desvan muy poco de las estimaciones que hara el profesor (o un experto profesional), y negativamente a los que presentan una desviacin inaceptable. Un ltimo grupo de mtodos lo constituyen los denominados casos de pensamiento en el que los alumnos debe analizar y

[13]

valorar la forma en que unos supuestos personajes (generalmente 3 o 4 casos que relatan sus pensamientos y decisiones), de su misma edad y nivel educativo, resuelven una tarea escolar de las que usualmente se realizan en clase. Los alumnos pueden ver cmo piensan esos supuestos iguales cuando planifican, regulan y evalan la resolucin de esa tarea y compararlo con el modo en que ellos mismos lo hacen. c) Mtodos con una buena dosis de realismo y relevancia, aunque tradicionalmente vinculados a la comunidad educativa. Dentro de este cuadrante encontraramos la resolucin de problemas autnticos (autentificacin de pruebas; ver al respecto Monereo, 2009) que pueden conllevar la presentacin de situaciones extradas de la vida cotidiana y/o profesional, muy bien documentadas, aunque finalmente la actividad se produce en el aula, por lo general en base a materiales escritos y que requieren una solucin bastante convergente y cerrada, aquella que en su momento solucion efectivamente el problema en cuestin. El mtodo puede conjugarse con un anlisis cognitivo, bastante detallado, de las decisiones que deben tomar los alumnos para resolver el problema, lo que permitir identificar los momentos del proceso en que encuentran mayores dificultades, y ayudar a paliar esas dificultades detectadas desde la enseanza. Tambin la elaboracin de dossiers de apuntes de clase, de manera individual o en grupo, en la que los alumnos revisan las anotaciones tomadas en clase y las personalizan, amplan y enriquecen, a travs del parafraseo, la bsqueda de nueva informacin, la inclusin de reflexiones personales, etc., formara parte de este cuadrante. d) En el ltimo cuadrante se situaran los mtodos de evaluacin que atesoran un mayor grado de autenticidad. Se trata de prcticas de evaluacin sumamente realistas, relevantes, prximas a las tareas cotidianas y/o profesionales y que favorecen la socializacin en la comunidad profesional. En el rango ms alejado estara la resolucin de casos profesionales, comnmente complejos, mal definidos y susceptibles de recibir soluciones dispares, como ocurre en la realidad; aqu los alumnos, teniendo todos los recursos a su alcance de manera parecida a los que posee un profesional -, debe poner a prueba un gran nmero de competencias y estrategias. Ms realista y relevante resulta el mtodo de incidente, conflicto preparado por el evaluador -y por lo tanto fingido-, en el que se inmiscuye al alumno, que cree que el

[14]

conflicto se est efectivamente produciendo y debe actuar en consecuencia, como lo hara un profesional en circunstancias parecidas (p.e. se hace creer al estudiante de arquitectura que en un proyecto se ha producido un error en algn clculo y ste debe plantear alguna solucin de urgencia). Tanto el mtodo de evaluacin a travs de portafolios como la participacin en prcticas comunitarias o profesionales genuinas (p.e. proyectos), constituyen mximos exponentes de sistemas de evaluacin autnticos. En el primer caso el estudiante debe recopilar muestras o evidencias de sus logros, en relacin a unos objetivos competenciales previamente pactados con su profesor. Por ejemplo, para demostrar que es capaz de dirigir una reunin de trabajo, graba en vdeo una reunin real, realizada en su perodo de prcticas, y la expone a la evaluacin de su profesor, quien puede analizarla con l y darle indicaciones para que repita la experiencia tomando en consideracin algunos aspectos que deber mejorar. En cuanto a los proyectos, que pueden tener un cariz educativo (p.e. crear un blog, tipo wikipedia, en la que se revisan, relacionan y ejemplifican los principales contenidos de la materia) o profesional (p.e. crear un producto, buscar financiacin, publicitarlo, etc.), el alumno debe poner en juego todas las competencias aprendidas (y probablemente algunas ms) para responder a una demanda real, capaz de cubrir una necesidad socialmente relevante. Algunos de estos proyectos pueden implicar una estrecha coparticipacin con miembros de la comunidad o con profesionales reales (Hung & Der-Thanq, 2007), favorecindose de ese modo un aprendizaje recproco de enorme impacto para ambas partes, y promoviendo la sostenibilidad en el tiempo de los proyectos, y sus productos derivados. La evaluacin autntica sin embargo, como cualquier opcin educativa, tiene algunos requisitos y limitaciones que vamos a sealar a continuacin. Requisitos y limitaciones para instaurar una evaluacin autntica. Una primera condicin sine qua non es el nivel de familiaridad que pueda tener el alumno con este tipo de tareas de evaluacin. Para que una evaluacin autntica resulte efectiva es imprescindible que los alumnos hayan podido practicar con alguna de sus modalidades, antes de enfrentarse a una situacin de evaluacin, ya tenga una finalidad formativa (supervisar y mejorar el proceso) o sumativa (tomar

[15]

decisiones de acreditacin o promocin). As lo confirman estudios como los realizados por Schnitzer (1993). Con el fin de garantizar esa familiaridad, las tareas de enseanzaaprendizaje deberan parecerse a las tareas de evaluacin, lgicamente con los ajustes y limitaciones temporales y materiales que sean pertinentes. Si estas tareas, adems, cumplen con el requisito de proximidad a la cultura de prcticas del centro, el efecto novedad disminuir notablemente. Otro problema lo plantea el nivel de conocimientos que deben poseer los alumnos para enfrentar tareas complejas en situaciones pseudo-profesionales. Probablemente algunos alumnos puedan sentirse superados por la situacin planteada, lo que podra tener un impacto negativo sobre su aprendizaje (Sweller, Van Merrinboer y Paas, 1998). En este caso se recomienda simplificar las tareas realizando una cierta abstraccin de la prctica profesional real; segn Van Merrinboer (1997) este tipo de tareas an pueden conservar el grado de autenticidad suficiente para que los alumnos puedan demostrar globalmente que estn en posesin de las competencias necesarias. Continuando con los problemas derivados de una evaluacin autntica, a menudo tambin se plantean dudas sobre si esta forma de evaluacin cubre todos los objetivos y contenidos que deben evaluarse en una determinada disciplina. En realidad, puede que no siempre sea posible la evaluacin mediante pruebas y tareas autnticas. En ocasiones, y en funcin precisamente de los objetivos, los contenidos contemplados y las caractersticas de los aprendices, otras formas tradicionales o innovadoras de evaluacin pueden ser perfectamente adecuadas. Un problema de fondo lo plantea lo que ha venido en denominarse la subjetividad de la autenticidad. Por ejemplo, hemos insistido en que una tarea autntica debe ser relevante y realista, pero relevante y realista para quien, para el profesor o para el alumno? Autores como Petraglia (1998), Nicaise et al. (2000), Huang (2002) o Stein, Isaacs, y Andrews (2004) han mostrado en sus estudios la distancia que puede existir entre lo que es autntico para los docentes y para los alumnos, y han enfatizado la necesidad de compartir con stos ltimos el significado y sentido de lo que es educativamente autntico.

[16]

Se tratara de pasar de una situacin de pre-autentificacin, en la denominacin que emplean estos autores, a una verdadera autentificacin con el concurso de los usuarios finales, los alumnos. En este proceso de consenso con los alumnos, variables como el nivel educativo, la edad, los intereses personales o el conocimiento prctico que tengan stos de la comunidad donde viven, o del mundo laboral y profesional, pueden tener una fuerte incidencia y debern anticiparse (Honebein et al., 1993). Es posible, por ejemplo, que en los ltimos cursos universitarios, cuando los alumnos tienen ms conocimientos y contacto con el mundo profesional, deba aumentarse la autenticidad del contexto fsico de la tarea. Un ltimo problema radica en la posibilidad de realizar una correcta valoracin de la eficacia de la evaluacin autntica. La respuesta nos remite a un concepto clave en educacin, pero ciertamente complejo: el grado de transferencia de las competencias adquiridas y evaluadas. En una evaluacin autntica, por el mismo hecho de situar al alumno en una situacin de resolucin muy afn a la real, podramos pensar que la transferencia es automtica, sin embargo no basta con esa percepcin, es necesario comprobar que efectivamente se produce. Por consiguiente, una evidencia fehaciente de que la evaluacin ha sido eficaz consistira en demostrar que el alumno, en una situacin absolutamente real, sin aderezos ni aditivos, tiene el comportamiento y emplea conocimientos y competencias en la lnea en que la evaluacin haba predicho. BIBLIOGRAFA
lvarez, I. (2005) Evaluacin como situacin de aprendizaje o evaluacin autntica. Perspectiva educacional, 45; 45-67. Angelo, T. A. & Cross, K. P. (1993). Classroom assessment techniques: A handbook for college teachers (2nd Ed.). San Francisco: Jossey-Bass. Barresi, J. (1999). On becoming a person. Philosophical Psychology, 12, 7998. Bauman, Z. (1996). From pilgrim to touristOr a short history of identity. In: S. Hall, & P. du Guy, (Eds), Questions of cultural identity (pp. 1836). London: Sage. Brown, J., & Duguid, P. (2000). The social life of information. Boston: MA: Harvard Business School Press.

[17]

Calfee, R.C. (1994) Implications of cognitive Psychology for authentic assessment and instruction. National Centre for the study of writing, technical report n 94./ technical report n 69. Campbell, B. (1994) Practical aspects of authentic assessment putting the pieces together. Norwood, MA Christopher-Gordon. Gijselaers, W. H. (1996). Connecting problem-based practices with educational theory. Bringing Problem-Based Learning to Higher Education: Theory and Practice. New Directions for Teaching and Learning. L. Wilkerson & W. H. Gijselaers. San Francisco, JosseyBass Inc. Publishers. 68: 3-13. Cronin, J. F. (1993). Four Misconceptions about Authentic Learning. Education Leadership, 50 (7); 78-80. Custer, R. (1998) Authentic Assessment. Basic Definitions and Perspective. Illinois University. Consultado el 5-01-08 en: http://wwwtcall.tamu.edu/erica/docs/custer/custer2.pdf. Darling-Hammond, L. (1995) Authentic assessment in action. New York: Teachers College Press. Darling-Hammond, L., & Snyder, J. (2000). Authentic assessment in teaching in context. Teaching and teacher Education, 16, 523-545. Daz Barriga, F. (2003) Cognicin situada y estrategias para el aprendizaje significativo. Rev. Electrnica de investigacin educativa, 5 (2); 105- 117. Engestrm, Y. (2005). Developmental work research: Expanding activity theory in practice. Berlin: Lehmanns Media. Fredericksen, N. (1984) The real test bias, influences of testing and teaching on learning. American Psychologist, 39 (3); 193-202. Gee, J. P. (2000). Communities of practice in the new capitalism. Journal of the Learning Sciences, 9(4), 515523. Gibbs, G. (1992) Improving the quality of student learning. Bristol, UK: Technical and Educational Services. Gielen, S., Dochy, F. & Dierick, S. (2003) The influence of assessment on learning. En M. Segles, F. Dochy, & E. Cascallar (eds.) Optimising news modes of assessment: in search of quality and standards (p. 37-54). Dordrecht, Netherlands: Kluwer Academic Pub. Guile, D., & Young, M. (2003). Transfer and transitions in vocational education: Some theoretical considerations. En: T. Tuomi-Grohn, & Y. Engestrom, (Eds.), Between school and work: New perspectives on

[18]

transfer and boundary-crossing (pp. 6384). Netherlands: Elsevier Science. Gulikers, J.; Bastiaens, T. & Kirschner, P. (2004) A five-dimensional framework for Authentic Assessment. Educational Technology Research and Development, 52 (3); 67-86. Hart, D. (1994) Authentic assessment: a handbook for educators. New Jersey: Dale Seymour Publ. Herrington, J. & Herrington, A. (1998). Authentic Assessment and multimedia. How university student respond to a model of authentic assessment. Higher Education research &Development, 17 (3). Pp. 305-322. Hill, A. M. (1998). Problem solving in real-life contexts: an alternative for design in technology education. International Journal of Technology and Design Education, 8; 203-220. Honebein, P.; Duffy, T. & Fishman, B. (1993) Constructivism and the design of learning environments: context and authentic activities for learning. En T.M. Duffy, J. Lowyck & D.H. Jonassen (Eds.) Desinging environments for constructive learning (p. 88-108). Berlin: SpringerVerslag.. Huang, H. (2002) Towards constructivism for adult learners in online learning environments. British Journal of Educational Technology, 33; 27-37. Hung, D. & Der-Thanq, V. (2007) Context-process authenticity in learning: implications for identity enculturation and boundary crossing. Educational Technology Research and Development; 55; 147-167. Lemke, J. (2002). Becoming the village: Education across lives. In: G. Wells, & G. Claxton (Eds), Learning for life in the 21st century. (pp. 3445). UK, Oxford: Blackwell Publishers. Monereo, C. (2003). La evaluacin del conocimiento estratgico a travs de tareas autnticas. Revista Pensamiento educativo, 32; 7189. Monereo, C. & Pozo, J.I. (2007) Monogrfico sobre competencias transversales. Cuadernos de Pedagoga (julio-agosto). Monereo, C. (2007) Hacia un nuevo paradigma del aprendizaje estratgico: el papel de la mediacin social, del self y de las emociones. Revista de investigacin educativa, 5 (3); 239-265. Tambin en texto digital; consultado 5-01-08 en: http://www.investigacionpsicopedagogica.org/revista/new/index.php

[19]

Monereo, C. (coord.) (2009) Pisa como excusa. Repensar la evaluacin para cambiar la enseanza. Barcelona: Gra. Monereo, C. y Monte, M. (2011) Docentes en trnsito. Incidentes crticos en secundaria. Barcelona: Gra. Nicaise, M., G. Gibney, T., & Crane, M. (2000). Toward an understanding of authentic learning: students perceptions of an authentic classroom. Journal of Science Educational and Technology, 9, 79-94. Nunziati, G. (1990) Pour construire un dispositif dvaluation formatrice. Cahiers pdagogiques, 280; 47-64. Petraglia, J. (1998) Reality by design: the rhetoric and technology of authenticity in education. Mahwah, NJ: Lawrence Erlbaum Associates Publishers. Prodromou, L. (1995) The backwash effect: from testing to teaching. ELT Journal, 49 (1), 13-25. Reeves, T. & Okey, J. (1996) Alternative assessment for constructivist learning environments. En B.G. Wilson (Ed.) Constructivist learning environments: case studies in instruccional design (p. 191-202). Englewood Cliffs, NJ: Educational Technology Publications. Sambel, McDowell & Brown, S. (1997). But is it fair?: An exploratory study of student perceptions of the consequential validity of assessment. Studies in Educational Evaluation, 23(4), 349-371. Savery, J. & Duffy, T. (1995) Problem based learning: an instructional model and its constructivist framework. Educational Technology, 35; 31-38. Schnitzer, S. (1993) Designing and Educational Leadership, 50 (7), 32-35. authentic assessment.

Seges, M. Dierick, S. & Dochy, F. (2001) Quality standards for news modes of assessment. An exploratory study of the consequential validity of the over-all test. European Journal of Psychology of Education, 16 (4); 569-586. Stein, S.J., Isaacs, G & Andrews, T. (2004) Incorporating Authentic Learning Experiences Within a University Course. Studies in Higher Education, 29, pp.239-258. Sternberg, R.J. & Grigorenko, E.L. (2003) Evaluacin dinmica. Naturaleza y medicin del potencial de aprendizaje. Barcelona: Paids.

[20]

Sweller, J.; Van Merrinboer, J. & Paas, F. (1998) Cognitive architecture and instructional design. Educational Psychology Review, 10 (3); 251-296. Torrance, H. (1995) Evaluating authentic assessment. Buckingham: Open University Press. Van Merrinboer, J. (1997) Training complex cognitive skills: A fourcomponent instructional design model for technical training. Englewood Cliffs, NJ: Educational Technology Publications. Vygotsky L.S. (1977). Pensamiento y Lenguaje. Buenos Aires: La Plyade. Weber, E. (1999). Student assessment that works; a practical approach. Boston: Allyn & Bacon. Weinstein, C.E. & Meyer, D.K. (1998) Implicaciones de la Psicologa cognitiva en la aplicacin de las pruebas: contribuciones a partir del trabajo realizado en estrategias de aprendizaje. En Wittrock, M.C. & Baker, E.L. Test y cognicin. Investigacin cognitiva y mejora de las pruebas psicolgicas. Buenos Aires: Paids; 65-92. Wenger, E. (1998). Communities of practice: Learning, meaning, and identity. Cambridge, UK: Cambridge University Press. Wiggins, G. P. (1989). Teaching to the (authentic) test. Educational Leadership, 46 (7), 41-47. Wiggins, G.P. (1990). The case for authentic assessment. ERIC Digest, No. ED328611 Consultado 5-01-08 en: http://www.ericdigests.org/pre-9218/case.htm Wolf, D.; Bixby, J.; Glenn, J. & Gardner, H. (1991). To use their minds well: investigating new forms of student assessment. Review of Research in Education, 17; 31-74.

[21]

Tabla 1. Relaciones conceptuales entre Evaluacin dinmica, formativa, formadora y autntica Qu evala Cmo evala Cuando evala Quin evala Para evala qu A qu opone se

Evaluacin Potencial de Tareas Durante el Especialista Identificar las Dinmica aprendizaje representativas desarrollo (test) ayudas (Andamiajes) (abstractas) de la tarea individuales (puntual) que el alumno necesita Proceso de Registro Durante el Profesor Evaluacin enseanzasecuencial de desarrollo tutor Formativa aprendizaje los cambios de las (construccin) actividades (extensiva) Proceso de Registro de los Evaluacin aprendizaje materiales que Formadora (construccin) produce el alumno Durante el desarrollo de las actividades (extensiva) o Mejorar los procesos de enseanza y aprendizaje (nivel aula)

Evaluacin esttica (qu puede hacer el alumno sin ayuda) Evaluacin tradicional (del rendimiento o producto)

Los propios alumnos (auto/coevaluacin)

Hacer a los alumnos Evaluacin conscientes centrada en de sus el profesor progresos

[22]

Competencias Evaluacin funcionales Autntica (resolucin de problemas)

Problemas representativos de situaciones reales sociopersonales

Durante el Profesor, Tomar desarrollo tutor o decisiones de la especialista educativas resolucin (institucional, del nacional o problema internacional) (puntual o extenso)

Evaluacin acadmica, simplificadora y cerrada

[23]