18

A C C I O N P E D A G G I C A, Vol. 9, Nos. 1 y 2 / 2000

En el presente artculo el autor plantea la meta-
evaluacin de las escuelas como un proceso de
valoracin de las evaluaciones, de naturaleza
cualitativa, que da respuesta a aspectos inquie-
tantes como el aprendizaje, la mejora, el rigor, la
transferencia y la tica. Da significativa impor-
tancia a este ltimo, pues considera que, ade-
ms de ser la metaevaluacin un proceso tcni-
co, contiene una dimensin tica, por lo cual men-
ciona doce criterios de carcter axiolgico. Igual-
mente, en forma breve, refiere la manera de rea-
lizar este proceso, desatacando el proceso de
negociacin, la aplicacin de criterios, el juicio
de expertos y la opinin de los protagonistas.
Se est hablando y escribiendo mucho sobre
la evaluacin de los centros escolares, se estn
haciendo muchas evaluaciones, se est generan-
do una cultura sobre l a evaluacin. Ante ese he-
cho no hay que lanzar las campanas al vuelo,
porque lo ms importante no es hacer muchas
evaluaciones, ni siquiera hacerlas bien. Lo ms
importante es saber al servicio de qu personas
y de qu valores se ponen. Quiero llamar la aten-
cin en estas lneas sobre la necesidad de anali-
zar lo que sucede con las evaluaciones. No bas-
ta, pues, ponerlas en marcha para que ya nos sin-
tamos satisfechos. La metaevaluacin (o proceso
deevaluacindelas evaluaciones) permitepregun-
tarse, al menos, por estas cinco cuestiones:
1 El aprendizaje
Es necesarioaprender de las evaluaciones que
se realizan. Todos podemos aprender: l os patro-
cinadores, los evaluadores, los evaluados. Pero
solamente lo podremos hacer si reflexionamos
de forma rigurosa y desapasionada sobre los pro-
cesos y los resultados. No es razonable repetir
los errores de manera casi mecnica.
En la evaluacin que se pone en marcha por
prescripcin legal se produce un cruce de mode-
los verdaderamente inquietante. Se corre el peli-
grode que la evaluacinnoresponda plenamente
ni a uno ni a otro. Por una parte, se trata de una
evaluacin de rendimiento de cuentas (accoun-
tability) ya que la ordena el poder y la realiza la
autoridad acadmica (inspectores). Por otra par-
te, se pretende hacer de ella una evaluacin ne-
gociada, consensuada, participativa y democr-
tica. Si se negocia, se puede plantear la posibi-
lidad de que los evaluadores sean agentes exter-
nos al sistema?, se puede sugerir que sean otros
los mtodos?, se puede decidir desde las escue-
las qu hacer con los informes?...
Es necesario preguntarse por la actitud de los
profesores y profesoras, por la artificializacin
del comportamiento cuando se hacen observa-
ciones, por la calidad de la informacin cuando
se hacen entrevistas, por la riqueza de los infor-
mes elaborados, por la negociacin de los mis-
mos, por la capacidadde transformacinque est
teniendo la evaluacin... Es necesario pregun-
tarse por la preparacin de los inspectores para
hacer un tipo determinado de evaluacin, por el
tiempo de que disponen, por sus habilidades para
llevarla a cabo... Es imprescindible interrogarse
por la actitud del profesorado ante la evaluacin:
por sus reticencias, por su colaboracin, por su
disposicin al cambio...
Por qu repetir los errores de una forma irra-
cional y perseverante? Quin garantiza que los
Metaevaluacin de las
escuelas: el camino
del aprendizaje, del rigor,
de la mejora y de la tica
Palabras clave: Evaluacin, metaevaluacin, mejo-
ra.
E V A L U A C I O N D O S S I E R
Miguel Angel Santos Guerra
Universidad de Mlaga, Espaa
arrebol@uma.es
Mi guel A. Sant os Guer r a / Metaevaluacin de las escuelas
19
A C C I O N P E D A G G I C A, Vol. 9, Nos. 1 y 2 / 2000
The role of metaevaluation in schools as a
process of assessment of the evaluation, in a
qualitative approach, is reviewed; focusing on
uneasy aspects such as learning, improvement,
rigor, transfer and ethics. A greater significance
is given to the lattest, since it is considered that
the metaevaluation besides being a technical
process contains an ethical dimension. This is
detailed in twelve axiomatic criteria. The author
also explains briefly how to achieve the process,
outstanding the negotiation, the application of
these criteria, the judgement of experts and the
opinion of the protagonist.
buenos propsitos al realizarla no han produci-
do efectos secundarios dainos? Quin puede
afirmar que est inmunizado contra la comisin
de errores? Si as ha sido, no es razonable y jus-
to que se traten de evitar en futuras experiencias?
El aprendizaje no se produce solamente so-
bre l os fallos, e rrores o conflictos. Tambin es
importante analizar y desentraar las explicacio-
nessobrelosaciertos, sobrelacolaboracinabier-
ta, sobre la reflexin rigurosa, sobre el conoci-
miento elaborado, sobre los cambios efectivos...
2 La mejora
S que la palabra mejora es casi infinita en
sus contenidos semnticos. Qu es mejora? Sin
embargo es una pregunta capital. Hay que des-
entraar el significado de este concepto como
hay que hacerlo con el de calidad. De lo contra-
rio, no slo se producir confusin, sino tam-
bin perversin. Cuando se realizan simplifica-
ciones, suelen hacerse de manera interesada.
Quienidentificacalidadconrendimientodealum-
nos es porque est interesado en que as sea.
La evaluacin tiene que estar encaminada a
la mejora de la prctica educativa. La evalua-
cin es un garanta de la calidad para el centro
educativo (Casanova, 1992), siempre y cuando
se realice, se oriente, se encamine a la mejora y
no tanto al control, a la comparacin, a la clasifi-
cacin, a la jerarquizacin o a la discriminacin.
Para que la mejora se produzca es necesario
que la disposicin de los que intervienen en ella
sea abierta y comprometida. Si no existe actitud
autocrtica yapertura a la opininexterna es muy
difcil que cambie algo profundamente. Si no
existe una actitud comprometida con la prctica,
es imposible que las transformaciones afecten a
zonas significativas. Los cambios, si se produ-
cen, sern superficiales y anecdticos. Hablo de
disposicin positiva de todos los que intervie-
nen en la evaluacin. Eso atae tambin a laAd-
ministracin. Si la evaluacin muestra carencias,
deficiencias o errores en la gestin del sistema
educativo, habrn de percibir los profesores que
existe disponibilidad para asumir las decisiones
de mejora. Si no sucede as, el profesorado ver
l a eval uaci n como un f enmeno de j er ar -
quizacin y de control.
La mejora exige una negociacin de los in-
formes extensa y profunda. La negociacin de
informes es la piedra angular de la evaluacin
(Santos Guerra, 1998), porque permite conocer
con claridad y rigor qu es lo que sucede y por
qu. De ese conocimiento pueden surgir las de-
cisiones de cambio.
3 El rigor
Una de las preocupaciones ms importantes
de la metaevaluacin es la comprobacin del ri-
gor que ha tenido la evaluacin. La evaluacin
quedefiendoes denaturalezacualitativapor con-
siderar que no se puede captar fenmenos com-
plejos desde mtodos cuantitativos y, por consi-
guiente, simplificados.
No se deben aplicar a la utilizacin de meto-
dologa cualitativa los presupuestos de la vali-
dez que se vienen aplicando en la investigacin
experimental. Esa dependencia genera una dis-
Key words: evaluation, metaevaluation, impro-
vement.
E V A L U A C I O N D O S S I E R
Mi guel A. Sant os Guer r a / Metaevaluacin de las escuelas
20
A C C I O N P E D A G G I C A, Vol. 9, Nos. 1 y 2 / 2000
torsin del modelo y no da respuesta a la verda-
dera cuestin: Cmo saber si la evaluacin que
se ha realizado refleja con rigor lo que sucede
en la escuela? Es preciso aplicar los criterios de
credibilidadycomprobar enqumedidaesaeva-
luacin los cumple. Veamos algunos ejemplos:
Si se han utilizado mtodos diversos para ex-
plorar el centro y se han triangulado las infor-
maciones procedentes de ellos, habr ms rigor
que si se ha utilizado un solo mtodo. El proce-
so de triangulacin consiste en la contrastacin,
en la depuracin de los datos. La informacin
procedente de distintos mtodos no siempre dice
lo mismo. No se trata con la triangulacin de eli-
minar las discrepancias, sino de explicarlas.
Si se ha permanecido un tiempo largo en el
centro observando lo que en l sucede, habr
ms garantas que si solamente se ha permaneci-
do en l un tiempo muy breve. Las pistas de re-
visin permiten hacer una valoracin sobre la
naturaleza, el sentido, la tica y el rigor de la
evaluacin. Existen esas pistas?
4 La transferencia
La evaluacin que se hace de una escuela
puede servir para el aprendizaje y el cambio de
otras escuelas. El hecho de que cada escuela sea
diferente no oculta las caractersticas comunes
que las definen a todas. Difundir los informes de
las evaluaciones (salvaguardando el anonimato
de los protagonistas) puede ayudar a compren-
der lo que sucede con las escuelas.Y puede ser-
vir para que algunas reflexionen sobre los resul-
tados habidos en otras.
Para que la transferibilidad pueda producirse
hay que partir de descripciones minuciosas. Las
afirmaciones de carcter genrico no aportan
informacin relevante. Decir que un centro "fun-
ciona bien", que tiene "clima excelente", que tie-
ne "magnficos resultados", no nos permite co-
nocer nada. En la medida que los centros tengan
caractersticas y contextos ms similares, la
transferibilidad ser ms fcil. En efecto, es ra-
zonable esperar que lo que sucede en un centro
privado se repita en otro de este mismo tipo. Es
probable que una escuela rural se parezca ms a
otra de este carcter que otra situada en una gran
urbe. Y que un centro de gran tamao se aseme-
je ms a otro de estas caractersticas que a una
escuela unitaria.
Exi st e ot ra forma de est abl ecer t ransfe-
ribilidad, que se ha denominado "reader made",
hecha por el lector del informe. Este se pregun-
ta: Pasar algo parecido en este otro centro?
Quien lee un informe sobre la evaluacin de una
escuela y est en otra, puede preguntarse fcil-
mente: Pasar algo similar en la ma?
5 La tica
Me detendr algo ms en este apartado por
considerarlo esencial en la metaevaluacin. La
metaevaluacin no es un proceso exclusivamente
tcnico. Como la misma evaluacin, tiene una
dimensin sustancialmente tica. Por eso, la
metaevaluacin no se centra exclusivamente en
labsquedadecriterios decarcter metodolgico
o algortmico, sino que se ha de centrar en su
vertiente moral.
En otro lugar (Santos Guerra, 1993) he he-
cho referencia a los abusos de la evaluacin. Los
que en ese trabajo describo y denuncio han sido
descubiertos en la prctica de la evaluacin en
Espaa. No hablo, pues, de memoria. No es ne-
cesario desarrollar el contenido de estos enun-
ciados que hablan por s solos:
Convertir la evaluacin en un elogio a quien
la patrocina o la realiza.
Elegir sesgadamente para la evaluacin algu-
nas parcelas o experiencias que favorezcan
una realidad o una visin sobre la misma.
Hacer una evaluacin de diferente naturaleza y
rigor para realidades igualmente importantes.
Convertir la evaluacin en un instrumento de
dominacin, control y opresin.
Poner laevaluacinal serviciodequienes ms
tienen o ms pueden.
Atribuir los resultados a causas ms o menos
supuestas a travs de procesos atributivos ar-
bitrarios.
Encargar la evaluacin a equipos o personas
sin independencia o valor para decir la verdad.
Silenciar los resultados de la evaluacin res-
pecto a los evaluados o a otras audiencias.
Seleccionar aquellos aspectos que permiten
E V A L U A C I O N D O S S I E R
Mi guel A. Sant os Guer r a / Metaevaluacin de las escuelas
21
A C C I O N P E D A G G I C A, Vol. 9, Nos. 1 y 2 / 2000
tomar decisiones que apoyan las iniciativas,
ideas o planteamientos del poder.
Hacer pblicas slo aquellas partes del informe
que tienen un carcter halagador para el poder.
Descalificar la evaluacin achacndole falta
de rigor si los resultados no interesan.
Dar por buenos los resultados de la evalua-
cin a pesar de su falta de rigor, cuando esto
es lo que interesa.
Utilizar los resultados para tomar decisiones
clara o subrepticiamente injustas.
Aprovechar la evaluacin para hacer falsas
comparaciones entre lo que es realmente in-
comparable.
Atribuir los malos resultados no al desarrollo
del programa sino a la torpeza, la pereza o la
mala preparacin o voluntad de los usuarios
del mismo.
Es necesario mantener la vigilancia sobre esta
cuestin trascendental porque no se trata de eva-
luar mucho, ni siquiera de evaluar de forma tc-
nicamente perfecta, sino de saber al servicio de
quin y de qu valores se pone la evaluacin.
Nadie se alegrara de que se abriese una fbrica
de cuchillos en una localidad si supiera que su
destino era la distribucin de estos entre los ciu-
dadanos para ejercitarse en el acuchillamiento
de sus enemigos.
El quebrantamiento de la tica puede darse
en el fenmeno mismo de la evaluacin, en su
globalidad o en algunos de sus partes especfi-
cas. Se puede poner en marcha una evaluacin
al servicio del poder, del dinero o del prestigio
de los patrocinadores, por ejemplo. Y se puede
obtener informacindeformafraudulentarealizan-
do entrevistas que estn falsamente planteadas.
Care (1978) plantea las exigencias de un con-
trato equitativo de evaluacin. En ese proceso
se ponen los cimientos del edificio de la tica.
Aunque no todas las exigencias tienen la misma
importancia ni su presentacin est organizada
segn criterios axiolgicos, es de inters enume-
rarlas con un brevsimo comentario.
a) Ausencia de coercin: La equi dad exige
que los que tiene que participar en la eva-
luacin (evaluadores, evaluados, colabo-
radores, jueces...) no estn sujetos a pre-
siones coercitivas. Se sabe que esas pre-
siones pueden ser brutales o sutiles. Inter-
namente, tampoco deben existir mecanis-
mos de control: nadie (persona o grupo)
debe ejercer presin ni control sobre otros.
b) Racionalidad: Los participantes han de ac-
tuar de forma lgica y sensata. Esto quiere
decir el discurso y el proceso de la evalua-
cin estn presididos por argumentos y no
por caprichos o intereses.
c) Aceptacinde los trminos: Las partes que
firman el acuerdo aceptan libremente las
reglas de procedimiento que han sido for-
muladas de manera clara y transparente,
tanto por lo que respecta a la naturaleza,
como a los objetivos y a los mtodos de la
evaluacin.
d) Acuerdo conjunto: La equi dad requiere
que el acuerdo se considere como algo ms
que la coincidencia entre opciones indivi-
duales. La negociacin, cuando es inten-
saysincera, noesunprocesosencillo. Exi-
ge tiempo, exige valenta. Yuna discusin
sin barreras de todos los participantes.
e) Desinters: Hay que someter los intereses
particulares a las preocupaciones, proble-
mas y necesidades de la causa comn. Lle-
gar a un acuerdo no garantiza que se ha-
yan supeditado los intereses particulares a
los generales.
f) Universalidad: La normat i va t i ene que
afectar a todos por igual, incluidos los eva-
luadores. Si la normativa exige que se tra-
te de forma distinta a diferentes personas,
todos puedensituarseencualquieradeesas
formas.
g) Inters comunitario: Quienes llegan a un
acuerdo para realizar la evaluacin deben
tener como meta que se produzca el mxi-
mo beneficio para cada de los participantes.
h) Informacin igual y completa: Nadie debe
tener acceso a una informacin privilegia-
E V A L U A C I O N D O S S I E R
Mi guel A. Sant os Guer r a / Metaevaluacin de las escuelas
22
A C C I O N P E D A G G I C A, Vol. 9, Nos. 1 y 2 / 2000
da. Una condicin de la equidad consiste
en que los participantes reciban informa-
cinsobreloshechospertinentesyquesta
se distribuya por igual.
i) Ausencia de riesgos: Uno de los propsi-
tos del contrato de evaluacin es que no
se deriven riesgos para quienes se some-
ten a ella, o bien reducirlos al mnimo.
j) Viabilidad: El cont rat o de evaluacin ha
de ser de tal naturaleza que sea posible lle-
varlo a cabo. Los evaluadores no deben
prometer actividades y oportunidades fan-
tsticas, por ms deseables que stas fue-
ran. El inters por conseguir el contrato
puede llevar a realizar promesas inviables.
Cuando no es posible cumplir el contrato,
ste no es equitativo.
k) Contar con todas las opiniones: Para que
el contrato sea equitativo, las partes deben
tener la oportunidad de hacer constar lo
que crean conveniente.
l) Participacin: La condicin final del con-
trato es que todos los participantes puedan
participar. Todo el mundo debe tener voz.
La tica que se exige a la evaluacin ha de
presidir tambin la metaevaluacin. Hasta dn-
de ha de llegar esta exigencia? Quin evala a
los evaluadores? Si se establecieran Comisiones
de Garanta de la tica, quin ejercera el con-
trol democrtico sobre ellas?
En su excelente y ya clsica obra Evaluation
withvalidity, traducida al castellanoconel ttulo
Evaluacin, tica y poder, House (1980, ver-
sin espaola de 1994) exige a la evaluacin ve-
racidad, belleza y justicia. No siempre se plantea
la evaluacin siguiendo estos criterios. Cuando
se pretende medir los resultados de las experien-
cias y de los centros escolares a travs de pruebas
estandarizadas con el fin de hacer una clasifica-
cin segn la posicin en la escala, y se conce-
den luego recursos siguiendo esa clasificacin, se
est utilizando la evaluacin al servicio de la in-
justicia y de la desigualdad. Por muy rigurosas y
precisas que sean las pruebas, no se evita el des-
ajuste moral. Se est dando a los que ms tienen
(cultura, dinero, poder...) todava ms a travs de un
instrumento que parece neutral y asptico. Es una
trampa terrible que algunos defienden de forma in-
genua y muchos de manera interesada.
6 Cmo se realiza la metaevaluacin?
La metaevaluacin puede emprenderse pa-
ralelamente a la evaluacin, aunque tambin
puede realizarse una vez finalizada esta. Por tra-
tarse de una evaluacin, han de exigrsele todos
aquellos requisitos que se le pide a la evalua-
cin. Existen varias formas de responder a las
cuestiones que aqu se plantean:
a. El proceso de negociacin
El proceso de negociacin de informes es un
excelente camino que nos permite conocer cmo
ha sido el proceso de evaluacin y cmo se pue-
den considerar sus resultados. La negociacin
no slo se refiere al contenido del informe: afec-
ta tambin a la calidad de los procesos que han
hecho posible su elaboracin. Y, cmo no, a l as
posibilidades de mejora que de l parten.
Si existen, como en el caso de las escuelas,
muchas evaluaciones, se puede emitir un juicio
ms riguroso sobre lo que supone la evaluacin
y sobre lo que sera preciso hacer para mejorar-
l a. Algunas experiencias apuntan a este tipo de
procesos de metaevaluacin (Lujn y Puente,
1996). Lo importante es sacar de ellas los ele-
mentos necesarios para iluminar y dirigir las de-
cisiones polticas, la intervencin de los ex-
pertos y la prctica de los docentes.
b. Aplicacin de criterios
Hayque remitirse a unartculode Guba(1993)
que sirve de referencia para la respuesta a la pre-
gunta de la validez y de la transferibilidad. Este
autor dice que no hay criterios absolutos, pero
que existen exigencias que permiten garantizar
que se ha alcanzado el rigor necesario para afir-
mar que lo que contiene el informe es un reflejo
fi el de lo que sucede, y no una i nvencin del
evaluador.
En el punto 3, anteriormente expuesto, he
mencionado algunos criterios que plantea Guba
E V A L U A C I O N D O S S I E R
Mi guel A. Sant os Guer r a / Metaevaluacin de las escuelas
23
A C C I O N P E D A G G I C A, Vol. 9, Nos. 1 y 2 / 2000
E V A L U A C I O N D O S S I E R
Mi guel A. Sant os Guer r a / Metaevaluacin de las escuelas
Care, N. (1978). Participation and policy. Ethics, 88.
Casanova, M. (1992). La evaluacin, garanta de calidad del
centro educativo. Zaragoza: Edel Vives.
Guba, E. (1983). Criterios de credibilidad en la investigacin
naturalista. En G. Sacristn. y A. Prez Gmez, La en-
seanza: su teora y su prctica. Madrid: Akal.
House, E. (1994). Evaluacin, tica y poder. Madrid: Morata.
Lujan, J ., y Puente, J . (1996). Evaluacin de centros docen-
tes: El Plan EVA. Madrid: MEC.
Santos Guerra, M. A. (1993). La evaluacin, un proceso de
dilogo, comprensin y mejora. Archidona :Aljibe.
Santos Guerra, M. A. (1998). Evaluar es comprender. Bue-
nos Aires: Magisterio del Ro de la Plata.
(1983) refirindose de forma especial a las eva-
luaciones de carcter naturalista.
c. Juicio crtico de expertos
Se puede encomendar a expertos que no han
participado en la evaluacin y que tampoco es-
tn vinculados a la accin evaluada, la emisin
de opiniones sobre el proceso de evaluacin.
Para poder realizar un juicio fundado, los exper-
tos tienen que conocer lo que ha sucedido en la
evaluacin. Para ello dispondrn de todos los
materiales y podrn entrevistar a los protagonis-
tas: patrocinadores, evaluadores y evaluados.
La metaevaluacin debe facilitar el aprendi-
zaje de los evaluadores quienes, a travs de an-
lisis, sugerenciasypreguntasseacercanalacom-
prensin de los procesos.
d. Opinin de los protagonistas
Una vez finalizada la evaluacin, los prota-
gonistas pueden emitir sus opiniones por escrito
o de forma oral, de manera que sea posible des-
cubrir aquellos problemas, dificultades o fallos
que hayan condicionado el proceso.
Si los protagonistas de la accin tienen la cla-
ve del significado, los de la evaluacin tienen en
sus manos la interpretacin de lo que ha sucedi-
do en todas las fases de la evaluacin. Ellos sa-
ben qu sucedi con la iniciativa, cmo se hizo la
negociacin, cmo se ha explorado, qu ha suce-
dido con los informes, cmo se han respetado las
normas. Aellos, pues, hay que preguntar, garanti-
zando las condiciones de una expresin libre.