Evaluaciones Nacionales del

Rendimiento Acadmico

Lima, 6

Unidad de Medicin de
la Calidad Educativa

SECRETARA DE PLANIFICACIN
ESTRATGICA

Una definicin
La evaluacin educativa, puede ser entendida como
un proceso mediante el cual se recoge, organiza,
analiza y sistematiza informacin de un sistema
educativo, segn objetivos previamente determinados,
de modo que permita tomar decisiones fundamentadas
sobre el proceso educativo.

Funciones de la Evaluacin
Toma de decisiones: sobre la intervencin
pedaggica
Retroinformacin: sobre logros
Refuerzo: reconocer esfuerzo y rendimiento
Autoconsciencia: procesos
puntos fuertes y dbiles

de

aprendizaje,

Retegui, Arakaki y Flores, 2001

Evaluaciones de Sistema
Existe consenso en que el logro de aprendizajes
de los estudiantes es uno de los principales
indicadores de la calidad del sistema
educativo.
Busca generar informacin sobre dichos logros
y sobre un conjunto de factores escolares y
extraescolares que inciden en los rendimientos
de los estudiantes para poder explicarlos desde
una perspectiva de equidad.

Evaluaciones de Sistema
Cobran
una
gran
importancia
en
latinoamericana y se desarrollan junto con el
diseo e implementacin de las reformas
educativas de los aos 80 y 90.
Responden a la necesidad de contar con
informacin sobre el sistema educativo y sus
componentes, con la finalidad de colocar la
calidad de la educacin como tema central y
prioritario de la agenda pblica.

Proceso de las Evaluaciones Nacionales

ELABORACIN
DEL MARCO DE
EVALUACION

ELABORACIN
DE
INSTRUMENTOS

APLICACIONES
PILOTO

APLICACIN
DEFINITIVA

DEFINICIN DE
NIVELES DE
DESEMPEO

ANALISIS DE
CODIFICACIN DE
RESPUESTAS

ARMADO DE
BASES DE DATOS
ANLISIS
PSICOMTRICO

ANLISIS
PEDAGGICO

RESULTADOS

ELABORACIN DE
REPORTES

DIFUSIN

Elaboracin del Marco de

Evaluacin

Qu es un marco de evaluacin?
Integra los conceptos sobre los cuales se
fundamentar una evaluacin, plasmndolos
en un documento.

El marco de evaluacin
Contextuales

ASPECTOS

Disciplinares

Metodolgicos

Aspectos contextuales:
1. Propsito de la evaluacin
2. Objeto de evaluacin
3. Caractersticas de la poblacin a evaluar
4. Usuarios de la evaluacin

Aspectos Disciplinares
1. Enfoque del rea
2. Dimensiones a ser evaluadas
3. Estructura de las pruebas

Aspectos Metodolgicos:
1. Nmero de tems de la prueba
2. Formatos de tems a emplear
3. Distribucin de los tems en la prueba
4. Duracin de la prueba

Las reas a Evaluar

Es posible evaluar diversas reas a nivel de
sistema.
El primer paso es establecer un enfoque de
rea y adoptar una definicin.

Comprensin de Textos
Proceso en el que el lector utiliza sus
conocimientos previos (conocimiento
del mundo y del lenguaje,y pautas
culturales) para interactuar con el
texto y reconstruir su sentido.

Modelo de evaluacin
CAPACIDAD

PREGUNTA

USOS DE LA
LECTURA

TIPOS DE
TEXTOS

Consideraciones generales
Es posible plantear una serie de capacidades
generales, necesarias en todas las reas del saber, y
tambin una serie de capacidades especficas,
propias de cada disciplina y de cada contexto.
Las capacidades especficas pueden caracterizarse a
travs de una serie de destrezas o habilidades que, a
su vez, suponen poner en juego una serie de
recursos.

Seleccin de Capacidades
Es necesario determinar qu capacidades generales y
especficas se evaluarn, qu habilidades y qu recursos
exigen poner en juego y en qu medida.

Adems hay que establecer la proporcin de

capacidades segn el enfoque del rea, que prioriza
ciertos aspectos de la misma.
Debe considerarse el nivel, ciclo o grado a evaluar ,
por la importancia que se concede a cada una de
las capacidades segn dichos aspectos.

Criterios para la seleccin de las

capacidades a evaluar
Relevancia: para que el estudiante pueda afrontar
exitosamente situaciones de la vida cotidiana en contextos
escolares, familiares y comunales. Por ello se privilegian
capacidades que desarrollen aspectos pragmticos de la vida
acadmica y laboral antes que otros aspectos.
Importancia: para la continuacin de estudios.
Concordancia: con la naturaleza de los instrumentos de
evaluacin (pruebas escritas con temes de opcin mltiple y
de respuesta abierta).
Posibilidad que las capacidades evaluadas sean acordes con las
exigencias tcnicas, administrativas, logsticas y temporales de
una evaluacin de sistema.

Comprensin de Textos
Capacidades: Se refieren a las habilidades que el
lector pondr en juego al realizar las reas que se le
proponen y que pretenden simular los tipos de tareas que
los estudiantes enfrentan en situaciones autnticas.

Capacidad 1

Obtencin de informacin

Capacidad 2

Elaboracin de inferencias

Capacidad 3

Reflexin acerca del texto

Seleccin de Desempeos
Un desempeo es la actuacin del
estudiante ante una tarea determinada y
que permite indagar por lo que sabe y puede
hacer.

Comprensin de Textos
Capacidad
1. Obtiene informacin explcita del texto.

Desempeo
1. Identifica ideas especficas expresadas en
una, dos o ms proposiciones.
2. Identifica secuencias.

Comprensin de Textos
Capacidad
2. Hace inferencias

Desempeos
1. Reconoce relaciones semnticas expresadas entre dos
o ms proposiciones sucesivas o distantes.
2. Identifica referentes de distinto tipo.
3. Reconoce el significado de palabras o expresiones a
partir de lo ledo.
4. Reconoce el tema central y las ideas principales del
texto.
5. Deduce el propsito del texto.
6. Deduce el receptor implcito al que se dirige el texto.

Comprensin de Textos
Capacidad
3. Reflexiona y evala.

Desempeos
1. Evala el contenido del texto.
2. Identifica y evala recursos formales del texto.

Tipos de Textos
Un texto es el entramado de ideas relacionadas
que forman una unidad global de significado y de
sentido. Puede estar organizada en uno o ms
prrafos (cuentos, noticias, ensayos, etc.) as
como estar organizada con una estructura grfica
notoriamente distinta de la prosa estndar
(cuadros,
avisos,
afiches
publicitarios,
infografas, etc.).

Tipos de Textos
Texto narrativo: es aquel que representa una
secuencia de hechos en una historia temporalmente
ordenada (linealmente, de fin a principio, etc.). En
este tipo de texto se relatan hechos vividos por
personajes reales o imaginarios en un periodo de
tiempo.
Texto descriptivo: es aquel que ofrece informacin
concreta acerca de cmo es o ha sido una persona,
animal, experiencia, objeto. Este tipo de texto
presenta caractersticas y circunstancias ordenadas
en el espacio.

Tipos de Textos
Texto expositivo: o tambin llamado explicativo, es
aquel que explica cualquier tema o materia e informa
acerca de algo.
Texto argumentativo: es aquel que apoya o discrepa
de una afirmacin cuya validez es cuestionable o
discutible. Todo texto argumentativo tiene como
meta persuadir o convencer a la audiencia a la que se
dirige acerca del valor de la tesis para la cual busca
aprobacin.

Usos de la Lectura
Lectura para uso recreativo: generalmente es un tipo de
lectura privada que busca recrear mundos ficcionales. Los
textos narrativos se encuentran en este tipo de lectura.
Lectura para uso pblico: se usa esta lectura para conocer
las actividades polticas, sociales, culturales, econmicas
de la sociedad. Incluye el uso de documentos oficiales y de
informacin acerca de acontecimientos pblicos como las
noticias, comunicados oficiales, certificados, etc.
Lectura para uso educacional: se utiliza esta lectura con
un propsito instructivo relacionado con la adquisicin de
informacin como parte de una tarea de aprendizaje ms
amplia.

Formacin Matemtica
Dominio

de

matemticos

habilidades
tiles

eficazmente

ante

para

situaciones

conocimientos
desempearse
problemticas

novedosas o rutinarias, cuya solucin requiera la

puesta

en

prctica

conocimientos.

de

dichas

habilidades

Modelo de evaluacin
CONTENIDO
CAPACIDAD

PREGUNTA

CONTEXTO

Formacin Matemtica
Capacidades: Se refieren a las habilidades
matemticas complejas que el estudiante pondr en
juego al realizar las reas que se le proponen y que
pretenden simular los tipos de tareas que los estudiantes
enfrentan en situaciones autnticas.

Capacidad 1

Resolucin de problemas

Capacidad 2

Comunicacin matemtica

Capacidad 3

Aplicacin de algoritmos

Formacin Matemtica
Capacidad
1. Resolucin de problemas

Desempeos
1.
2.

3.

Resuelve situaciones problemticas referidas a los nmeros y la

numeracin, en los nmeros naturales hasta diez mil y en las
fracciones ms usuales.
Resuelve situaciones problemticas que demanden el uso de
operaciones bsicas en el conjunto de los nmeros naturales
menores que diez mil, decimales hasta las centsimas y
fracciones ms usuales.
Resuelve situaciones problemticas referidas a la
proporcionalidad directa y porcentaje en el conjunto de los
nmeros naturales menores que diez mil, decimales hasta las
centsimas y fracciones ms usuales.

Formacin Matemtica
Capacidad
1. Resolucin de problemas

Desempeos
4. Resuelve situaciones problemticas referidas a la nocin de
medida, al uso y a la conversin de unidades de las magnitudes
fundamentales (masa, longitud y tiempo), en el conjunto de los
nmeros naturales menores que diez mil, decimales hasta las
centsimas y fracciones ms usuales.
5. Resuelve situaciones problemticas referidas a nociones de
ngulos y al clculo de permetro y rea de polgonos de hasta seis
lados, figuras circulares, slidos geomtricos (cilindro, cubo,
esfera, cono) y a posiciones relativas de dos rectas.
6. Resuelve situaciones problemticas referidas a la elaboracin e
interpretacin de diversos diagramas estadsticos y a la media
aritmtica de un conjunto de datos.

Formacin Matemtica
Capacidad
2. Comunicacin Matemtica

Desempeos
1.

2.

3.
4.
5.

Utiliza y representa nmeros naturales hasta la unidad de milln,

nmeros decimales hasta las centsimas y fracciones de uso
cotidiano.
Interpreta, identifica y justifica proposiciones verbales o simblicas
referidas al manejo de los nmeros y las operaciones en el conjunto
de los nmeros racionales positivos.
Identifica, interpreta y compara cantidades expresadas en distintas
unidades para cada una de las magnitudes fundamentales.
Identifica, grafica y compara figuras y cuerpos geomtricos.
Identifica, interpreta, grafica, compara y justifica informacin
estadstica.

Formacin Matemtica
Capacidad
3. Aplicacin de Algoritmos

Desempeos
1. Calcula el resultado de operaciones bsicas en el
conjunto de los nmeros racionales positivos.
2. Calcula el resultado de operaciones combinadas en el
conjunto de los nmeros racionales positivos.
3. Calcula el resultado de operaciones bsicas de
cantidades referidas a alguna de las magnitudes
fundamentales, expresadas en distintas unidades.

Contenidos
Nmero y Cantidad: se refiere a los diferentes
conjuntos numricos en todas sus representaciones
(enteros, fracciones, decimales); sus propiedades
(tales como la divisibilidad); las operaciones
aritmticas, la proporcionalidad y sus aplicaciones
(regla de tres, porcentaje).

Contenidos
Algebra y funciones: El lgebra implica descubrir leyes
o patrones que rigen la relacin entre diversas
variables,
independientemente
de
los
valores
involucrados.
Permite
transformar
expresiones
matemticas complejas en otras equivalentes y ms
sencillas. La nocin de funcin constituye una idea
unificadora de gran importancia en la matemtica. Las
funciones son correspondencias especiales entre los
elementos de dos conjuntos.

Contenidos
Espacio y forma: El manejo del espacio y de la
forma provee a las personas de herramientas, tanto
para realizar, representar, organizar y estructurar
sus actividades y movimientos, como para organizar
su pensamiento y su razonamiento. El logro de esta
estructuracin ser posible si el sujeto es capaz de
comprender
las
propiedades,
posiciones,
representaciones y transformaciones de los objetos
y las relaciones entre los mismos, lo cual implica
comprender las relaciones entre las formas y
representaciones visuales.

Contenidos
Estadstica y probabilidad: La estadstica permite
organizar, representar y realizar el anlisis e
interpretacin de datos para elaborar conclusiones
y tomar decisiones sobre una base ms cientfica.
Tambin
posibilita la prediccin de los
comportamientos de determinados fenmenos.

Contextos
Intramatemtico:
trata
de
las
tareas
especficamente del universo matemtico, utiliza
sus propios smbolos y presentan objetos
matemticos sin referirlos o inscribirlos en el
mundo real.
Extramatemtico:
Extramatemtico ubica los objetos matemticos
en relacin con los objetos de la vida del individuo.
Los
contextos
extramatemticos
pueden
clasificarse de acuerdo al nivel de uso o de
familiaridad que tengan para el individuo.

Elaboracin de las Pruebas

Tabla de especificaciones
Es un instrumento para la elaboracin de las
pruebas.
Consigna
en
forma
esquemtica
los
conocimientos,
contenidos,
objetivos,
competencias, que sern objeto de evaluacin
Indica cuantos temes o tareas de la prueba
corresponden a cada contenido, objetivo,
aspecto, capacidad, etc.

Tabla de especificaciones
Permite apreciar qu es lo que se pretenda
evaluar con cada tem de la prueba.
Permite garantizar que se encuentren todos
los aspectos relevantes de la competencia.
Permite apreciar el peso en cantidad de
temes que tiene cada aspecto o capacidad.

Tabla de especificaciones
Capacidad
Contenido

Nmero y
cantidad
Espacio y
Forma
Algebra y
funciones
Estadstica y
probabilidad
TOTAL

Resolucin de
Problemas

Comunicacin
Matemtica

Aplicacin de
Algoritmos

TOTAL

Tabla de especificaciones
Capacidad
Texto

Narrativo

Descriptivo
Expositivo
Argumentativo
TOTAL

Obtiene
Informacin

Hace inferencias

Reflexiona y
evala

TOTAL

Representatividad de los tems

Los temes son seleccionados para ser
representativos aunque de forma imperfecta,
del saber bsico que se puede esperar de un
alumno .
Es importante muestrear la gama completa del
contenido enseado e incluir suficientes tems
para que la medicin sea vlida y confiable.
Se podr dar cuenta de cules son las reas que
presentan fortalezas y debilidades.

Nmero de tems
El nmero de itemes con el que se propone evaluar
cada una de las reas es bastante elevado
Necesidad de distribuir las preguntas en varios
cuadernillos o formas
Los estudiantes se enfrentan a un nmero
razonable de temes que sirven para medir su
desempeo de manera adecuada.
Diseo de bloques
incompletas:

rotados

de

matrices

cada forma tiene preguntas nicas y

preguntas comunes a las otras formas
en conjunto se administra un nmero
amplio de preguntas para cubrir un rea

Formato de tems
Respuesta cerrada

Respuesta abierta

Seleccin de respuesta

Produccin de Respuesta

Emparejamiento

Respuesta corta

Opcin Mltiple

Respuesta extendida

Verdadero / Falso
(matemtica)

Tabla de representacin
(matemtica)

Construccin de los tems

Se han ensayado talleres de construccin de
tems.
Son construidos por los especialistas en las
reas curriculares, considerando la tabla de
especificaciones y anticipando la dificultad de
los mismos.

Construccin de los tems

Luego son revisados por otros especialistas,
sometindose a:
Anlisis de sus aspectos formales
Anlisis de su representatividad
(evidencias de validez referidas al
contenido).

Aplicacin Piloto

Caractersticas
Tiene como objetivo fundamental estudiar el
funcionamiento de los tems.
Las muestras son intencionales: se busca tener
un buen nmero de personas que se enfrenten
a cada tem (200 mnimo), considerando
factores como la accesibilidad y variabilidad en
rendimientos.

Proceso
Hay que realizar los procesos de:
Seleccin de aplicadores
Capacitacin de aplicadores.
Operativo de campo (recoleccin de
datos).
Supervisin en campo.

Codificacin de respuestas

Objetivos
Los estudiantes realizan sus respuestas
directamente
en
los
cuadernillos
proporcionados por la UMC.
Por ello es necesario:
Transferir las
estudiantes.

respuestas

de

los

Calificar las
estudiantes.

respuestas

de

los

Sistema de codificacin
Las respuestas eran calificadas en diversas
escalas, tanto de naturaleza dicotmica como
politmica, que tenan una naturaleza
cuantitativa.
Por otro lado, acompaaba a la calificacin un
segundo cdigo, que tena una naturaleza ms
cualitativa (evidenciaba tipos de errores o
estrategias de solucin).

Aspectos logsticos
Se requiere un gran grupo de correctores, pues
en la EN2004 hubieron cerca de 14 000
estudiantes evaluados por grado, para cada una
de las reas.
Al trabajarse con las valoraciones realizadas
por los jueces, se encuentra siempre implicado
algn grado de subjetividad, que trata de
reducirse mediante la capacitacin a los
evaluadores y la creacin de manuales con
criterios
de
calificacin,
que
buscan
homogenizar las evaluaciones realizadas por los
jueces.

Aspectos logsticos
Los especialistas de la UMC se encargaron de
efectuar el diseo de capacitacin y de
elaborar el respectivo manual de codificacin.
Los correctores se encontraban agrupados por
rea y grado, bajo la supervisin de un
coordinador y los especialistas de la UMC.
El proceso de correccin estaba organizado
segn los bloques que constituan las pruebas
aplicadas en la EN 2004.

Aspectos logsticos
Se efectu un diseo de anlisis del proceso de
correccin aplicando la correccin mltiple en
tres momentos distintos: al inicio, a la mitad y
al final del mismo.
El objetivo de estos tres momentos era poder
retroalimentar sobre las discrepancias y
deficiencias encontradas en las calificaciones y
poder corregirlas durante el proceso de
correccin, a fin de lograr cada vez una mayor
homogeneidad y entendimiento en el uso de los
criterios de calificacin.

Aspectos logsticos
Los anlisis emplearon los aportes de la Teora Clsica
de los Tests y el modelo Rasch de Facetas Mltiples.
Los resultados se presentaban en un informe:
Descripcin del ajuste y consistencia global en el
uso de los cdigos.
ndices de confiabilidad inter-evaluadores para
cada uno de los items, pudiendo as identificarse
cuales presentaban algn tipo de dificultades.
Identificacin de correctores que estaban
presentando alguna dificultad en el uso de los
cdigos.

Armado de bases de datos

Anlisis Psicomtrico

Medicin del Rendimiento

La medicin del rendimiento acadmico puede ser
entendida, como una cantidad que estima lo que una
persona ha aprendido como consecuencia de un proceso
de instruccin o formacin; es la capacidad del alumno
para responder al proceso educativo en funcin a
objetivos o competencias
Pizarro, Clark y Allen (1987)

Modelos Rasch
Establece la probabilidad de respuesta de una
persona ante un tem en trminos de la
diferencia entre la medida de rasgo de la
persona y la medida del tem utilizado.
La medida de personas e tems estn en la
misma escala de intervalo.

Propiedades Psicomtricas
rea de Matemtica

% Varianza
Confiabilidad
(medida)

Segundo grado de primaria

0,86

80,9 %

Sexto grado de primaria

0,85

74,6 %

Tercer grado de secundaria

0,81

75,7 %

Quinto grado de secundaria

0,80

95,5 %

Aplicacin Definitiva

Logstica
Requiere una logstica similar a las de un
aplicacin piloto, pero a mayor escala.
Si la poblacin a evaluar es grande ser
necesario contar con un operador logstico.

Definicin de Niveles de
Desempeo

Niveles de desempeo
Se necesitan puntos de corte en las pruebas,
que reflejen lo que un estudiante sabe y hace
dentro de dicho nivel.
Si un estudiante supera dicho punto de corte,
se considera que posee los conocimientos y
habilidades necesarias para desempearse en
relacin a ciertos estndares acadmicos.
Se establecieron en talleres de consulta con el
procedimiento Bookmark.

Procedimento Bookmark
Diseado por un grupo de expertos en CTBMcGraw-Hill a mediados de 1990.
A posteriori: usa datos reales de la evaluacin,
mapas de tems (TRI).
Maneja temes
parcial.

dicotmicos

Se realiza en tres etapas.

de

crdito

Insumos bsicos para el Bookmark

Cuadernillos de tems ordenados
Segn dificultad
Considerar crditos parciales
Descripciones generales de los niveles de desempeo
Panel de jueces
Usualmente 15 a 21
Expertos
No expertos (menos)

Primera etapa
Cada juez recibe un cuadernillo, estudia y/o
resuelve los temes.
Preguntarse: Qu hace a un tem ms difcil
que el anterior?
Se familiariza con las descripciones generales
de los niveles de desempeo.
Establece las marcas para cada nivel

Segunda etapa
Trabajo en grupos pequeos (4 5 jueces)
Los jueces exponen las razones por las cuales
eligieron sus puntos de corte
No se trata de convencer, slo de exponer
Se finaliza la ronda con unos nuevos puntos de
corte y el porcentaje de acuerdo respecto a en
qu nivel se ubica un tem en particular

Tercera etapa
Los resultados de la ronda dos son presentados a todo el
grupo y se debaten los temes en los cuales no hay un
100% de acuerdo.
Se presenta adems el impacto de los puntos de
corte.
Los jueces vuelven a dar sus puntos de corte.
Se suele trabajar con valores inferiores al 100% de
acuerdo. Si no se logran, se suele tomar la mediana.

Un paso final
Los jueces construyen el significado, en funcin
a los temes, de lo que sabe y puede hacer un
alumno en cada uno de los niveles de
desempeo.
Algunos prefieren dejar esta etapa para otro
grupo de expertos. Esto se hizo con los niveles
de la EN 2004.

Niveles de Desempeo
Suficiente

Bsico

Previo

< Previo

Los estudiantes de este nivel

demuestran
un
dominio
suficiente y necesario en los
desempeos evaluados para el
grado.
Los estudiantes de este nivel
demuestran
un
dominio
incipiente
o
un
manejo
elemental de los desempeos
desarrollados en el grado
evaluado.
Los estudiantes de este nivel
demuestran un manejo de los
desempeos desarrollados en
grados anteriores.

Los estudiantes de este grupo

solo pueden resolver algunas de las
tareas del nivel Previo.

LOGRA

NO LOGRA

Anlisis de Resultados

Sexto grado de primaria

COMPRENSIN DE TEXTOS
Nacional
Niveles de Desempeo

Suficiente
Bsico

12,1%
28,1%

Previo

35,7%

Debajo del previo

24,1%

Sexto grado de primaria

COMPRENSIN DE TEXTOS
Niveles de desempeo segn gestin

Nacional

Sexto grado de primaria

COMPRENSIN DE TEXTOS
Comparacin de promedios segn regin

Reportes y Difusin