Professional Documents
Culture Documents
INTRODUCCIN
La validacin consiste en la evaluacin de un proceso a fin de determinar su idoneidad para un uso
particular e incluye la optimizacin de una prueba y la demostracin de las caractersticas de su
realizacin. Una ensayo validado para una enfermedad infecciosa produce resultados que
identifican la presencia de un compuesto concreto (por ejemplo, los componentes de un agente
infeccioso o un anticuerpo inducido por dicho agente) y permite la posibilidad de formular
predicciones sobre el estado de los sujetos analizados. Las pruebas realizadas sobre individuos o
sobre poblaciones tienen varios propsitos, tales como ayudar a documentar la ausencia de una
determinada enfermedad en un pas o regin, evitar su propagacin a travs del comercio,
erradicar una infeccin de una zona, confirmar el diagnstico de los casos clnicos, estimar la
prevalencia de una infeccin para facilitar anlisis de riesgo, identificar los animales infectados con
vistas a desarrollar medidas de control, y clasificar los animales segn su salud o estado de
inmunizacin ECP la vacunacin. Es posible validar una nica prueba para uno o varios propsitos
mejorando algunas caractersticas de su realizacin en cada caso (por ejemplo, elevando el nivel
de sensibilidad del diagnstico - hasta el 99,99%- y disminuyendo a la vez su especificidad para un
ensayo general, o inversamente, estableciendo una alta especificidad asociada a un bajo nivel de
sensibilidad en una prueba confirmativa).
Los principios de validacin discutidos en el este captulo se centrarn sobre todo en los mtodos
de deteccin de anticuerpos en sueros mediante la utilizacin del enzimoinmunoensayo (ELISA)
como un ejemplo. No obstante, estos mismos principios son aplicables a la validacin de ensayos
para otros compuestos en sueros o tejidos. El captulo 1.1.4 Validacin y control de calidad de los
mtodos de la reaccin en cadena de la polimerasa utilizados para el diagnstico de enfermedades
infecciosas extiende los principios aqu esbozados a un mtodo directo de deteccin del agente
infeccioso: el ensayo de diagnstico molecular.
Si consideramos las variables que pueden afectar a la realizacin de un ensayo, podremos
apreciar ms claramente los criterios que deben tenerse en cuenta para su validacin. Estas
variables pueden agruparse en tres categoras: (a) la muestra - que refleja las interacciones
hospedador/organismo que influye en la composicin y concentracin del componente a analizar
en la muestra de suero; (b) el sistema de ensayo - que incluye factores fsicos, qumicos, biolgicos
y tcnicos que afectan a la capacidad de la prueba para detectar en la muestra un componente
especfico; y (c) el resultado de la prueba - es decir, la capacidad del sistema de ensayo para
predecir de forma precisa el estado del individuo o de la poblacin en relacin con el componente
en cuestin.
Los factores que influyen en la concentracin y en la composicin de un componente de la muestra
de suero dependen en gran medida del hospedador y son factores naturales (como la edad, sexo,
raza, estado nutritivo, embarazo, respuesta inmunolgica), o bien factores adquiridos (como la
adquisicin pasiva de anticuerpos, la inmunidad activa obtenida por vacunacin o infeccin). Otros
factores que no dependen del hospedador, como la contaminacin o el deterioro de la muestra,
tambin pueden afectar al componente a analizar en dicha muestra.
Los factores que interfieren en la precisin analtica del sistema de ensayo incluyen la
instrumentacin, el error tcnico, la eleccin de los reactivos (tanto desde el punto de vista qumico
como biolgico), la calibracin, ajuste y lmites de validez de los controles, los recipientes de las
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
21
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
reacciones, la calidad del agua, el pH y la fuerza inica de los tampones y diluyentes, las
temperaturas de incubacin y su duracin, as como los errores que se introducen por deteccin de
compuestos estrechamente relacionados, del tipo de anticuerpos con reaccin cruzada, factores
reumatoides, o anticuerpos heterfilos.
Los factores que influyen en la capacidad del resultado de una prueba para predecir de forma
precisa la infeccin o el nivel de un componente analizado en el hospedador1 son la sensibilidad
del diagnstico, la especificidad del mismo, y la prevalencia de la enfermedad en la poblacin
objeto de la prueba. La sensibilidad y la especificidad diagnstica derivan de resultados de pruebas
con muestras obtenidas de animales de referencia previamente seleccionados. Los mtodos
empleados para seleccionar estos animales son importantes para la precisin de las estimaciones
(5). El grado en que dichos animales representen todas las variables ambientales y del hospedador
en la poblacin examinada tiene una influencia fundamental en la adecuada interpretacin de los
resultados. Por ejemplo, los clnicos experimentados saben que un ensayo validado para un tipo de
ganado del norte de Europa puede que no sea adecuado para suministrar resultados vlidos
cuando se aplica a poblaciones de ganado de frica.
La capacidad del resultado positivo o negativo de una prueba para predecir de forma precisa el
estado de infeccin y/o exposicin de un animal o poblacin es la consideracin ms importante
para la validacin de un ensayo. Esta capacidad no slo depende de un ensayo preciso y muy
fiable (que incorpore reactivos bien caracterizados y estandarizados), y de estimaciones
cuidadosamente obtenidas acerca de la sensibilidad y la especificidad de diagnstico, sino que
tambin est muy influenciada por la prevalencia de la infeccin en la poblacin sometida a anlisis
o por la probabilidad de que un animal est infectado segn criterios clnicos. Sin una estimacin
real de la prevalencia de la enfermedad en esa poblacin o de la probabilidad de infeccin en un
animal aislado, la interpretacin del resultado positivo o negativo de una prueba puede resultar
dudosa.
Por supuesto, antes de considerar validado un ensayo se deben tener en cuenta muchas variables
(5,16). Sin embargo, no hay consenso sobre si el concepto de validacin de un ensayo es un
proceso temporalmente limitado, en el que solamente se optimizan y estandarizan aquellos
factores inherentes al ensayo, o bien si supone una validacin continuada del ensayo por todo el
tiempo en el que el ensayo puede ser usado. De acuerdo con lo descrito, el trmino "ensayo
validado" puede llevar a varias interpretaciones entre los tcnicos de laboratorio y los veterinarios
clnicos. Por consiguiente, se ofrece una definicin funcional de la validacin de un ensayo como
marco para las directrices esbozadas a continuacin. En teora, todos las pruebas diagnsticas
deberan ser completamente validadas para uno o varios fines, pero en la prctica a veces existen
limitaciones para una completa validacin.
22
A lo largo de este captulo, los trminos positivo y negativo se emplean con relacin a los resultados de pruebas y
nunca para designar el estado de infeccin o el nivel de anticuerpo/antgeno en el hospedador. Cuando se hace referencia
a infeccin o compuesto a analizar se supone la existencia de algun modo de exposicin a un agente infeccioso que
puede ser detectado de modo directo (como antgeno) o indirecto (como anticuerpo) por una prueba de ensayo.
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
El Estndar de la OIE sobre Gestin y Requisitos Tcnicos para los Laboratorios que Aplican Pruebas para las
3
Enfermedades Infecciosas de Animales (14) : Ese estndar establece que los mtodos de ensayo y los
procedimientos relacionados deben ser adecuados para las aplicaciones diagnsticas especficas a fin de que los
resultados de los ensayos sean pertinentes. En otras palabras, el ensayo debe ser apto para el fin perseguido.
Tal como se esboza en la informacin bsica del Certificado de pruebas de diagnstico en la pgina Web de la
OIE (www.oie.int ), el primer paso consiste en la seleccin de un tipo de ensayo que tenga posibilidades de ser
validado para un uso concreto. Se ha definido ampliamente el propsito o propsitos de un ensayo:
1)
Segn esta definicin, la sensibilidad y especificidad diagnsticas son caractersticas de la realizacin de una prueba para
una poblacin estudiada. Ambas carctersticas determinan en conjuncin con la prevalencia de la enfermedad en la
poblacin- la probabilidad de que un resultado concreto de una prueba refleje el verdadero estado del animal. Puede
aceptarse como validada una prueba si se dispone de estimaciones fiables de la sensibilidad y la especificidad
diagnsticas para la poblacin estudiada. Esto no implica la exigencia de unos determinados valores-umbral de esos dos
parmetros. En aplicaciones prcticas, unos valores de sensibilidad o especificidad bajos o problemas de diagnstico
debidos a a una prevalencia baja de la enfermedad se compensan con el diseo de muestreo o combinando muchas
pruebas de diagnstico ya sea en paralelo, ya sea secuenciadas. La seleccin de las pruebas, el proceso de muestreo, la
combinacin de mltiples pruebas en un determinado rgimen de ensayo y la regla de interpretacin de resultados hacen
posible una definicin del proceso de diagnstico.
Esta es una interpretacin estadstica de los requisitos establecidos de forma ms genrica en la norma internacional de
calidad ISO/IEC 17025:2005 para los laboratorios de prueba (8).
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
23
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
1b)
Ausencia histrica,
1c)
2)
Certificar la ausencia de infeccin o agente causal en animales concretos o productos utilizados para el
comercio o transporte.
3)
4)
5)
6)
En la Norma de la OIE tambin se establece que, para que un mtodo de ensayo pueda considerarse adecuado,
debe validarse de forma adecuada, y esta validacin debe cumplir con los principios esbozados en los captulos
sobre validacin del presente Manual de animales terrestres.
Si bien el presente captulo trata de la validacin y adecuacin al fin perseguido desde una perspectiva cientfica,
debe tenerse en cuenta que existen otros factores que pueden influir en la relevancia de un ensayo respecto a su
adecuacin de la misma al fin perseguido. Entre dichos factores se incluyen no slo la adecuacin diagnstica de
la prueba, sino tambin su aceptacin por las comunidades cientfica y reguladora, aceptabilidad por parte del
cliente, y aplicabilidad mediante recursos de laboratorios disponibles. La incapacidad para cumplir con los
requisitos operativos de un ensayo tambin pueden convertirla en inadecuada para el fin perseguido. Entre tales
requisitos se pueden incluir los costes de realizacin, la disponibilidad de equipo, el nivel de sofisticacin tcnica
y de las destrezas de interpretacin, la disponibilidad de kits/reactivos, la caducidad de los productos, las
condiciones para el transporte, la seguridad, la bioseguridad, el rendimiento de la muestra, el tiempo para la
obtencin de resultados, aspectos relacionados con el control de calidad y la garanta de calidad.
2.
En este captulo usaremos un ensayo indirecto basado en la unin de una enzima a un inmunoadsorbente
(tcnica ELISA) para la deteccin de anticuerpos a fin de ilustrar los principios de validacin de un ensayo. Es un
formato de prueba que puede resultar difcil de validar debido a la amplificacin de la seal tanto de los
componentes especficos como de los inespecficos (2). Esta metodologa sirve para destacar los problemas a
los que hay que enfrentarse en cualquier proceso de validacin. Los mismos principios bsicos se usan en la
validacin de otros formatos de ensayo simples o complejos. Sin embargo para cada tipo nico de prueba, como
la deteccin de antgenos por la aprueba ELISA, puede necesitarse una recogida de muestras y unas
condiciones de almacenaje diferentes. En este captulo se asume que quien elabora un ensayo tiene un alto nivel
de conocimiento cientfico y experto relevante para lograr una preparacin y utilizacin de los protocolos y los
reactivos que conduzca a un ensayo validado que sea publicable en revistas que cuenten con revisin por pares.
El Captulo I.1.4., sobre validacin y control de calidad de los mtodos de reaccin en cadena de la polimerasa
que se usan para el diagnstico de enfermedades infecciosas, describe los principios para validar tcnicas de
amplificacin de genes.
La seleccin de muestras adecuadas, la instrumentacin calibrada y la metodologa pertinente para lograr el fin
perseguido son elementos de importancia crtica en la validacin de pruebas. La continuidad de los experimentos
queda asegurada cuando se escogen las muestras y los reactivos, se preparan de forma adecuada, divididas en
alcuotas, y almacenadas para su uso en cada experimento. Eso reduce al mnimo el nmero de variables ayuda
a prevenir fallos una vez iniciado el proceso de validacin. Este enfoque reduce la variabilidad y proporciona los
datos necesarios para establecer controles adecuados a fin de asegurarse de que cada aplicacin de la prueba
es vlida.
a)
24
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
Una prctica que resulta adecuada es preparar un gran volumen de cada muestra (por ejemplo, 10 ml o
ms, si es posible) y dividirlo en alcuotas de 0,1 ml para almacenamiento a -20C o por debajo de esta
temperatura. Luego, una alcuota de cada muestra se descongela, se utiliza para los experimentos y
despus se desecha. Si resulta poco prctico descartar la alcuota, se puede mantener la misma a -4C
para experimentos sucesivos hasta alrededor de 2 semanas, aunque en estas circunstancias existe la
posibilidad de que la muestra se deteriore. A continuacin, se descongela otra alcuota para ulterior
investigacin. Este mtodo proporciona una misma fuente de suero con idntico nmero de ciclos de
congelacin-descongelacin para todos los experimentos (la congelacin y descongelacin repetida del
suero puede desnaturalizar los anticuerpos, de modo que debera evitarse). Tambin, la variacin se reduce
cuando el investigador usa la misma fuente de suero para todos los experimentos en vez de cambiar entre
varios sueros. Este enfoque tiene la ventaja aadida de generar una serie de datos vlidos para muestras
que se manejan repetidamente. La repeticin de aplicaciones utilizando estas muestras puede adems
proporcionar valoraciones preliminares de la repetitividad dentro de una aplicacin y entre distintas
aplicaciones de una prueba. Cuando se comparan con estndares internacionales para establecer su
actividad (concentracin o ttulo), una o varias de estas pruebas pueden servir tambin como estndares
secundarios; esos estndares proporcionan la seguridad de que la realizacin de los ensayos produce datos
precisos (16).
Finalmente estas combinaciones de sueros pueden utilizarse como controles en futuras realizaciones
rutinarias de la prueba una vez se hayan completado todos los pasos del proceso de validacin.
Es muy deseable incluir los sueros internacionales estandarizados de la OIE u otros sueros estandarizados
(si puede disponerse de ellos) en un estadio inicial de la elaboracin de la prueba. Su uso proporcionara
una adecuada armonizacin entre el ensayo en desarrollo y cualquier otro mtodo normalizado que use
normalmente sueros de tipo estndar internacional (15).
b)
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
25
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
La utilizacin de diversos sueros bien definidos, los estndares domsticos esbozados en la seccin A.2.a del
presente captulo o los estndares de referencia de procedencia exterior, las concentraciones/diluciones ptimas
del antgeno en la placa, el suero, el conjugado enzima-anticuerpo y la solucin de substrato se determinan
mediante titulaciones de doble entrada de cada reactivo frente a todos los dems reactivos; a eso le seguir la
confirmacin de la eleccin de los mejores recipientes para la reaccin (evaluacin de dos o tres tipos de placas
de microtitulacin, cada uno con sus diferentes caractersticas tpicas, para minimizar la actividad de fondo
mientras se consigue la mxima dispersin de la actividad entre las muestras y las altamente positivas). En
experimentos adicionales se determinarn las variables ptimas temporales, qumicas, y fsicas del protocolo,
incluidas las temperatura y duracin de la incubacin; el tipo, pH, y molaridad del diluyente, y los tampones de
lavado y bloqueo; tambin el equipo utilizado en cada paso del experimento(por ejemplo, pipetas y lavadores que
proporcionen la mejor reproducibilidad).
La eleccin y caracterizacin de los reactivos debe abordarse de forma cuidadosa, o, de lo contrario podrn
peligrar las condiciones de realizacin de la prueba. Por ejemplo, puede obtenerse un aumento de la
especificidad de la prueba mediante una expresin recombinante del los antgenos o mediante el uso de
anticuerpos monoclonales y policlonales para la captura del antgeno o mediante pruebas de competicin con.
Otra alternativa es que el mtodo de produccin de reactivos puede dar lugar a una especificidad reducida y a un
incremento de la varabilidad. Por ejemplo, si un antgeno vrico utilizado en el ensayo se deriva de un sistema de
cultivo vrico, que a su vez se utiliza para producir vacunas vricas comnmente utilizadas en la especie, puede
producirse reaccin cruzada inespecfica. Es necesaria la absorcin de los antgenos que producen reaccin
cruzada durante la prueba, o ser preciso ensayar un control de cultivo celular en cada muestra de suero en
aplicaciones rutinarias de la prueba para identificar y explicar el alcance de la mencionada reaccin cruzada. Es
obvio que la anticipacin de la influencia negativa o positiva de la eleccin de los reactivos en la prueba que se
est elaborando/validando es una cuestin de suma, y es precisa una experimentacin cuidadosa para
establecer un ensayo ptimo.
Cuando un reactivo como una muestra de suero control est a punto de agotarse, resulta necesario preparar y
probar repetidamente otro suero de repuesto antes de que se acabe. La nueva muestra de control se incluye en
10-20 realizaciones del ensayo antes del agotamiento del control original para establecer su relacin proporcional
con el que se est acabando. Si la muestra en vas de desaparicin era un control positivo en tcnicas ELISA,
donde el valor normalizado se expresa como porcentaje del control positivo, la diferencia proporcional de
actividad en el ensayo ELISA entre el suero original y el de recambio debe ser convertido en un factor de
normalizacin para mantener el mismo nivel de corte, y por tanto la misma sensibilidad y especificidad
diagnstica en el ensayo. Cuando hay que reemplazar otros reactivos, como el antgeno para captura de los
anticuerpos, debera llevarse a cabo siguiendo los mismos criterios que con los reactivos originales y deberan
probarse en al menos cinco desarrollos del ensayo utilizando una serie de muestras de suero diseadas para tal
propsito. Hay que evaluar la consistencia de los lotes de reactivos a fin de minimizar la variabilidad durante el
ensayo a medida que se necesiten nuevos lotes. Siempre que sea posible, es importante cambiar cada vez
solamente un reactivo para evitar el problema de tener que evaluar simultneamente mas de una variable. La
variabilidad se minimiza cuando los reactivos estn bien caracterizados mediante la utilizacin de mtodos
distintos a los de la prueba diana.
a)
b)
Estndares internacionales
Los estndares de suero y otros reactivos, disponibles en la OIE, OMS, FAO, u otras organizaciones
internacionales, pueden utilizarse para armonizar la prueba con los resultados esperados obtenidos
con reactivos de referencia de actividad conocida.
ii)
Estndares internos
Los sueros control internos (utilizados para la normalizacin de los datos) y los estndares de suero
secundarios adicionales, como un positivo bajo, un positivo alto y los sueros negativos (utilizados para
26
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
2.
Reproducibilidad
La evidencia preliminar de reproducibilidad (concordancia entre los duplicados dentro de un mismo ensayo y
entre distintas realizaciones de la prueba) resultan necesarias para garantizar el posterior desarrollo del ensayo a
validar. Esto se lleva a cabo evaluando los resultados de, como mnimo, tres de las cuatro muestras internas que
representan la actividad dentro del rango lineal del ensayo. Se ensayan cuatro copias de esas muestras en al
menos cuatro realizaciones del ensayo para determinar la variacin (entre placas) dentro de una misma
realizacin. La variacin entre diferentes realizaciones del mismo ensayo se analiza utilizando las mismas
muestras en un mnimo de 20 realizaciones (en total), por dos o ms operarios, preferiblemente en fechas
diferentes. Todas las realizaciones deben llevarse a cabo de forma independiente.
A efectos del informe correspondiente, en las tcnicas ELISA, en esta fase de validacin, se usan normalmente
los valores basales de absorbancia porque es dudoso que los resultados del suero de control altamente positivo,
que podran usarse para calcular valores normalizados, sean reproducibles en las realizaciones iniciales del
ensayo. Adems an no se han determinado los correspondientes valores de los controles. Coeficientes de
variacin (desviacin estandar de las rplicas/media de las mismas) inferiores al 20% en los valores de
absorbancia de la mayora de las muestras (muestras de baja titulacin pueden tener CV mayores) indican una
reproducibilidad adecuada en estos estadios de elaboracin del ensayo. Sin embargo, si se pone de manifiesto
una excesiva variacin (mayor del 30%) en la mayor parte de las muestras en una misma o en diferentes
realizaciones de la prueba, deberan hacerse ms estudios preliminares para determinar si es posible estabilizar
el ensayo o si se debera abandonar el tipo de prueba. Esto resulta particularmente importante ya que un ensayo
intrnsecamente variable tiene una alta probabilidad de no resistir las exigencias de las pruebas diarias con
muestras procedentes de la poblacin animal a estudiar
Se puede obtener evidencia adicional de reproducibilidad mediante muchas realizaciones adicionales del ensayo
que se necesitarn ms tarde durante el proceso de validacin para conseguir la validacin plena del ensayo.
Para ello se llevan a cabo rplicas de cada control, de muestras estndar y de prueba cuando se realizan
experimentos con el fin de obtener otros parmetros de validacin (vase C. Elaboracin de ensayos Parte 2,
ms adelante). Estos datos incrementarn la confianza en las estimaciones de reproducibilidad por basarse en
resultados obtenidos en las aplicaciones individuales y en el conjunto de aplicaciones de un ensayo en las que se
utilizan reactivos preparados da a da, incluidos los diferentes lotes de reactivos que pueden afectar a la
reproducibilidad.
3.
La especificidad analtica es el grado en que el ensayo no muestra reaccin cruzada con otras sustancias y la
sensibilidad analtica de un ensayo es la cantidad ms pequea de la sustancia en cuestin que puede detectar,
i.e., el nivel ms bajo de deteccin del ensayo.
La especificidad analtica se determina utilizando un conjunto de sueros procedentes de animales que han sido
expuestos a organismos genticamente relacionados que pueden estimular la formacin de anticuerpos con
reaccin cruzada, o sueros de animales con manifestaciones clnicas similares. Este Anlisis de vecinos
prximos es til para determinar la probabilidad de reacciones con resultados falso-positivos en el ensayo.
Tambin es adecuada la documentacin de un criterio de especificidad grupal que incluya la deteccin de la
sustancia de inters en sueros procedentes de animales que han experimentado infecciones/exposiciones a un
grupo entero o a un serotipo de organismos de inters. Tambin es importante evaluar la especificidad analtica
del ensayo utilizando muestras de animales que estn vacunados. Si el ensayo pretende detectar el anticuerpo
producido por el virus, la vacunacin contra ese virus puede producir anticuerpos que interfieran con las
predicciones del ensayo sobre la infeccin. Adems, si el antgeno vrico utilizado en el ensayo se deriva de un
preparado de cultivo vrico con clulas completas, que contenga reactivos antignicos (protenas portadoras, etc)
adems del virus, un animal vacunado puede dar un resultado falso-positivo debido a la deteccin de anticuerpos
no vricos.
La sensibilidad analtica analtica de un ensayo puede evaluarse mediante la cuantificacin de la cantidad ms
pequea de la sustancia que es detectable en la muestra. Esto puede conseguirse limitando las diluciones de un
estndar de concentracin conocida de la sustancia a analizar. No obstante, a menudo resulta imposible obtener
una medicin absoluta y objetiva debido a la carencia de muestras o estndares de concentracin o actividad
conocidas. Otro enfoque es el anlisis, con diluciones a punto final, de muestras de animales positivos conocidos,
a fin de definir la penltima dilucin de la muestra en la que ya no es detectable la sustancia, o, por lo menos, no
es diferenciable de la actividad de los sueros negativos. Cuando se comparan los resultados del ensayo que se
est elaborando con las realizaciones de otro u otros ensayos en que se utilizan las mismas muestras, puede
estimarse una cantidad relativa de sensibilidad analtica.
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
27
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
Adems de los estndares de la sustancia a analizar o de las muestras cuyos ttulos han sido establecidos por
otros ensayos, es posible crear muestras introduciendo en una matriz de muestra negativa cantidades conocidas
de la sustancia en cuestin. No obstante, en ese caso, las muestras ajustadas pueden ser intrnsecamente
diferentes de las muestras obtenidas de casos clnicos, pudiendo inducir a conclusiones imprecisas.
Si el objetivo del ensayo es el examen de los animales para detectar actividad de anticuerpos, la sensibilidad
analtica deber ser alta para conseguir la mxima probabilidad posible de deteccin de animales infectados. Si
no se puede obtener una sensibilidad analtica elevada, el ensayo puede resultar inadecuado como prueba de
criba. Alternativamente si el objetivo del ensayo es la confirmacin de otro procedimiento diagnstico
independiente, se requiere una especificidad analtica que reduzca al mnimo la cantidad de reaccin cruzada. Si
no se consigue ninguno de esos objetivos, se necesitar recalibrar o sustituir los reactivos o se deber
abandonar el ensayo
Los valores de sensibilidad y especificidad diagnstica constituyen los parmetros ms importantes que se
establecen durante la validacin de un ensayo. Dichos valores deben establecerse tras el ensayo y se
optimizarn y estandarizarn los reactivos; la alteracin de los protocolos o los reactivos puede requerir una
revisin de las caractersticas de realizacin. Constituyen la base para el clculo de otros parmetros a partir de
los cuales se realizan deducciones sobre los resultados. Por consiguiente, es muy importante que las
estimaciones sobre la sensibilidad y la especificidad diagnstica sean tan exactas como sea posible. En teora,
estos valores derivan del ensayo de una serie de muestras procedentes de animales de referencia cuya historia
es conocida, as como su estado de infeccin/enfermedad, y que son adems animales representativos de la
regin o pas donde se pretende usar la prueba, pero tal cosa no siempre es posible. Debe elegirse un diseo de
prueba que permita estimar las caractersticas de realizacin diagnstica. No obstante, se trata de un proceso
complicado por causa de limitaciones de tipo logstico y financiero. Tambin est limitado por el hecho de que
puede carecerse de poblaciones y estndares de referencia. A continuacin ofrecemos algunos ejemplos de
poblaciones y mtodos de referencia que pueden utilizarse para establecer las caractersticas de realizacin de
la prueba a validar.
a)
La seleccin de animales de referencia para evaluar las caractersticas de realizacin exige que las
variables atribuibles a la poblacin estudiada estn representadas en las poblaciones de animales
infectados/expuestos y no infectados/no expuestos. Entre las variables que se deben considerar, se
encuentran la especie, edad, sexo, raza, estado nutritivo, preez, estadio de la infeccin, estado
inmunolgico incluyendo el historial de vacunaciones, datos epidemiolgicos y/o clnicos que incluyan el
historial de enfermedades de la manada.
ii) Estado de los animales de referencia determinado por otros ensayos
En serologa, el estndar de comparacin es el resultado de un mtodo o combinacin de mtodos con el
que se compara el nuevo ensayo. Aunque se usa normalmente el trmino estndar de referencia para
describir cualquier estndar de comparacin, debera limitarse el trmino a mtodos que clasifiquen los
animales como infectados o no infectados de modo inequvoco. Algunos mtodos de aislamiento tienen
problemas propios de reproducibilidad y sensibilidad. Los mtodos con estndar de referencia incluyen el
aislamiento inequvoco del agente causal o criterios histopatolgicos patognomnicos.
Como es posible que se carezca de un estndar de referencia o sea imposible obtenerlo, a menudo son
necesarios estndares relativos de comparacin; los ms comunes incluyen resultados de otros ensayos
serolgicos. Los clculos de la sensibilidad y especificidad diagnsticas son ms fiables cuando se basan
en un estndar de referencia para comparacin. Cuando slo se dispone de estndares relativos de
comparacin, las estimaciones de estos parmetros en el nuevo ensayo pueden verse afectadas debido al
error previo de estos valores en el estndar relativo, que se acumula en el nuevo ensayo. Cuando se utilizan
pruebas de referencia imperfectas sin esforzarse en controlar posibles sesgos, las estimaciones de
realizacin de la sensibilidad y especificidad diagnsticas pueden estar contaminadas y ser , por tanto,
inaceptables
iii)
Para validar un nuevo ensayo, se han utilizado sueros obtenidos de forma secuencial de animales
infectados experimentalmente o vacunados. Esas observaciones repetidas, pre- y post-seroconversin, de
los mismos animales no son aceptables para hacer estimaciones de la sensibilidad y especificidad
28
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
Cuando es imposible reunir sueros de animales de estado infeccioso conocido, es posible estimar la
sensibilidad y especificidad diagnsticas mediante mtodos que no son de referencia o modelos de clase
latente (3, 7). Puesto que estos modelos estadsticos son complejos, debera consultarse a un experto que
preste la ayuda adecuada para realizar y describir el muestreo de la poblacin o poblaciones diana, las
caractersticas de otras pruebas incluidas en el anlisis, la eleccin adecuada del modelo y los mtodos de
estimacin basados en la literatura revisada por pares.
2.
Para llevar a cabo valoraciones de la sensibilidad y especificidad diagnsticas, los resultados de las pruebas
tienen primero que reducirse a la categora de positivo o negativo. Esto implica considerar un punto de corte
(umbral o lmite de decisin) en la escala continua de resultados de la prueba. Aunque se han descrito muchos
mtodos a este respecto, los tres ejemplos que siguen a continuacin ilustrarn los diferentes enfoques, junto a
sus ventajas y limitaciones.. El primer mtodo establece un corte basado en la distribucin de frecuencias de los
resultados con animales de referencia infectados y no infectados (9). Este corte se puede establecer por
inspeccin visual de la distribucin de frecuencias, por anlisis de las caractersticas de tipo receptor-operador (6,
17), o por una seleccin que favorezca la sensibilidad o la especificidad, dependiendo del uso que se pretenda
con el ensayo determinado (11).
Un segundo enfoque consiste en establecer el corte basados solo en animales de referencia no infectados; por
ejemplo, el percentil 99 en una distribucin de frecuencias de los valores de la prueba para los animales no
infectados; esto proporciona una estimacin de la sensibilidad diagnstica pero no de la especificidad
diagnstica. El tercer mtodo proporciona un corte intrnseco basado en resultados de sueros tomados al azar
dentro de la poblacin estudiada sin conocerse de antemano el estado de infeccin de los animales (4).
Si existe una superposicin considerable en las distribuciones de los valores de las pruebas con animales
infectados y no infectados, resulta difcil seleccionar un punto de corte que permita clasificar adecuadamente
estos animales con relacin a su estado infectivo. Entonces, en lugar de un nico corte, se pueden seleccionar
dos cortes que definan una sensibilidad diagnstica elevada (por ejemplo, con inclusin del 99% de los valores
de animales infectados) y una especificidad elevada (con 99% de los valores de los animales no infectados). Los
valores que se encuentren entre estos percentiles deberan clasificarse como sospechosos o equvocos y
podran requerir otra prueba de ensayo confirmativo o para detectar la existencia de seroconversin.
La seleccin del punto de corte refleja de forma tpica el objetivo de la prueba perseguido. Por ejemplo, un
ensayo de criba diseado para una sensibilidad alta frente a un ensayo confirmativo diseado para una
especificidad alta necesitar diferentes puntos de corte en el mismo sistema de ensayos. Aunque el objetivo
perseguido determinar el punto de corte, an es de desear un anlisis de las caractersticas de tipo receptoroperador, ya que ste mostrar la realizacin potencial del ensayo en otros mbitos epidemiolgicos.
3.
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
29
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
consultarse en ese cuadro para ensayos para los que se prevea una sensibilidad y especificidad
diagnsticas de entre 80% y 99%.
570
46
Resultados
de la
prueba
Negativo
No infectados (n = 1400)
VP
FP
FN
VN
30
1354
Sensibilidad diagnstica
VP
VP + FN
c)
570
= 95.0%
600
Especificidad diagnstica
VN
VN + FP
1354
= 96.7%
1400
4.
Normalmente, se elaboran nuevos ensayos para mejorar las tcnicas existentes. Para demostrar que un nuevo
ensayo supone una mejora de una tcnica ya existente, debe existir alguna forma de comparacin que
demuestre esa mejora. La comparacin puede estar relacionada con las caractersticas de realizacin analtica
y/o diagnstica. Tambin puede estar relacionada con caractersticas de tipo operativo como el coste, la
robustez, el tiempo para la obtencin de resultados, el rendimiento, etc. Si el nuevo ensayo se va a integrar en un
rgimen de diagnstico que incluye otros mtodos de prueba, debera establecerse la razn de ser de su
utilizacin, la interpretacin de los datos y la toma de decisiones.
Cuando para la determinacin de un componente existe ya un mtodo estndar internacional (15), es posible
comparar dicho mtodo con el que se est elaborando. Este proceso requiere el uso de los mismos controles de
suero y de estndares en ambos ensayos. Si se dispone de sueros estandarizados de la OIE o de otros sueros
internacionalmente estandarizados se deberan incluir al menos tres de ellos (uno negativo, otro con baja
positividad, y otro con alta positividad) en el estudio comparativo de los ensayos. Esto podra conducir a un nuevo
ensayo considerado como un mtodo estndar internacional y a sueros de estndar internacional (15). La
armonizacin de los dos ensayos sera entonces posible.
30
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
Es de suma importancia el control adecuado de todas las muestras, los reactivos de la prueba y el protocolo o las
instrucciones para realizar el ensayo. Si los reactivos no provienen de un mismo proveedor, los laboratorios
deben producir y caracterizar los reactivos de forma independiente. Eso permitir determinar la adecuacin del
protocolo para la produccin y caracterizacin del reactivo. Con ello se obtienen los datos necesarios para
determinar si es preciso establecer una nica fuente compartida de reactivos bien caracterizados. Parte de la
evaluacin consiste en determinar que el protocolo o las instrucciones son completas, claras y precisas. Si se
necesitan instrucciones verbales, quien elabora la prueba debe contemplar la revisin del protocolo para
asegurarse de que aquellas son comprensibles. Si se determina que el protocolo o las instrucciones se
interpretaron de forma equivocada, deben re-escribirse y quizs haya que restablecer la reproducibilidad
utilizando el protocolo o las instrucciones revisadas.
Debe evaluarse la reproducibilidad de cualquier ensayo que se vaya a distribuir a muchos laboratorios (como un
kit comercial), la cual se define como la capacidad de un mtodo de prueba para proporcionar resultados
consistentes cuando aqul se aplica a alcuotas de las mismas muestras que se ensayan en laboratorios
diferentes. Eso se consigue ensayando un conjunto de sueros en por lo menos tres laboratorios utilizando el
mismo mtodo de prueba y los mismos conjuntos de sueros.
Para ese propsito se rene un conjunto de prueba que conste de al menos 20 muestras. Lo ideal es que se trate
de muestras individuales obtenidas en animales de la poblacin estudiada, que representen el rango de actividad
previsto para esa poblacin. Si no se dispone de esas muestras, se acepta, aunque no sea lo mejor, una dilucin
de un suero de positividad alta con un suero negativo para lograr el rango de avtividad. Se necesitan rplicas de
aproximadamente el 20% de las muestras para comprobar la repetibilidad en cada uno de los laboratorios
participantes. Cada muestra se divide en alcuotas, dando lugar a una serie de conjuntos idnticos para su
distribucin a otros laboratorios. Se codifica la identidad de la muestra para un ensayo ciego y cada conjunto se
manipula y transporta a los laboratorios participantes de forma idntica.
La estadstica descriptiva de los datos de los paneles de prueba procedentes de los laboratorios incluye la media
entre laboratorios, la desviacin tpica y el rango de resultados para cada muestra y para los controles. La
evaluacin de la precisin y exactitud en cada laboratorio se obtiene mediante grficas de Youden. Los datos
servirn para justificar la legitimidad de los lmites de control altos y bajos del ensayo tal como lo determin el
autor de su elaboracin.
Adems, cuando se ensaya un conjunto de muestras en cada laboratorio, es aconsejable usar cada muestra por
duplicado o triplicado. Eso proporciona una buena base para el anlisis expandido de la repetitividad en cada uno
de los laboratorios que aplican el ensayo. Adems, cuando empieza a utilizarse el ensayo de forma rutinaria, la
repetitividad tambin se monitoriza mediante la inclusin de, por lo menos, duplicados para los controles y,
preferentemente, tambin para cada muestra
La prueba decisiva de la utilidad de un ensayo consiste en la aplicacin o aplicaciones exitosas del mismo.).
Estas incluyen los programas internacionales, regionales o nacionales. A medida que se elaboran y se dan a
conocer mejores ensayos, stos terminarn por sustituir a los ya existentes si se demuestra que los primeros son
ms aptos para el fin perseguido. No obstante, eso slo ocurrir si se utilizan de forma rutinaria y se documenta
su utilidad con el paso a medida que transcurre el tiempo. En la progresin natural de la mejora del diagnstico y/
los medios tecnolgicos, algunos ensayos nuevos se convertirn en los nuevos estndares para la comparacin.
Como tales, poco a poco obtendrn el reconocimiento nacional, regional e internacional. Como estndares
reconocidos, estos ensayos comenzarn a utilizarse para elaborar reactivos de referencia para el control de
calidad, eficiencia y armonizacin. Esos reactivos de referencia tambin pueden convertirse en estndares
internacionales. El ltimo nivel de validacin en el Registro de la OIE exige la documentacin relacionada con la
aplicacin y los niveles de reconocimiento del ensayo en cuestin. Con lo anterior se pretende proporcionar a los
usuarios potenciales de una fuente de informacin fiable.
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
31
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
2.
a)
Interpretacin de los resultados de una prueba factores que afectan a la validez de un ensayo
Los resultados de una prueba slo son tiles si las deducciones que permiten alcanzar son correctas. Un
error muy comn consiste en suponer que un ensayo con un 99% de sensibilidad y un 99% de especificidad
originar aproximadamente un solo falso positivo y un falso negativo en los resultados de cada 100 ensayos
con animales de una determinada poblacin. Tal ensayo puede ser preciso y exacto pero puede, sin
embargo, producir resultados que no permitan predecir adecuadamente el estado de infeccin. Por ejemplo,
si la prevalencia de una enfermedad en una poblacin analizada por el ensayo es solo de 1 entre 1.000
animales, y la tasa de falsos positivos en la prueba es de 1 por cada 100 animales (especificidad
diagnstica 99%), entonces en cada 1.000 pruebas sobre esa poblacin habr 10 falsos positivos y solo uno
ser verdadero positivo. Por tanto, tan solo aproximadamente el 9% de los resultados positivos de la prueba
permitir predecir de manera exacta el estado del animal en cuanto a infeccin; los resultados de la prueba
clasificarn errneamente al animal el 91% de las veces. Esta situacin ejemplifica que la capacidad de los
resultados de una prueba positiva o negativa para definir el estado de infeccin depende de la prevalencia
de la infeccin en la poblacin estudiada (10). Por supuesto, la prevalencia probablemente se habr
determinado a su vez mediante el uso de una prueba serolgica con el error de clasificacin de resultados
que la misma conlleva.
La determinacin de la prevalencia en la poblacin resulta necesaria para calcular los valores predictivos
positivos (VPr+) o negativos (VPr-) del ensayo. Cuando los valores de la prueba se indican sin disponer de
datos acerca de la especificidad o la sensibilidad, no es posible inferir predicciones sobre el estado infectivo
a partir de los resultados (9). Por consiguiente, es muy conveniente disponer de una especie de
interpretacin adicional, acompaando los resultados con un pequeo cuadro que indique VPr+ y VPr- en
un intervalo de prevalencias posibles en la poblacin. Sin dicha informacin, los resultados de los ensayos
de la prueba pueden carecer de lo requerido para clasificar con exactitud el estado de infeccin de los
animales y, por tanto, no reflejarn un ensayo completamente validado.
b)
c)
32
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
Captulo I.1.3. Principios de validacin para las pruebas diagnsticas de enfermedades infecciosas
REFERENCIAS
1.
CEMBROWSKI G.S. & SULLIVAN A.M. (1992). Quality control and statistics. In: An Introduction to Clinical
Chemistry, Bishop M.L., Duben-Engelkirk J.L. & Fody E.P., eds. Lippincott, Philadelphia, USA, 63101.
2.
CROWTHER J.R. (1995). ELISA theory and practice. In: Methods in Molecular Biology. Humana Press,
Totowa, NJ, USA, 1256.
3.
ENOE C., GEORGIADIS M.P. & JOHNSON W.O. (2000). Estimating the sensitivity and specificity of diagnostic
tests and disease prevalence when the true disease state is unknown. Prev. Vet. Med., 45, 6181.
4.
GREINER M., FRANKE C.R., BOHNING D. & SCHLATTMANN P. (1994). Construction of an intrinsic cut-off value for
the sero-epidemiological study of Trypanosoma evansi infections in a canine population in Brazil: a new
approach towards unbiased estimation of prevalence. Acta Trop., 56, 97109.
5.
GREINER M. & GARDNER I. (2000). Epidemiologic issues in the validation of veterinary diagnostic tests. Vet.
Prev. Med., 45, 322.
6.
GREINER M., PFEIFFER D. & SMITH R.D. (2000). Principles and practical application of the receiver operating
characteristic (ROC) analysis for diagnostic tests. Vet. Prev. Med., 45, 2341.
7.
HUI S.L. & WALTER S.D. (1980). Estimating the error rates of diagnostic tests. Biometrics, 36, 167171.
8.
9.
JACOBSON R.H. (1998). Validation of serological assays for diagnosis of infectious diseases. Rev. sci. tech.
Off. int. Epiz., 17, 469486.
10. JACOBSON R.H. (1991). How well do serodiagnostic tests predict the infection of disease status of cats.
J. Am. Vet. Med. Assoc., 199, 13431347.
11. 12. SMITH R.D. (1991). Clinical Veterinary Epidemiology. Butterworth-Heinemann, Stoneham, MA, USA, 1
223.
12. WORLD ORGANISATION FOR ANIMAL HEALTH (OIE) (1996). Principles of validation of diagnostic assays for
infectious diseases. In: OIE Manual of Standards for Diagnostic Tests and Vaccines, Third Edition. OIE,
Paris, France, 815.
13. WORLD ORGANISATION FOR ANIMAL HEALTH (OIE) (2002). OIE Guide 3: Laboratory Proficiency Testing. In: OIE
Quality Standard and Guidelines for Veterinary Laboratories: Infectious Diseases. OIE, Paris, France, 53
63.
14. WORLD ORGANISATION FOR ANIMAL HEALTH (OIE) (2002). OIE Standard for Management and Technical
Requirements for Laboratories Conducting Tests for Infectious Animal Diseases. In: OIE Quality Standard
and Guidelines for Veterinary Laboratories: Infectious Diseases. OIE, Paris, France, 131.
15. WRIGHT P.F. (1998). International standards for test methods and reference sera for diagnostic tests for
antibody detection. Rev. sci. tech. Off. int. Epiz., 17, 527533.
16. WRIGHT P.F., NILSSON E., VAN ROOIJ E.M.A., LELENTA M. & JEGGO M.H. (1993). Standardization and validation
of enzyme-linked immunosorbent assay techniques for the detection of antibody in infectious disease
diagnosis. Rev. sci. tech. Off. int. Epiz., 12, 435450.
17. ZWEIG M.H. & CAMPBELL G. (1993). Receiver-operating characteristic (ROC) plots: a fundamental evaluation
tool in clinical medicine. Clin. Chem., 39, 561577.
*
* *
Manual de la OIE sobre animales terrestres 2004 captulo actualizado (mayo de 2006)
33