Professional Documents
Culture Documents
RESUMEN
Se realiza una aproximaci n al anlisis, sntesis e integracin sistmica de la informaci n, que ocurre
durante el transcurso de la investigaci n metanaltica desde la perspectiva de los procesos de
produccin de informacin. Se establecen los antecedentes y las formas de clasificacin de los
metanlisis. Se estudia cada una de las 6 etapas por las que transcurre la investigacin metanaltica,
a saber: formulaci n del problema, bsqueda de la literatura, codificacin de los estudios, medida de
los resultados, anlisis e interpretacin y publicacin del informe final. Se exponen los diferentes
tipos de sesgos que pueden perjudicar la calidad de la revisin metanaltica y se repasan los
conceptos estadsticos necesarios para la correcta comprensi n de esta clase de estudios.
ABSTRACT
An approach to analysis, synthesis and systemic integration of information that occurs during meta-
analytical research from the perspecive of information production processes were carried out. The
antecedents and classification features of meta-analysis were established. The six meta-analytical
research stages were studied to clear up: problem formulation, literature review, studies code, results
measurements, analysis, interpretation and publicaction of the final results. The different types of bias
that can interfere with meta-analytical review quality and statistical concepts for a better
comprehension of these studies were reviewed.
Keywords: meta-analysis.
Un rasgo distintivo del desarrollo alcanzado por la humanidad en los procesos cognoscitivos,
investigativos y de toma de decisin frente a la incertidumbre informacional es la velocidad siempre
creciente de la transmisi n de la informaci n, que genera:
En tal sentido, y en el entorno clnico, CD Mulrow plante: "En esta era de proliferaci n y abundancia
de las publicaciones ..., la capacidad personal de lectura y absorcin de informacin sigue siendo la
misma. Reducir la gran masa de informaci n a piezas masticables es asunto esencial para la
1
digestin".
"En estos tiempos, el poder no lo determina la posesi n de grandes volmenes de informacin, sino
poseer informacin de valor, es decir, informacin evaluada y analizada, precisa, relevante,
confiable, simple y vlida. La ignorancia de la existencia de informaci n de valor o la forma de
obtener dicha informaci n y, adems, la informacin tarda, lejos de proporcionar poder a una
3
organizaci n, puede conducirla a caminos marcadamente errneos".
La generalizaci n de las investigaciones metanalticas tiene lugar dentro de la tendencia mundial que
concede al desarrollo de la ciencia y de la tecnologa, una funcin decisiva en el logro del bienestar
de la sociedad, como va para solucionar los problemas actuales y futuros y el desarrollo de la
sociedad en su conjunto.
MTODOS
Se realiz una bsqueda bibliogrfica sobre la metodologa metanaltica en diversas bases de datos:
Medline, Science Citation Index, entre otras. Para la bsqueda en Medline, se utiliz el descriptor
Meta-analysis que indica el MeSH, el tesauro de la Biblioteca Nacional de Medicina de los Estados
Unidos. Se emplearon, tambin, trminos afines utilizados por el Institute of Scientific Information, asi
como sinnimos o cuasi-sinnimos, obtenidos a partir de las estrategias probadas por los propios
autores en las diferentes bsquedas realizadas y del intercambio con otros autores en el tema. Se
emplearon diversas t cnicas para la localizacin y posterior recuperacin de la informaci n. La
participacin de los autores en los colegios/acadmias invisibles, contituy una fuente esencial para
la obtencin de informacin actualizada y, en no pocas ocasiones, informacin indita.
ANTECEDENTES
El primer intento por agrupar los resultados de las investigaciones mediante el uso de tcnicas
formales, segn M Egger y D Smith, se realiz en 1904 por Karl Pearson en: "Report on certain
enteric fever inoculation statistics". Dichos autores opinan, adems, que el trabajo titulado "The
powerful placebo" de HK Beecher, publicado en 1955 en la revista JAMA, constituye "el primer
5
metanlisis".
Por su parte, K Dickersin y JA Berlin JA, sealaron, adems del trabajo citado de Pearson, los
siguientes trabajos: en 1931, LHC Tippett LHC, "The methods for statistics"; en 1932, RA Fisher,
"Statistical methods for research workers"; en 1938, F Yates y WG Cochran, "The analysis of groups
of experiments"; en 1954, F Mosteller F y R Bush R, "Selected quantitative techniques"; as como los
publicados por WG Cochran, "Problems arising in the analysis of series of similar experiments" y
6
"The combination of estimates from different experiments" en 1937 y 1954 respectivamente.
Aunque dicho mrito tambin puede atribuirse a Cohen J, que, en 1962, realiz un "estudio de
7
agregacin" (pooling) de los trabajos publicados en la "Journal of Abnormal and Social Psychology".
Al respecto, Gmez Benito J, refiere: "los conceptos bsicos que subyacen en el meta-nlisis fueron
empleados por Thorndike en 1933 y Ghiselli en 1949; sin embargo, no es hasta los trabajos de Light
& Smith en 1971, que aparece planteado, en forma espec fica, el problema de integrar
8
cuantitativamente los resultados de diferentes estudios".
La mayor parte de la literatura consultada seala que el estudio titulado: "Accumulating evidence:
procedures for resolving contradictions among different research studies", publicado en 1971 por RJ
Light y PV Smith, constituy la propuesta metodolgica ms cercana al meta-nlisis. Denominada
"mtodo de recuento o mtodo de recuento de votos (voting method o vote-counting method)", se
basa en reunir primero, "... todos los estudios que aportan datos sobre la(s) variable(s) objeto de
estudio y, a partir de los resultados de su anlisis estadstico" y clasificar despus "los informes en
tres clases: 1- Resultados estadsticamente significativos a favor de la hiptesis, 2- Resultados
estadsticamente significativos en contra de la hiptesis y 3-Resultados estadsticamente no
significativos. La clase que contenga la mayor cantidad de estudios (votos) se considera como la de
9
mejor estimacin o la de mejor explicacin a las contradicciones detectadas". Por su simplicidad, se
ha utilizado con gran frecuencia y no es de extraar que an se emplee.
Dicho trabajo constituy el primer intento por agrupar los resultados de las investigaciones mediante
el uso de t cnicas formales.
10
Hedges y Olkin han sealaron un grupo de limitaciones a esta clase de estudios, entre ellas:
Por su parte, J Cohen, lo califica como: "el torpe y sobre todo invlido mtodo del recuento de las
revisiones de la literatura, basado en los valores p (probabilidad asociada al estadgrafo
11 12
calculado)" y R Schwarzer , como: "un intento inadecuado de cuantificacin".
El "mtodo de recuento de votos" no puede considerarse una revisin metanaltica, porque posee
adems de las limitaciones antes sealadas, las siguientes:
La totalidad de los trabajos referidos anteriormente, slo utilizan, en forma aislada, procedimientos
estadsticos, adolecen de una estructura o instrumento metodolgico que gu e el procesamiento de
la informacin y, por tanto, no permiten la rplica del trabajo realizado. Sin embargo, ellos
constituyeron las bases tericas y de procesamiento cuantitativo necesarias para el nacimiento del
13
metanlisis.
E Garfield, al respecto, plante: "la idea general del metan lisis exista en los aos 30, o, tal vez,
antes; sin embargo, el trmino no se acu hasta el ao 1976, cuando Gene V Glass, un especialista
de la Universidad de Arizona, elabor y aplic un instrumento metodolgico para describir sus
estudios en psicoterapia y educacin: el matanlisis; desde entonces, se han publicado numerosos
14
libros sobre el tema".
Los trabajos catalogados como "el primer metanlisis" no emplearon un instrumento metodolgico, y
menos an, como el desarrollado por Gene V Glass en la dcada de los aos 70. El mrito del
primer estudio metanaltico corresponde a este cient fico.
La revisin o el artculo de revisin, segn la definicin que ofrece E Garfield en el trabajo titulado
"Reviewing Review Literature. Part 1. Definitions and Uses of Reviews " es: "un estudio bibliogrfico
en el que se recopila, analiza, sintetiza y discute la informacin publicada sobre un tema y puede
17
incluir un examen crtico del estado de los conocimientos que aparecen en la literatura".
Una revisi n es un tipo de investigaci n que se realiza bajo los principios del mtodo cient fico, cuya
unidad de anlisis est constituida por los resultados de las investigaciones cientficas publicadas o
no, los que se analizan, sistematizan, sintetizan e integran con el objetivo de conocer el acervo de
punta (state of the art) existente en el tema objeto de estudio, y para ello emplea una metodologa
que posibilite su rplica con la situacin actual y las tendencias de desarrollo.
Una revisin cualitativa o tradicional constituye el primer acercamiento, an sin una estructura
definida, -metodologa- a la solucin del problema del gran volumen de la informaci n cientfico-
tcnica y su dispersin; en ella, se trata de resumir y condensar la gran cantidad de informacin y
explicar las contradicciones detectadas en los resultados de los artculos primarios recuperados.
Dichas revisiones no emplean explcitamente un instrumento metodolgico para su elaboracin no
utilizan mtodos cuantitativos (estadstico-matemticos) para el manejo y el procesamiento de la
informacin.
En esta clase de revisin predomina lo emprico sobre la ciencia, es "ms el arte, que ciencia";
debido a la carencia de una metodologa explcita, basada en los principios del mtodo cientfico que
gue su ejecucin; ello hace imposible que otros investigadores reproduzcan una revisin cualitativa
concluida.
"A menudo son descripciones cronolgicas de resultados no pocas veces contradictorios, las que no
8
aportan m s que un matiz histrico-anecdtico al corpus de conocimientos cientfico."
Para elaborar una revisi n de este tipo, el autor re ne los trabajos recuperados sobre el tema de
inters y "trata" de sintetizar e integrar los resultados de los distintos estudios. Las decisiones que se
toman, a menudo son arbitrarias y han provocado fuertes crticas por su subjetividad, imprecisi n y
8,18
frecuente omisin de informaci n relevante contenida en los estudios primarios.
En este sentido, CD Murlow afirm: "El mtodo para identificar y seleccionar la informacin pocas
veces se expone. La informacin recogida se revisa de cualquier manera, sin evaluar
sistemticamente su calidad. En estas circunstancias, la elaboraci n de un resumen plausible es una
1
tarea difcil, cuando no imposible."
Egger y Smith agregaron: "La revisin cl sica cualitativa: es subjetiva y por consiguiente, propensa al
15
sesgo y al error".
Cuando el nmero de artculos recuperados y posibles a integrar rebasa la capacidad de los
revisores -algo muy comn en nuestro tiempo-, se utiliza una (o ambas) de las siguientes opciones:
Variante I. Ponderar los trabajos segn:
Cuando se emplea alguno de estos criterios, pueden desecharse trabajos o informaci n de valor, al
primar criterios subjetivos. Como consecuencia, se incrementa la probabilidad de ocurrencia de
diferentes tipos de sesgos y errores.
Al respecto, GV Glass, seal "... es una revisi n donde las sinopsis verbales de los estudios se
13
ensartan en listas zigzagueantes...", ello origina que, en el informe final de la investigacin, se
16,18
proponga la necesidad de realizar una nueva investigaci n.
En tal sentido, si se pretende que una nueva investigaci n pueda solucionar las contradicciones
encontradas, es muy probable que al terminar el nuevo proyecto, se llegue a igual conclusi n al
emplear iguales criterios -ausencia de sistematicidad- en su ejecucin. Se est entonces, ante un
crculo cerrado sin posibilidades reales de encontrar una explicaci n objetiva a las contradicciones
detectadas en la literatura revisada.
Es slo vlida y viable el empleo de la revisin cualitativa cuando el nmero de estudios sobre un
8,13,18
tema en particular es escaso.
Por su parte, las revisiones cuantitativas, muchos autores coinciden en catalogarla como: "la
8,16,18,21,22,23
solucin cientficamente ms acertada frente a la sobrecarga de informaci n";
Gmez Benito, justifica su empleo en: "la necesidad de emplear el mismo procedimiento (mtodo) en
8
el proceso de revisin que el utilizado en la ejecucin de los estudios primarios". Por su parte, P
24
Nony y sus colegas la catalogan, como: "la forma moderna de la revisin en general".
METANLISIS
Definicin
Desde 1971, RJ Light y PV Smith utilizaron el trmino metanlisis para referirse al mtodo de
9
recuento o mtodo de recuento de votos. Sin embargo, esta propuesta carece de una estructura
metodolgica, que slo se logra con el trabajo y los aportes posteriores del psiclogo
estadounidense Gene V Glass, que en 1976, publica el trabajo "Primary, secondary, and meta-
analysis of research". Es entonces cuando el trmino metanlisis adquiri su connotacin actual
como instrumento metodolgico de investigacin y procesamiento de las fuentes de informaci n y
contenido.
Glass define brevemente el trmino metanlisis como el anlisis de los anlisis y lo precisa como: el
anlisis estad stico de una gran colecci n de resultados de trabajos individuales con el propsito de
13
integrar los hallazgos obtenidos.
Al referirse a la definici n anterior, J Snchez Meca y M Ato Garca puntualizaron: ms que un mero
conjunto de tcnicas estadsticas, representa una nueva perspectiva en la acumulacin del
conocimiento, que se caracteriza por su reproducibilidad, un principio inherente de la investigacin
18
cientfica [Snchez Meca J. Metanlisis en ciencias de la salud. Observaciones no publicadas]. Por
su parte J Gmez Benito plante: el metanlisis no puede considerarse una tcnica, sino una
8
perspectiva de investigaci n que emplea tcnicas de medicin y anlisis estadstico.
Su objetivo es realizar un anlisis sistmico e integral de la informacin, como un todo nico, sobre el
conjunto de resultados de las investigaciones empricas que analizan un mismo problema, en pos de
hallar un resultado sinrgico -conocimiento relevante- o conclusiones factibles de generalizarlas,
para prfeccionar el proceso cognoscitivo e investigativo y de toma de decisiones, frente a la
incertidumbre informacional en cualquier entorno organizacional, sea cientfico, empresarial,
educacional, social, etctera.
El empleo del metanlisis se ha extendido a casi todos los campos del saber, con diferentes
denominaciones, segn la rama del saber donde se aplique, entre otras: "revisin cuantitativa o
metanlisis", "revisi n sistemtica", "revisin de la literatura", "investigacin-revisin bibliogrfica",
"revisi n cr tica de la bibliograf a", "artculo de revisin", "revisin de investigacin", "anlisis
cuantitativo de dominios de investigacin", "sntesis cuantitativa", "revisi n integradora de
investigacin" e "investigaci n integradora". No obstante, la mayora apuesta por el trmino
metanlisis. En ingls, son comunes "overview", "quantitative sntesis", "meta-analysis", "pooling" y
"systematic review" [Morales Morejn M. Una tipolog a de servicios de informaci n en el marco del
enfoque servuccional: propuesta de instrumento gerencial para la concepcin y producci n de
8,13,14,15,16,
servicios y focalizacin de factores de calidad. Observaciones no publicadas].
17,18,21,23,25,27,28,29,30,31,32,33,34,35
En sus inicios, el desarrollo de la metodologa metanaltica tena un matiz positivista; sin embargo, lo
trascendi y se insert en la corriente neopositivista, con el empleo de mtodos y tcnicas
cualitativas y cuantitativas, en el anlisis, sntesis e integracin sinrgica de la informacin, por ello
que se cataloga como una metodologa de carcter cualitativa y cuantitativa.
Desde esta ptica, la revisi n metanaltica rebasa las limitaciones de la revisin bibliogrfica
cualitativa o narrativa predominante hasta su surgimiento, al permitir la rplica de una investigacin
bibliogrfica, una cuestin poco factible cuando se realiza una revisi n cualitativa, sobre todo, en
reas del conocimiento que generan una gran cantidad de informacin cientfica.
CLASIFICACIN
Se basa en la "nueva" escuela estadstica bayesiana, aunque los modelos generales de dicha
escuela se desarrollaron antes; sus clculos engorrosos han frenado su introduccin y aceptacin;
esta situacin debe cambiar (ya est cambiando) motivado por el incesante desarrollo de la
informtica. Esta escuela y la aplicaci n de sus instrumentos estadsticos para la realizaci n del
meta-anlisis, constituye el futuro mediato de las revisiones.
Este tipo de revisi n est an por llegar; no obstante, si se considera el desarrollo actual y futuro de
los mtodos estadsticos y su creciente utilizacin, apoyados por el desarrollo de la informtica,
constituyen, una posible va de perfeccionamiento para las futuras metodologas metanalticas.
ETAPAS
Aquellos estudios que cumplen con los criterios de seleccin pasan a la etapa de "Codificacin". En
este momento, se identifican y codifican las caractersticas (bibliogrficas y de contenido) y se se
registran en un libro de codificacin con el objetivo de controlar, reducir y, si es posible, eliminar, las
amenazas de sesgos que dicho anlisis puede presentar.
En el registro de codificaci n, se recogen todas las variables presentes en los estudios, as como las
diferentes definiciones conceptuales y operacionales utilizadas (subyacentes) en los trabajos
primarios. Como resultado, se seleccionan las contribuciones que se emplearn en el estudio;
entonces se procede a codificar sus caractersticas.
La mayora de los estudiosos coinciden en sealar 6 etapas para la realizacin del metanlisis (figura
8,13,14,15,16,17,18,29,30
2). Existe un marcado paralelismo entre las etapas de una revisin
18
metanaltica y las etapas por las que transcurre la investigacin primaria.
Una frase de Glass y sus colaboradores, al referirse a esta etapa, en pocas palabras, expresa su
importancia capital, cuando plantea:
"El modo en que se busca; determina lo que se encuentra; y lo que se encuentra es la base de las
36
conclusiones de la integraci n de estudios".
Como solucin paliativa a los problemas que presenta la bsqueda de la informaci n, se recomienda
8
utilizar las siguientes tcnicas de identificacin y localizacin -ampliado y modificado de B Gmez:
Consiste en localizar los estudios subsecuentes que citan a un documento recuperado; para ello, se
utilizan los ndices de citas, por ejemplo, "Social Science Citation Index", "Science Citation Index"- ISI
y revistas como la British Medical Journal (BMJ), (http://www.bmj.com).
El empleo de palabras claves y descriptores puede constituir el punto de partida para la bsqueda
bibliogrfica en un tema determinado. Posteriormente, la aplicacin de las tcnicas de anlisis de
citas permitira recuperar documentos no recuperables por materias, en particular cuando la
bsqueda se apoya, bsicamente en las palabras clave en los ttulos.
Una vez recuperada la informacin (identificada y localizada), es necesario destilarla; para ello, en la
fase de diseo de la investigacin, se deben establecer los "Criterios de selecci n".
CRITERIOS DE SELECCIN
El establecimiento de los criterios de selecci n es un paso crucial en una revisi n cuantitativa. Definir
los criterios de seleccin debe constituir un objeto de especial atenci n.
Los criterios de selecci n forman parte del informe final de la revisi n, esto posibilita que los lectores
puedan evaluar su cobertura, alcance, fiabilidad, validez y pertinencia.
En este acpite, "Criterios de selecci n", se agrupan los criterios de inclusin, exclusin y
eliminaci n.
l Criterios de inclusi n.
Se refiere a: - las caractersticas mnimas necesarias que deben presentar los estudios primarios
para que sen valore su inclusin en una revisin cuantitativa -se deben definir a priori-, aquellos que
cumplan con los presupuestos mnimos constituyen la poblacin objetivo (diana); - los trabajos
pertenecientes a la poblaci n objetivo que cumplen con las caracter sticas suficientes necesarias
para incluirse en la revisi n -es deseable definirlos a priori, su modificacin es factible-, forman la
poblacin objeto de investigacin -en el "meta-anlisis prospectivo", definir las caractersticas
suficientes a priori, evita posibles sesgos, as como su control.
Algunos autores proponen la evaluacin de la calidad de los datos (estudios) como criterio de
inclusin. Seg n Strube y Hartman, el examen de la calidad de los datos requiere considerar tres
37
tipos de validez:
El examen de la validez conceptual afecta a las decisiones sobre el ajuste entre las definiciones
operativas y el constructo subyacente.
La valoraci n de la validez metodolgica implica determinar la calidad del contraste de hiptesis, que
incluye la evaluaci n de las amenazas clsicas de la validez interna, as como las variables
metodolgicas de un rea particular.
l Criterios de exclusi n.
Se refiere a las caractersticas que, si estn presentes en los estudios primarios, justifican su
exclusi n de una revisi n cuantitativa, es decir, que conduce a no incluirlos en la poblacin objeto.
Ejemplo: Cuando la unidad de estudio dentro de una investigacin (primaria) no cumple los requisitos
definidos en los criterios de inclusin.
l Criterios de eliminaci n.
En tal sentido, no todos los estudios que en su inicio se incluyeron en la poblacin objetivo, formarn
parte de la revisin, solo aquellos que cumplan con las caractersticas suficientes pasan a formar
parte de la poblacin objeto.
La poblacin objeto se obtiene como resultado del anlisis individual de cada uno de los estudios
considerados relevantes y pertinentes. La poblacin objeto responde a los requerimientos
cualitativos de la investigacin.
16,39
La frmula es la siguiente:
donde:
N - nmero de resultados nulos no recuperados.
2.706 - el cuadrado de la puntuacin tpica correspondiente a un nivel de significacin del 5 %.
K - el nmero de estudios integrados en la revisin y
Zk - la puntuacin tpica media.
Por su parte RG Orwin, propuso (por analoga) una frmula que utiliza el tamao del efecto TE
(Effect size).40
Ambas frmulas calculan el llamado "Indice de tolerancia a resultados nulos" -N (file-safe number).
donde:
N - nmero de resultados nulos no recuperados.
K - nmero de estudios integrados en la revisin
d - es la media del tamao del efecto de los estudios integrados.
dc - es el valor criterio seleccionado del tamao del efecto de los estudios integrados.
(efectos pequeos = 0,20; efectos medios = 0,50 y efectos grandes = 0,80.
En dependencia del rigor del criterio que se establezca, sern necesarios ms o menos estudios
contradictorios con los tratados para modificar el sentido de los resultados.
16,36,41 36 -51,16-116,41 -
En la codificacin, debe evaluarse la validez y la fiabilidad de los informes.
137
La validez se relaciona con la claridad de las definiciones, la adecuacin de la informacin
recogida, el desempeo del codificador en la identificacin de las caractersticas; en relaci n a la
fiabilidad de las medidas codificadas, la principal fuente de error se origina en los posibles
desacuerdos entre codificadores, por lo que se requiere la confeccin de una "Gua o libro de
codificaci n" donde se plasmen las caracter sticas objetos de codificacin[Snchez Meca J.
8,18,36
Metanlisis en ciencias de la salud. Observaciones no publicadas].
JE Hunter y sus colegas, citado por R Schwarzer , plantea: "la codificacin puede constituir el 99 por
ciento del trabajo en el proceso de la integracin. An este trabajo puede enteramente derrocharse".
Si la variacin (heterogeneidad) es debido nicamente al error de muestreo, todo el esfuerzo (en la
12
codificaci n) ser in til".
Las caractersticas de los informes se dividen en: metodolgicas, sustantivas y extrnsecas [Snchez
18,36
Meca J. Metanlisis en ciencias de la salud. Observaciones no publicadas]. Otros autores
prefieren agrupar las caractersticas objeto de estudio en: metodolgicas (incluyen la extrnsecas) y
sustantivas.
Se refiere a los aspectos generales de la investigacin: deben caracterizarse aquellas que impliquen
un riesgo, por ejemplo [Snchez Meca J. Metanalisis en ciencias de la salud. Observaciones no
18,36
publicadas]:
El objetivo del estudio de las caractersticas metodolgicas es que "puede decir algo sobre la
18
coherencia del proceso cientfico en una determinada rea de investigacin."
CARACTERSTICAS SUSTANTIVAS
Son especficas del rea y tema (t pico) de la investigacin. Debe existir una gran coincidencia entre
los estudios que se analizan.
CARACTERSTICAS EXTRNSECAS
Pueden ser:
l Fecha del estudio.
l Idioma original del estudio.
l Tipo de publicacin.
l Bases de batos con resmenes donde aparece el trabajo.
l Por ejemplo: Si la publicaci n la procesa el ISI, tanto en las bases de datos independientes
CCSOC, CCAGRI, CCING, CCFIS, CCVID, as como en el Science Citation Index, de ser
posible, medir el impacto que el trabajo tuvo.
l Institucin y pas donde se realiz la investigacin (debe aclararse en caso que hayan
participado varios centros en la investigacin).
l Institucin que auspici y financi el estudio.
Algunos autores unifican las caractersticas metodolgicas y extrnsecas en una sola categora
18
llamada caractersticas metodolgicas.
Se deben "leer como variables independientes las caractersticas de los estudios analizados, y los
8
resultados de los estudios son las variables dependientes".
Su objetivo es llevar a una mtrica comn (a una misma escala) los resultados de los estudios. Se
emplean el nivel de significacin "p-calculado" y el tama o del efecto-TE (Effect Size) de cada
estudio.
Aunque el empleo de cada una de ellas, conduce a diferentes clculos y proporcionan diferente
informacin, ambas medidas estn relacionadas, por lo que es factible transformar, por ejemplo: el
tamao del efecto en su correspondiente valor del nivel de significaci n y viceversa.
l Nivel de significaci n.
37 -136
"El nivel de significaci n establece si los resultados obtenidos han ocurrido por azar".
En el esquema de la estadstica frecuentista, el tamao del efecto resulta poco conocido, pero brinda
ms informacin que el nivel de significaci n.
37
"El tamao del efecto indica la intensidad de la relacin o del efecto de inters".
El precursor moderno del estudio del tamao del efecto, Jacoh Cohen, refiere las ventajas de su
empleo frente al nivel de significacin cuando expresa: "Resulta conveniente utilizar el t rmino
"tamao del efecto" para indicar el grado en que el fenmeno est presente en la poblacin o el
grado en que la hiptesis nula es falsa....Cuando la hiptesis nula es falsa, lo es en algn grado
espec fico, es decir, el tamao del efecto es un valor concreto, distinto de cero, de la poblacin."
Cuanto mayor es este valor, tanto mayor es el grado en que se manifiesta el fenmeno bajo
18
estudio".
En otras palabras, el tamao del efecto, expresa el grado en que el fenmeno est presente en la
poblacin objeto de estudio.
Se han desarrollado diferentes ndices del tamao del efecto, tanto paramtricos, para las variables
expresadas en una escala de medici n cuantitativa o cuasi -cuantitativa (discretas o continuas) como
no-paramtricos, para las variables expresadas en una escala de medicin cualitativa (nominal u
ordinal). En el primer grupo, los ms utilizados se basan en la diferencia de medias entre dos
condiciones experimentales (tratamientos o intervencin) y los basados en el coeficiente de
correlacin.
HM Cooper, cuando se refiere el empleo de una u otra medida del resultado de los estudios (nivel de
significaci n o tama o del efecto), plantea: "El nivel de significacin estadstica slo permite
determinar si un efecto experimental es distinto de cero. Por el contrario, el tamao del efecto es
capaz de responder a la pregunta: en qu medida es distinto de cero?" y agrega: "y, por ende, la
43
informacin que proporciona es ms cabal para los propsitos perseguidos".
En esta etapa, una vez cuantificados los resultados de los estudios mediante los niveles de
significaci n o los tamaos de los efectos y transformados a una mtrica comn, se sintetizan para
obtener un ndice global y representativo del conjunto de los resultados que se deben acompaar,
adems de estadgrafos de la estadstica exploratoria, como desviacin tpica, los cuartiles, rangos,
8,18
etctera.
Los resultados obtenidos rara vez son homogneos como para suponer que la medida global es
representativa de todos los estudios. En estas situaciones es precisamente cuando el meta-anlisis
ofrece su mxima utilidad al facilitar la bsqueda de las causas que pueden explicar (si las hay) los
resultados contradictorios y detectar las lagunas en el conocimiento en una determinada rea del
saber, que sugieran futuras investigaciones, con el objetivo de encontrar sus causas.
La variabilidad entre los resultados de los estudios puede tratarse eficazmente cuando se analizan
los efectos de determinadas caractersticas metodolgicas, sustantivas y extrnsecas (codificadas
previamente) que influyen sobre los tamaos de los efectos; en este caso los tamaos de los efectos
actan como variables dependientes, mientras que las caractersticas de los estudios son las
variables independientes.
GV Glass y sus colegas proponen el uso de diferentes estadsticos descriptivos para sintetizar los
resultados globales del metanlisis. En este sentido, son de gran utilidad los mtodos exploratorios
propuestos por Tukey : histograma digital (stem-and leaf) y los grficos de cajas (Boxplot), as como
la estadstica con el desarrollo de los mtodos exploratorios (el enfoque exploratorio de Tukey -
36
exploratory data analysis).
Por su importancia, es objeto de especial atenci n. No son pocos los autores, instituciones y
organizaciones que han realizado esfuerzos significativos con el objetivo de elevar la calidad, tanto
de la investigacin metanaltica propiamente dicha como de los informes de ellas. La calidad de la
publicaci n es una resultante de la suma de la calidad de la investigacin ms la calidad del informe.
Y son muchos los problemas que es necesario resolver durante la investigaci n metanaltica (anexo
4).
En 1996, por ejemplo, un grupo de investigadores, revisores y lectores del rea de las ciencias
mdicas se reunieron en la "Conferencia sobre la calidad de la elaboracin de los informes de
metanlisis (QUOROM por sus siglas en ingls)." En dicho encuentro, se abord "la mejora de la
calidad en la elaboraci n de los informes de los metanlisis de ensayos clnicos controlados."
Adems, se realiz la declaraci n QUOROM, consistente en un "protocolo de control de calidad" y
44
un "diagrama de flujo" (anexo ).
El diagrama de flujo (flujo del proceso) describe las etapas (mnimas) necesarias para la realizar un
metanlisis de ensayos clnicos controlados (ECC).
QUOROM plantea: "la calidad del informe no es igual a la calidad (validez interna) del meta-anlisis.
Esto depende ms de la vala "intrnseca" del cientfico que de la medida en que se explicitan los
mtodos empleados (a lo que se dedica principalmente la declaracin QUOROM). Para lo primero,
hay que conocer tanto las t cnicas de la revisin sistemtica, como el tema de estudio y tener
experiencia en investigaci n. Ello no se consigue simplemente con guas o recomendaciones,
44
aunque algo puedan ayudar".
La estructura tpica de un informe de revisin metanaltico, con ciertas modificaciones realizadas por
los autores, es como sigue [Snchez Meca J. Metanlisis en ciencias de la salud. Observaciones no
18,45,46
publicadas]:
1. Introducci n.
Contiene el problema objeto de estudio, los objetivos, la hiptesis y la operacionalizacin de
las variables.
2. Fuentes y mtodos.
Bsqueda de la literatura.
Es importante indicar, tanto las fuentes formales como informales utilizadas, as como los modelos y
estrategias de bsqueda empleados. Si se encuentran revisiones metanalticas realizadas se deber
incluir una resea lo ms completa posible de ellas.
l Objetivos:
l Diseo (Metanlisis)
l Estrategia de bsqueda.
l Mtodos estadsticos.
l Medida principal del resultado.
l Resultados.
l Conclusin.
CONSIDERACIONES FINALES
La asimilacin y el desarrollo de las llamadas "Tecnologas blandas", en este caso, las "Tecnologas
de los contenidos", permitir atender las demandas propias del progreso del pas y de la
competencia en los difciles entornos internacionales.
El progreso y expansin de las tecnologas de los contenidos es, de hecho, punto de atencin por los
pases altamente industrializados, ellos han destinado no pocos recursos para estos fines.
Documental Informacional
Continente Contenido
Formal Contenido
Anlisis de las tesis de contenido del documento
Anlisis individual de cada documento
y valoracin crtica para su posible integracin.
Elementos que simbolizan o describen el
contenido que puede integrarse o no, y que
Elementos que simbolizan o
pueden dar lugar al estado actual y tendencias
describen el documento.
(state of the art) de la ciencia, la tecnologa,
etctera.,
Descubrimiento del conocimiento en las bases de
datos a partir de la identificacin de regularidades
Revelacin de la informacin explcita
y otros fenmenos con la aplicacin de tcnicas
relativa slo al conocimiento
de anlisis cuantitativo y cualitativo, por ejemplo:
conocido.
hallazgo del conocimiento pblico desconocido,
entre otros tipos de conocimiento.
Organizaci n de las fuentes de
informacin y creacin de los
cimientos para otros procesos, por
Prdida de ventajas competitivas cuando no se
ello, su importancia capital para el
aplica con sistematicidad, integridad, en
ulterior trabajo de inteligencia
particular, por objetivo.
informacional; cuando adolece o no
tiene la calidad necesaria se origina
un caos como el de Internet.
Informaci n colectada, procesada y Informaci n recopilada, procesada, organizada,
organizada, bsicamente, para diseminada y utilizada para reforzar la acci n y la
almacenarla en sistemas de capacidad competitiva de la organizacin y de
informacin. sus miembros
Transformaci n de las caractersticas
Transformaci n de la informaci n en
bibliogrficas en signos (descriptores,
conocimiento y de ste ltimo en decisiones
palabras clave, epgrafes, ndices,
estratgicas.
etc.).
Herramientas: mtodos y tcnicas bibliomtricas,
informtricas y cienciomtricas; minera de datos;
Herramientas: tesauros y diccionarios, minera de textos; gesti n del conocimiento;
enciclopedias, epigrafiarios, sistemas vigilancia tecnolgica; vigilancia econ mica;
de clasificacin, manuales descubrimiento del conocimiento en bases de
instructivos, normas, reglas de datos; mtodo de palabras asociadas para la
catalogacin, etc tera. generacin de clusters (conglomerados) y la
mapificacin; as como otros mtodos de las
ciencias afines.
rea tradicional de desempeo rea de reciente creacin en proceso de
profesional expansin
Algunas denominaciones de los
especialistas que intervienen en el Algunos especialistas que intervienen en el
procesamiento: catalogador, procesamiento: informacionista; gestor de
indicador, bibliotecario, informacin; gerente de informacin; analista de
documentalista, archivero, traductor, informacin; infonomista; consultor; etctera.
etctera.
Mayor grado de desarrollo alcanzado Menor grado de desarrollo por experiencia
por experiencia acumulada. acumulada.
Procesamiento dicotmico Procesamiento de carcter continuo.
Conocimiento pblico del know-how y Poco conocimiento pblico del know-how y show-
show-how del procesamiento, es how del procesamiento; es decir, por su
decir, ambos se encuentran importancia estratgica (comercial, cientfica,
socializados. tecnolgica, comercial, industrial, poltica, etc.)
presenta un bajo grado de socializacin.
Carcter pblico de los resultados y Carcter semipblico o privado de los resultados
del procesamiento. y del procesamiento.
Aparato torico-conceptual bien Aparato torico-conceptual en proceso de
definido. desarrollo o de redefinicin en algunos casos.
Las definiciones del especialista Alianzas estratgicas entre diferentes
pasan al usuario gradualmente. especialistas y tipos de usuarios.
Fuente: Morales Morejn M. Una tipologa de servicios de informacin en el marco del enfoque
servuccional: Propuesta de instrumento gerencial para la concepcin y producci n de servicios y
focalizaci n de factores de calidad. Trabajo presentado en el evento ICOM2000, del 4 al 8 de
diciembre de 2000, Facultad de Comunicacin, Universidad de La Habana, La Habana, Cuba.
(a) Las preguntas de la investigacin: son especficas, las hiptesis formales y las variables de
mayor importancia se han definido?
Descansan sus formulaciones en un trabajo previo en el rea?
(b) Se defini la bibliografa a revisar?
La definicin de la literatura a revisar contempla los trabajos ms importantes en el tema?
(c) Son razonables los criterios de inclusin y exclusin definidos?
2. B squeda de la literatura.
(a) Es representativa e insesgada la muestra de estudios identificados?
(b) Se estima la amenaza (potencial) de "sesgo de publicacin" de incluir en la muestra estudios
no-publicados?
(c) Se han utilizado mtodos diferentes para la bsqueda de la literatura?
(d) El nmero de estudios pertinentes excede el nmero de estudios no utilizados?
(e) El ndice n-(estudios nulo) calculado para evaluar la robustez de hallazgos obtenidos amenaza
los resultados de los estudios recuperados?
(f) Se analizaron todos los estudios relacionados o disponibles?
3. Procedimiento de codificacin.
(a) La desviacin estndar ponderada se calcul a partir de los efectos individuales "en meta-
anlisis" de grupos diferentes?
(b) Se describen todos los mtodos utilizados para el clculo del tamao de efecto?
(c) Se explicitan los procedimientos utilizados para evaluar los "resultados no significativos"
Se describen los hallazgos y su incidencia con el campo del conocimiento?
Y las implicaciones de "los resultados de no significativos", en relaci n con las conclusiones y
generalizaciones del meta-anlisis?
5. Anlisis estadsticos.
6. Conclusiones e interpretaciones.
Fuente: Durlak Joseph A, Lipsey Mark W. En: Garfield E. Meta-analysis and the metamorphosis of
the scientific literature review. Serie: Arts & Humanities. Current Comments 1991; oct 28;13(22):5-8.
Anexo 5. Informe propuesto por autores, editores y crticos del metanlisis de estudios
observacionales. Grupo metanaltico de estudios observacionales en Epidemiologa (MOOSE por
sus siglas en ingls)
l Declaracin de la hiptesis.
l Descripci n de los resultados de los estudios.
l El tipo de exposicin o intervencin empleada.
l El tipo de diseo usado en el estudio.
l Poblaci n estudiada.
En las estrategias de la bsqueda:
En los m todos:
En los resultados:
En la discusi n:
En las conclusiones:
Anexo 5. Informe propuesto por autores, editores y crticos del metanlisis de estudios
observacionales. Grupo metanaltico de estudios observacionales en Epidemiologa (MOOSE por
sus siglas en ingls)
l Declaracin de la hiptesis.
l Descripci n de los resultados de los estudios.
l El tipo de exposicin o intervencin empleada.
l El tipo de diseo usado en el estudio.
l Poblaci n estudiada.
En los m todos:
En los resultados:
En la discusi n:
En las conclusiones:
Incluido
en N
Categora Subcategora tem
informe? pgs.
(s/n)
El Manual de la Colaboracin Cochrane define el sesgo como: "Un error o desviacin sistemtica en
los resultados o inferencias de un estudio" y aclara: "Los sesgos no necesariamente suponen una
imputaci n de prejuicio, como podran ser las preferencias de los investigadores acerca de unos
resultados concretos, y en ello, difiere del uso convencional de esta palabra para hacer referencia a
1
un punto de vista partidario".
RK Riegelman y RP Hirsch definen el sesgo, como un "factor que produce la desviacin sistemtica
2
de un resultado en una direcci n, en relacin con los valores reales".
Los sesgos o errores sistemticos amenazan por igual a cualquier tipo de revisin, sea cualitativa o
cuantitativa; sin embargo, es en la revisin cuantitativa donde existe mayor conciencia sobre su
existencia y se le dedica mayor atencin a su estudio, eliminacin y control, y esto precisamente es
un elemento distintivo entre ambos tipos de revisin.
Sobre el tema de los sesgos y su control, pueden consultarse diversos materiales desde la ptica de
3,4,5,6,7
la revisin cuantitativa.
Es el sesgo ms estudiado, bajo este nombre se agrupan otros de igual naturaleza (seleccin,
4,5,6,7,8,9,10,11,12, 13,14
informacin, etc.), pero que tienen diferente repercusin y control.
DEFINICIN
Es la "tendencia a aceptar resultados positivos y rechazar los negativos" por el proceso de arbitraje
14
cientfico (peer-review).
Al no publicarse las investigaciones que no aceptan la hip tesis nula -no detectan la existencia de
diferencias significativas-, se elimina una gran cantidad de informacin, dicho conjunto formar parte
de la llamada "literatura gris".
K Dickersin, al estudiar este sesgo, afirma: "Es importante prevenir ste, tanto desde una perspectiva
cientfica (de difusin completa del conocimiento), como desde el punto de vista de quienes
10
combinan resultados de varios estudios similares (meta-anlisis)".
Un ejemplo, tal vez extremo, lo relata LC Silva cuando, al referirse a las dificultades o tropiezos que
tiene el arbitraje cientfico, expone: "el sistema no est exento, sin embargo, de aristas conflictivas,
as lo demuestran algunos tropiezos dramticos como el que tuvo lugar en 1937 con el trabajo de
Hans Krebs sobre el ciclo del cido ctrico, originalmente rechazado por la revista Nature, y que ms
15
tarde sera la pieza clave para que el autor fuese galardonado con el Premio Nobel".
Definicin
Los documentos escritos, por ejemplo, originalmente en idioma ingls, tienen mayor posibilidad de
publicarse, recuperarse y, por ende, tienen mayor probabilidad de citarse en comparaci n con los
trabajos escritos en otro idioma, ello no significa necesariamente que tengan mayor calidad o sean
mejores. Este sesgo se refiere a que cualquier estudio metanaltico que considera slo los trabajos
publicados en un idioma, es propenso al sesgo.
Definicin
Consiste en la inclusi n selectiva de los trabajos basados en criterios subjetivos del revisor (sobre la
calidad de los estudios). Origina diferencias subjetivas en el peso de los estudios. La muestra puede,
independientemente de los factores externos al grupo de revisores, sesgarse a favor de los
coauspiciadores de la investigacin y en ese caso, la falta de tica cient fica, es manifiesta.
19
Por ejemplo, P Knipschild y sus colaboradres, citado por T Greenhalgh T, describieron cmo el
Premio Nobel, el bioqumico Linus Pauling, utiliz citas selectivas de la literatura mdica para
"demostrar" su teora de que la vitamina C ayudaba a sentirse mejor y vivir ms tiempo. P Knipschild
y sus colegas, realizaron una investigacin sistemtica en la literatura para encontrar evidencias y
contrastar los resultados alcanzados por Linus Pauling, y hallaron que, aun cuando uno o dos
ensayos sugirieron fuertemente que la vitamina C podra prevenir el ataque catarro-gripe, haba ms
estudios que no mostraron dicho efecto beneficioso.
l Sesgo confirmatorio.
Definicin
Tipo de sesgo de publicacin que se refiere a "... la tendencia de todo investigador a dar crdito y
llamar la atencin de los dems sobre las experiencias que dan apoyo a su punto de vista, y
desechar o desacreditar a las que no lo apoyan. En consecuencia, cuando los datos constituyen una
2
novedad o son impopulares, tienden a ser subnotificados en la literatura publicada".
l Sesgo de citacin.
Definicin
Frecuentemente se citan ms los estudios positivos, es ms fcil identificarlos que los negativos.
Puede relacionarse con la tendencia a la autocita.
11, 17
l Sesgo de duplicaci n.
Definicin
Se origina cuando los resultados de una investigacin (de forma parcial o total) se publican en ms
de una ocasin. Muchas veces los autores cambian ligeramente los textos (no los datos) y envan el
trabajo a ms de una revista para publicar "los nuevos trabajos".
l Sesgo de informacin.20
Definicin
Carencia de informacin sobre las variaciones en la magnitud de los tamaos del efecto; no se
analizan las posibles variables moderadoras, adems de la inadecuada informaci n sobre las
muestras, medidas y estadsticos utilizados en los estudios, lo que origina errores en la interpretacin
de los resultados.
Las instituciones privadas y empresas mantienen en secreto los resultados de sus investigaciones y
por ello, es difcil su recuperacin y estudio. Esto influye en que en la elaboracin de las revisiones
tenga, relativamente, poco peso.
Es probable que cualquier bsqueda restringida a bases de datos electrnicas est sujeta a sesgo.
La intensidad de este sesgo puede estimarse aproximadamente, como la proporcin del inverso del
nmero de procedimientos diferentes, mencionado por los autores, cuando buscaron trabajos
inditos.
l Sesgo de accesibilidad.
PROPUESTA DE DEFINICIN
Error sistemtico que amenaza a la fiabilidad de los resultados de la revisin (sistemtica), que se
origina cuando los documentos ms accesibles tienen mayor probabilidad de incorporarse a la
revisin. Este sesgo se relaciona con la representatividad de los estudios recuperados. El sesgo de
accesibilidad se relaciona con las posibilidades reales (de recursos) para acceder a la informacin,
en la dimensin de Internet, este sesgo es consecuencia de la llamada brecha digital.
21
M S nchez y A Garca, agrupan las principales amenazas en 3 clases:
Por su parte JA Hattle , citado por SB Thacker, al referirse a las limitaciones de las revisiones de la
literatura, seala: "Cualquier enfoque para la revisin de la literatura tiene limitaciones que pueden
resumirse en:
l "En primer lugar, cualquier revisin limitada a estudios publicados tiende a inflar el tamao del
efecto, porque los autores y directores de revistas son proclives a difundir, sobre todo
resultados estadsticamente significativos.
l En segundo lugar, otro sesgo de publicacin, el sesgo confirmatorio, que se refiere a la
tendencia de todo investigador a dar crdito y llamar la atencin de los dems sobre las
experiencias que soportan su punto de vista y a desechar o desacreditar las que no lo
apoyan, genera que, cuando los datos constituyen una novedad o son impopulares, tienden
a ser subnotificados en la literatura publicada."
En primer lugar, el valor p no deba interpretarse como frecuencia hipottica del error, si se repeta el
experimento. Era una medida del carcter probatorio en un solo experimento, que deba emplearse
para reflexionar sobre la credibilidad de la hiptesis nula en funci n de los datos. En segundo lugar,
lo consideraba, como medida de carcter probatorio, el valor de p deba combinarse con otras
fuentes de informacin sobre el fenmeno objeto de estudio. Si se empleaba un umbral de
"significacin", no deba ser un umbral rgido y deba depender del conocimiento previo respecto al
1
fenmeno analizado.
Es conocido, que emplear, a ultranza, estos procedimientos, implica viciar los resultados de un
estudio, as como su interpretacin; surgen, entonces, conclusiones que frenan el empleo de los
resultados positivos e introducen resultados de "dudosa" calidad.
Las investigaciones realizadas con el objetivo de detectar los errores que se cometen al aplicar las
tcnicas estadsticas en los artculos publicados en las revistas, no siempre se aceptan para su
publicaci n en las mismas, al evidenciar deficiencias en sus procesos de arbitraje, ello es
responsabilidad de los rbitros de cada revista.
En una investigaci n publicada en 1996, se analiz el uso de los mtodos estadsticos utilizados en
los artculos publicados por la revista "American Journal of Obstetric and Gynecology", entre enero y
junio de 1994. Sus autores identificaron 145 artculos en los que se emplearon procedimientos
estadsticos, slo en 58 art culos su uso se consider "apropiado" o "se asumi un uso apropiado"
para un 40 %; los 87 artculos restantes representan el 60% de las contribuciones estudiadas; en
ellos, el empleo de los procedimientos estadsticos se calific como de "uso cuestionado" y "uso
inadecuado". En otras palabras, el 60% de los resultados en los estudios publicados son
2
cuestionables y debe evitarse su introduccin en la prctica social.
El metanlisis no puede corregir las deficiencias de diseo que subsisten en un rea de investigaci n
primaria (y que, adems, no forma parte de sus objetivos), pero esta situacin propicia
inconsistencias en las revisiones metanalticas. Por tal motivo, se propone prestar especial atenci n
a la evaluaci n de la aplicacin de los procedimientos estadsticos en los trabajos que se procesan,
es decir, al diseo estadstico de la investigacin.
Uso de medidas objetivas en el proceso de codificacin de las caractersticas de los estudios.
Como alternativa a la evaluacin de la calidad de los trabajos por medio del procedimiento anterior,
se propone el anlisis de la potencia estadstica a posteriori de los estudios como criterio mtrico de
la calidad metodolgica de la informaci n.
Potencia estadstica.
Desde el punto de vista estadstico, se conoce la existencia de 2 posibles errores (Error Tipo I y Error
Tipo II).
Ocurre cuando se rechaza la hiptesis nula (Ho) siendo verdadera; es decir, cuanto ms probable es
que Ho sea rechazada equvocamente, este valor no brinda ninguna informaci n en cuanto a la
probabilidad de que la hiptesis nula sea verdadera.
J Cohen J. plantea: "A pesar de los extendidos equvocos, el rechazo de una determinada hiptesis
nula Ho no aporta ninguna base para estimar la probabilidad de que una rplica de la investigaci n
de nuevo d lugar a un rechazo de esa hiptesis nula".1
Ocurre cuando se acepta la hiptesis nula Ho, siendo falsa. No debe confundirse esta concepci n
del error tipo beta, es decir, de aceptar la Ho siendo falsa, con el concepto de potencia (1 menos
beta), que significa incrementar la fortaleza (robustez) de las conclusiones de la investigacin
(docimacia, es decir, la prueba de hiptesis).
Estos dos errores son inversamente proporcionales, cuando aumenta uno, el otro disminuye; es
decir, si se desea tener mayor certeza (probabilidad) de rechazar correctamente la hiptesis nula,
aumenta entonces el otro error. Buscar un equilibro entre ambos errores es una decisi n del
investigador.
Aunque, por lo general, slo se emplea para el contraste de la hiptesis nula (Ho) el nivel de
significaci n crtico (terico) a vs. probabilidad asociada (calculada) al estadgrafo calculado, dicho
de otra forma, se compara el estadgrafo calculado versus el estadgrafo terico, J Cohen plantea
1
que se debe contrastar la hiptesis nula, seg n 4 parmetros, a saber:
En cualquier prueba estadstica, uno de ellos estar en funcin de los restantes tres par metros, por
lo que entonces puede llegarse a un arreglo en cuanto a definir sus valores y sus consecuencias,
segn:
Nivel de significacin
Es la probabilidad del error en que incorrectamente se rechaza una hiptesis nula que es en realidad
verdadera; es decir, se comete el Error de Tipo I. Se representa con la letra griega a (alfa)
Tamao muestral
Segn J Cohen J es la distancia entre la hiptesis nula y la hiptesis alternativa, en otras palabras,
1,3
es el efecto del tratamiento o intervencin.
La clasificacin de los tamaos del efecto segn la prueba estadstica es (tabla 1):
1,3
Tabla 1. Clasificaci n del tama o del efecto segn J Cohen.
Es el grado de certeza o la probabilidad de que se acepte una hip tesis nula cuando realmente es
verdadera; es decir, la fortaleza (probabilidad) o potencia de los resultados (conclusiones en
trminos estadsticos) de la investigaci n, al rechazar correctamente la hip tesis nula, cuando es
falsa.
En otros trminos, significa que las conclusiones obtenidas en trminos estadsticos presenten una
alta tasa de fiabilidad para tomar una decisin correcta para: aceptar o rechazar la Ho.
(Existen f rmulas espec ficas para cada prueba de hip tesis, implementadas en los paquetes
estadsticos para facilitar su clculo). [Snchez Meca J. Metanlisis en ciencias de la salud.
Observaciones no publicadas].
Esto no siempre es posible, la raz n fundamental es el elevado costo de las investigaciones que esto
supone; no obstante, en la etapa del diseo terico de la investigacin se debe calcular el tamao
muestral requerido para obtener resultados fiables - la potencia deseada-.
Sobre esto es oportuno traer a colacin una ancdota, contada por J Cohen sobre, en relaci n con
las muestras estadsticas con menos de 30 casos: "... uno de mis compaeros de doctorado realiz
una tesis cuya caracterstica peculiar era el tamao muestral de slo 20 casos por grupo, as podra
demostrar su destreza con los estadsticos para muestras pequeas. No fue hasta hace algunos
aos despus, cuando descubr (advirtase que no digo "invent") el anlisis de potencia, uno de
cuyos frutos fue la revelaci n de que, para una comparacin entre dos medias de grupos
independientes con n = 30 por grupo al santificado nivel bilateral del .05, la probabilidad de que un
tamao de efecto medio pueda etiquetearse como significativo por los mtodos ms modernos (una
prueba t), era tan slo de .47. De esta forma, obtener un resultado significativo sera
aproximadamente como lanzar una moneda al aire, incluso, aunque en realidad, el tamao del efecto
fuera importante. La potencia de mi amigo para n = 20 fue bastante peor (.33), aunque obviamente l
no poda saberlo, y alcanz resultados no significativos con los que procedi a demoler nada menos
1
que una importante parte de la teora psicoanaltica".
Por supuesto, esa decisin desacertada se tom sobre la base de un tamao muestral peque o (n
menor que 30), para lo cual se aplican estadgrafos para muestras pequeas. El colega de Cohen,
adems, no atendi la potencia estadstica a priori en la fase de diseo de la investigacin y es por
eso, que las conclusiones a que arrib, no tenan la fortaleza necesaria que avalar la inferencia que
realiz. En todo caso, el rechazo de la hiptesis nula con una baja potencia estadstica, no asegura
que dichas conclusiones sean replicables.
La potencia estadstica a posteriori calculada por Cohen fue de 0,33 (con los datos reales de su
colega), lo que indica el carcter espurio de las inferencias que su amigo-doctorante arrib; adems,
J Cohen calcul la potencia estadstica a posteriori bajo la suposicin de que su colega trabajase con
un tamao muestral de 30, en lugar del tamao muestral de 20 con el que trabaj, y obtuvo, una
potencia ligeramente superior, 0,47. Obtener un resultado significativo sera aproximadamente como
lanzar una moneda al aire, incluso, aunque en realidad, el tamao del efecto fuera importante.
Sin embargo, en el ejemplo anterior se utiliza para contrastar la hiptesis con un nivel de
significaci n no adecuado para ese tamao muestral, ello conduce a trabajar con una potencia de
contraste nfima y, por ende, los resultados obtenidos presentan poca robustez, credibilidad y
fiabilidad y esto, sin dudas, influye en el anlisis de las restantes caractersticas. Dichas variables
actan como perturbadoras o de confusin.
En este caso, debido al tamao muestral y al nivel de significacin inadecuados, los resultados
obtenidos fueron poco fiables, crebles y robustos y, debido a esto, el amigo de Jacoh Cohen, obtuvo
en su investigacin resultados que contradecan la teora existente, sin tener hechos reales para
esto. De haberse calculado la potencia estadstica a priori, se hubiera trabajado con una
investigacin correctamente diseada.
Para controlar, a priori, la fiabilidad de los resultados que se alcancen y obtener, por tanto, una
mayor robustez, es necesario calcular (a priori) el tamao muestral adecuado, seleccionar el nivel de
significaci n ms apropiada en funcin de la potencia deseada, y de esta forma, poder detectar si
existen realmente diferencias en el tamao de efecto del tratamiento o intervenci n.
Ntese que la aplicacin del anlisis de potencia aqu no se vincula an al metanlisis. Esta situaci n
se encuentra en la totalidad de la literatura consultada referente al meta-anlisis y al anlisis de
potencia; el anlisis clsico de potencia estadstica a posteriori slo est dirigido a calcular y
demostrar la robustez de las conclusiones estadsticas alcanzadas, no as, al contenido que stas
encierran; las que pudiesen catalogarse dentro de las tcnicas de miner a de datos, es decir, hacia
otro tipo de anlisis de informacin complementario a lo que se hace hasta el momento.
4
La clasificacin de la potencia estadstica, seg n el momento de su clculo es (tabla 2):
Este anlisis se refiere al valor crtico ptimo que puede considerarse como un compromiso racional
entre las demandas de un riesgo de cometer Error Tipo I (a) y una potencia estadstica grande, a
partir de un tamao muestral prefijado. Este anlisis ofrece una solucin de compromiso que
posibilita calcular tamaos de muestras "razonables", porque constituye una solucin con respecto a
los valores que se obtienen a partir del anlisis de potencia a priori.
Se utiliza cuando no puede aumentarse deliberadamente el tamao muestral (N) (ejemplo, cuando
se trabaja con pacientes), y no es posible ni tico su aumento, y N es demasiado pequeo para
satisfacer los niveles convencionales de a y b debido a su tamao de efecto.
El problema consiste en: calcular un valor crtico ptimo mediante la prueba estad stica que satisfaga
beta/alpha = q. Este valor crtico ptimo puede considerarse como un compromiso racional entre las
demandas de un "bajo riesgo alfa" y un "nivel de potencia grande", establecido un tamao de
muestra fijo.
Anlisis de la potencia estadstica a posteriori (Post -hoc power analyses- A posteriori power
analysis).
1. Mulrow CD. El artculo de revisi n en la literatura mdica actual. BOSP 1993;114(5): 437-45.
2. Mulrow CD. Rational for systematic reviews. BMJ 1994;309:597-9. Disonible en:
http://bmj.bmjjournals.com/cgi/content/full/309/6954/597 Consultado: 5 de noviembre del 2000.
3. Lazcano Herrera C, Font Graupera EM. La industria de la informacin y el nuevo paradigma
en la economa de la empresa. Disponible en: http://www.ub.edu/lazcano.htm Consultado: 5
de noviembre del 2000.
4. Saracevic T. Processes and problems in information consolidation. Inform Proces Manag
1986;22(1):45-60.
5. Egger M, Smith D, Phillips AN. Meta-analyses: principles and procedures. BMJ 1997;315
(7121):1533-7. Disponible en: http://www.bmj.com/archive/7121/7121ed2.htm Consultado: 4
de noviembre de 1999.
6. Dickersin K, Berlin JA. Meta-analysis: state of the science. Epidem Rev 1992;14:154-76.
7. Cohen J. Cosas que he aprendido (hasta ahora). Anal Psicol 1992;8(1-2):3-17.
8. Gmez Benito J. Metanlisis. Madrid: PPU, 1987.
9. Light RJ, Smith PV. Accumulating evidence: procedures for resolving contradictions among
different research studies. Harv Educ Rev 1971;41:429-71.
10. Hedges LV, Olkin I. Vote-counting methods in research synthesis. Psychol Bull 1980; 88
(2):359-69.
11. Cohen J. Some statistical issues in psychological research. En: Wolman BB. Handbook of
clinical psychology. New York: McGraw-Hill, 1965.
12. Schwarzer R. Meta-analysis programs (Version 5.1). Manual del usuario. Raleigh: National
Collegiate Software Clearinghouse, 1989. Disponible en: http://userpage.fu-
berlin.de/~health/meta_e.htm Consultado: 5 de enero de 1999].
13. Glass GV. Primary, secondary, and meta-analysis of research. Educ Res. 1976;5:3-8.
14. Garfield E. Meta-analysis and the metamorphosis of the scientific literature review. Serie: Arts
& Humanities. Current Comments 1991 Oct 28;13(22):5-8.
15. Egger M, Smith D. Meta-analysis: potentials and promise. BMJ 1997;315(7119):1371-4.
Disponible en: http://www.bmj.com/archive/7121/7121ed.htm Consultado: 4 de noviembre de
1999.
16. Rosenthal R. Meta-analytic procedures for social research. Newbury: Sage, 1991.
17. Garfield E. Reviewing review literature. Part 1. Definitions and uses of reviews. Serie:
Agriculture, Biology & Environmental Sciences. Current Contents 1987 May 4;18(18):3-6.
18. Snchez Meca J, Ato Garca M. Meta-anlisis: Una alternativa metodolgica a las revisiones
tradicionales de investigacin. En: Carpintero AJ (ed). Tratado de psicologa general: Historia,
teora y mtodo. Bilbao: Alhambra, 1989. pp. 617-69.
19. Cook DJ, Greengold NL, Gray EA, Weingarten SR. The relation between systematic reviews
and practice guidelines. Ann Intern Med 1997;127:210-6. Disponible en:
http://www.annals.org/cgi/content/full/127/3/210 Consultado: 8 de diciembre de 1999.
20. Colaboraci n Cochrane. Centro Cochrane Espaol [sitio web]. Disponible en:
http://www.cochrane.es Consultado: 4 de enero del 1999.
21. Gmez J, Artes M, Adn A, Castillo J. Metanlisis de la prevalencia de lcera pptica en
relaci n al consumo de tabaco. Med Clin (Barc) 1989;93:289-291.
22. Gmez J, Artes M, Seg JL. Importancia del metanlisis como tcnica cuantitativa de revisin
de estudios en ciencias de la salud. Med Clin (Barc) 1989;93:295-297.
23. Jackson GB. Methods for integrative reviews. Rev Educ Res 1980;50:438-60.
24. Nony P, Boissel JP, Lievre M, Cucherat M, Haugh MC, Dayoub G. Introduction la
mthodologie mtaanalytique. Rev M d Interne 1995;16:536-46.
25. Thacker Stephen B. Metanlisis: Un enfoque cuantitativo para la Integracin de
investigaciones. BOSP 115(4):328-339. (2).
26. Cooper HM, Rosenthal R. Statistical versus traditional procedures for summarizing research
findings. Psych Bull 1980;87(3): 442-9.
27. Cu Brugueras M, Daz Alonso G, Daz Martnez AG, Valdz Abreu MC. El art culo de
revisin. RESUMED 1996;9(2):86-96. Disponible en:
http://bvs.sld.cu/revistas/res/vol9_2_96/res0296.pdf Consultado: 9 de noviembre de 1999.
28. Green BF, Hall JA. Quantitative methods for literature reviews. Ann Rev Psych 1984; 35:37-
53.
29. Jenicek M. Meta-analysis in medicine: where we are and where we want to go. J Clin
Epidemiol 1989;42:35-44.
30. Jenicek M. Mta-Analyse en Mdecine. valuation et synthse de Iinfomation clinique et
pidemiologique. Pars: Quebec Maloine s.a., 1987.
31. L'Abb KA, Detsky AS, Rourke KO'. El metanlisis en la investigacin clnica. BOSP 1994;116
(3):226-44.
32. Lyons LC. Meta-analysis: methods of accumulating results across research domains.
Disponible en: http://www.mnisinc.com/solomon/MetaAnalysis.html Consultado: 6 de febrero
de 1998.
33. Colaboraci n Cochrane. Manual de la Colaboraci n Cochrane [actualizaci n de septiembre de
1997]. Sabadell: Centro Cochrane Espaol, 1998. Disponible en: http://www.cspt.es/cochrane/
Consultado: 9 de marzo de 1999.
34. Saxton Matthew L. Reference service evaluation and meta-analysis: findings and
methodological issues. Libr Quar 1997; 67(3): 267-289.
35. Walberg HJ, Haertel EH. Research integration: the state of the art. [Special issue]. Evaluation
in education: An International Review Series 180;4(1)13-17.
36. Glass G, McGaw B, Smith ML. Meta-analysis in social research. Beverly Hills: Sage, 1981.
37. Strube MJ, Hartman DP. A critical appraisal of meta-analysis. Clin Psych 1982;21:129-39.
38. Oxman Andrew D, Guyatt Gordon H. Gua para la lectura de art culos de revisi n. BOSP
1993;114(5):446-58.
39. Rosenthal R. The "file drawer problem" and tolerance for null results. Psychol Bull 1979;
86:638-641.
40. Orwin RG. A fail-safe N for effect size in meta-analysis. J Educ Stat 1983; 8(2):157 -159.
41. Strube MJ, Hartman DP. Meta-analysis: techniques, applications and functions. J Cons Clin
Psych 1983;51(1):14-27.
42. Goodman SN. Valores P, pruebas de hiptesis y verosimilitud: las consecuencias para la
edpidemiologa de un debate hist rico ignorado. BOSP 1995;118(2):141-55.
43. Cooper HM. The integrative research review: a systematic approach. Beverly Hills: Sage,
1994.
44. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF. Mejora de la calidad de los
informes de los metanlisis de los ensayos clnicos controlados: El acuerdo QUOROM [The
Quality of Reporting of Meta-analyses]. Rev Esp Sal Pub 2000;74:107-18. Disponible en:
http://www.msc.es/salud/epidemiologia/resp/200002/mejora.htm Consultado: 5 de septiembre
del 2000.
45. Jadad AR, Royal MM, Browman GP, Booker L, Sigouin C, Fuentes M, Stevens R. Systematic
reviews and meta-analyses on treatment of asthma: critical evaluation. BMJ 2000;320:537-40
Disponible en: http://www.bmj.com/ Consultado: 4 de mayo del 2000.
46. Orwin RG, Cordray DS. Effects of deficient reporting on meta-analysis: a conceptual
framework and reanalysis. Psychol Bull 1985;97:134-47.
1
Doctor en Ciencias de la Informacin. Profesor Titular. Universidad de Camag ey, Cuba.
2
Doctor en Ciencias de la Informaci n. Profesor Titular Adjunto a la Facultad de Comunicaci n,
Universidad de La Habana, Cuba. Investigador del Centro de Investigaci n e Informtica del
Deporte (CINID), INDER, Cuba.
3
Licenciado en Economa. Departamento de Computaci n. Facultad de Ciencias M dicas "Mariana
Grajales Crello". Holgun
4
Licenciado en Informacin Cientfico -Tcnica y Bibliotecolog a. Centro Nacional de Informacin de
Ciencias Mdicas
Ficha de procesamiento
1
Segn DeCS
METANALISIS; CONTROL ANALITICO DE LA CALIDAD.
META-ANALYSIS; ANALYTICAL QUALITY CONTROL.
2
Segn DeCI
METANALISIS/ clasificaci n; VIGILANCIA DE LA CALIDAD.
META-ANALYSIS/ classification; QUALITY SERVEILLANCE.
1
BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.
Disponible en: http://decs.bvs.br/E/homepagee.htm
2
Daz del Campo S. Propuesta de trminos para la indizacin en Ciencias de la Informacin.
Descriptores en Ciencias de la Informacin (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf