Tema 8. Aplicaciones de la correlación: fiabilidad y validez de las medidas.

Estudios de la fiabilidad.La fiabilidad constituye la principal características de los instrumentos de medida, por ese motivo la estudiaremos primero, y después atenderemos a los demás. Sólo en el caso de las encuestas, la fiabilidad aparece ligada íntimamente a la validez de los contenidos de la misma.La fiabillidad de las medidas se identifica con la precisión. Un instrumento es fiable cuando mide algo con presición, independientemente de los que se está midiendo.Ellos nos lleva a tener que aceptar el error de medida. Una puntuación obserbada (X) en un sujeto se puede descomponer en dos partes: la correspondiente puntuación verdadera (V) y el posible error cometido al medir (E).Al campo de valores comprendido entre los valores de (X - Em) y (X + Em), le denominaremos INTERVALO DE CONFIANZA en el que se encontrará la puntuación verdadera (V).A medida que el error es más pequeño, el intervalo es más fiable. La fiabilidad la establecemos en tres procedimientos: Como estabilidad. Como equivalencia. Como consistencia interna.

La fiabilidad como consistencia interna.Procedimiento conocido de las mitades.Dividimos la prueba en dos partes (mitades), eligiendo como criterio los ítems pares e impares, o bien la primera mitad (de 0 al 50%) y la segunda mitad (de 51 al 100%).Hallando la correlación entre ambas partes estableceremos la consistencia interna del instrumento, si bien en una prueba cuya longitud es la mitad.Existen varios procedimientos para determinar la fiabilidad.Ver ejemplo 8.3 pág. 155 (común para todos los procedimientos).Procedimiento de Spearman-Brown.Empleamos el ya conocido coeficiente de Pearson entre las mitades, pero hemos de corregirlo para el test total mediante la fórmula siguiente, y obtendremos la fiabilidad de la prueba en su conjunto.Los subíndices son iguales pues se trata de una correlación interna, entre dos partes de una misma prueba. El coeficiente de Pearson entre pares e impares, queda como sigue.Ver ejemplo en la pág. 157.

Procedimiento de Rulon.Está basado en la varianza de las diferencias; es decir, en la relación entre la varianza total del instrumento y la existente entre ambas mitades. Si las diferencias entre las puntuaciones de dos sujetos en las mitades aumenta, menor será el valor del coeficiente, tal y como se expresa en la fórmula:Cálculos previos; las varianzas de las diferencias y la total. Cuando nos encontremos con muestras pequeñas (N 30), debemos dividir los cálculos por (N - 1). Fórmulas: 

Procedimiento de Guttman.Está basado en la varianza de las mitades, de forma que a menor valor de la varianza, más elevada será la fiabilidad de la prueba.Ver ejemplo en la pág. 158

Procedimiento de Kuder-RicharsonPartimos de las correlaciones de ítem con todos los demás, pues se divide la prueba en tantas partas como elementos tenga. Tomamos entonces las intercorrelaciones entre todos los elementos como una medida de la fiabilidad.Existen muchas fórmulas para su cálculo, pero nosotros nos quedamos con la nº 20 de K-R, que se aplica a elementos dicotómicos:Donde:n --> nº de elementos de que consta la prueba.p --> proporción de sujetos que aciertan --> p = (ΣX1 / N) = Media de aciertos en cada ítem.q --> 1 - p (los valores de p y q han de hallarse para cada ítem, pues necesitamos el valor de Σpq)Ver ejemplo 8.4 pág. 159

Procedimiento alfa (a) de Crombach.Este procedimiento es muy utilizado cuando recurrimos al cuestionario como instrumento de medida.La fiabiliadad de un cuestionario está relacionada directamente con el nº de ítems del mismo, de forma que a mayor cantidad de ítems, mayor fiabilidad.Cuadro general para la elección del coeficiente de fiabilidad de consistencia interna: n par y variable cuantitativa --> 2 mittades --> Rulon o Guttman. n impar y variable continua --> a n dicotímicas --> K-R20

Fiabilidad y longitud de las pruebas.De la ecuación general de Spearman-Brown:Conociendo n y rxx, ¿cómo repercutiría en la prueba el aumento de 10 nuevos ítems paralelos a los originales?siendo n= nº ítems finales / nº ítems inicialesRxx --> nueva fiabilidad alcanzada.En general, cuando: n disminuye --> Rxx  n aumenta --> Rxx > rxx n = 1 --> Rxx = rxx Ver ejemplo en la pág. 160.Conociendo n, rxx y Rxx, ¿cuántos elementos sería necesario añadir a la prueba original?Ver ejemplo en pág. 160.

Límites para la puntuación verdadera de un sujeto.Un sujeto en dos aplicaciones sucesivas de la misma prueba, es muy difícil que obtenga el mismo resultado. Como ya vimos que la puntuación observada (X) es la puntuación verdadera (V) afectada por el error de medida (+ E), recurrimos al INTERVALO DE CONFIANZA entre cuyos límites se encontrará V a un cierto nivel de confianza. Ver ejemplo 8.5 pág. 161

Comparación de puntuaciones de dos sujetos en la misma prueba.Tratamos de comprobar si una diferencia empírica de puntuaciones de dos sujetos a los que se les ha aplicado una misma prueba, es una diferencia real o aleatoria.A la proporción entre esas diferencias y el error de medida asociado a las diferencias, se le conoce como razón crítica (RC).Si el valor RC > valor de tablas al nivel de confianza (%) --> si hay diferencias reales.Si el valor RC  valor de tablas --> las diferencias son efecto del azar.

Estudio de la validezUn intrumento es válido cuando mide lo que dice medir y no otra cosa distinta. Tenemos distintos tipos de validez.Validez de contenidoDebemos comprobar la suficiencia y representatividad de los ítems que componen la prueba.Suficiencia --> nº mínimo de elementos que debe incluir el instrumento y que comprenden todos los aspecto esenciales del tema a estudio.Representatividad --> definir cada ítem con claridad y precisión, procediendo a la selección de los ítems.Proceso de validación --> elaboración de una tabla de especificaciones, realizada por varios expertos, que será sometida a estudio y crítica.Los procedimientos para calcularlas son las tablas de especificaciones y las opiniones de expertos y jueces con un buen conocimiento del tema.Validez predictivaPretendemos establecer predicciones sobre la variable que se mide. Es decir, qué capacidad tiene la prueba para hacer expectativas de aparición de sucesos futuros.Para su cálculo se establece la correlación entre las puntuaciones alcanzadas en la prueba de validar (Xi) y las obtenidas en otra prueba denominada criterio (Y). Según sean las características de las variables y su nivel de medida, recurriremos al coeficiente de correlación de Pearson:

Validez concurrenteEs una modalidad de la predictiva. La diferencia aquí estriba en que las mediciones de la prueba a validar (Xi) y las del criterio (Y), se realizan al mismo tiempo y que los resultados permiten pronósticos a corto plazo, de utilización inmediata. El cálculo es el mismo.Validez de constructo.También denominada de elaboración o de construcción. Es la más compleja y la que requiere en su determinación de procedimientos complicados. Fox (1987) nos dice que la validez de constructo es la capaciddad que tiene el instrumento para distinguir entre aquellos grupos cuyo comportamiento difiere en relación a la variable estudiada.Validez aparente.También recibe la denominación de validez didáctica, y se refiere a la serie de aspectos externos de la prueba. Por ejemplo: Un instrumento muy largo puede provocar rechazo o fatiga, y no reflejar opiniones y valoraciones reales. Si el formato es más o menos atractivo, puedo motivar a la persona que responde. El lenguaje ha de ser adecuado a la edad y cultura de las personas que responden. Las instrucciones para las respuestas deben ser claaras y fáciles de aplicar. Algunos coeficientes relacionados con la validez.Coeficiente de determinación (d).Es el coeficiente de validez elevado al cuadrado.Nos indica la proporción de la varianza del criterio que se explica a partir de la prueba. si se multiplica por 100, se transforma en porcentaje.Coeficiente de alienación (k)Nos indica la pro porción de la varianza del criterio que es ajena o extraña a la prueba. Multiplicado por 100, expresa el porcentaje del azar que queda cuando se predice Y a partir de X.Coeficiente de valor predictivo (E)Nos indica el grado de seguridad que tenemos en la predicción y si se multiplica por 100, nos indica el porcentaje de seguridad al predecir las puntuaciones de Y a partir de las puntuaciones de X.

Validez y longitud de la pruebaAl igual que acontecía con la fiabilidad, también la longitud de la prueba repercute sobre los valores de la validez. La fórmula es: Predicción de puntuaciones.Dado que el coeficiente de validez entre las variables oscila entre 0 y 1, cuando rxy = 0, cualquier predicción que se realice sobre Y a patir de X (o viceversa), será totalmente aleatoria. Cuando rxy = 1,  una de las variables será función de la otra. En la mayoría de los casos restantes, que es lo más común, realizaremos la predicción del criterio a partir de la prueba con unas mayores garantías de precisión a medida que vaya en aumento el valor de rxy.Como ya vimos, la puntuación predicha (Y) no podemos asegurar que sea exacta y precisa, pues siempre encontraremos diferencia entre los valores de Y' (estimados) y los de Y (verdaderos), que llamamos error de estimación. La desviación típica de los errores de estimación, recibe el nombre de error típico de estimación.Repasemos las ecuaciones de regresión simple de la variable Y sobre la X:A) Puntuaciones directas.B) Puntuaciones diferenciales.C) Puntuaciones típicas.

Estudio de los elementos de una pruebaHay que realizar un examen minucioso de todos los elementos que constituyen la prueba. Así se podrán eliminar aquellos que no posean el mínima grado de calidad o añadir otros que si cumplan los requisitos establecidos. Veremos tres índices:Índice de dificultad (ID)Se expresa numéricamente por el número de sujetos que resuelven satisfactoriamente un determinado elemento. Si solo lo contestan bien unos pocos, el elemento es difícil; si prácticamente todos lo resuelven acertadamente, el elemento es muy fácil.Una prueba que se considere bien construida empleará;La ID de un elemento nos indica la proporción de los sujetos que lo resuelven de forma correcta en relación con el total de los que lo contestan. Dos casos:Cuando se evoca una respuesta y los errores no penalizan.A --> nº de sujetos que aciertan el ítem.n --> nº de sujetos que lo contestan.Entre varias opciones elegir la correcta y penalizan los errores.

Índice de homogeneidad (IH)Indica la coherencia de cada uno de los elementos con el total de la prueba. Cada elemento debe medir lo mismo que mide la prueba en su conjunto. Para calcularlo hallamos la correlación de cada elemento con todos los demás. A mayor correlación, mayor será la homogeneidad. Se dan diferentes casos: Ítems dicotómicos --> correlación biseral-puntual. Una variable continua y la otra dicotomizada --> correlación biserial. Dos variables dicotomizadas --> correlación tetracórica pero sea el caso que sea, siempre debemos corregir el valor de índice mediante la fórmula.

Índice de validez (IV)Los elementos de la prueba se consideran válidos cuando miden lo que dicen medir y no otra cosa. Debe existir entonces una relación clara entre las puntuaciones que se obtiene en la prueba y las que se obtienen en el criterio. Cuando mayor sea esta relación, mayor será el IV.El índice depende del coeficiente de correlación más adecuado a cada caso según las condiciones de uso de cada prueba. No es necesario corregirlo.Ver ejemplo 8.13 pág. 175

Decimos que un instrumento de medida es fiable cuando:a. Mide con coherencia un rasgo.b. Mide con equivalencia una característica.c. Mide con precisión un rasgo.

Para determinar la fiabilidad de los instrumentos de medida, al procedimiento conocido como de la repetición o del test-retest, nos calcula la fiabilidad como:a. Equivalencia.b. Estabilidad.c. Consistencia interna

Cuando deseamos establecer el coeficiente de fiabilidad como estabilidad, debemos calcular la correlación entre:a. Dos aplicaciones sucesivas de la prueba.b. La primera y la segunda mital de la prueba.c. Los ítems pares e impares de la prueba.

Por su propia naturaleza, el cálculo de la validez predictiva implica calcular la correlación entre las puntuaciones de la prueba y:a. Un criterio externo.b. Una segunda aplicación de la misma.c. Un criterio medido tiempo después de la aplicación de la prueba.

REPASO.¿Qué otras formas tenemos de expresar la fiabilidad?a. Concordancia y constancia.b. Variabilidad y concordancia. c. Constancia y viabillidad.¿Cuál de estos términos define mejor la fiabilidad?a. La variabilidad.b. La precisión.c. La constante.Un instrumento es válido...a. Cuando ofrece una medida que se aproxima a la realidad.b. Cuando mide lo que dice medir y no otra cosa distinta.c. Cuando es preciso en la mediación.

Página 1

Página 2

Página 3