TEMA 5: ANÁLISIS DE ÍTEMS

OBJETIVO DEL ANÁLISIS DE ÍTEMSConstituye el proceso de examen de los reactivos del test, con el fin de averiguar si se adecúan a las principales cualidades exigidas en una prueba psicométrica.Se desarrolla a doble nivel:-Análisis cualitativo: Previo al pase del test.-Análisis cuantitativo o estadístico: Posterior al pase del test.1. Consideraciones fundamentales:-Ítems de valoración dicotómica. Cognitivos.-Ítems de valoración en escala graduada: Personalidad, actitudes, estados de ánimo, etc.2. Aplicación del modelo conveccional o sumativo:-La prueba posee de origen ciertas garantías de unidimensionalidad.-La situación del examinado viene dada por la acumulación de puntos de los ítems.3. Precauciones:-Suma directa de puntos en test cognitivos: No contempla la precedencia de éstos (pueden haber acertado al azar).-Suma directa de puntos en test no cognitivos: La existencia de omisiones de respuesta de ítems dará la sensación de una actitud desfavorable.-*Corrección al azar: Pueden obtenerse puntuaciones negativas, no pueden existir omisiones.

ANÁLISIS CUALITATIVO DE ÍTEMSSe realiza antes del pase del test a los sujetos. Los ítems deben constituir una muestra representativa del atributo que se está midiendo.1. Formato de los ítems:-Para poder contestar al ítem es necesario leer todas las alternativas de respuesta.-El ítem está redactado en forma negativa.-El ítem contiene dobles negaciones.--El ítem contiene excesiva información y/o información irrelevante en el enunciado y/o en sus alternativas de respuesta.-El ítem contiene expresiones como siempre, nunca, todo, nada, todas las respuestas son correctas, ninguna de las anteriores es correcta, señala la incorrecta, etc.-El ítem tiene faltas de ortografía, expresiones en mayúsculas, abreviaturas, signos de puntuación inadecuados, etc.-Las alternativas de respuesta presentan una longitud similar.-El ítem utiliza un lenguaje inadecuado para la situación requerida.-El ítem es confuso en el enunciado y/o en las alternativas.2. Contenido de los ítems:-Las alternativas se solapan y/o se refieren unas a otras.-El ítem plantea más de un contenido, idea o problema.-El ítem evalúa contenidos trivales de la asignatura.-El ítem tiene una y solo una respuesta correcta.-El ítem puede ser contestado independientemente de las respuestas a otros ítems.-El contenido de los distractores de pistas acerca de cuál es la respuesta correcta.

ANÁLISIS CUANTITATIVO DE ÍTEMS1.Dificultad del ítem:-Ítems de valoración dicotómica: Independientemente dle número de categorías de respuesta, sólo una es correcta. Propio de test cognitivos. Índice de dificultad=Proporción de sujetos que aciertan el ítem (no el test). Cuanto mayor es más fácil es el ítem.Recomendaciones:A. La dificultad del ítem no es una constante entre grupos.B. La dificultad del ítem debe ser intencionada y ajustarse desde la primera prueba piloto a la situación de los examinados.C. En test conveccionales, el mejor test está constituido por ítems de dificultad centrada (p=0,5).D. No es aconsejable, salvo excepciones, incluir ítems de dificultad extrema. Se excluirán los ítems con índice de dificultad (p=0, p=1).-Ítems de valoración en escala graduada: Independientemente del número de categorías, estas tienen una puntuación diferente de menor a mayor (o al revés). Propio de pruebas de personalidad y actiudes. Informan de la tendencia de las respuestas de los examinados: cuanto mayor es, más fácil resulta estar de acuerdo con el enunciado del ítem (y viceversa). Cuanto menor sea el índice de dificultad, más nivel de atributo o rasgo hace falta para alcanzar una cierta puntuación en el ítem.Índice de dificultad=Promedio de las puntuaciones asignadas a los individuos en el mismo ítem. Ítems negativos (recodificarlos a positivos antes).Recomendaciones:A. Se excluirán sujetos e ítems con índices extremos o porcentajes de omisión superiores al 10 por ciento.B. La aquiesencia se dejará sentir preferentemente en ítems de enunciado positivo, lo cual tenderá a aumentar el índice si se compara con el obtenido en un formato negativo.2. Variabilidad de las respuestas: Indica la homogeneidad de los sujetos en sus respuestas. Un valor alto significa mucha discrepancia entre los sujetos a la hora de responder al ítem y un valor bajo indica mucha homogeneidad en sus respuestas. El valor de la varianza tendrá una implicación directa en sus correspondientes índices de discriminación.-Ítems de valoración dicotómica: Varianza y desviación típica.-Ítems de valoración de escala graduada: Varianza y desviación típica.3. Discriminación del ítem: Capacidad del ítem para distinguir entre individuos con diferente situación en el atributo medido por el test, es decir, entre los que puntúan alto en el test y los que puntúan bajo. Pretende comprobar el funcionamiento de cada ítem y su aportación a la puntuación global del test. Un ítem discrimina si las respuestas que recibe de los examinados concuerdan con las globales del test. Correlación entre el ítem y el test. Indica si el ítem mide lo mismo que el test global.-Ítems de valoración dicotómica: Utiliza todos los datos y han de estar disponibles, para calcularlo. No se aceptan ítems con coeficientes por debajo de 0,30. Los más utilizados son: Biserial-puntual (ítems de valoración dicotomizada) y Biserial (ítems de valoración dicotómica).Para evitar que su valor esté sobrestimado, se corrige empleando sólo las puntuaciones de los restantes ítems en el criterio, o aplicando la formula.-Ítems de valoración de escala graduada: Se empleará el coeficiente de correlación de Pearson y en su cálculo se excluirán aquellos pares en los que hay omisiones, con el fin de evitar valores más elevados de los que corresponde, se emplea la siguiente ecuación:Consideraciones acerca del índice de discriminación:A. La dificultad del ítem y su varianza influyen en la discriminación del mismo.B. La discriminación de un ítem debe ser elevada.C. El proceso de selección de ítems a través de la exclusión de los menos discriminantes puede llevar a un círculo vicioso.D. En consecuencia, las pruebas con elevada homogeneidad suelen mostrarse correctas psicométricamente, pero pobres a nivel de contenido.E. La discriminación del ítem afecta a la fiabilidad y validez de la prueba.F. Sujetos con pautas anómalas de respuesta, el azar, la falta de homogeneidad en el atractivo de las respuestas, etc., pueden enrarecer el resultado de la discriminación del ítem.G. En el modelo de Norma de Grupo, la discriminación del ítem variará para un mismo reactivo según el grupo de sujetos al que se presenta.H. A menudo, la neutralización de efectos indeseables como las omisiones (utilizando promedios) o el azar (corrigiendo al p) implica la sustitución de la clásica suma de puntos por otra puntuación más uniforme y más concentrada sobre la media.I. Todos los recursos para el conocimiento y decisión sobre los ítems deben servir para tomar una serie de medidas preventivas que aseguren la calidad de estos y de la prueba en general.

LA CONJETURAFormas de combatir la influencia del azar:A. Preventiva: Penalización de errores.B. Estimación de la parte de los aciertos que se han obtenido gracias a la conjetura.Ambos procedimientos exigen:-En el test no hay más que aciertos y errores.-Los aciertos provienen del conocimiento o del azar (y se acierta).-Los errores provienen del desconocimiento o del azar (y se falla)-En la respuesta de azar, todas las alternativas son igualmente atractivas.-No se puede omitir ningún ítem. En este caso las puntuaciones obtenidas correlacionan perfectamente con las corregidas según la fórmula.

PRUEBA X2 DE BONDAD DE AJUSTEPrueba que admite toda clase de medidas. Permite analizar las alternativas incorrectas comprobando la similitud entre las frecuencias empíricas y las teóricas de los datos de una distribución con forma establecida. No debe emplearse cuando existan frecuencias teóricas menores de 5. En este caso, se agrupará el intervalo afectado con otro/s hasta que su acumulación produzca valores ft>5. No debe aplicarse con N<50.