La sección Estadísticas de elementos de la herramienta Aware Local Test Analytics es quizás la sección más informativa para los debates sobre el rendimiento de una prueba. Esta sección contiene una serie de métricas para cada elemento individual que pueden ayudar a identificar posibles errores en el diseño de la prueba en sí.
Además, esta sección proporciona pistas sobre posibles problemas con cada elemento en función de las métricas. La información proporcionada puede dar lugar a debates sobre cómo se pueden interpretar los resultados de los ítems de la prueba o sobre las posibles razones para modificar o eliminar los ítems de futuras administraciones de la misma prueba.
Nota importante: un número de una función estadística calculada para un elemento no suplanta la importancia de la validez del profesional. Los autores de las pruebas eligen o diseñan elementos en una evaluación con intención, informados por su propia experiencia sobre el plan de estudios que se está midiendo. Esta práctica incorpora validez en la creación de la evaluación; las conclusiones que los autores de la prueba buscan hacer sobre el aprendizaje de los estudiantes impulsaron sus elecciones. Las estadísticas de ítems incluidas en esta herramienta están destinadas a complementar la validez integrada del profesional.
A continuación se muestra información sobre cada dato disponible en esta sección para cada artículo. Cada columna se puede ordenar (excepto las columnas de respuesta).
Número de artículo
Estándares y Estándares de Proceso
Valor P
Este es el término estadístico para la dificultad del objeto. La dificultad de las preguntas en una evaluación local es esencialmente la proporción de estudiantes que respondieron correctamente. (Esta definición se modifica ligeramente para los ítems de respuesta construida calificados en una escala de rúbrica). Las puntuaciones posibles para el valor de p varían de 0 a 1.
Dado que la mayoría de las evaluaciones locales (probablemente todas) son pruebas basadas en criterios, la intención es que los estudiantes demuestren su aprendizaje acertando en muchos elementos. Por esta razón, los valores de p no deben ser muy bajos en muchos elementos. A veces se desea tener algunos elementos más difíciles, así como algunos menos difíciles. La herramienta Local Test Analytics marcará los elementos con valores p >= 0,95 como «fáciles» y <= 0,15 como «difíciles».
Artículo Correlación total
Este número representa la relación entre el desempeño del elemento y el desempeño total en la evaluación. A menudo se denomina «Discriminación de artículos» y utiliza una función biserial de puntos para calcularse. El concepto es que el desempeño de un elemento debe discriminar entre los estudiantes en función de la puntuación de cada uno en la prueba completa. Un estudiante con una puntuación alta debería hacerlo bien en el ítem, mientras que un estudiante con una puntuación más baja debería tener más probabilidades de fallar el ítem. Los puntajes posibles varían de -1 a 1, pero los valores negativos son raros y sugieren que un elemento puede tener una clave defectuosa (los estudiantes con puntaje alto no lo detectaron mientras que los estudiantes con puntaje bajo no).
Los valores biserial de puntos deseados para una prueba típica con referencia a un criterio que consta principalmente de elementos de opción múltiple oscilan entre 0,2 y 0,39. Si bien la fórmula permite que los valores se acerquen a 1, es muy poco probable que algún elemento en una evaluación local de Aware sea tan alto. La herramienta Análisis de prueba local marcará un elemento si tiene un valor de Correlación total de elementos corregidos inferior a 0,15 (con especial atención a los valores negativos). Consulte a continuación para obtener una mejor definición de discriminación «corregida».
Correlación total del artículo corregido
La herramienta Local Test Analytics proporciona una correlación corregida para la discriminación de elementos. A menudo, esta es una indicación preferida de este valor porque relaciona el rendimiento del elemento con el rendimiento de la prueba, excluyendo el elemento en sí .
Confiabilidad si se elimina
¿Esta prueba tendrá un coeficiente de confiabilidad más alto si este ítem no estuviera en ella? El autor de una prueba puede querer considerar eliminar un elemento en una administración futura de una prueba si el elemento no aumenta la confiabilidad general de la evaluación.
Datos de respuesta
Estos resultados deben coincidir con lo que ven los usuarios en la pestaña Aware Analyze cuando visualizan datos. Pueden conducir al análisis de distractores. Así como la respuesta correcta debe ser siempre correcta, cada distractor debe ser siempre incorrecto. El análisis de los distractores puede conducir a debates pedagógicos sobre el aprendizaje de los estudiantes, pero también pueden revelar debilidades en las opciones de respuesta.
