Investigación destacada: Kelly Smalenberger

Un sistema de clasificación de IA que maneja respuestas matemáticas cortas con coherencia en las aulas de la escuela media y secundaria pierde parte de esa estabilidad cuando se entrega trabajo a nivel universitario.Un equipo liderado por Michael Smalenberger de la Universidad de Carolina del Norte en Charlotte probó un modelo de aprendizaje automático construido sobre las respuestas de los estudiantes de K-12 y encontró que su rendimiento en los problemas matemáticos abiertos de la universidad cambió.

El artículo fue presentado en la 25a Conferencia Internacional sobre Inteligencia Artificial en Educación en Recife, Brasil, en julio de 2024 y publicado en Springer'sComunicaciones en Informática y Ciencia de la InformaciónLos coautores incluyen Kelly Smalenberger, actualmente un preceptor en el Instituto de Ciencias de Datos de la Universidad de Chicago, junto con investigadores de la Universidad de Carolina del Sur Upstate, UMass Amherst, el Instituto Politécnico de Worcester y el Colegio Abbey de Belmont.

¿Por qué esto importa para un matemático que trabaja o un administrador que planea un piloto de clasificación de IA? Las preguntas de matemáticas abiertas se encuentran entre las formas más valiosas y menos utilizadas de evaluación en el aula. Premian el razonamiento por encima de la combinación de respuestas, por lo que producen una variedad de respuestas legítimas. Pero la carga de clasificación es real. El documento señala que los profesores en ASSISTments, una plataforma de aprendizaje de K-12, asignaron menos problemas abiertos a medida que el año escolar avanzaba, y menos del 14 por ciento de los problemas abiertos asignados fueron clasificados.

La clasificación automática de respuestas cortas, o ASAG, se ha estudiado como una manera de suavizar esa carga. Los sistemas construidos sobre modelos de lenguaje neural han publicado números prometedores en los ajustes de K-12. La pregunta abierta que el equipo se planteó para responder: si el modelo aprendió su estándar de estudiantes de secundaria y secundaria, ¿ha hecho esa transferencia estándar cuando los lectores son estudiantes universitarios? Los problemas abiertos no son ejercicios con una salida numérica única. Piden a los estudiantes que justifiquen, construyan o expliquen, y dos respuestas correctas pueden parecer muy diferentes.

La esquina no clasificada de las tareas de casa de matemáticas

El artículo pone una cifra concreta detrás de un problema familiar en el aula. En ASSISTments, más de 120.000 estudiantes y 3.000 profesores de K-12 usaron la plataforma en 2022. A pesar de ello, los problemas abiertos se asignaron menos a menudo que el año, y menos del 14 por ciento de los asignados fueron realmente clasificados. Los profesores, los autores señalan, a menudo recurrieron a la clasificación para la finalización en lugar de ofrecer un feedback significativo.

Sin embargo, un modelo que funciona en las respuestas de K-12 no es automáticamente un modelo que funciona en las respuestas de la universidad, porque los estudiantes difieren.Los estudiantes de la universidad pueden escribir justificaciones más largas, usar vocabulario más abstracto, expresar el entendimiento parcial de manera diferente, o combinar los tres de maneras que el conjunto de capacitación no incluyó.

Un jugador que lee algunos ejemplos y luego hace una suposición

El método detrás del modelo es el meta-aprendizaje en contexto. Para cada pregunta abierta, al modelo se le dan varias respuestas estudiantiles ya clasificadas junto con sus puntuaciones. Estos ejemplos se encuentran junto a la nueva respuesta que necesita una puntuación. El modelo ajusta su comportamiento de puntuación a esa pregunta específica usando los ejemplos como un estándar de puntuación local compacto. No necesita un nuevo modelo entrenado desde cero para cada problema.

Piense en ello como un nuevo asistente de enseñanza entregó una pila de respuestas clasificadas a una pregunta y luego le pidió marcar la siguiente respuesta a la misma pregunta. El asistente mira a lo que ganó crédito completo, lo que ganó crédito parcial y lo que no ganó ningún. Esa pila es el contexto. La técnica fue introducida en trabajos anteriores por Mengxue Zhang, Sami Baral, Neil Heffernan y Andrew Lan, cuyo enfoque está disponible comoClasificación automática de respuestas matemáticas cortas a través de Meta-learning en contexto. el

Las señales matemáticas no parecen prosa ordinaria, por lo que el modelo del equipo se sienta en MathBERT, una variante de BERT ajustada a contenido matemático que se extiende desde la escuela preescolar hasta la escuela de posgrado. Para cada respuesta, el modelo procesa la pregunta, la respuesta y la puntuación de ejemplo juntos.

El resultado fue una transferencia desigual.

El resultado no fue un fallo plano, y no fue una replicación limpia. Los autores informan de que la transferibilidad puede variar significativamente en los tipos de problemas abiertos y tipos de respuesta que examinaron. Algunas configuraciones probablemente se mantuvieron mejor que otras; la conclusión del artículo es más sobre el rango de rendimiento que cualquier número de precisión único.

Michael Smalenberger, el autor principal, dijo: "Le preguntamos si un modelo de puntuación entrenado en las respuestas matemáticas abiertas de K-12 trataría las respuestas de la universidad de la misma manera.

El modelo original de 2022 que informó la replicación fue elegido en parte porque su código y datos estaban disponibles. Esa apertura dio al equipo un punto de partida realista y reproducible.Pero una base de código no contiene una respuesta a la pregunta de si las suposiciones codificadas en ella viajan hacia arriba.Clasificación automática de respuestas cortas en matemáticas universitarias utilizando meta-aprendizaje en contexto: una evaluación de la transferibilidad de los hallazgos. el

Límites y precauciones

El trabajo es una evaluación de la transferencia, no una disección de causas. Los autores dejan abierto por qué el rendimiento varía. Los estudiantes universitarios pueden escribir justificaciones más largas, usar vocabulario más abstracto, expresar el entendimiento parcial de manera diferente, o combinar los tres de maneras que el conjunto de capacitación no incluyó. La dificultad del problema también puede diferir en los conjuntos de K-12 y de la universidad, por lo que parte del cambio podría pertenecer al contenido en lugar de la edad o el nivel.

No hay ninguna fuente de financiación externa enumerada en los metadatos publicados para este capítulo. La línea de copyright estándar de Springer aparece bajo una licencia exclusiva para Springer Nature Suiza. Esto no es una bandera roja por sí misma, pero los lectores que les gusta rastrear el dinero encontrarán la pista de financiación delgada en el registro público del periódico.

Una precaución independiente

Rania El-Mohandes, una investigadora de análisis de aprendizaje no involucrada en el estudio, dijo que el resultado debería suavizar el lenguaje alrededor de los graduados de IA que se enfrentan a los profesores. Ella añadió: "Un graduado entrenado en una población puede coger la convención local equivocada. En la escuela secundaria, una respuesta corta podría marcar el siguiente paso algebraico. En la universidad, un estudiante podría justificar el paso con un teorema. Ambos son correctos.

Qué significa para la IA en matemáticas universitarias

Para los instructores universitarios, la ventaja no es que la clasificación automática sea inutilizable. Es que el estudio de validación K-12 de un vendedor no es lo mismo que un estudio de validación de la universidad. Antes de que una herramienta ASAG entre en un curso de cálculo o álgebra lineal, debe ser probada en datos que se asemejan a la población real del curso, incluyendo la expresión no estándar, las opciones de notación y las explicaciones en varios pasos.

Un diseño cuidadoso haría que el modelo tenga calificaciones de baja confianza para la revisión humana en lugar de emitir una puntuación final en silencio. También calibraría el rendimiento por tipo de pregunta por separado. El documento no prescribe un producto, pero sus resultados apuntan en esa dirección. Durante los próximos cinco a diez años, el uso más fuerte a corto plazo de esta investigación puede ser la construcción de controles de transferibilidad en el propio tubo de evaluación.

El punto más tranquilo y más amplio es que muchos hallazgos de la educación-tecnología suben la escalera de la edad sin pruebas formales.Este equipo ha demostrado ahora, tanto en los apoyos de tutoría como en la puntuación de respuestas cortas, que un resultado de K-12 puede vacilar cuando llega a la universidad.Los algoritmos no llevan automáticamente su competencia de una población a la siguiente.

Photo by Planet Volumes on Unsplash