Implementación de Multimodal Large Language Models (MLLM) en la programación de Robots Educativos mediante fichas didácticas

Esta investigación propone un enfoque tangible para la enseñanza de programación en primaria que combina fichas didácticas físicas con Modelos de Lenguaje Multimodal de Gran Escala (MLLM) con el propósito de traducir secuencias visuales en código ejecutable para un robot educativo. Se desarrolló un sistema integral que permite capturar y validar las fichas mediante una aplicación Android, reconocer los elementos y generar código en TiniScript en un servidor de procesamiento, para luego compilar y ejecutar las instrucciones en el robot. Se evaluaron los modelos GPT-4 Vision, Gemini 1.5 y Claude 3.5 utilizando métricas de calidad de código como CodeBleu y CodeBertScore, además de realizar pruebas en condiciones reales de aula que incluyeron variaciones de iluminación, orientación y oclusión. Asimismo, se implementaron estrategias de ensamblaje instruccional basadas en indicaciones, retroalimentación y reglas de verificación que superaron a los modelos individuales en precisión y consistencia (CodeBleu mayor a 0.96 y CodeBertScore cercano a 0.99), siendo seleccionadas como configuración final por su equilibrio entre exactitud y robustez. La evaluación pedagógica, aplicada en una escuela primaria local con estudiantes de quinto y sexto grado, evidenció la viabilidad técnica del sistema y su impacto positivo en el aprendizaje, alcanzando resultados significativos frente al grupo control.