Blog CUED. «La IA dice que el profesor se ha equivocado”

Pedro Antonio Tamayo Lorenzo

«La IA dice que el profesor se ha equivocado«

Palabras clave: Grandes Modelos de Lenguaje (LLM); Inteligencia Artificial Generativa; Evaluación; Material básico de aprendizaje.

“La promesa de la IA es hacer posible un nuevo arte de enseñar que mejore la capacidad de pensar y razonar de los alumnos, dejando que la IA se encargue de la mayor parte del procesamiento: un verdadero aprendizaje `humano en el bucle´ “ (BOND, 2024)

1. El punto de partida: GenIA dice que el profesor está equivocado

Carmen (nombre ficticio) estudia en una Universidad a Distancia, y en su tercer año debe seguir un curso obligatorio, no elegido por ella, sobre una materia que se estudia una sola vez en su Grado, y con la no se vuelve a tener contacto en el resto del Grado. Al tratarse de un Grado a distancia, los estudiantes siguen un proceso de aprendizaje autónomo a partir de los materiales que en forma de manuales selecciona el equipo docente de la asignatura.

Carmen ha realizado el examen final de la asignatura, y como no eligió la vía de evaluación continua -se trata de un camino evaluativo optativo- su calificación final estará formada exclusivamente por la que obtenga en el examen. El examen consta de 20 preguntas de elección múltiple, con tres respuestas propuestas para cada pregunta, y donde sólo una de ellas se considera como la más correcta de acuerdo siempre con el material básico de aprendizaje. Y así se advierte en las instrucciones que acompañan al examen.

Una vez conocida su calificación, Carmen pide la revisión de su nota, para lo que solicita el inicio del proceso de revisión de acuerdo con la normativa de la Universidad. Entre otras cosas, se le exige que su petición se fundamente en argumentos relacionados con el contenido de la asignatura. Y así impugna una única pregunta –si se le concede su solicitud, aprobaría con ella el examen y la asignatura–.

El argumento empleado por Carmen para impugnar esa pregunta se expresaba en los siguientes términos: que ha consultado a varias aplicaciones de GenIA por la respuesta más correcta a esa pregunta, y que esas aplicaciones han dado como correcta la que ella marcó en el examen, y no la que el equipo docente consideró como válida.

La respuesta considerada como más correcta por el profesor se recoge de forma expresa en el manual seleccionado como texto básico por el equipo docente, como idea o paradigma del enfoque adoptado por dicho texto para explicar lo relativo a un determinado tema (en algunos aspectos el manual seleccionado se aleja de los planteamientos más habituales en la materia, al menos tal y como se recogen en los libros de texto más difundidos).

Posiblemente, Carmen estudió para el examen usando otros materiales de aprendizaje distintos del manual básico recomendado, algo habitual cuando se trata de asignaturas generales, para las que existe en la red una gran variedad de recursos, como resúmenes, vídeos, textos en abierto, Wikipedia, etc.

2. Revisión de la pregunta con IA

La situación resultaba completamente novedosa por ser la primera ocasión en que el profesor de la asignatura, con varias décadas de experiencia en la enseñanza a distancia de esa asignatura, recibía una solicitud en la que se confrontaba su conocimiento con el de una máquina (en este caso, con modelos de GenIA basados en Grandes Modelos de Lenguaje, LLMs del inglés Large Language Models). Una vez superada la primera impresión de perplejidad, e incluso de cierta inseguridad por el argumento esgrimido por la estudiante –la GenIA decía que se había equivocado– el profesor decidió verificar si realmente había cometido tal error en la consideración de la respuesta más correcta.

En primer lugar, el profesor verificó que el enfoque adoptado por el manual básico de la asignatura, cuyo contenido era el que se esperaba que los estudiantes conocieran y sobre el que debían ser evaluados, respondía a la respuesta considerada por él como la más correcta. Y que, de hecho, al inicio del capítulo correspondiente se anunciaba tal enfoque expresado en términos casi literalmente idénticos a los de la respuesta impugnada.

A continuación, sometió la pregunta impugnada a las aplicaciones de GenIA generalista más difundidas (ChatGPT 3.5, ChatGPT 4, y Gemini) junto con la específica de educación Tutor Me de Khan Academy, proporcionando las tres respuestas planteadas como alternativas.

En una primera consulta o prompt, se planteó la pregunta en los mismos términos en que se recogía en el examen, sin añadir ningún elemento nuevo. Las respuestas de las aplicaciones de GenIA a esa primera consulta, consistieron, con diferencias en su expresión, en considerar como correcta la respuesta seleccionada por la estudiante, y no la elegida por el profesor.

¿Era posible que los modelos necesitaran de información adicional sobre el contexto en el que debían decidir y responder a la pregunta formulada? Así, el profesor decidió reformular el prompt para incluir ese contexto que, en su opinión, no era otro que el contenido del manual empleado en su asignatura. Para ello añadió el nombre del manual empleado en la asignatura (al que se puede acceder en abierto en la web) y al capítulo concreto al que pertenecía la idea sobre la que se preguntaba. Ahora, sólo ChatGPT 4 consideró como correcta la misma respuesta que el profesor había seleccionado como tal, mientras que las otras tres aplicaciones seguían optando por la seleccionada por el estudiante, al tiempo que indicaban no tener acceso al manual referenciado.

Ante la posibilidad de que los modelos empleados por las aplicaciones de GenIA, del tipo GPT (Generative pre-trained transformer) basados en LLMs, no hubieran “aprendido” en su entrenamiento, el manual recomendado, a pesar de estar disponible en la red en varios formatos accesibles (html, pdf…), el profesor decidió entonces afinar la información sobre el contexto, añadiendo la dirección web desde la que se accedía en abierto al manual. Ahora ChatGPT 3.5 modificó su respuesta para considerar como correcta la seleccionada por el profesor, mientras que Gemini y Tutor Me adujeron no poder acceder al contenido de la dirección web proporcionada.

En la asignatura siempre se había considerado que la impugnación y la revisión debían entenderse como una fase más del proceso de enseñanza y de aprendizaje, en el que se aporten argumentos y explicaciones que sirvan al estudiante para revisar los errores o los malentendidos que pueda haber tenido. Por eso, y con todo lo anterior, en la respuesta que se dio a la estudiante rechazando su pretensión, se emplearon dos argumentos. El principal y más importante, la referencia a los lugares del manual donde se exponía, y se empleaba el enfoque adoptado en la pregunta impugnada. Y, de forma complementaria, se informó a la estudiante sobre el proceso seguido por el profesor de redefinición del prompt planteado a varias aplicaciones de Gen AI, haciendo hincapié en la necesidad de tener en cuenta el contexto en el momento de obtener un conocimiento alternativo por medio de la GenIA.

Imagen de libre uso extraída de Unsplash

3. Algunas enseñanzas para el profesor

No es nada nuevo que los estudiantes acudan a fuentes consideradas como de autoridad, como por ejemplo Wikipedia, para apoyar su estudio y para fundamentar sus reclamaciones. Lo que sí resultó novedoso es el que se apelara a aplicaciones de GenIA, por la reputación que se le atribuye a esta novísima tecnología en términos de disponer de un conocimiento al menos igual que el de las personas especialistas en la materia.

Todo apunta a que esta primera etapa de adopción y difusión de la GenIA en la enseñanza va a ser dirigida o impulsada por la actividad de los estudiantes, lo que hace necesario que éstos comprendan la importancia del contexto a la hora de plantear peticiones a las aplicaciones de GenIA. De ese contexto debe formar parte el libro de texto básico recomendado en su asignatura, más aún cuando se emplean manuales que no comparten las aproximaciones más habituales.

Puede resultar una aproximación útil el incorporar las GenIA generalistas, o las que adoptan un perfil propio de un tutor, en el proceso de enseñanza y de aprendizaje, en la línea de lo sugerido por Kneusel  (2023), Mollick (2024) o Sal Khan en su TED talk de abril de 2023, “How AI could save (not destroy) education”. Por ejemplo, para contrastar aproximaciones teóricas a un mismo concepto o a una relación, construyendo de forma conjunta con los estudiantes prompts que sirvan para proporcionar respuestas coherentes y completas a partir de las cuales orientar su aprendizaje.

En todo caso, es necesario que los estudiantes conozcan las limitaciones del uso de GenIA en cualquier momento de su proceso de estudio y aprendizaje, tanto porque los modelos utilizados por esas aplicaciones pueden devolverles alucinaciones que en nada les van a servir, como porque aún adolecen de limitaciones o lagunas en lo que conocen.

Puede ser una buena estrategia proponer a los estudiantes que pregunten a la GenIA por los conceptos, ideas, y relaciones a estudiar a lo largo del cuatrimestre, y no en el momento de solicitar una revisión, planteado diversas opciones que incluyan o no el contexto en el que se sitúan tales ideas.

En el nuevo escenario que abre la presencia de la GenIA, tal y como se recoge en el reciente informe sobre IA y universidades emanado de la empresa de Mary Meeker (BOND, 2024), conocida por sus predicciones sobre el futuro de Internet, tres pueden ser las formas en que los docentes van a ganar en eficiencia en su faceta de suministradores de formación:

• La disponibilidad de “copilotos” para alumnos y profesores 24 horas al día, 7 días a la semana, en tiempo real.
• La transformación del papel de los profesores, como orientadores y guías.
• Y nuevas posibilidades para optimizar los métodos de enseñanza.

Y esas dos últimas formas cobran especial sentido ante una situación como la descrita, que puede plantearse en cualquier momento del proceso de enseñanza y de aprendizaje, una vez que los estudiantes incorporen a su caja de herramientas la GenIA general: que seamos capaces de transformarnos en orientadores del aprendizaje cuando se utilice GenIA, y de optimizar las formas empleadas para enseñar.

@pedroatamayo www.ptamayo.com

Referencias bibliográficas:

Bond. (2024). AI & Universities report. http://www.bondcap.com

Hernández-León, Nuria & Conde, María José. (2024). Inteligencia artificial aplicada a la educación y la evaluación educativa en la Universidad: introducción de sistemas de tutorización inteligentes, sistemas de reconocimiento y otras tendencias futuras. //Artificial intelligence applied to education and educational assessment at the university: introduction of intelligent tutoring systems, recognition systems, and other future trends.. 24. 10.6018/red.594651.

Kneusel, Ronald T. (2023). How AI works. No Starch Press.

Mollick, Ethan. R. (2024). Co-Intelligence: Living and Working with AI. Portfolio.

#GrandesModelosdeLenguaje #LLM #InteligenciaArtificialGenerativa #Evaluación #MaterialBásicodeAprendizaje #CUED #MiembrosCUED #blogCUED #CátedraUNESCOdeEducaciónaDistancia

Cómo referenciar esta entrada:

Tamayo Lorenzo, P. A. (17 de julio de 2024). La IA dice que el profesor se ha equivocado. Blog CUED. https://blogs.uned.es/cued/blog-cued-la-ia-dice-que-el-profesor-se-ha-equivocado/