{"id":18061,"date":"2024-07-16T09:08:56","date_gmt":"2024-07-16T07:08:56","guid":{"rendered":"https:\/\/blogs.uned.es\/cued\/?p=18061"},"modified":"2024-07-18T15:36:25","modified_gmt":"2024-07-18T13:36:25","slug":"blog-cued-la-ia-dice-que-el-profesor-se-ha-equivocado","status":"publish","type":"post","link":"https:\/\/blogs.uned.es\/cued\/blog-cued-la-ia-dice-que-el-profesor-se-ha-equivocado\/","title":{"rendered":"Blog CUED. \u00abLa IA dice que el profesor se ha equivocado\u201d"},"content":{"rendered":"\n

Pedro Antonio Tamayo Lorenzo<\/strong><\/p>\n\n\n\n

\u00abLa IA dice que el profesor se ha equivocado<\/strong>\u00ab<\/h2>\n\n\n\n

<\/p>\n\n\n\n

Palabras clave: <\/strong>Grandes Modelos de Lenguaje (LLM); Inteligencia Artificial Generativa; Evaluaci\u00f3n; Material b\u00e1sico de aprendizaje.<\/p>\n\n\n\n

\u201cLa promesa de la IA es hacer posible un nuevo arte de ense\u00f1ar que mejore la capacidad de pensar y razonar de los alumnos, dejando que la IA se encargue de la mayor parte del procesamiento: un verdadero aprendizaje `humano en el bucle\u00b4<\/em> \u201c (BOND, 2024)<\/p>\n\n\n\n

1. El punto de partida: GenIA dice que el profesor est\u00e1 equivocado<\/strong><\/p>\n\n\n\n

Carmen (nombre ficticio) estudia en una Universidad a Distancia, y en su tercer a\u00f1o debe seguir un curso obligatorio, no elegido por ella, sobre una materia que se estudia una sola vez en su Grado, y con la no se vuelve a tener contacto en el resto del Grado. Al tratarse de un Grado a distancia, los estudiantes siguen un proceso de aprendizaje aut\u00f3nomo a partir de los materiales que en forma de manuales selecciona el equipo docente de la asignatura.<\/p>\n\n\n\n

Carmen ha realizado el examen final de la asignatura, y como no eligi\u00f3 la v\u00eda de evaluaci\u00f3n continua -se trata de un camino evaluativo optativo- su calificaci\u00f3n final estar\u00e1 formada exclusivamente por la que obtenga en el examen. El examen consta de 20 preguntas de elecci\u00f3n m\u00faltiple, con tres respuestas propuestas para cada pregunta, y donde s\u00f3lo una de ellas se considera como la m\u00e1s correcta de acuerdo siempre con el material b\u00e1sico de aprendizaje. Y as\u00ed se advierte en las instrucciones que acompa\u00f1an al examen.<\/p>\n\n\n\n

Una vez conocida su calificaci\u00f3n, Carmen pide la revisi\u00f3n de su nota, para lo que solicita el inicio del proceso de revisi\u00f3n de acuerdo con la normativa de la Universidad. Entre otras cosas, se le exige que su petici\u00f3n se fundamente en argumentos relacionados con el contenido de la asignatura. Y as\u00ed impugna una \u00fanica pregunta \u2013si se le concede su solicitud, aprobar\u00eda con ella el examen y la asignatura\u2013.<\/p>\n\n\n\n

El argumento empleado por Carmen para impugnar esa pregunta se expresaba en los siguientes t\u00e9rminos: que ha consultado a varias aplicaciones de GenIA por la respuesta m\u00e1s correcta a esa pregunta, y que esas aplicaciones han dado como correcta la que ella marc\u00f3 en el examen, y no la que el equipo docente consider\u00f3 como v\u00e1lida.<\/p>\n\n\n\n

La respuesta considerada como m\u00e1s correcta por el profesor se recoge de forma expresa en el manual seleccionado como texto b\u00e1sico por el equipo docente, como idea o paradigma del enfoque adoptado por dicho texto para explicar lo relativo a un determinado tema (en algunos aspectos el manual seleccionado se aleja de los planteamientos m\u00e1s habituales en la materia, al menos tal y como se recogen en los libros de texto m\u00e1s difundidos).<\/p>\n\n\n\n

Posiblemente, Carmen estudi\u00f3 para el examen usando otros materiales de aprendizaje distintos del manual b\u00e1sico recomendado, algo habitual cuando se trata de asignaturas generales, para las que existe en la red una gran variedad de recursos, como res\u00famenes, v\u00eddeos, textos en abierto, Wikipedia, etc.<\/p>\n\n\n\n

2. Revisi\u00f3n de la pregunta con IA<\/strong><\/p>\n\n\n\n

La situaci\u00f3n resultaba completamente novedosa por ser la primera ocasi\u00f3n en que el profesor de la asignatura, con varias d\u00e9cadas de experiencia en la ense\u00f1anza a distancia de esa asignatura, recib\u00eda una solicitud en la que se confrontaba su conocimiento con el de una m\u00e1quina (en este caso, con modelos de GenIA basados en Grandes Modelos de Lenguaje, LLMs del ingl\u00e9s Large Language Models<\/em>). Una vez superada la primera impresi\u00f3n de perplejidad, e incluso de cierta inseguridad por el argumento esgrimido por la estudiante \u2013la GenIA dec\u00eda que se hab\u00eda equivocado\u2013 el profesor decidi\u00f3 verificar si realmente hab\u00eda cometido tal error en la consideraci\u00f3n de la respuesta m\u00e1s correcta.<\/p>\n\n\n\n

En primer lugar, el profesor verific\u00f3 que el enfoque adoptado por el manual b\u00e1sico de la asignatura, cuyo contenido era el que se esperaba que los estudiantes conocieran y sobre el que deb\u00edan ser evaluados, respond\u00eda a la respuesta considerada por \u00e9l como la m\u00e1s correcta. Y que, de hecho, al inicio del cap\u00edtulo correspondiente se anunciaba tal enfoque expresado en t\u00e9rminos casi literalmente id\u00e9nticos a los de la respuesta impugnada.<\/p>\n\n\n\n

A continuaci\u00f3n, someti\u00f3 la pregunta impugnada a las aplicaciones de GenIA generalista m\u00e1s difundidas (ChatGPT 3.5, ChatGPT 4, y Gemini) junto con la espec\u00edfica de educaci\u00f3n Tutor Me<\/em> de Khan Academy, proporcionando las tres respuestas planteadas como alternativas.<\/p>\n\n\n\n

En una primera consulta o prompt<\/em>, se plante\u00f3 la pregunta en los mismos t\u00e9rminos en que se recog\u00eda en el examen, sin a\u00f1adir ning\u00fan elemento nuevo. Las respuestas de las aplicaciones de GenIA a esa primera consulta, consistieron, con diferencias en su expresi\u00f3n, en considerar como correcta la respuesta seleccionada por la estudiante, y no la elegida por el profesor.<\/p>\n\n\n\n

\u00bfEra posible que los modelos necesitaran de informaci\u00f3n adicional sobre el contexto en el que deb\u00edan decidir y responder a la pregunta formulada? As\u00ed, el profesor decidi\u00f3 reformular el prompt<\/em> para incluir ese contexto que, en su opini\u00f3n, no era otro que el contenido del manual empleado en su asignatura. Para ello a\u00f1adi\u00f3 el nombre del manual empleado en la asignatura (al que se puede acceder en abierto en la web) y al cap\u00edtulo concreto al que pertenec\u00eda la idea sobre la que se preguntaba. Ahora, s\u00f3lo ChatGPT 4 consider\u00f3 como correcta la misma respuesta que el profesor hab\u00eda seleccionado como tal, mientras que las otras tres aplicaciones segu\u00edan optando por la seleccionada por el estudiante, al tiempo que indicaban no tener acceso al manual referenciado.<\/p>\n\n\n\n

Ante la posibilidad de que los modelos empleados por las aplicaciones de GenIA, del tipo GPT (Generative pre-trained transformer<\/em>) basados en LLMs, no hubieran \u201caprendido\u201d en su entrenamiento, el manual recomendado, a pesar de estar disponible en la red en varios formatos accesibles (html, pdf\u2026), el profesor decidi\u00f3 entonces afinar la informaci\u00f3n sobre el contexto, a\u00f1adiendo la direcci\u00f3n web desde la que se acced\u00eda en abierto al manual. Ahora ChatGPT 3.5 modific\u00f3 su respuesta para considerar como correcta la seleccionada por el profesor, mientras que Gemini y Tutor Me adujeron no poder acceder al contenido de la direcci\u00f3n web proporcionada.<\/p>\n\n\n\n

En la asignatura siempre se hab\u00eda considerado que la impugnaci\u00f3n y la revisi\u00f3n deb\u00edan entenderse como una fase m\u00e1s del proceso de ense\u00f1anza y de aprendizaje, en el que se aporten argumentos y explicaciones que sirvan al estudiante para revisar los errores o los malentendidos que pueda haber tenido. Por eso, y con todo lo anterior, en la respuesta que se dio a la estudiante rechazando su pretensi\u00f3n, se emplearon dos argumentos. El principal y m\u00e1s importante, la referencia a los lugares del manual donde se expon\u00eda, y se empleaba el enfoque adoptado en la pregunta impugnada. Y, de forma complementaria, se inform\u00f3 a la estudiante sobre el proceso seguido por el profesor de redefinici\u00f3n del prompt<\/em> planteado a varias aplicaciones de Gen AI, haciendo hincapi\u00e9 en la necesidad de tener en cuenta el contexto en el momento de obtener un conocimiento alternativo por medio de la GenIA.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Imagen de libre uso extra\u00edda de Unsplash<\/em><\/p>\n\n\n\n

3. Algunas ense\u00f1anzas para el profesor<\/strong><\/p>\n\n\n\n

No es nada nuevo que los estudiantes acudan a fuentes consideradas como de autoridad, como por ejemplo Wikipedia, para apoyar su estudio y para fundamentar sus reclamaciones. Lo que s\u00ed result\u00f3 novedoso es el que se apelara a aplicaciones de GenIA, por la reputaci\u00f3n que se le atribuye a esta nov\u00edsima tecnolog\u00eda en t\u00e9rminos de disponer de un conocimiento al menos igual que el de las personas especialistas en la materia.<\/p>\n\n\n\n

Todo apunta a que esta primera etapa de adopci\u00f3n y difusi\u00f3n de la GenIA en la ense\u00f1anza va a ser dirigida o impulsada por la actividad de los estudiantes, lo que hace necesario que \u00e9stos comprendan la importancia del contexto a la hora de plantear peticiones a las aplicaciones de GenIA. De ese contexto debe formar parte el libro de texto b\u00e1sico recomendado en su asignatura, m\u00e1s a\u00fan cuando se emplean manuales que no comparten las aproximaciones m\u00e1s habituales.<\/p>\n\n\n\n

Puede resultar una aproximaci\u00f3n \u00fatil el incorporar las GenIA generalistas, o las que adoptan un perfil propio de un tutor, en el proceso de ense\u00f1anza y de aprendizaje, en la l\u00ednea de lo sugerido por Kneusel  (2023), Mollick (2024) o Sal Khan en su TED talk de abril de 2023, \u201cHow AI could save (not destroy) education<\/a>\u201d. Por ejemplo, para contrastar aproximaciones te\u00f3ricas a un mismo concepto o a una relaci\u00f3n, construyendo de forma conjunta con los estudiantes prompts<\/em> que sirvan para proporcionar respuestas coherentes y completas a partir de las cuales orientar su aprendizaje.<\/p>\n\n\n\n

En todo caso, es necesario que los estudiantes conozcan las limitaciones del uso de GenIA en cualquier momento de su proceso de estudio y aprendizaje, tanto porque los modelos utilizados por esas aplicaciones pueden devolverles alucinaciones<\/em> que en nada les van a servir, como porque a\u00fan adolecen de limitaciones o lagunas en lo que conocen.<\/p>\n\n\n\n

Puede ser una buena estrategia proponer a los estudiantes que pregunten a la GenIA por los conceptos, ideas, y relaciones a estudiar a lo largo del cuatrimestre, y no en el momento de solicitar una revisi\u00f3n, planteado diversas opciones que incluyan o no el contexto en el que se sit\u00faan tales ideas.<\/p>\n\n\n\n

En el nuevo escenario que abre la presencia de la GenIA, tal y como se recoge en el reciente informe sobre IA y universidades emanado de la empresa de Mary Meeker (BOND, 2024), conocida por sus predicciones sobre el futuro de Internet, tres pueden ser las formas en que los docentes van a ganar en eficiencia en su faceta de suministradores de formaci\u00f3n:<\/p>\n\n\n\n