Blog CUED. «Pequeños Modelos de Lenguaje (SLM) educativos abiertos: unas notas sobre su potencial para el aprendizaje a distancia»

Blog CUED. «Pequeños Modelos de Lenguaje (SLM) educativos abiertos: unas notas sobre su potencial para el aprendizaje a distancia»

Pedro Antonio Tamayo Lorenzo

«Pequeños Modelos de Lenguaje (SLM) educativos abiertos: unas notas sobre su potencial para el aprendizaje a distancia»

Palabras clave: Pequeños Modelos de Lenguaje (SLM); Inteligencia Artificial Generativa; Educación; Ventajas; Desventajas.

La irrupción de los Grandes Modelos de Lenguaje (LLM, Large Language Models), como ChatGPT, Gemini, Claude o Copilot han generado una revolución en el campo de la Inteligencia Artificial. No obstante, sus requerimientos computacionales y su elevado consumo energético plantean desafíos significativos en términos de sostenibilidad y accesibilidad. En este contexto, los Pequeños Modelos de Lenguaje (SLM, Small Language Models) emergen como una alternativa prometedora, especialmente en el ámbito educativo. Este artículo ofrece un análisis conciso, pero exhaustivo, de los SLM, incluyendo su definición, ejemplos de uso, identificando ventajas y desventajas para el proceso de aprendizaje autónomo a distancia. 

Los SLM se caracterizan por una arquitectura optimizada y un conjunto de parámetros más reducido en comparación con los LLM. Esta característica se traduce en una mayor eficiencia en términos de consumo energético y de recursos computacionales, lo que facilita su implementación en dispositivos con capacidades limitadas y entornos con restricciones de conectividad [1], como pueden ser los centros de internamiento. Además, los SLM permiten un entrenamiento con conjuntos de datos específicos para un área de conocimiento, una asignatura o una modalidad de enseñanza particular, lo que posibilita un aprendizaje más efectivo y relevante para los estudiantes [2]. 

En el contexto educativo, los SLM Educativos Abiertos se refieren a modelos con licencia abierta que pueden ser utilizados, adaptados y compartidos libremente para apoyar la enseñanza y el aprendizaje [3]. Estos modelos combinan componentes de código abierto, incluyendo los pesos del modelo, que pueden ser descargados y ejecutados localmente [3]. Esta característica permite a los docentes y estudiantes no solo utilizar los modelos tal como están construidos, sino también revisarlos, remezclarlos y adaptarlos a sus necesidades específicas, fomentando la creatividad y la experimentación. 

Los SLM están siendo utilizados en diversas áreas de la educación, entre las que destacan: 

  • Asistentes de aprendizaje: las aplicaciones basadas en SLM pueden adaptarse a los estilos y ritmos de aprendizaje individuales, que a modo de tutores virtuales brindan orientación y apoyo personalizados a los estudiantes [4]. Un tutor virtual para cada asignatura o área de conocimiento, junto al estudiante en todo momento.
  • Asistentes de enseñanza: los SLM pueden actuar como asistentes virtuales para los docentes, apoyándolos en tareas como la creación de materiales de aprendizaje, la evaluación de trabajos y la respuesta a preguntas de los estudiantes [5]. 
  • Generación de contenido educativo: los SLM permiten generar contenido educativo personalizado, como ejercicios de práctica, resúmenes de temas y ejemplos de problemas, adaptándose a las necesidades de cada estudiante [6]. 
  • Plataformas de aprendizaje: las plataformas de aprendizaje en línea pueden integrar SLM para ofrecer a los estudiantes una experiencia de aprendizaje más personalizada e interactiva [5]. 

Imagen de libre uso extraída de Unsplash  realizada por Solen Feyissa 

Y en este contexto, la utilización de SLM Educativos Abiertos ofrece una serie de ventajas significativas: 

  • Reducción de costos: los SLM son más económicos de desarrollar, implementar y mantener que los LLM [1]. 
  • Mayor accesibilidad: los SLM se pueden ejecutar en dispositivos con menos recursos, e incluso sin necesidad de contar con conexión a la red, lo que facilita el acceso a la educación para estudiantes en entornos con conectividad limitada (áreas rurales, centros de internamiento con conectividad restringida, dispositivos con conexión reducida) [4]. 
  • Aprendizaje personalizado: los SLM se pueden adaptar a las necesidades individuales de los estudiantes [9]. 
  • Mejora del rendimiento académico: el uso de Recursos Educativos Abiertos (REA), que pueden ser potenciados por SLM, puede mejorar el rendimiento académico de los estudiantes [10]. 
  • Sostenibilidad: los SLM consumen menos energía que los LLM [2]. 
  • Promoción de la colaboración: los SLM, al ser de código abierto, fomentan la colaboración entre educadores e instituciones [11]. 
  • Mayor control y privacidad: la ejecución local de los SLM brinda mayor control sobre los datos y la privacidad de los estudiantes [3]. 

A pesar de sus ventajas, el uso de SLM Educativos Abiertos también presenta algunos desafíos que pueden cuestionar su implantación: 

  • Control de calidad: la calidad de los SLM puede variar, y es crucial contar con mecanismos de evaluación para garantizar su precisión y relevancia [11]. 
  • Falta de interacción humana: el uso de SLM no debería reemplazar la interacción humana entre docentes -en cualquiera de sus funciones- y estudiantes [12]. 
  • Barreras lingüísticas y culturales: es necesario desarrollar SLM en diferentes idiomas y adaptarlos a diversos contextos culturales [12]. 
  • Problemas técnicos: el acceso y uso de SLM puede verse afectado por problemas técnicos [12]. 
  • Cuestiones de propiedad intelectual: es fundamental respetar los derechos de autor al utilizar y compartir SLM [13]. 

En definitiva, hay razones suficientes para considerar que los  SLM Educativos Abiertos poseen un gran potencial para transformar la educación al proporcionar soluciones de aprendizaje más personalizadas, accesibles y sostenibles. Si bien existen desafíos que deben abordarse, las ventajas de los SLM son innegables. A medida que la tecnología continúa evolucionando, es fundamental que las instituciones educativas y los educadores exploren las posibilidades que ofrecen los SLM para mejorar la experiencia de aprendizaje de los estudiantes. 

Referencias bibliográficas:

[1] A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness – arXiv, fecha de acceso: diciembre 20, 2024, https://arxiv.org/abs/2411.03350 

[2] Small language models (SLMs): A cheaper, greener route into AI | UNESCO, fecha de acceso: diciembre 20, 2024, https://www.unesco.org/en/articles/small-language-models-slms-cheaper-greener-route-ai 

[3] Where Open Education Meets Generative AI: OELMs – improving learning, fecha de acceso: diciembre 20, 2024, https://opencontent.org/blog/archives/7628 

[4] Small Language Models: A Guide With Examples – DataCamp, fecha de acceso: diciembre 20, 2024, https://www.datacamp.com/blog/small-language-models 

[5] Merlyn Mind’s education-specific language models, fecha de acceso: diciembre 20, 2024, https://www.merlyn.org/blog/merlyn-minds-education-specific-language-models 

[6] Small Language Models (SLMs) will bring a sustainable future for AI in Education – FE News, fecha de acceso: diciembre 20, 2024, https://www.fenews.co.uk/education/small-language-models-slms-will-bring-a-sustainable-future-for-ai-in-education/ 

[7] Hugging Face Introduces SmolLM: Transforming On-Device AI with High-Performance Small Language Models from 135M to 1.7B Parameters – MarkTechPost, fecha de acceso: diciembre 20, 2024, https://www.marktechpost.com/2024/07/16/hugging-face-introduces-smollm-transforming-on-device-ai-with-high-performance-small-language-models-from-135m-to-1-7b-parameters/ 

[8] Tiny but mighty: The Phi-3 small language models with big potential – Microsoft News, fecha de acceso: diciembre 20, 2024, https://news.microsoft.com/source/features/ai/the-phi-3-small-language-models-with-big-potential/ 

[9] Pros and Cons of OER – Centre for Teaching and Learning, fecha de acceso: diciembre 20, 2024, https://ctl.uregina.ca/pros-and-cons-of-oer 

[10] Benefits of Using OER – OER and Low-Cost Materials at Penn State |, fecha de acceso: diciembre 20, 2024, https://oer.psu.edu/benefits-of-using-oer/ 

[11] Unleashing The Potential Of OER: The Advantages And Challenges Of Open Learning Materials – eLearning Industry, fecha de acceso: diciembre 20, 2024, https://elearningindustry.com/unleashing-the-potential-of-oer-the-advantages-and-challenges-of-open-learning-materials 

[12] Open Educational Resources: Pros and Cons – UMGC Library, fecha de acceso: diciembre 20, 2024, https://libguides.umgc.edu/c.php?g=23404&p=138771 

[13] Pros/Cons and Evaluating OERs | Open Educational Resources at University of the Pacific, fecha de acceso: diciembre 20, 2024, https://scholarlycommons.pacific.edu/oer/pro-con-oer.html 

#PequeñosModelosdeLenguaje #SLM #InteligenciaArtificialGenerativa #Educación #Ventajas; #Desventajas #CUED #MiembrosCUED #blogCUED #CátedraUNESCOdeEducaciónaDistancia

Puedes encontrar más información de la autora/autor en:

@pedroatamayo www.ptamayo.com

Cómo referenciar esta entrada:

Tamayo Lorenzo, P. A. (22 de enero de 2025). Pequeños Modelos de Lenguaje (SLM) en educación: un análisis de su potencial y desafíos. Blog CUED.

beenhere

Pedro Antonio Tamayo Lorenzo

Pedro A. Tamayo es Profesor Titular de universidad, en el área de Economía Aplicada, y pertenece al Departamento de Economía Aplicada y Gestión Pública desde su creación. Es Licenciado en Derecho (Universidad Complutense), Doctor en Ciencias Económicas (UNED), MSc in Economic and Social Policy Analysis (University of York, Reino Unido), y Master en Economía de la Salud (Escuela Nacional de Sanidad, Instituto de Salud Carlos III). Ha desarrollado su actividad docente en las asignaturas de Economía Política (Grado en Derecho); y Economía del Estado del Bienestar (Grado en Derecho). Desde el curso 2024-2025 se encarga de coordinar la asignatura Economía Política I, del Grado en CCJJAAPP de la Facultad de Derecho, de la UNED. Es Coordinador del Máster Universitario en Administración Sanitaria (MUAS) que se imparte conjuntamente con la Escuela Nacional de Sanidad. Desde febrero de 2022 y hasta febrero de 2023 desempeñó las funciones de Director del Departamento de Economía Aplicada y Gestión Pública, de la Facultad de Derecho de la UNED. Su actividad investigadora se ha centrado en el estudio de la equidad en la descentralización de las funciones sanitarias a las Comunidades Autónomas, aunque su verdadero interés se dirige hacia el desarrollo de contenidos y de materiales para la docencia y el aprendizaje de Economía en su nivel introductorio (e-learning y enseñanza a distancia). Desde 2021 forma parte del Consejo Académico de la Cátedra UNESCO de Educación a Distancia de la UNED.

Loading