9.2.art7

Desarrollo de un Chatbot con Inteligencia Artificial para orientación vocacional según el perfil competencial de estudiantes de tercero bachillerato

Development of a Chatbot with Artificial Intelligence for Career Guidance Based on the Competency Profile of Third-Year High School Students

*Fernando Ericsson Montoya Naguas

Fausto Fabián Redrován Castillo

Freddy Aníbal Jumbo Castillo

Autores

Carlos Elian Lalangui Flores

Universidad Técnica de Machala, Facultad de Ingeniería Civil, Carrera de Tecnologías de la Información, Machala, El Oro, Ecuador.

*Autor para correspondencia

Comó citar el artículo:

Montoya Naguas, F.E., Lalangui Flores, C.E., Redrován Castillo, F.F. & Jumbo Castillo, F.A. (2025). Desarrollo de un Chatbot con Inteligencia Artificial para orientación vocacional según el perfil competencial de estudiantes de tercero bachillerato, Informática y Sistemas 9(2), pp. 184-196. https://doi.org/10.33936/isrtic.v9i2.7907

Enviado: 27/09/2025

Aceptado: 11/11/2025

Publicado: 18/11/2025

clalangui1@utmachala.edu.ec

fredrovan@utmachala.edu.ec

fjumbo@utmachala.edu.ec

fmontoya1@utmachala.edu.ec

Resumen

Este artículo presenta el diseño e implementación de un chatbot con inteligencia artificial creado para apoyar la orientación vocacional de estudiantes de tercer año de bachillerato en Ecuador, la iniciativa responde ante la escasez de especialistas en orientación vocacional y la escasa disponibilidad de plataformas tecnológicas que faciliten este proceso en los colegios. El sistema ofrece sugerencias ajustadas al perfil de cada estudiante y a la oferta académica de la Universidad Técnica de Machala (UTMACH), empleando el modelo de lenguaje Deepseek y técnicas de ingeniería en prompts para interpretar respuestas abiertas y valorar sus competencias de acuerdo con el currículo priorizado del Ministerio de Educación. El desarrollo del chatbot se realizó siguiendo la metodología ágil Scrum, para evaluar su efectividad, se aplicó un estudio cuasiexperimental con 351 estudiantes, cuyos resultados fueron contrastados con el test vocacional de la SENESCYT. La comparación evidenció una coincidencia del 80.1% entre ambos instrumentos y una clara preferencia de los estudiantes por el chatbot: el 76% valoró positivamente la interacción conversacional, la claridad de las preguntas y la pertinencia de las recomendaciones, destacando además la accesibilidad de la herramienta. De acuerdo con la hipótesis planteada, los hallazgos confirman que el Chatbot puede emplearse como alternativa válida al test SENESCYT, complementando los procesos tradicionales de orientación vocacional. Aunque se reconocen limitaciones como el muestreo no probabilístico y la ausencia de aprendizaje continuo en el modelo de IA, la herramienta demuestra un potencial significativo para democratizar el acceso a recomendaciones vocacionales personalizadas en el contexto educativo ecuatoriano.

Palabras clave: Orientación vocacional; Inteligencia artificial; Chatbot; Educación; Competencias.

Abstract

This article presents the design and implementation of an artificial intelligence-based chatbot developed to provide personalized career guidance to senior high school students in Ecuador. The tool addresses the limited availability of vocational guidance professionals and the lack of interactive technological platforms in educational institutions, offering recommendations aligned with students’ individual competencies and the academic programs of the Technical University of Machala (UTMACH). The system leverages the Deepseek language model and prompt-engineering strategies to process open-ended responses, assessing mathematical, digital, communication, and socio-emotional skills in accordance with the prioritized curriculum established by the Ministry of Education. The chatbot was developed following the agile Scrum methodology, and its effectiveness was evaluated through a quasi-experimental study with 351 participants. The recommendations generated by the chatbot were compared with those of the official SENESCYT vocational test. Results revealed an 80.1% agreement between the two methods, highlighting the chatbot’s clarity, empathy, and perceived usefulness. Furthermore, 76% of the students expressed a preference for the AI-driven system, valuing in particular the conversational interaction, accessibility, and relevance of the recommendations. In line with the stated hypothesis, the findings confirm that the chatbot can serve as a valid alternative to the SENESCYT test, complementing traditional vocational guidance practices. Although limitations such as non-probability sampling and the absence of continuous learning in the AI model are acknowledged, the system demonstrates significant potential to democratize access to personalized career recommendations within the Ecuadorian educational context.

Keywords: Vocational Guidance; Artificial Intelligence; Chatbot; Education; Competencies.

184

1. Introduction

Durante los últimos años, la orientación vocacional ha emergido como una dificultad para los sistemas educativos, especialmente en países como Ecuador, donde muchos estudiantes de bachillerato afrontan decisiones sobre su desarrollo académico sin contar con el acompañamiento necesario. La limitada disponibilidad de profesionales con formación suficiente en orientación vocacional y la falta de herramientas tecnológicas efectivas en los centros educativos, como software educativo, plataformas interactivas y sistemas de evaluación de intereses y habilidades, restringen el acceso a un asesoramiento adecuado, lo que puede derivar en decisiones desinformadas, abandono de carreras y baja satisfacción profesional (Erazo & Rosero, 2021; Torres-Sevillano et al., 2025).

Actualmente se conoce varios avances sobre la inteligencia artificial (IA), esto ha permitido abrir nuevas posibilidades en el ámbito educativo, debido a que existen herramientas como el procesamiento de lenguaje natural (PLN) y el aprendizaje automático, gracias a esto se ha facilitado el desarrollo de chatbots capaces de simular conversaciones humanas y recopilar información en tiempo real para ofrecer respuestas personalizadas a cada usuario (Caldarini et al., 2022; Debets et al., 2025; Phuttawong & Chatwattana, 2025). Además, estas herramientas representan un recurso valioso para ampliar el acceso a la orientación vocacional debido a que permite acompañar a un gran número de estudiantes sin depender de la presencia constante de un orientador (Davar et al., 2025). De igual manera, investigaciones recientes señalan que los chatbots educativos no solo cumplen con la función del apoyo conversacional, sino que también favorecen la autorregulación y el aprendizaje autónomo de los estudiantes (Haristiani et al., 2022; Labadze et al., 2023; Lee et al., 2025; Lucana & Roldan, 2023; Okonkwo & Ade-Ibijola, 2021).

Actualmente, el sistema educativo ecuatoriano utiliza como herramienta principal el test vocacional de la SENESCYT, una prueba estática con afirmaciones cerradas que requiere interpretación profesional para emitir diagnóstico (Ministerio de Educación del Ecuador, 2025). Si bien ha sido útil, su aplicación masiva sin retroalimentación inmediata limita la personalización del proceso. Como alternativa, se realizó una investigación en la Universidad Técnica de Machala (UTMACH) para el desarrollo de un test vocacional basado en aptitudes con elementos de IA, pero carece de interacción dinámica (Mayon & Ruiz, 2024), y hasta la actualidad no se ha aplicado.

En este contexto, el presente estudio introduce un enfoque innovador al proponer un chatbot vocacional inteligente que no solo reproduce procesos de recomendación automatizados, sino que incorpora una capa de análisis contextual y conversacional, a diferencia de los sistemas previos, que se limitan a la clasificación de respuestas cerradas o análisis de patrones, el chatbot desarrollado combina las competencias del Currículo Nacional Priorizado con los valores institucionales JIS (Justicia, Innovación y Solidaridad), generando recomendaciones más interpretativas y personalizadas, dado que este enfoque busca demostrar que la orientación vocacional puede ser asistida por IA sin sustituir la reflexión humana, sino potenciándola mediante diálogo y análisis.

Hasta la fecha, no se han documentado estudios en Ecuador que comparen directamente la efectividad de un chatbot vocacional con el test tradicional de la SENESCYT, lo que resalta la oportunidad de evaluar la pertinencia, coherencia y aceptación de las recomendaciones generadas por sistemas basados en inteligencia artificial en programas de orientación vocacional (Jaramillo, 2024). Estudios internacionales ya han explorado esta línea, comparando la efectividad de chatbots frente a evaluaciones tradicionales en contextos educativos (Toscu, 2024).

Frente a estas limitaciones, se propone como alternativa el desarrollo de un chatbot vocacional inteligente capaz de interactuar de manera directa con los estudiantes mediante lenguaje natural. A diferencia de las pruebas tradicionales, esta herramienta recopila información abierta relacionada con intereses, pasatiempos, aspiraciones y habilidades, lo que le permite valorar competencias comunicativas, matemáticas, digitales y socioemocionales de acuerdo con el currículo priorizado del Bachillerato Ecuatoriano. Asimismo, integra principios vinculados al perfil de egreso estudiantil como la justicia, la innovación y la solidaridad (Ministerio de Educación del Ecuador, 2025), ofreciendo de esta forma recomendaciones más integrales y contextualizadas.

En términos teóricos, esta investigación refuerza la relación entre las competencias evaluadas por el chatbot y los estándares del currículo priorizado, explicando cómo dichas competencias se operacionalizan en las preguntas generadas por IA, por ejemplo, los ítems orientados al razonamiento numérico permiten observar el dominio de la competencia matemática, mientras que las respuestas reflexivas o empáticas revelan dimensiones socioemocionales de esta manera la estructura de análisis posibilita una evaluación más flexible y contextual que los métodos tradicionales de opción múltiple. No obstante, es necesario reconocer las posibles limitaciones éticas y pedagógicas del uso de IA en la orientación vocacional, entre ellas la dependencia tecnológica, la interpretación algorítmica de respuestas humanas y el riesgo de sesgo en las recomendaciones, por tal motivo, el presente trabajo asume un enfoque responsable, considerando al chatbot como un apoyo complementario al juicio humano, no como un sustituto del orientador educativo.

1.1. Hipótesis Central

La implementación de un chatbot basado en inteligencia artificial incide en la precisión y personalización de las recomendaciones vocacionales para la selección de una carrera universitaria en estudiantes de tercero de bachillerato, igual o mejor de cómo lo hace un test estandarizado como sería el de la SENESCYT.

1.2. Objetivo General

Diseñar e implementar un chatbot vocacional inteligente alineado con el currículo priorizado con énfasis en competencias del Bachillerato Ecuatoriano y la oferta académica de la Universidad Técnica de Machala (UTMACH).

1.3. Objetivos Específicos

1. Recolectar información clave sobre la orientación vocacional en los colegios del país y la formación escolar basada en competencias, con el fin de establecer una base teórica y contextual para el desarrollo del chatbot.

2. Identificar los requerimientos funcionales y técnicos necesarios para la creación del chatbot, tomando como referencia el currículo nacional priorizado con énfasis en competencias.

3. Codificar y desarrollar el chatbot vocacional conforme a los requerimientos establecidos, garantizando su correcta integración con los objetivos del estudio.

4. Evaluar la pertinencia y coherencia de las recomendaciones emitidas por el chatbot en comparación con el test vocacional tradicional aplicado por la SENESCYT.

5. Analizar la percepción de los estudiantes sobre la utilidad, claridad y aceptación del sistema como herramienta de apoyo en la toma de decisiones académicas.

1.4. Descripción del Estudio

El estudio se orienta al diseño, desarrollo e implementación de este chatbot, alineado con la oferta académica de la Universidad Técnica de Machala (UTMACH), y a la evaluación de su efectividad frente al test vocacional de la SENESCYT. Para ello, se recurrió a un diseño cuasiexperimental con la participación de 351 estudiantes de tercer año de bachillerato, analizando tanto la coherencia de las recomendaciones emitidas como la percepción de los usuarios respecto a la utilidad y funcionalidad del sistema. Esta metodología permitió valorar la pertinencia de la herramienta en comparación con el test tradicional, considerando aspectos de validez y aceptación estudiantil.

A partir de ello, surgió la siguiente pregunta de investigación:

¿Puede un sistema conversacional basado en inteligencia artificial generar recomendaciones vocacionales pertinentes y aceptadas por los estudiantes, comparables con lo ofrecido por un test tradicional?

2. Materiales y Métodos

La investigación se diseñó bajo un enfoque mixto que combinó técnicas cualitativas y cuantitativas, orientadas a examinar la funcionalidad técnica del chatbot vocacional y, al mismo tiempo, la aceptación que generó entre los estudiantes. El estudio es de tipo correlacional descriptivo, al centrarse en establecer el grado de coincidencia entre las recomendaciones generadas por el sistema conversacional y las del test tradicional, así como describir la percepción del usuario.

La investigación se aplicó en tres instituciones educativas: Unidad Educativa Particular “Hermano Miguel” (Machala, El Oro), Unidad Educativa Particular “Divino Niño” y la Unidad Educativa “Ponce Enríquez”, ambas ubicadas en Camilo Ponce Enríquez, Azuay, en las dos primeras instituciones, el proceso de aplicación se realizó en un solo día, mientras que en la Unidad Educativa “Ponce Enríquez” se extendió por aproximadamente un mes, debido a la disponibilidad de los estudiantes, quienes se encontraban en prácticas académicas.

Antes de la aplicación del test SENESCYT y del chatbot, se solicitó autorización a las autoridades de cada institución educativa mediante oficios oficiales, explicando el objetivo del estudio, la voluntariedad de la participación y la seguridad de la información recopilada. La colaboración de los alumnos se realizó respetando estas directrices y bajo supervisión de los investigadores.

2.1 Diseño metodológico

Se adopta un diseño cuasiexperimental con grupo único, complementado con un grupo control, lo cual permite fortalecer el análisis comparativo bajo condiciones de aplicación similares. La muestra total se compone de 351 estudiantes del tercer año de bachillerato de instituciones educativas en Ecuador, que realizaron el test SENESCYT y luego interactuaron con el Chatbot.

El muestreo fue no probabilístico por conveniencia, acorde con la disponibilidad institucional, aunque se reconoce que una muestra más representativa podría mejorar la generalización de los resultados.

Cada estudiante del grupo experimental participó en tres etapas consecutivas:

• Primera Fase: Realización del test vocacional de la SENESCYT.

• Segunda Fase: Interacción con el chatbot potenciado con inteligencia artificial.

• Tercera Fase: Aplicación de un test de percepción con escala de Likert.

La encuesta tuvo como meta evaluar los siguientes puntos: claridad de las preguntas, facilidad de uso del chatbot, relevancia de las recomendaciones recibidas, disposición a recomendar la herramienta a otros estudiantes y nivel de satisfacción sobre la herramienta.

Igualmente, se documentó observaciones directas durante la interacción con el chatbot para enriquecer el análisis cualitativo.

2.1.1 Validación previa del chatbot

Antes de la aplicación masiva, se realizaron pruebas internas del sistema por parte de los investigadores para verificar el funcionamiento del chatbot, asegurando la correcta generación de preguntas, la coherencia de las recomendaciones y el adecuado desempeño de la interacción, esta revisión permitió detectar y corregir errores técnicos y optimizar la usabilidad antes de la aplicación con los estudiantes.

2.2.2 Condiciones de aplicación

Los instrumentos fueron aplicados en aulas equipadas con computadoras de escritorio provistas por cada institución y se garantizó una conexión a internet estable durante la interacción con el chatbot y el test digital SENESCYT. Los estudiantes realizaron las pruebas de manera individual, bajo supervisión de los investigadores, en un ambiente controlado y sin interrupciones externas, con el fin de mantener la validez ecológica del estudio, cada sesión tuvo una duración aproximada de 40 a 60 minutos, y el número de estudiantes por aula no superó los 25 para asegurar un seguimiento adecuado durante la interacción.

2.2 Técnica de análisis

Análisis cuantitativo

Con la finalidad de examinar el parecido entre las recomendaciones brindadas por ambos instrumentos, se elaboraron cálculos de frecuencia absoluta, porcentajes y medidas de tendencia central, para ello se realizó: Una prueba de hipótesis para lograr identificar diferencias significativas entre ambos grupos y una prueba de Equivalencia TOST (Two One-Sided Tests) que permitirá identificar si las recomendaciones de ambas herramientas son estadísticamente similares.

Análisis cualitativo

Se lo realizó bajo un proceso de codificación abierta, seguido de una categorización temática de los resultados obtenidos durante las encuestas y observación directa, las dimensiones evaluadas incluyeron empatía, claridad en la comunicación, percepción de utilidad y facilidad de interacción. Por último, el análisis se lo realizó de manera colaborativa por los investigadores, quienes llevaron a cabo revisiones iterativas para poder asegurar la coherencia en la interpretación y minimizar posibles sesgos.

Variables de estudio

2.3 Secuencia de procedimiento

El procedimiento se organizó basándose en un orden dispuesto:

• Aplicación del test SENESCYT (a todos los estudiantes).

• Interacción con el chatbot (solo grupo experimental).

• Encuesta de percepción.

• Observación directa sobre la interacción.

• Recolección de datos en Google Sheets.

• Análisis comparativo.

Cada una de las reuniones fue supervisada por ambos investigadores y gestionada por paralelo, con el propósito de poder mostrar de manera precisa cómo los estudiantes interactuaron con el chatbot y cómo este generó cada una de sus recomendaciones, a continuación, el diagrama funcional que enmarca este proceso se presenta en la Figura 1.

2.4 Estructura del sistema

El Chatbot se diseñó con una arquitectura modular y escalable para futuras actualizaciones:

• Frontend (Angular): Interfaz del usuario con almacenamiento temporal en localStorage.

• Backend (Node.js): Lógica del servidor y conexión con APIs externas.

• Motor IA (DeepSeek): Análisis semántico y generación de recomendaciones con ingeniería de prompts.

• Base de datos de carreras: Vinculación con la oferta académica oficial de la UTMACH.

• Google Sheets API: Almacenamiento automático de los resultados.

• Funciones adicionales: Guardado de la conversación (PDF/Copia en portapapeles).

2.4.1 Seguridad de datos

Para garantizar una gestión adecuada y la protección de la información manejada por el sistema, se implementaron validaciones tanto en el backend como en el frontend, a pesar de que la aplicación no procesa ni gestiona información personal sensible.

• Validaciones en el Backend

Prevención de duplicados:

En las rutas de la API (/api/chat, /api/opinion y /api/guardar-resultado), cada solicitud se procesa de manera controlada, evitando almacenar o reenviar datos duplicados.

Manejo seguro de errores

Se utiliza try/catch en cada endpoint para capturar excepciones y devolver mensajes genéricos al cliente. Esto evita exponer detalles internos del servidor (como trazas de error completas) que podrían representar un riesgo de seguridad.

Control de acceso mediante CORS:

Se habilitó cors() en Express para definir qué orígenes tienen permitido interactuar con la API. Esta medida previene solicitudes no autorizadas desde otros dominios.

• Validaciones en el Frontend

Filtrado de conversaciones antes de guardar:

El servicio ChatStorageService realiza un filtrado previo, cada vez que se guarda una conversación en localStorage:

• Lee todas las conversaciones existentes desde el navegador.

• Filtra la que pertenece al mismo usuario para evitar duplicación.

• Limpia los mensajes eliminando campos como html, reduciendo el riesgo de inyección de código.

• Guarda solo la versión actualizada y validada.

Normalización de datos:

Se comparan los nombres de usuario de manera insensible a mayúsculas/minúsculas y espacios en blanco, evitando duplicaciones por variaciones de escritura (por ejemplo, “Juan” y “juan”).

2.5 Desglose de sprints y cronograma

Se utilizaron 6 sprints de 2 semanas cada uno, conforme al marco de trabajo ágil Scrum. Cada sprint tuvo entregables definidos. Se incorporaron indicadores de evaluación por sprint, como porcentaje de tareas completadas, tiempo de respuesta del sistema y satisfacción del usuario.

Sprint 1 – Diseño estructural y flujo conversacional

Duración: 2 semanas

Objetivo principal: Construcción de la interfaz inicial y la lógica básica de conversación.

Fundamento:

Se evaluaron las habilidades en comunicación, matemáticas, competencias digitales y socioemocionales de los estudiantes según la rama común del bachillerato, con el propósito de elaborar preguntas abiertas alineadas a las directrices del currículo priorizado establecido por el Ministerio de Educación del Ecuador.

Tareas:

• Revisión del currículo priorizado centrado en las competencias clave de los estudiantes.

• Diseño de preguntas abiertas (sin IA).

• Desarrollo de la interfaz en Angular.

• Simulación del flujo conversacional con preguntas estáticas.

• Pruebas de navegación y usabilidad.

Entregables:

• Interfaz funcional inicial.

• Flujo conversacional simulado con preguntas estáticas.

• Primeras pruebas de interacción con el sistema.

Sprint 2 – Integración de la inteligencia artificial (DeepSeek) en el sistema de chat.

Duración: 2 semanas

Objetivo principal: Realizar la integración de DeepSeek para evaluar las respuestas de los estudiantes y generar preguntas de manera adaptativa según sus intereses.

Fundamento:

Se escogió Deepseek por su capacidad de interpretar respuestas abiertas, formular preguntas personalizadas y entregar recomendaciones alineadas con el perfil de cada estudiante.

Tareas:

• Construcción de prompts dinámicos.

• Conexión con DeepSeek.

• Sustitución de preguntas estáticas por generación automatizada.

• Procesamiento de respuestas y generación de recomendaciones.

• Validaciones funcionales y de seguridad.

Entregables:

• Flujo de interacción completamente adaptable según las respuestas de los alumnos.

• Recomendaciones vocacionales personalizadas según el perfil de cada estudiante.

Sprint 3 – Desarrollo de un flujo de interacción adaptativo y eficiente

Duración: 2 semanas

Objetivo principal: Mejorar la experiencia de interacción, asegurando que las respuestas sean coherentes y transmitan empatía hacia los estudiantes.

Fundamento:

Se procuró que el sistema ofreciera una interacción similar a una conversación humana, identificando ambigüedades, reformulando preguntas cuando era necesario y ajustando el lenguaje a cada uno de los estudiantes mediante algoritmos de análisis semántico del lenguaje.

Tareas:

• Verificación de respuestas que puedan ser ambiguas o incompletas.

• Reformulación automática de preguntas según la interacción del estudiante.

• Optimización de la empatía y claridad durante la interacción conversacional.

• Ajustes en la interfaz para mejorar la accesibilidad y comprensión del usuario.

• Realización de pruebas de interacción con estudiantes para evaluar la efectividad del sistema.

• Implementar almacenamiento local (localStorage) para mantener el estado del chat.

• Desarrollo de un sistema que permite guardar y recuperar el historial de conversaciones de manera local.

• Validar la usabilidad y accesibilidad de estas funciones con usuarios.

Entregables:

• Flujo conversacional adaptativo y empático.

• Mejora en naturalidad y conexión con el usuario.

• Persistencia y recuperación de estado de chat funcionando.

• Funciones de exportación y copia implementadas y probadas.

• Avances en la experiencia de usuario y accesibilidad confirmadas.

Sprint 4 – Registro de resultados finales en Google Sheets

Duración: 2 semanas

Objetivo principal: Almacenar externamente los resultados vocacionales sugeridos por la IA.

Fundamento:

Para facilitar el seguimiento institucional y el análisis estadístico, se integró Google Sheets como repositorio externo para registrar únicamente el nombre del estudiante y la carrera sugerida.

Tareas:

• Programación del backend para envío automático de datos.

• Registro del nombre del estudiante y la recomendación al completar el flujo.

• Validaciones para evitar duplicidad.

• Pruebas de integridad y consistencia de datos.

Entregables:

• Registro automático de resultados finales en Google Sheets.

• Documento centralizado para uso institucional.

Sprint 5 – Implementación del test tradicional SENESCYT (comparativo)

Duración: 2 semanas

Objetivo principal: Construir una versión web del test tradicional SENESCYT para comparación directa con el Chatbot.

Fundamento:

Con el propósito de validar la eficacia del Chatbot, se implementó una versión digital del test vocacional tradicional aplicado por la SENESCYT. Esto permitió recoger resultados bajo condiciones similares a las del Chatbot, facilitando una comparación justa y ordenada.

Tareas:

• Digitalización completa del test SENESCYT (estructura de preguntas cerradas).

• Desarrollo de una interfaz web accesible y funcional para los estudiantes.

• Registro automatizado de resultados (carrera sugerida) en Google Sheets.

• Asignación de identificadores únicos a cada estudiante para vincular los resultados de ambos métodos.

• Preparación de los registros para análisis comparativo y validación cruzada.

Entregables:

• Plataforma funcional y usable del test vocacional SENESCYT en formato web.

• Resultados organizados en Google Sheets, diferenciados de los del chatbot.

• Registro estructurado que permite comparar recomendaciones de ambos instrumentos con base en un mismo identificador.

Sprint 6 – Validación final y análisis de impacto

Duración: 2 semanas planificadas, extendidas a 4 semanas debido a la disponibilidad de los estudiantes.

Objetivo principal: Evaluar la efectividad del chatbot frente al test SENESCYT con estudiantes reales.

Fundamento:

Se desarrolló una prueba piloto con 351 estudiantes de tercer año de bachillerato, utilizando ambos instrumentos. Los resultados permitieron comparar coincidencias, divergencias, y percepciones sobre utilidad, comprensión y preferencia.

Tareas:

• Aplicación paralela de ambos instrumentos.

• Recopilación de resultados cuantitativos y observaciones cualitativas.

• Análisis de correlación y nivel de coincidencia.

• Ajustes finales al chatbot.

• Redacción de informe de validación.

Entregables:

• Sistema probado en condiciones reales.

• Informe de validación y recomendaciones para implementación futura.

2.6 Herramientas usadas durante el desarrollo

• Visual Studio Code: Entorno principal de desarrollo para frontend y backend, con extensiones específicas para Angular, TypeScript y control de versiones mediante GIT.

• Angular: Framework utilizado para construir una interfaz modular, responsiva e interactiva que facilita una experiencia de usuario clara e intuitiva.

• Node.js: Entorno de ejecución backend para gestionar la lógica del servidor, conexión con APIs externas y automatización de tareas.

• API DeepSeek: Interfaz de inteligencia artificial utilizado para interpretar respuestas y generar recomendaciones vocacionales para cada uno de los usuarios.

• LocalStorage (del navegador): Herramienta utilizada para poder almacenar temporalmente el chat de cada estudiante.

• Google Sheets API: Servicio agregado para guardar automáticamente cada uno de los resultados vocacionales de los estudiantes (tanto chatbot como el test SENESCYT), facilitando su posterior análisis.

• Vercel: Plataforma utilizada para lograr alojar el backend de la aplicación el cual incluye las funciones con DeepSeek y Google Sheets.

• Scrum Board digital: Herramienta utilizada para poder planificar, distribuir y dar seguimiento a las tareas de cada sprint dentro del equipo de desarrollo.

2.7 Entregables por Sprint

La Tabla 2 resume cada uno de los seis Sprints que se desarrollaron siguiendo la metodología ágil Scrum, cada una de las iteraciones contó con entregables específicos, medibles y verificables, lo que permitió poder avanzar de manera incremental en la construcción del sistema. El estado “Completado” permite reflejar que las actividades planificadas en cada sprint se lograron finalizar con éxito, permitiendo que el chatbot vocacional pueda evolucionar desde un prototipo inicial hasta una versión probada en condiciones reales. Esta gestión facilitó la trazabilidad del proyecto, el seguimiento de la calidad en cada fase y la detección temprana de oportunidades de mejora, asegurando que el producto final cumpliera con los objetivos planteados en la investigación.

3. Resultados y Discusión

Al concluir con la fase de implementación se procedió a aplicar tanto el instrumento oficial de la SENESCYT como la herramienta de chatbot a un total de 351 estudiantes del tercer año de bachillerato, esto permitió realizar un análisis cuantitativo mediante técnicas estadísticas, entre ellas la prueba de hipótesis por proporciones y por último el Test de Equivalencia (TOST). Asimismo, se pudo efectuar un análisis cualitativo comparativo que permitió evaluar los resultados obtenidos, la percepción de los estudiantes y la eficacia de las recomendaciones emitidas.

3.1 Prueba de hipótesis

3.1.1 Definición del problema

• Población: Estudiantes de tercero de bachillerato.

• Muestra: n = 351

• Resultados coincidentes (chatbot vs. SENESCYT): x=281.

• Proporción muestral:

(1)

3.1.2 Hipótesis estadísticas

La hipótesis se enfoca en determinar si el chatbot tiene al menos la misma efectividad que el test SENESCYT en términos de coincidencia de recomendaciones, podemos asumir como valor de referencia que el test SENESCYT tiene una efectividad del 80% (ya que lo estamos usando como estándar). Entonces:

• Hipótesis nula (H0):

p ≤0.80

El chatbot no es igual ni mejor que el test SENESCYT.

• Hipótesis alternativa (H1):

p ≤0.80

El chatbot tiene un rendimiento igual o mejor que el test SENESCYT.

Esto corresponde a una prueba de hipótesis unilateral (cola derecha).

3.1.3 Estadístico de prueba

Se usa la prueba z para una proporción:

donde:

• p ̂= 0.8006

• p_0= 0.80

• n = 351

Cálculo:

1. Error estándar (SE) para la proporción:

(3)

2. Cálculo del estadístico z:

(4)

Valor p: Con z = 0.028 el valor p (cola derecha) es aproximadamente:

p-valor=0.489≈49%

Decisión: Si usamos un nivel de significancia clásico (α=0.05):

Como p-valor=0.489> 0.05 no se rechaza H0.

3.1.4 Interpretación

Con los datos actuales, no se observa la suficiente evidencia, desde el punto de vista estadístico, que permita afirmar que el chatbot supere el test de la SENESCYT.

Lo que sí se puede afirmar es que el chatbot alcanza prácticamente la misma precisión (80.1%) que el test (80%), es decir, se comporta de manera equivalente en este estudio piloto.

3.2 Prueba de equivalencia (TOST)

Datos

• Muestra: n = 351.

• Coincidencias: x=281.

• Proporción observada:

(5)

•Valor de referencia: p0= 0.80.

3.2.1 Hipótesis de equivalencia

Debemos definir un margen de equivalencia (δ), que es la tolerancia que se acepta como diferencia “no significativa” entre el chatbot y el test.

En estudios de educación o ciencias sociales suele usarse ±5%(δ=0.05).

Entonces:

• H0:p≤0.75 o p≥0.85 (el chatbot no es equivalente al test).

• H1:0.75<p<0.85 (el chatbot es equivalente al test dentro del margen del 5%).

3.2.2 Intervalo de confianza

Para la prueba TOST, se construye un IC al 90% (porque se hacen dos pruebas unilaterales).

El error estándar es:

(6)

El margen para un 90% IC con z0.95=1.645:

ME = 1.645 ×0.0213 ≈0.035 (7)

Por lo tanto, el IC (90%) es:

(8)

3.2.3 Decisión

• El IC90% del chatbot está entre 76.6% y 83.6%.

• El margen de equivalencia era [0.75, 0.85].

• Como el IC está contenido dentro del margen, rechazamos H0 y aceptamos H1.

3.2.4 Interpretación

Con un nivel de confianza del 90%, se demuestra que la precisión del chatbot es estadísticamente equivalente a la del test vocacional de la SENESCYT dentro de un margen de ±5%.

En otras palabras, el chatbot no es inferior al test, y se puede considerar una herramienta válida y alternativa para la orientación vocacional.

3.3 Comparación entre chatbot y test SENESCYT con base en la encuesta con escala Likert.

Los resultados obtenidos evidencian que, si bien ambos instrumentos coincidieron en un alto nivel respecto a las recomendaciones vocacionales, la percepción de los estudiantes fue ampliamente favorable hacia el Chatbot en comparación con el test SENESCYT.

En la gráfica se observa que las barras correspondientes al Chatbot (color verde) superan consistentemente al test SENESCYT (color azul) en todos los criterios evaluados: confianza, modernidad, claridad de preguntas, experiencia de usuario, satisfacción general, empatía y disposición a recomendar la herramienta.

Este resultado refleja que los estudiantes no solo consideran al Chatbot tan preciso como el test tradicional, sino también más dinámico, empático y comprensible, lo cual coincide con los hallazgos de análisis globales que muestran un efecto positivo de los chatbots sobre el aprendizaje y la experiencia estudiantil (Debets et al., 2025; Laun & Wolff, 2025; Yu & Zhao, 2025). Esto sugiere que la interacción conversacional propia de los sistemas de IA facilita la identificación personal con las recomendaciones, aumentando la confianza en el proceso.

No obstante, se debe enfatizar que el uso de sistemas automatizados implica considerar principios éticos vinculados con la equidad, transparencia y resguardo de la información del estudiante (Al-Zahrani, 2025; Holmes et al., 2022), a fin de garantizar un un uso responsable y confiable en contextos educativos.

3.4 Interfaz del sistema

La interfaz del chatbot fue diseñada para proporcionar una experiencia conversacional fluida, amigable y clara, este tipo de personalización conversacional responde a principios de adaptabilidad descritos en estudios recientes sobre sistemas educativos impulsados por IA, que enfatizan la necesidad de ajustar la experiencia según las respuestas del usuario. Las ilustraciones a continuación muestran momentos clave del flujo conversacional.

3.5 Grado de satisfacción de los estudiantes

Para conocer la percepción de los participantes, se aplicó una encuesta basada en una escala tipo Likert. Los resultados reflejaron una valoración muy positiva hacia el sistema. Los estudiantes evalúan aspectos como la claridad de las indicaciones, la facilidad de interacción, la pertinencia de las recomendaciones y su disposición a sugerir el uso del chatbot a otros estudiantes. La distribución de las respuestas relacionadas con la experiencia de uso se presenta en el gráfico circular correspondiente.

3.6 Comentarios y observaciones cualitativas

Durante la aplicación del instrumento se recopilaron comentarios espontáneos de los estudiantes, los cuales permitieron complementar el análisis cuantitativo con apreciaciones de carácter cualitativo. Entre ellos se destacaron expresiones como:

• “Me sentí más comprendido por el chatbot que con el test tradicional”.

• “Las preguntas del chatbot eran más abiertas, me hicieron pensar en lo que realmente me gusta”.

• “La interfaz es sencilla y agradable, y resultó fácil responder”.

Estas opiniones refuerzan los resultados obtenidos en el análisis estadístico, al evidenciar una mayor conexión emocional de los participantes con el sistema. Investigaciones previas en el campo de la orientación vocacional han reportado hallazgos afines, señalando que los chatbots favorecen procesos de aprendizaje más personalizados y eficaces (Hoang et al., 2023).

De manera concordante, otros estudios realizados en entornos de aula que incorporan chatbots para promover habilidades reflexivas reportaron altos niveles de aceptación y satisfacción estudiantil. Tales percepciones se alinean con las tendencias actuales en el uso de la inteligencia artificial en educación, en las que se valora la interacción personalizada como complemento a las metodologías tradicionales (Martínez-Olmo & Catalán, 2024).

3.7 Limitaciones del Estudio

• El uso de un muestreo no probabilístico por conveniencia restringe la generalización de los hallazgos al total de la población estudiantil.

• La comparación entre preguntas abiertas (chatbot) y cerradas (test SENESCYT) podría afectar la validez del análisis comparativo.

• La arquitectura del sistema no incluye aprendizaje automático continuo, lo que impide mejorar progresivamente las recomendaciones según la interacción real de los estudiantes.

• El análisis cualitativo, aunque realizado por dos investigadores, puede contener sesgos interpretativos; se contó con revisión externa de tutores para reforzar la consistencia de los resultados.

3.8 Propuestas para mitigar limitaciones

• Ampliar la muestra e incluir instituciones de diferentes regiones y tipos (públicas y privadas).

• Implementar un modelo de aprendizaje continuo en el motor IA para mejorar la precisión de las recomendaciones.

• Incluir revisiones externas por tutores o expertos, con el fin de garantizar la validez interpretativa del análisis cualitativo y la consistencia de los resultados.

3.9 Síntesis de resultados y discusión

En general, los hallazgos permiten destacar lo siguiente:

1. Equivalencia en efectividad: El chatbot logró alcanzar la misma precisión que el test SENESCYT en cuanto las recomendaciones vocacionales.

2. Superación en percepción: Los estudiantes calificaron al chatbot de una manera mucho más alta durante el test de escala tipo Likert, lo cual permitió mostrar una mayor aceptación y confianza sobre el sistema.

3. Valor agregado en la experiencia: La interacción conversacional y la percepción de empatía de los estudiantes generaron una sensación de cercanía que no se experimenta con la prueba tradicional.

4. Validez como alternativa: El chatbot demostró ser efectivo y bien recibido por los estudiantes, ofreciéndoles un complemento más innovador que los métodos tradicionales de orientación vocacional.

5. Carácter comparativo y contraste con estudios internacionales: El rendimiento del Chatbot refuerza su carácter comparativo al alinearse con la tendencia global. La demostración de la equivalencia en precisión valida el uso de sistemas basados en IA en la orientación, como se ha observado en estudios de Corea del Sur y Europa, mientras que la alta satisfacción del usuario refleja la preferencia por la disponibilidad y la inmediatez de los asistentes virtuales en la educación superior observadas en universidades de Estados Unidos y Reino Unido. Este estudio confirma que el modelo de Chatbot es una solución escalable y costo-efectivo que moderniza la orientación vocacional conforme a los estándares de innovación educativa internacional.

En conjunto, estos resultados respaldan la viabilidad del uso de chatbots educativos en procesos de orientación y destacan la necesidad de investigaciones futuras que incluyan muestras más amplias y evalúen los efectos a largo plazo.

4. Conclusiones

Los resultados de esta investigación concluyen que el Chatbot desarrollado es una herramienta innovadora y confiable para la orientación vocacional. El análisis estadístico, validado con un nivel de confianza del 90%, demostró que el desempeño del Chatbot es estadísticamente comparable al de la prueba tradicional de la SENESCYT, lo que prueba la confiabilidad diagnóstica del sistema de IA.

Además de su precisión, la herramienta evidencia un alto valor agregado: los estudiantes expresan una clara preferencia por su uso, resaltando su claridad, la percepción de empatía y la facilidad de interacción. Este doble hallazgo subraya el potencial del Chatbot como una alternativa innovadora y accesible para el proceso de elección de carrera.

Más allá de los resultados cuantitativos, este estudio resalta el impacto educativo y social que podría generar la adopción de soluciones digitales interactivas. A diferencia de los métodos tradicionales, el Chatbot no solo entrega resultados similares, sino que su implementación es especialmente relevante en instituciones públicas o rurales con escasez de orientadores vocacionales. En estos entornos, la herramienta ofrece una solución de bajo costo y alta escalabilidad que garantiza el acceso a una orientación académica de calidad y personalizada para todos los estudiantes. Este enfoque representa un paso importante hacia la modernización de la orientación académica en contextos de vulnerabilidad o limitación de recursos.

Finalmente, los resultados de este proyecto abren la puerta a líneas futuras de investigación enfocadas en la sostenibilidad tecnológica del sistema.

Específicamente, se sugiere explorar la implementación de aprendizaje continuo y la retroalimentación adaptativa del Chatbot. Estas mejoras permitirían que la herramienta perfeccione progresivamente la precisión de sus recomendaciones con cada interacción, asegurando su relevancia a largo plazo y motivando a instituciones como la Universidad Técnica de Machala a considerar la adopción de herramientas tecnológicas que faciliten una orientación vocacional más precisa, relevante y acorde con los retos educativos actuales.

Agradecimientos

Quiero dar las gracias a la Universidad Técnica de Machala por todo el apoyo y los recursos que me dieron para poder hacer esta investigación. También extiendo mi gratitud a las autoridades de la universidad; su visión es la que hace posible que la innovación y el crecimiento académico sigan adelante. Y, por supuesto, un agradecimiento muy especial a todos los estudiantes y sus instituciones educativas que participaron en este estudio. Su colaboración fue clave y, sin su ayuda, no habría sido posible recolectar los datos que respaldan los resultados de este trabajo.

Contribución de los autores

Fernando Ericsson Montoya Naguas: Conceptualización, Metodología, Software, Investigación, Curación de datos, Análisis formal, Redacción - borrador original del artículo. Carlos Elian Lalangui Flores: Conceptualización, Metodología, Software, Investigación, Curación de datos, Análisis formal, Redacción - revisión y edición del artículo, Validación. Fausto Fabián Redrován Castillo: Supervisión, Redacción - revisión y edición del artículo. Freddy Aníbal Jumbo Castillo: Supervisión, Redacción - revisión y edición del artículo.

Conflictos de interés

Los autores no tienen conflictos de interés respecto al presente estudio.

Referencias bibliográficas

Al-Zahrani, A. M. (2025). Exploring the Impact of Artificial Intelligence Chatbots on Human Connection and Emotional Support Among Higher Education Students. Sage Open, 15. https://doi.org/10.1177/21582440251340615

Caldarini, G., Jaf, S., & McGarry, K. (2022). A Literature Survey of Recent Advances in Chatbots. Information (Switzerland), 13. https://doi.org/10.3390/info13010041

Davar, N. F., Dewan, M. A. A., & Zhang, X. (2025). AI Chatbots in Education: Challenges and Opportunities. Information (Switzerland), 16(3). https://doi.org/10.3390/info16030235

Debets, T., Banihashem, S. K., Joosten-Ten Brinke, D., Vos, T. E. J., Maillette de Buy Wenniger, G., & Camp, G. (2025). Chatbots in education: A systematic review of objectives, underlying technology and theory, evaluation criteria, and impacts. Computers and Education. https://doi.org/10.1016/j.compedu.2025.105323

Erazo, X., & Rosero, E. (2021). Orientación vocacional y su influencia en la deserción universitaria. Horizontes. Revista de Investigación en Ciencias de la Educación, 5, 591-606. https://doi.org/10.33996/revistahorizontes.v5i18.198

Haristiani, N., Dewanty, V. L., & Rifai, M. M. (2022). Autonomous Learning Through Chatbot-based Application Utilization to Enhance Basic Japanese Competence of Vocational High School Students. Journal of Technical Education and Training, 14(2 Special Issue), 143-155. https://doi.org/10.30880/jtet.2022.14.02.013

Hoang, N. T., Ngoc Han, D., & Le, D. H. (2023). Exploring Chatbot AI in improving vocational students’ English pronunciation. AsiaCALL Online Journal, 14(2), 140-155. https://doi.org/10.54855/acoj.231429

Holmes, W., Porayska-Pomsta, K., Holstein, K., Sutherland, E., Baker, T., Shum, S. B., Santos, O. C., Rodrigo, M. T., Cukurova, M., Bittencourt, I. I., & Koedinger, K. R. (2022). Ethics of AI in Education: Towards a Community-Wide Framework. International Journal of Artificial Intelligence in Education, 32(3), 504-526. https://doi.org/10.1007/s40593-021-00239-1

Jaramillo, S. Y. A. (2024). Orientación Vocacional y Profesional: La Inteligencia Artificial y su impacto en la Educación. Revista Scientific, 9(34), 285-300. https://doi.org/10.29394/scientific.issn.2542-2987.2024.9.34.13.285-300

Labadze, L., Grigolia, M., & Machaidze, L. (2023). Role of AI chatbots in education: systematic literature review. En International Journal of Educational Technology in Higher Education (Vol. 20, Número 1). Springer Science and Business Media Deutschland GmbH. https://doi.org/10.1186/s41239-023-00426-1

Laun, M., & Wolff, F. (2025). Chatbots in education: Hype or help? A meta-analysis. Learning and Individual Differences, 119. https://doi.org/10.1016/j.lindif.2025.102646

Lee, Y. F., Hwang, G. J., & Chen, P. Y. (2025). Technology-based interactive guidance to promote learning performance and self-regulation: a chatbot-assisted self-regulated learning approach. Educational Technology Research and Development. https://doi.org/10.1007/s11423-025-10478-x

Lucana, Y., & Roldan, W. (2023). Chatbot basado en inteligencia artificial para la educación escolar. Horizontes. Revista de Investigación en Ciencias de la Educación, 7, 1580-1592. https://doi.org/10.33996/revistahorizontes.v7i29.614

Martínez-Olmo, F., & Catalán, F. G. (2024). Systematic Review of Trends in the Application of Artificial Intelligence to the Field of Academic Writing in the Social Sciences. Digital Education Review, 45, 37-42. https://doi.org/10.1344/der.2024.45.37-42

Mayon, J., & Ruiz, M. (2024). Desarrollo de una aplicación de orientación vocacional para bachilleres mediante test utilizando inteligencia artificial para la toma de decisiones. [Universidad Técnica de Machala]. https://repositorio.utmachala.edu.ec/bitstream/48000/23575/1/Trabajo_Titulacion_3439.pdf

Ministerio de Educación del Ecuador. (2025). Currículo Priorizado con Énfasis en Competencias Comunicacionales, Matemáticas, Digitales y Socioemocionales. Ministerio de Educación del Ecuador. www.educacion.gob.ec

Okonkwo, C. W., & Ade-Ibijola, A. (2021). Chatbots applications in education: A systematic review. Computers and Education: Artificial Intelligence, 2. https://doi.org/10.1016/j.caeai.2021.100033

Phuttawong, M., & Chatwattana, P. (2025). The Educational Guidance Platform via Artificial Intelligence Chatbot to Promote Vocational Aptitude for Vocational Students. Higher Education Studies, 15(1), 128-135. https://doi.org/10.5539/hes.v15n1p128

Torres-Sevillano, D. M., Vilcacundo-Gallardo, F. R., & García-Hevia, S. (2025). Orientación vocacional en la elección de carreras técnicas para estudiantes de 10mo grado. MQRInvestigar, 9. https://doi.org/10.56048/mqr20225.9.2.2025.e459

Toscu, S. (2024). An Investigation on the Effectiveness of Chatbots in Evaluating Writing Assignments in EFL Contexts. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 295-329. https://doi.org/10.21764/maeuefd.1425384

Yu, Y., & Zhao, Z. (2025). Development of vocational education and training chatbot supported by large language model-based multi-agent system. Vocation, Technology & Education. https://doi.org/10.54844/vte.2025.0921

185

186

187

Tabla 1. Variables de estudio.

Fuente: Los autores

Tipo	Variable	Instrumento
Independiente	Tipo de herramienta de orientación	Chatbot vocacional Test SENESCYT
Dependiente	Recomendación vocacional obtenida	Resultado del sistema / test
Dependiente	Nivel de satisfacción del estudiante	Encuesta con escala de Likert (5 niveles desde “Totalmente en desacuerdo” hasta “Totalmente de acuerdo”)
Dependiente	Tiempo empleado en la interacción y preguntas adaptadas	Métricas internas del chatbot
Cualitativa	Percepción sobre la empatía e interacción	Observación directa y comentarios abiertos

Figura 1. Diagrama funcional del proceso de orientación vocacional que desarrolla el chatbot.

Fuente: Los autores.

188

189

190

Sprint	Entregable Principal	Estado	Descripción Breve
Sprint 1	Interfaz inicial + flujo básico	Completado	Interfaz en Angular con navegación conversacional básica y almacenamiento local.
Sprint 2	Integración con IA DeepSeek	Completado	IA procesa respuestas abiertas y entrega recomendaciones personalizadas.
Sprint 3	Conversación empática e inteligente	Completado	Flujo dinámico con validación semántica y reformulación de preguntas.
Sprint 4	Registro automático de resultados en Google Sheets	Completado	Resultados de los estudiantes almacenados automáticamente para su análisis institucional.
Sprint 5	Plataforma web del test SENESCYT	Completado	Versión digital del test tradicional vinculada a Google Sheets para el seguimiento de resultados.
Sprint 6	Validación y análisis comparativo	Completado	Aplicación ambos instrumentos a estudiantes y recopilación de percepciones sobre su utilidad.