137
Instrumento para la evaluación del impacto de programas de posgrado a partir de la
dimensión egresados desde el Centro de Estudios de la Educación Superior
Agropecuaria
Instrument for the evaluation of the impact of postgraduate programs based on the
dimension graduated from the Center for the Study of Higher Agricultural Education
Carlos Rafael Fernández Medina
1
0000-0002-9599-2625
José Ramón Ruiz Arnaud
2
0000-0002-0277-2886
1
Universidad Agraria de la Habana “Fructuoso Rodríguez Pérez”. Cuba
cmedina@unah.edu.cu
2
Universidad Agraria de la Habana “Fructuoso Rodríguez Pérez”. Cuba.
jrarnaud@unah.edu.cu
Recepción: 27 de abril del 2023 / Aceptación: 01 de junio del 2023 / Publicación: 05 de julio de 2023
Citación/como citar este artículo: Fernandez, C. y Ruiz, J. (2023). Instrumento para la
evaluación del impacto de programas de posgrado a partir de la dimensión egresados desde el
Centro de Estudios de la Educación Superior Agropecuaria. ReHuSo, 8(2), 137-156.
https://doi.org/10.33936/rehuso.v8i2.5715
138
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
Resumen
El artículo que se presenta tiene como objetivo proponer un instrumento para la evaluación del
impacto de programas de posgrado a partir de la dimensión egresados desde el Centro de
Estudios de la Educación Superior Agropecuaria. Para la construcción del instrumento se partió
del análisis de referentes teóricos desde la construcción del marco teórico. La validación de
contenido se realizó utilizando la consulta a expertos, lo que permitió obtener 51 ítems para las
cuatro variables identificadas. Se realizó un procedimiento de pre-test a través de una prueba
piloto tomando como muestra cuatro programas académicos de áreas de estudio diferentes,
siendo los participantes un total de 47. Se emplearon como métodos estadísticos para
determinar la consistencia interna y validez de constructo, el coeficiente Alfa de Cronbach con
un resultado de α.959 y el análisis factorial, pudiendo comprobar la unidimensionalidad del
instrumento evidenciando homogeneidad escalar y de criterio. Se obtuvieron valores
significativos de correlación de Pearson entre las variables y a través del análisis factorial desde
el procedimiento ANOVA, igualmente para el análisis del impacto de los programas desde los
egresados con un valor general del instrumento de 4,2.
Palabras clave: evaluación de impacto; posgrado; programas académicos; calidad del
posgrado; egresados
Abstract
The article presented has the objective of proposing an instrument for the evaluation of the
impact of postgraduate programs based on the dimension of graduates from the Center for the
Study of Higher Agricultural Education. For the construction of the instrument, we started from
the analysis of theoretical referents from the construction of the theoretical framework. Content
validation was carried out using expert consultation, which allowed obtaining 51 items for the
four identified variables. A pre-test procedure was carried out through a pilot test taking as a
sample four academic programs from different study areas, with a total of 47 participants.
Statistical methods were used to determine internal consistency and construct validity, the
Cronbach's Alpha coefficient with a result of α.959 and factorial analysis, being able to verify
the unidimensionality of the instrument, evidencing scalar and criterion homogeneity.
Significant Pearson correlation values were obtained between the variables and through
factorial analysis from the ANOVA procedure, also for the analysis of the impact of the
programs from the graduates with a general value of the instrument of 4.2.
Keywords: impact evaluation; postgraduate; academic programs; quality; graduates
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
139
Introducción
Entre las funciones sustantivas que desarrolla la Educación Superior en Cuba, la formación de
posgrado es una de las funciones fundamentales a través de la cual se articulan como un sistema
la formación, investigación y la extensión tributando al desarrollo territorial. Esta, “como nivel
más alto del sistema de educación, garantiza la superación permanente de los graduados
universitarios” (Resolución, No 140 de 2019, p.2) y responde a las demandas de capacitación
de los profesionales de las entidades laborales, estableciendo de esta forma alianzas que
tributan a fortalecer la relación universidad-empresa (Concepción Toledo et al., 2020).
A su vez, contribuyendo al cumplimiento de los objetivos de desarrollo sostenible (ODS), la
formación de posgrado tiene entre sus prioridades garantizar una educación inclusiva,
equitativa y de calidad, así como, promover oportunidades de aprendizaje durante toda la vida.
Para esto entre sus principios destaca la participación de los estudiantes en el desarrollo social
a través de procesos de investigación con un carácter multi, inter y transdisciplinar, que den
respuesta a problemáticas de carácter regional, nacional e internacional, desde la generación,
adaptación y aplicación de conocimientos.
Para lograr resultados eficientes y el impacto esperado en la sociedad, el posgrado debe dotar
a los egresados de conocimientos, habilidades y valores que les permitan contribuir a la
transformación de las diferentes esferas de la economía, la producción y los servicios en
correspondencia con las demandas de la sociedad (Morales, 2017; Ortega et al., 2017). Lo
anterior implica la planificación, organización, ejecución y control de la docencia, la
investigación y la extensión por parte, tanto del profesor en ejercicio como de los directivos de
las Instituciones de Educación Superior, lo que deriva en un proceso de calidad.
En el presente artículo se enfatiza en el control del proceso, orientado hacia la evaluación del
impacto que se deriva del seguimiento al desempeño de los egresados del posgrado, con el
propósito de elevar la calidad del proceso formativo.
En la revisión de referentes teóricos se reconoce la calidad, como “el grado en el que un
conjunto de características inherentes (en este caso al proceso formativo) cumple con las
necesidades o expectativas establecidas por todas las partes interesadas en el desempeño del
proceso” (Ramos Azcuy et al., 2016, p. 116), además es entendida como la conjunción de la
excelencia académica y la pertinencia social manifiesta en sus aportes concretos y dada por los
fines del proyecto sociocultural y económico ( Junta de Acreditación Nacional, 2019a; Junta
de Acreditación Nacional, 2019b). Siguiendo esta misma línea, (Hernández et al., 2017, p.132)
hacen referencia a la calidad de los servicios de posgrado “como la capacidad para dar respuesta
a las necesidades sociales de referencia, de acuerdo con el nivel de desarrollo de los
conocimientos científicos y técnicos aplicables a la utilización de los recursos humanos,
financieros, materiales y técnicos”. Así también, Pino-Sera et al., (2021) coinciden en que la
búsqueda de la calidad de la educación, entre otras aristas, debe estar orientada al incremento
de la pertinencia e impacto al dar solución a problemáticas de alta demanda social.
140
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
El análisis de estos planteamientos permite establecer criterios de referencia al diseñar
propuestas de evaluación del impacto del posgrado, reconociendo aspectos como la
satisfacción de los egresados y empleadores con el proceso de formación, el incremento del
desempeño profesional en el puesto de trabajo y la relación con el aporte al desarrollo desde la
solución de problemáticas contextuales. Esto conduce a su vez a la necesidad de evaluar el
impacto del posgrado tomando en cuenta los criterios de calidad expuestos, lo cual permitirá a
futuro, diseñar estrategias y planes de mejoras de los programas de posgrado.
En este sentido se parte de reconocer que la evaluación conduce a la mejora de la eficacia de
los procesos, a lo que plantean Martínez Navarro y Jaya Escobar (2019), que la “evaluación y
regulación de la calidad están de tal modo relacionadas en sus propósitos y procedimientos,
que no es posible considerarlas separadamente” (p. 9). Dada la estrecha relación que se
establece entre calidad educativa y evaluación de la calidad es imposible concebirlas de manera
independiente, correspondiendo “a la evaluación demostrar la existencia de calidad,
evidenciarla e incluso certificarla socialmente” (Borges Oquendo y Añorga Morales, 2015, p.
370).
Asimismo, la evaluación, como instrumento de retroalimentación, propicia la toma de
decisiones efectivas, para incidir en el perfeccionamiento de los programas, de la instrucción y
sobre la calidad del sistema (Fernández Medina, 2021). Esta, permite además, describir,
explicar, valorar los objetivos, los procesos, los resultados y el impacto de la labor de los
centros universitarios en función de la calidad (Pino Sera et al., 2019). Es por tanto la
evaluación, un proceso de regulación que debe regir todo el proceso, desde el diagnóstico
inicial marcando un estado de partida, siendo en el caso del posgrado y de la investigación el
momento en que se define el tema a desarrollar identificando su repercusión en el contexto,
hasta el continuo seguimiento al egresado en la implementación de los resultados de su
formación y evidenciando su impacto, tanto desde el puesto laboral como en su desarrollo
personal.
En el caso que se aborda, “el impacto puede considerarse como un cambio en el resultado del
proceso y por tanto en cada una de las etapas que lo integran, y que induce transformaciones
significativas y permanentes en la vida de las personas, las instituciones y la sociedad” (Lara
Díaz et al., 2018, p. 103). Así también, debe concebirse como “el beneficio, logrado, verificable
y medible, expresado en indicadores objetivos, con la percepción de cambios favorables,
sostenibles y relevantes en la economía y la sociedad, obtenidos por la aplicación de los
resultados científicos” (Figueroa, 2017, p. 19). Por lo que para este trabajo y coincidiendo con
los autores citados, el impacto puede definirse como una cualidad que evidencia la pertinencia
del desempeño de los egresados en sus contextos de actuación profesional a través de la
aplicación de acciones concretas.
Para la evaluación del impacto del posgrado se reconocen modelos validados
internacionalmente. Entre estos destacan: los modelos de Wade (1999), el de Pineda (2000) y
Kirkpatrick y Kirkpatrick (2009), así también el modelo desarrollado por El Centro
Interamericano para el Desarrollo del Conocimiento en la Formación Profesional de la
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
141
Organización Internacional del Trabajo (OIT/Cinterfor) (Billorou, et al., 2011). En estos
modelos se identifican elementos en común relacionados con los resultados que genera la
formación de posgrado desde la actividad de los egresados como son:
• Respuesta/reacción ante la formación, lo que se identifica con niveles de satisfacción
por la el proceso de enseñanza-aprendizaje.
• Conducta/acción de los egresados en el puesto de trabajo, lo que se relaciona con la
transferencia de los aprendizajes realizados al propio puesto.
• Resultados efectos que la formación genera en las diferentes áreas de la organización
• Impacto de la formación de los egresados en los objetivos de la organización.
En el contexto educativo cubano se evidencian modelos y metodologías para la evaluación del
impacto del posgrado, entre estos se destacan la metodología propuesta por Carrera Morales et
al., (2022). En su investigación identifican tres variables estudiantes, egresados y claustro,
declarando para la variable egresados dos dimensiones, desempeño profesional y producción
intelectual. Para la dimensión desempeño profesional establecen los indicadores continuidad
en la formación, funciones técnicas y de dirección de procesos, soluciones a problemas de la
producción y los servicios. En la dimensión producción intelectual consideran como
indicadores publicaciones de impacto, participación en eventos científicos, protagonismo en el
vínculo universidad – empresa, tutoría y otros.
Por otro lado, en su investigación Bermúdez Morris y Pérez Martín (2022), proponen como
definición operacional de la variable impacto social de la maestría el efecto del programa, de
la gestión del Comité Académico y de la información y los recursos disponibles; en el
desarrollo local, en el crecimiento y desempeño profesional de los participantes y en el propio
programa. Para esta definen cuatro dimensiones:
1. Crecimiento profesional: cambios en la autorregulación del comportamiento en
correspondencia con las exigencias de la profesión
2. Desempeño profesional: participación como miembro o dirigente en las actividades
docentes, metodológicas, de investigación, intervención social y superación, mediadas
por las TIC
3. Efecto en el desarrollo local y del programa: solución de problemas del entorno laboral,
social y del programa de la maestría, a partir de la aplicación de alternativas científicas,
con integración de las TIC
4. Gestión de la información y de los recursos disponibles: acceso a la información
requerida y calidad de los recursos, servicios e instalaciones para la docencia y la
investigación
Asimismo, Del Huerto Marimón y Darias Domínguez (2019), hacen énfasis en la influencia
del programa en los estudiantes, egresados y claustro en cuanto a su desempeño profesional y
la influencia del programa en las entidades empleadoras en cuanto al mejoramiento de los
procesos de producción o la prestación de servicios y los resultados sociales alcanzados. En su
142
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
investigación plantean la definición de tres categorías que van de lo general a lo particular:
Impacto en la sociedad (empleadores y directivos), Impacto en la institución (directivos,
profesores y tutores) e Impacto en la persona (egresados y residentes).
Del análisis de las investigaciones abordadas se identifica como aspecto significativo el
seguimiento a los egresados, siendo este uno de los aspectos a medir en la evaluación del
impacto del posgrado, a lo cual hace referencia (Rodríguez y Tardo, 2018) planteando la
evaluación y control al impacto de los egresados como una de las dimensiones que abarca el
control de la calidad de la gestión académica.
… es la de evaluación y control del impacto de los graduados la que tiene como objetivo
específico la valoración del nivel de desarrollo alcanzado en los egresados, su
transferencia y el mejoramiento personal al contribuir a desarrollar cambios en la
solución de situaciones o problemas detectados en sus contextos y áreas de desempeño.
Esto permitirá controlar el impacto de los egresados en su desempeño profesional, al
demostrarse en este su capacidad de autoformación al transformarse y transformar el
contexto en el que incide. (Rodríguez Saif y Tardo Fernández, 2018, p.136)
Desde el Centro de Estudios de la Educación Superior Agropecuaria (CEESA), adscripto a la
Universidad Agraria de la Habana “Fructuoso Rodríguez Pérez” (UNAH), se desarrolla la
coordinación de programas académicos, entre ellos un doctorado y dos maestrías, una de ellas
acreditada como programa de excelencia por la Junta de Acreditación Nacional (JAN). Así
también, el CEESA por su misión en la investigación científica de pre y posgrado en la UNAH,
sus resultados tributan al centro y otras organizaciones que desarrollan programas académicos.
Como parte del perfeccionamiento a la calidad de estos programas, se realizan acciones de
manera sistemática orientadas a la elaboración de una metodología propia para la evaluación
del impacto. De esta forma, se pretende desde el CEESA, tributar a la gestión de la calidad de
los programas de la institución universitaria, proporcionándoles un instrumento desarrollado
en conjunto, que les permitan evaluar el impacto. Así mismo, la presente investigación
contribuirá al enriquecimiento de la visión, a veces limitada, de estudios en los que se aborda
la evaluación del impacto del posgrado solamente desde posiciones teóricas, sin alcanzar la
propuesta y validación de instrumentos integradores con énfasis en el seguimiento a egresados,
así como que brinden elementos para su construcción, aplicación y evaluación.
El trabajo se realizó con el objetivo de proponer un instrumento para la evaluación del impacto
de programas de posgrado a partir de la dimensión egresados desde el Centro de Estudios de la
Educación Superior Agropecuaria (CEESA), estableciendo los niveles de correspondencia
entre esta y otras percepciones.
Metodología
Con una concepción dialéctico - materialista, se aplicaron métodos teóricos, empíricos y
estadísticos. De los métodos del nivel teóricos se utilizaron el análisis-síntesis e inducción-
deducción y el histórico-lógico, que permitieron el análisis crítico y la toma de posiciones
teóricas para establecer las variables e indicadores, etapas y regularidades para el diseño y del
instrumento para la evaluación de impacto. De los métodos empíricos la encuesta fue el
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
143
instrumento diseñado y aplicado experimentalmente para su validación en la evaluación del
impacto.
Para su validación se emplearon procedimientos metodológicos y estadísticos. Se empleo la
consulta a expertos para alcanzar su validez de contenido además de los criterios de los propios
encuestados (Herrera Masó et al., 2022; Rodríguez Medina et al., 2021). De los métodos
estadísticos se utilizaron el coeficiente Alfa de Cronbach y el análisis factorial para determinar
la consistencia interna y la validez de constructo (Taber, 2018). También se empleó la prueba
de unidimensionalidad del constructo a través del análisis del gráfico de sedimentación
(Barragán, 2018; Lara Díaz et al., 2019).
La metodología a seguir para la propuesta del instrumento se desarrolló en cinco etapas, lo que
permitió comprobar su validez de constructo y consistencia interna para su confiabilidad
(Martín, 2004; Soriano Rodríguez, 2014; Villavicencia-Caparó et al., 2016):
Etapas del proceso:
1. Análisis de referentes teóricos, metodologías y modelos de evaluación de impacto de
programas académicos validados en el ámbito internacional y nacional.
2. Diseño y operacionalización de las variables e indicadores a medir para la evaluación
del impacto.
3. Valoración de expertos y especialistas de prestigio para determinar la validez del
contenido.
4. Prueba piloto para medir la validez y confiabilidad del instrumento.
5. Análisis estadístico de los resultados.
En la prueba piloto del cuestionario participaron 47 egresados de cuatro programas académicos,
siendo la distribución como se muestra en la tabla 1. Para la selección de los programas se tuvo
en cuenta que fueran diferentes en cuanto a las áreas a las que pertenecen de la institución
universitaria, en su objeto de estudio y en la composición del claustro. Para su aplicación se
utilizó el software de administración de encuestas Google Form el cual permitió su distribución
vía online, así como la recuperación de la información para su posterior procesamiento y
análisis con los softwares estadísticos SPSS 22 y Excel.
Tabla 1- Distribución de participantes por programa en prueba piloto.
Fuente: Elaboración propia
144
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
Resultados
Para el diseño del instrumento propuesto, se partió del análisis de referentes teóricos y
antecedes investigativos descritos anteriormente, con propuestas metodológicas y modelos de
evaluación del impacto desde los egresados. Así también para la identificación y selección de
las dimensiones y variables se tuvieron en cuenta indicadores y criterios de evaluación
planteados en los Subsistemas de Evaluación y Acreditación (SEA) de actividades de posgrado,
maestrías y programas de doctorado emitidos por el Ministerio de Educación Superior de la
República de Cuba.
A partir del resultado de estos análisis se identifica la dimensión impacto de los egresados, y
se proponen cuatro variables para su estudio: evaluación del impacto, resultados de la
formación, valoración de la satisfacción por el programa y sus resultados y reconocimiento a
los egresados.
Luego de un primer diseño de las variables e indicadores del instrumento, se realizó la consulta
a nueve expertos y especialistas. Para su selección se tuvo en cuenta que tuvieran el grado
científico de doctor en ciencias y categoría docente de titular, que contaran con experiencia en
la evaluación de programas académicos y gestión de calidad, además de desarrollar su actividad
docente e investigativa en diferentes programas y áreas del propio CEESA, de la UNAH y en
otras instituciones académicas nacionales e internacionales. Para este procedimiento se
distribuyó el cuestionario a través del correo electrónico, vía por la cual se obtuvo la
retroalimentación de las valoraciones, propuestas de modificación, adición, eliminación y
sustitución de indicadores para las variables, llegando a consenso entre los expertos. Esta
consulta arrojó como resultado la propuesta de indicadores por variables conformados por 51
ítems, con vistas a caracterizar el impacto de programas de posgrado a partir de la dimensión
egresados, como que se presentan en las siguientes tablas:
Tabla 2 - Indicadores para la variable “Evaluación del impacto”
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
145
Tabla 3 - Indicadores para la variable “Resultados de la formación”
Tabla 4 - Indicadores para la variable “Valoración de la satisfacción por el programa y sus
resultados”
146
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
Tabla 5 - Indicadores para la variable “Reconocimiento de los egresados”
Análisis de validez del instrumento
Luego de su valoración por los expertos, se procedió al montaje del cuestionario en Google
Forms, lo que permitió su distribución para realizar la prueba piloto. Con la información
obtenida se conformó una base de datos para su procesamiento en los softwares estadísticos
SPSS 22 y Excel y desarrollar procedimientos de estudios de validación del instrumento.
La primera prueba realizada fue la de unidimensionalidad del constructo, siendo este un
requisito indispensable para generar buenas medidas, permitiendo evidenciar homogeneidad
escalar y de criterio, lo cual implica que los ítems que conforman el instrumento contribuyen a
ello de manera conjunta (Barragán, 2018; Espinoza et al., 2020). Para esto se llevó a cabo el
procedimiento de análisis factorial realizando el análisis de la varianza total explicada y del
gráfico de sedimentación que se muestra a continuación (Figura 1).
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
147
Fig. 1: Gráfico de sedimentación
El resultado del Scree plot muestra una unidimensionalidad en el instrumento, apreciando que
el codo a partir del punto 4, asciende un punto al 24.5 aproximadamente. Al comprobar la tabla
de la varianza total explicada puede apreciarse que solamente el porcentaje de varianza del
primer componente es mayor a 24 y solamente el segundo componente es mayor a 4.
Tabla 6 - Varianza total explicada. Análisis de componentes principales
148
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
Fuente: Elaboración propia
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
149
Luego de contar con la evidencia de unidimensionalidad, se procedió al análisis de consistencia
interna del instrumento, para obtener el resultado de la interrelación entre las preguntas que lo
integran. Este procedimiento muestra el grado de correlación entre los ítems del instrumento y
la posibilidad de medir consistentemente una muestra. Para esto se realizó la prueba Alfa de
Cronbach (Agreda Montoro et al., 2016; Taber, 2018), de la cual se obtuvo como resultado
global un valor de α.970, lo cual demuestra una elevada correlación entre sus ítems.
Tabla 7 - Prueba Alfa de Cronbach
Fuente: Elaboración propia
Asimismo, se procedió a realizar el análisis para cada una de las variables del cuestionario,
obteniendo como resultado elevados valores de fiabilidad de Alfa de Cronbach, evidenciando
la correlación interna de los indicadores por variables, lo que se muestran en la siguiente tabla.
Tabla 8
Valores de Alfa de Cronbach para las variables
Fuente: Elaboración propia
Como parte del análisis de validación del cuestionario se realizó la comparación de medias a
través del análisis de la varianza de un factor utilizando el procedimiento ANOVA. Mediante
este procedimiento se pudo verificar el comportamiento de las variables tomando como factor
de agrupación los cuatro programas académicos. Esta prueba mostró como resultado valores
significativos en su relación como se aprecia en el siguiente gráfico donde la concentración de
valores se muestra por debajo 0,5.
150
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
Fig. 2: Valores Sig extraídos de la tabla de ANOVA
Así también se realizaron pruebas utilizando el procedimiento de correlaciones bivariadas de
Pearson con una prueba de significación bilateral, obteniendo valores significativos en la
relación entre las variables. En el siguiente gráfico se aprecia que la mayor concentración de
valores es significativa en los niveles 0.01 y 0.05.
Fig. 3: Valores Sig (bilateral) extraídos de la tabla de correlaciones
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
151
Análisis de los resultados
La aplicación del instrumento, permitió recolectar datos referentes a los resultados obtenidos
para cada programa incluido en el estudio. Para esto se procedió a realizar el cálculo de los
promedios totales para cada variable, y el promedio total del programa. En la Tabla 9 que sigue
a continuación se presentan los resultados.
Tabla 9 - Resultados promedio para cada variable por programa
Fuente: Elaboración propia
Aunque cada nivel de la evaluación de los programas muestra peculiaridades específicas en
sus resultados, como tendencia puede afirmarse que de las variables estudiadas se observa que
en todos los casos es la variable “Valoración de la satisfacción por el programa y sus
resultados” la de mayores resultados con 4,5, identificados los resultados más elevados en los
ítems 3.7, 3.8, 3.11 y 3.12 con valores entre 4,7 y 4,8, los cuales hacen referencia a la
satisfacción por la calidad, preparación, apoyo, exigencias y atención del claustro hacia el
proceso de formación.
Así también, se muestra con altos valores la variable “Evaluación del impacto” con un
promedio total de 4,1. En esta se destacan los ítems 1.1, 1.3, 1.6, 1.7, 1.8 y 1.9, con valores
entre 4,3 y 4,6, los cuales proponen valorar los procesos de retroalimentación y seguimiento
del programa hacia los egresados, la estimulación a la producción científica y su información
a través de eventos y publicaciones y la identificación de los efectos de la formación en los
contextos de actuación profesional.
De igual forma la variable “Resultados de la formación” muestra un resultado total de 4,1.
En esta se destacan los ítems 2.5, 2.8, 2.9, 2.11, 2.14, 2.15, 2.16 y 2.17, con valores entre 4,3 y
4,6 en los cuales se expresa la valoración de la eficiencia y calidad de los procesos como
152
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
resultado de la formación de los egresados desde la actividad profesional que desempeñan, así
como la incidencia de estos en el desarrollo del contexto.
La variable “Reconocimientos a los egresados” con un valor total de 3,9 expresa en sus
indicadores como los programas inciden en el desarrollo de los egresados, lo cuales les ha
permitido alcanzar categorías docentes superiores, formar parte de proyectos de desarrollo
local, participar como parte del claustro de programas académicos, desarrollar actividades
docentes y científicas en el extranjero, alcanzar premios y reconocimientos que avalen su
actividad científica. Estas categorías se evidencian en los ítems 4.1, 4.6, 4.7 y 4.8 con valores
entre 4,3 y 4,7.
Por otro lado, los resultados generales de los programas evidencian valores entre 3,6 y 4,7 con
un comportamiento que permite establecer diferencias entre ellos para su estudio, aunque con
una tendencia estable en los resultados de las variables como se muestra en el siguiente gráfico.
Fig. 4: Resultados generales de los programas académicos
Así también el cuestionario permite recoger criterios a través de tres preguntas abiertas al cierre
del mismo:
• Identifique las principales limitaciones que ha tenido que enfrentar para cumplir con
las demandas profesionales de su puesto de trabajo
• En general, ¿cómo considera que ha impactado la preparación recibida del programa en
su desarrollo profesional y personal?
• ¿Qué acciones recomienda para mejorar la eficiencia y eficacia del programa cursado?
De las respuestas se obtuvieron criterios diversos desde los diferentes programas, las cuales
permiten lograr una visión holística de la valoración global del instrumento en concordancia
con los demás valores expresados.
Conclusiones
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
153
La revisión de la literatura científica desde un análisis crítico y reflexivo, evidencia que la
evaluación del impacto del posgrado desde la dimensión egresados permite obtener una
retroalimentación significativa para la mejora de los programas académicos. Así también,
condujo a la identificación, conceptualización y operacionalización de las variables para la
elaboración del cuestionario. Desde estas, se abordan aspectos orientados al reconocimiento y
valoración de los programas académicos en el mejoramiento del desempeño profesional, el
crecimiento en valores, reconocimiento a logros alcanzados y participación en la solución de
problemáticas del contexto de actuación.
Se pudo demostrar la validez del cuestionario propuesto a través de los procedimientos
estadísticos realizados. Los resultados arrojaron que el instrumento de medida es fiable
confirmado en los valores obtenidos en las pruebas del coeficiente Alfa de Cronbach superior
a 0.70, obteniendo un valor de α.959. Se pudo comprobar la unidimensionalidad del
instrumento lo que permitió evidenciar homogeneidad escalar y de criterio. Asimismo, se
obtuvieron valores significativos de correlación de Pearson entre las variables y a través del
análisis factorial desde el procedimiento ANOVA.
La aplicación de la prueba piloto del instrumento permitió obtener resultados significativos
para el análisis del impacto de los programas desde los egresados. Así como indicaron su
satisfacción y valoración por los resultados de la formación, los programas y sus resultados, el
impacto y su reconocimiento con un valor general de 4,2, también expresaron sus criterios y
recomendaciones a los programas para el perfeccionamiento de los mismos.
Lo antes expresado deja clara la necesidad de perfeccionar la evaluación y control del impacto
de los graduados en la solución de situaciones o problemas detectados en sus contextos y áreas
de desempeño para alcanzar, como expresan algunos autores, un nivel de control del impacto
de los egresados en su desempeño profesional que los sitúe como modelo, como referente ante
los ojos de estos y generar una influencia que contribuya a su desarrollo.
Referencias bibliográficas
Agreda Montoro, M., Hinojo Lucenas, M. A., y Sola Reche, J. M. (2016). Diseño y validación
de un instrumento para evaluar la competencia digital de los docentes en la educación
superior española. Pixel-Bit. Revista de Medios y Educación, 49(1), 39–56.
https://www.redalyc.org/pdf/368/36846509004.pdf
Barragán, S. (2018). Modelación con teoría de grafos para la unidimensionalidad de un
instrumento de evaluación. Interdiciplinaria, 35(1), 7–33. https://bit.ly/44SK08D
Bermúdez Morris, R., y Pérez Martín, L. M. (2022). Metodología para la autoevaluación del
impacto social de las maestrías. Revista Pedagogía, 10(1), 72–89.
https://bit.ly/3LWjbrF
Billorou, N., Pacheco, M., y Vargas, F. (Eds). (2011). Guía para la evaluación de impacto de
la formación. Organización Internacional del Trabajo. Montevideo: OIT/Cinterfor.
https://bit.ly/42GjuxC
154
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
Borges Oquendo, L. y Añorga Morales, J. A. (2015). Dimensiones de la evaluación de impacto
del posgrado académico desde la óptica de la Educación Avanzada en la Educación
Médica. Educación Médica Superior, 29(2), 369–376. https://bit.ly/42P6Goj
Carrera Morales, M. A., Mesa Carpio, N., y Padilla Cuellas, Y. (2022). Metodología para
evaluar el impacto de la educación de posgrado. Transformación, 18(1), 53–69.
https://bit.ly/3M3Oa5c
Concepción Toledo, D. N., González Suárez, E., Miño Valdés, J. E., y Ramos Miranda, E.
(2020). El postgrado: aspecto clave para los proyectos de desarrollo local en el vínculo
universidad-empresa. Revista Conrado, 16(76), 272–278. https://bit.ly/42QokID
Del Huerto Marimón, M. E., y Darias Domínguez, C. (2019). Metodología para monitoreo del
impacto de la formación de especialistas en la Universidad Médica matancera. Revista
Médica Electrónica, 41(6), 1410-1423. https://bit.ly/42LWsoJ
Espinoza, M. del C., Burga, A., y Okumura, A. (2020). Estructura Factorial de la Escala de
Riesgo de Violencia de Plutchik (ERVP): Propiedades psicométricas y diferencias en
función a variables sociodemográficas en universitarios limeños. Revista Argentina de
Ciencias Del Comportamiento, 12(2), 59–68.
https://doi.org/10.32348/1852.4206.v12.n2.26387
Fernández Medina, C. R. (2021). Análisis de competencias digitales de docentes y estudiantes
de enseñanza superior para implementar una evaluación formativa con tecnologías
[Tesis doctoral, Universidad de Granada]. Repositorio institucional.
https://bit.ly/42IeNDc
Figueroa, J. (2017). Metodología para la evaluación de pertinencia e impacto científico de los
resultados investigativos [Tesis de Maestría, Universidad del Oriente].
https://bit.ly/3pt6a0Z
Hernández, C., Prieto, A., y Hernández, C. (2017). Dimensiones de la calidad de servicio
presentes en los programas de postgrado. Reflexiones teóricas. Impacto Científico,
12(2), 127–141. https://bit.ly/3O1RArr
Herrera Masó, J. R., Calero Ricardo, J. L., González Rabgel, M. Á., Collazo Ramos, M. I., y
Travieso González, Y. (2022). El método de consulta a expertos en tres niveles de
validación. Revista Habanera De Ciencias Médicas, 6(5), 1–15. https://bit.ly/42IWJJP
Junta de Acreditación Nacional. (2019a). Sistema de evaluación y acreditación de Especialidad
de Posgrado(SEA-EP). La Habana, Cuba.
Junta de Acreditación Nacional. (2019b). Sistema de evaluación y acreditación de programas
Maestrías (SEA-M). La Habana, Cuba
Fernández Carlos, Ruiz José. Instrumento para la evaluación del impacto de programas de posgrado a partir de
la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria.
155
Kirkpatrick, D. L., & Kirkpatrick, J. D. (2009). Evaluating Training Programs. Berrett-
Koehler. https://bit.ly/44R37jv
Lara Díaz, L. M., Bravo López, G., Sánchez Arce, L., y Vázquez Cedeño, S. I. (2019).
Dimensiones para la evaluación del impacto social de la investigación educativa, en el
programa de Doctorado en Ciencias de la Educación en la Universidad de Cienfuegos.
Revista Conrado, 15(71), 155–163. http://scielo.sld.cu/scielo.php?pid=S1990-
86442019000600155&script=sci_abstract
Lara Díaz, L. M., De los Ángeles Navales, M., y Bravo López, G. (2018). Evaluación del
impacto de un programa de maestría para un cambio sostenible. Revista Conrado,
14(63), 101–108. http://scielo.sld.cu/scielo.php?script=sci_abstract&pid=S1990-
86442018000300101
Martín, M. C. (2004). Diseño y validación de cuestionarios. Matronas Profesión, 5(17), 23–
29. https://bit.ly/3nVEVM4
Martínez Navarro, M., y Jaya Escobar, A. I. (2019). La gestión de la ciencia, la tecnología y la
innovación en la educación superior: trayectorias y desafíos, Revista Atlante:
Cuadernos de Educación y Desarrollo. https://bit.ly/3BoovPm
Morales, R. (2017). El plan de estudios y el perfil profesional del egresado de la Maestría en
Agronegocios de la Escuela de Postgrado de la Universidad Nacional Agraria La
Molina. Anales Científicos, 78(2), 139–147. http://dx.doi.org/10.21704/ac.v78i2.1050
Ortega, C., Passailaigue, R., Febles, A., y Estrada, V. (2017). El desarrollo de competencias
científicas desde los programas de posgrado. REDVET. Revista Electrónica de
Veterinaria, 18(11), 1–16. https://www.redalyc.org/pdf/636/63653574007.pdf
Pineda, P. (2000). Evaluación del Impacto de la Formación en las Organizaciones. Educar,
119-133. Educar, 27. 119-133. https://doi.org/10.5565/rev/educar.253
Pino Sera, Y., Del Toro Prada, J. J., Aguilera García, L. O., y Zayas Batista, R. (2019).
Evaluación del impacto social del postgrado académico en Cuba. Correo Científico
Médico de Holguín, 23(3), 994–1012.
https://revcocmed.sld.cu/index.php/cocmed/article/view/3114
Pino-Sera, Y., Del Toro-Prada, J. J., y Medina-Peña, R. (2021). La evaluación del impacto
social de la formación académica de posgrado : análisis histórico. Luz, 20(3), 94–109.
https://bit.ly/3MmgOjm
Ramos Azcuy, F. J., Meizoso Valdés, M. del C., y Guerra Bretaña, R. M. (2016). Instrumento
para evaluación del impacto de la formación académica. Revista Universidad y
Sociedad, 8(2), 114–124.
156
ReHuSo: Revista de Ciencias Humanísticas y Sociales
e-ISSN 2550-6587
https://revistas.utm.edu.ec/index.php/Rehuso/index
Vol. 8 Núm. 2 (137-156): Enero – Abril 2023
rehuso@utm.edu.ec
Universidad Técnica de Manabí
DOI: https://doi.org/10.33936/rehuso.v8i2.5715
Resolución No 140 de 2019 [Ministerio de Justicia]. Reglamento de la educación de posgrado
de la República de Cuba. 5 de diciembre de 2019. https://bit.ly/42SSuLj
Rodríguez Medina, M. A., Poblano-Ojinaga, E. R., Alvarado Tarango, L., González Torres,
A., y Rodríguez Borbón, M. I. (2021). Validación por juicio de expertos de un
instrumento de evaluación para evidencias de aprendizaje conceptual. RIDE Revista
Iberoamericana Para La Investigación y El Desarrollo Educativo, 11(22).
https://doi.org/10.23913/ride.v11i22.960
Rodríguez Saif, M. J., & Tardo Fernández, Y. (2018). Indicadores de evaluación del impacto
de la gestión académica de posgrado para la calidad de la formación pedagógica
universitaria. Opuntia Brava, 10(2), 130–143.
https://opuntiabrava.ult.edu.cu/index.php/opuntiabrava/article/view/93
Soriano Rodríguez, A. M. (2014). Diseño y validación de instrumentos de medición. Diálogos,
8(13), 19–40. https://bit.ly/3O1Vdxy
Taber, K. S. (2018). The Use of Cronbach ’ s Alpha When Developing and Reporting Research
Instruments in Science Education. Re Sci Educ, (48), 1273–1296.
https://doi.org/10.1007/s11165-016-9602-2
Villavicencia-Caparó, E., Ruiz-García, V., & Cabrera-Duffaut, A. (2016). Validación de
cuestionarios. Revista OACTIVA UC Cuenca, 1(3), 75–80.
https://oactiva.ucacue.edu.ec/index.php/oactiva/article/view/200
Wade, P. (1999). Measuring the Impact of Training: A Practical Guide to Calculating
Measurable Results. High Impact Training Series. Jossey-Bass/ Pfeiffer.