Adaptación, validación y estandarización de cuestionarios para egresados y empleadores en el Estado de México

Adaptation, validation and standardization of questionnaires for graduates and employers in the State of Mexico

Elvira Ivone González Jaimes
Universidad Autónoma del Estado de México, México
ivonegj@hotmail.com

Eliseo Suárez Munguía
Universidad Autónoma del Estado de México, México
suarezmunguia@yahoo.com.mx

Resumen
El objetivo de este trabajo fue adaptar, validar y estandarizar dos cuestionarios, uno para egresados y otro para empleadores; ambos cuestionarios presentan datos específicos y comparten los requisitos de ingreso, los cuales son expresados en las competencias que se requieren para ingresar al mercado laboral. La meta es obtener denominadores comunes entre ambos sectores para que haya correspondencia entre la demanda y la oferta de empleo.
El método utilizado fue de diseño cuasiexperimental con dos fases, ambas con cortes transversales y análisis tanto descriptivo como analítico. En la primera fase hubo una muestra de 516 egresados y en la segunda fase una muestra de 24 empresas para realizar la adaptación y validación de los ítems.
En los resultados, los ítems que integran los cuestionarios presentan validez concurrente de constructo mayor al 80 % y confiabilidad inter-grupos de r2 >0.75 en p<0.05. En términos generales, la escala total del cuestionario obtuvo una confiabilidad de α=0.8332.

Palabra clave: egresados, empleadores, competencias laborales.

Abstract
Objective is adapted, validated and standardized questionnaires one for graduates and one for employers; both questionnaires have specific data and share the income requirements. Requirements expressed in skills needed to enter the labor market. The goal is to have common denominators between the two sectors so that there is correspondence between the demand and supply of employment.
Quasi-experimental design with two phases was applied; both contain cross-sectional descriptive and analytical analysis. The first phase has a 516 our graduates to perform validation of the items adaptation. The second has a 24 our companies where items are validating and standardization.
The items that make up the questionnaires have concurrent validity of construct 80 % greater reliability and inter-groups was r2> 0.75 at p <0.05. Overall, the total scale of the questionnaire obtained a reliability of α = 0.8332.

Key words: graduates, employers, labor competencies.
Fecha Recepción:     Febrero 2015     Fecha Aceptación: Septiembre 2015

Introducción
En la práctica se ha observado que las evaluaciones de egresados y empleadores son muy diversas porque dependen del área de estudio y laboral a evaluar. Este estudio pretende detectar los elementos indispensables de educación de calidad que requiere el egresado para ser contratado laboralmente (Esteve, 2009).
Así, en la presente investigación se desarrollaron dos cuestionarios sistematizados innovadores que sirven para evaluar tanto los aspectos indispensables que requiere un egresado, como los aspectos que requiere un empresario para poder contratar al recién egresado ya sea pasante o titulado.
Ambos cuestionarios se hacen de manera accesible, ágil, veraz y confiable. Esto ayudará a observar los perfiles laborales que los egresados requieren para poder ser contratados. Los cuestionarios contemplan la educación integral y de calidad como la requiere el mundo actual para adecuarse a los medios de producción y competitividad (Horgan, 2004).
Los cuestionarios se encuentran validados y estandarizados en la población de egresados universitarios y de empleadores ubicados en la zona industrial del ayuntamiento de Lerma Toluca, Estado de México. Los ejes a evaluar son los conocimientos adquiridos en el área de estudio, habilidades y actitudes. Esto tiene como objetivo tener una visión adecuada para aumentar la empleabilidad de los egresados (Milos y Galdames, 2007).

Antecedentes de los cuestionarios
Los cuestionarios están basados en el proyecto Tuning, que fue creado por universidades europeas y presentado en 2003 en la Conferencia Tuning Educational Structurest.
El proyecto Tuning propone un diálogo continuo entre la educación y las necesidades sociales. Su propósito es medir y comparar los resultados de aprendizaje expresados en términos de competencias genéricas y específicas de cada área como créditos registrados dentro del desarrollo profesional. A lo largo de dieciséis años, el Cuestionario Tuning ha demostrado ser un instrumento eficaz y con altos niveles de confiabilidad y validez en diversas identidades mundiales ya que fue creado con un lenguaje universal para medir diversas áreas disciplinarias independientemente de la localidad donde se estudie (González y Wagenaar, 2006).
En este estudio se estandariza el Cuestionario Tuning en dos formatos: egresados (pasantes o titulados) y empleadores de diferentes áreas laborales, con el fin de obtener los indicadores necesarios para continuar con el seguimiento a egresados que permitirá ajustar los programas educativos a los requerimientos sociales y el mercado de trabajo.
El proyecto Tuningconsidera el desarrollo de competencias a partir de: 1) el nuevo paradigma educativo, donde esfuerzos educativos se centran en el individuo que aprende, quien se compromete con el nivel de aprendizaje y la continuidad del mismo porque debe de adaptar su conocimiento al mundo que lo rodea, el cual está cambiando vertiginosamente y donde el aprender a aprender operativamente se considera la piedra angular, 2) la necesidad de calidad y el incremento del acceso al empleo y la ciudadanía responsable, considerando a la calidad como transparencia de propósitos, procesos y resultados. El acceso al empleo depende de las competencias y destrezas relacionadas con la capacidad de resolver los principales problemas del mundo laboral, propios de una sociedad en permanente transformación. Estos temas exigen un análisis riguroso que abra paso a la revisión constante de programas educativos, 3) la creación de educación superior, proyectada en instituciones homólogas con calidad en la enseñanza y su aplicación universal como lo requiere la globalización.
El cuestionario Tuning contiene 30 ítems que miden: 10 competencias instrumentales, 8 competencias interpersonales y 12 competencias sistémicas:
El presente estudio de seguimiento a egresados tiene como objetivos: proveer insumos para la evaluación y la planeación de políticas educativas a instituciones acreditadoras de carreras (SEP, ANUIES, IES). Tal como señala el Artículo 4 del Reglamento de Estudios Profesionales, en la página 195: “el fin primordial de los estudios profesionales es la formación del alumno, mediante el desarrollo de sus facultades, aptitudes, actitudes y valores, para ejercer actividades profesionales de alta calidad y evolucionar en el campo laboral, así como para desempeñarse en la indagación, creación y recreación del conocimiento”.
En la adaptación, validación y estandarización que se hizo a la población de egresados de la Universidad Autónoma del Estado de México y empresas de la zona industrial del Municipio Lerma, Estado de México, se utilizaron quince ítems para medir: 5 competencias instrumentales, 5 competencias interpersonales y 5 competencias sistémicas (Hogan, 2004).

Antecedentes metodológicos para adaptar, validar y estandarizar los cuestionarios para egresados y empleadores
Para poder implantar de forma exitosa un cuestionario o test se debe tener presente el concepto de generalización, enfocando las limitaciones que señala Muñiz (1998) en La Teoría Clásica de los Test.
1) La población debe compartir condiciones semejantes a las originales en las que se desarrolló el instrumento. Dicho aspecto ya fue superado y ahora se utilizan los cuestionarios de Tuning, que fueron validados y estandarizados en estudiantes universitarios de habla hispana.
2) Otra limitación es que los cuestionarios deben ser los suficientemente flexibles para acomodarse en semejantes condiciones y circunstancias de aplicación. Este otro aspecto también fue revisado en cada uno de los cuestionarios mediante pruebas piloto ejecutadas en condiciones y circunstancias semejantes (Muñiz, 1998).

Procedimiento
Objetivo general.- Adaptar, validar y estandarizar los cuestionarios para egresados y para empleadores utilizando un producto innovador de uso accesible, ágil y confiable. Esto permite obtener evaluaciones del egresado con respecto a los requisitos que debe cubrir para ser contratado, así como conocer las evaluaciones del empleador en cuanto a los requisitos que necesita para solventar las necesidades del puesto. De esa manera se obtiene un común denominador entre egresado y empleador.
El diseño utilizado fue de tipo cuasiexperimental de campo, con dos fases, ambas con análisis descriptivo y analítico.
Fase 1. Cuestionario para egresados (pasantes o titulados)
De tipo trasversal para medir la accesibilidad, agilidad, confiabilidad y estandarización de los ítems (Tintaya, 1999).
Fase 2. Cuestionario para empleadores
De tipo transversal para obtener la confiabilidad y estandarización a través de precisar los ítems (Tintaya, 1999).

Muestra
Fase 1. Cuestionario para egresados (pasantes o titulados)
Se seleccionó una muestra aleatoria de 516 estudiantes provenientes de siete facultades, cada una representando a un área de conocimiento de la UAEM (De Rojas, Diseño de la muestra para estudios complejos, 1998): edad promedio 26.8 años, género masculino 59 %, y estado civil solteros 56 %.
Fase 2 Cuestionario para empleadores
Veinticuatro empresas de la zona industrial del Municipio Lerma, Estado de México, correspondientes a las siete áreas de conocimiento que divide la UAEM y pertenecientes a diversos sectores de producción.

Procedimiento estadístico

1. Para obtener las características específicas de las muestras se realizó el análisis descriptivo de cada uno de los grupos de egresados y empleadores.
2. Para la adaptación de los ítems del cuestionario de Tuning se dividió la población del Estado de México en: estudiantes de nivel superior de la Universidad Autónoma del Estado de México (UAEM) y seleccionadores de personal de las empresas de la zona industrial del Municipio Lerma, Estado de México. Asimismo, se realizó una prueba piloto de acuerdo con las consideraciones de Kerlinger (2009), aplicando la adaptación al cuestionario de Tuning mediante la validez concurrente de los ítems.
3. Para obtener la confiabilidad del cuestionario e identificar la estructura de sus dimensiones se realizó el análisis de consistencia interna de los ítems discriminados, por medio de análisis factoriales con rotación ortogonal de componentes principales. De esa manera se obtuvo la consistencia interna para cada competencia con base en la escala Alfa de Cronbach. Se reportaron solo los ítems con alfa > 0.70 (Cronbach 2012).
4. Para obtener la estandarización se midió la consistencia externa y la validación externa en diferentes poblaciones, obteniéndose los mismos resultados en una muestra de 516 egresados, quienes provenían de siete áreas de estudio distintas y teniendo como opciones a 24 empresas empleadoras de dichas áreas de estudio (Chacón y Pérez –Gil, 2008). Se aplicó la prueba de regresión de mínimos cuadrados para observar la variabilidad entre los grupos considerando a r2 >0.75 en p<0.05.

Resultados

Para conocer las características de la muestra de egresados se realizó un análisis descriptivo de la misma, n=512 sujetos. Ver tabla I.

También se realizó un análisis descriptivo a la muestra de egresados para conocer sus características, n=24 empresas. Ver tabla II.

Para el proceso de adaptación de los ítems del cuestionario de Tuning en estudiantes de nivel superior de la UAEM y seleccionadores de personal de las empresas de la zona industrial del Municipio Lerma, se aplicó la validez concurrente de los ítems (Kerlinger, 2009).
La muestra consistió en:
1) egresados (516 pasantes o titulados) provenientes de siete facultades, cada una representando a un área de conocimiento de la UAEM. Aquí se obtuvieron altos puntajes: a) competencias instrumentales obtuvo cinco ítems con 128 respuestas, mostrando 84.80 % de validez concurrente, b) competencias sistémicas obtuvo cinco ítems con 182 respuestas, mostrando 95.27 % de validez concurrente, y c) competencias interpersonales obtuvo cinco ítems con 206 respuestas, mostrando 89.92 % de validez concurrente. Ver Anexo I.
2) empleadores de veinticuatro empresas (5 empresas administrativas, 4 empresas de ingeniería y tecnología en producción, 2 empresas farmacéuticas, 2 hospitales generales, 2 empresas agropecuarias, 3 empresas de productos químicos, 4 escuelas de educación (media y media superior) y 2 empresas de arquitectura, diseño y urbanismo, donde se obtuvieron altos puntajes: a) competencias Instrumentales obtuvo cinco ítems con tres respuestas, mostrando 82.5 % de validez concurrente, b) competencias sistémicas obtuvo cinco ítems con cuatro respuestas, mostrando 83.33 % de validez concurrente, y c) competencias interpersonales obtuvo cinco ítems con cinco respuestas, mostrando 81.66 % de validez concurrente. Ver anexo II.
Es importante hacer notar que se anexaron al cuestionario cuatro ítems: uno en competencias instrumentales (titulación), otro en competencias sistémicas (reconocimiento del área dentro de la institución de egreso) y dos en competencias interpersonales (recomendaciones/referencias y poseer disciplina), porque fueron señalados por los empleadores como instrumentos clave para la contratación de los egresados.
Proceso de fiabilidad o consistencia interna del instrumento a través de Alfa de Cronbach
Posteriormente a la selección de reactivos, se realizó un análisis factorial con rotación ortogonal de componentes principales para identificar la estructura de las dimensiones con base en la escala Alfa de Cronbach (Cronbach, 2012).
La confiabilidad que obtuvo el inter-grupo en las puntuaciones totales de las tres escalas de competencias, fue α=0.85 y la confiabilidad intra-grupo de las puntuaciones totales de las tres escalas, fue α=0. 80.

En términos generales, la escala total del cuestionario obtuvo una confiabilidad de α=0.8332. Ver tabla III.

El proceso de estandarización (validación externa) se midió a través de observar la consistencia externa del comportamiento de la muestra de egresados que provienen de siete áreas de estudio y de los 24 reclutadores de personal en las diferentes áreas de estudio (Chacón y Pérez-Gil, 2008). Prueba de Regresión de mínimos cuadrados para observar la variabilidad entre los grupos considerando a r2 >0.75 en p<0.05. Ver Tabla IV.

Conclusión
La evaluación de egresados y empleadores es muy diversa porque depende del área de conocimiento y de la empleabilidad que se ofrezca a los egresados. Muchas empresas utilizan diversos métodos para seleccionar a sus empleados, por lo que se pretende la estandarización de estos test en una zona donde las universidades y los empleadores midan las mismas competencias. Esto permitiría a las universidades entrenar a sus estudiantes para que satisfagan las necesidades sociales y, por ende, asegurar su empleabilidad ya que su aprendizaje está satisfaciendo las necesidades del mercado laboral (Esteve, 2009).
Tomamos como base el Cuestionario de Tuning porque es universal y lo utilizan varias ciudades de la Unión Europea, aunque también fue necesario adaptar, validar y estandarizar a la población mexiquense, una zona donde es necesario homologar lo que se enseña en las universidades y lo que requiere el mercado laboral (González y Wagenaar, 2006).
Como se puede observar, en este estudio se tomó en cuenta a la Universidad Autónoma del Estado de México porque es una institución educativa que en 2015 presentó una matrícula de 55 227 alumnos, está presente en veinticuatro municipios mexiquenses y tiene una cobertura a nivel estatal de 31.4 % y a nivel nacional de 39.2 %. Sus planes y programas de estudio no se aplican solamente dentro de sus recintos, sino que rebasa sus fronteras con catorce universidades incorporadas, cuya inscripción registró en 2015 a 8 334 alumnos en 38 municipios mexiquenses, por lo que está presente en 62 municipios mexiquenses (UAEM, 2015).
El corredor industrial Toluca Lerma, perteneciente al Municipio de Lerma, Estado de México, alberga a un sinnúmero de especialidades tanto en industrias como en empresas del sector público y privado, cada una con distinto número de empleados. Estas pueden ser desde pequeñas hasta grandes empresas, dentro de los cinco sectores de producción. Por tanto, su diversificación era apropiada para la validación y estandarización del cuestionario.
La adaptación del cuestionario fue vital para que los egresados y empleadores tuvieran los ítems que requerían para medir las competencias que satisfacen las necesidades del mercado laboral (Kerlinger, 2009).
La validación tuvo la función de medir lo que se pretendía. Se elaboró un solo cuestionario a aplicar tanto a egresados como a empleadores, con 15 ítems que midieron las competencias requeridas. De esa manera se obtuvo un cuestionario ágil, confiable y completo (Cronbach 2012).
Finalmente, se utilizó la prueba de regresión de mínimos cuadrados para conocer el paralelismo entre los grupos de egresados de siete áreas de estudio y los grupos de las empresas de los diversos sectores de producción (Chacón y Pérez-Gil, 2008).

Bibliografía
Chacón Moscoso, Salvador; Pérez-Gil, José Antonio (2008). Diseño y medición de programas de intervención neuropsicológica: aspectos fundamentales. Universidad de Sevilla [Versión electrónica] Extraído el 9 de octubre de 2015 de:  file:///C:/Users/hp/Downloads/tema2_tct.pdf
Cronbach, L. J. (2012). Fundamentos de los Tests Psicológicos. España, Biblioteca Nueva. [Versión electrónica]. Extraído el 9 de octubre de 2015 de scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1727 (enlace inactivo)
Esteve, J. M. (2009). La educación en la sociedad del conocimiento. Una tercera revolución educativa. Universidad de Málaga. España: Grupo de Trabajo sobre profesionalización docente de PREAL. [Versión electrónica]. Extraído el 9 de octubre de 2015 de http://www.oei.es/reformaseducativas/educacion_sociedad_conocimiento_tercera_revolucion_esteve.pdf
González, Julia y Wagenaar, Robert (2006). Tuning Educational Structures in Europe II. Universidad de Deusto, Bilbao [Versión electrónica] Extraído el 9 de enero de 2016 dehttp://www.unideusto.org/tuningeu/images/stories/Publications/Tuning_2_CAST_PR2_pdf.pdf
Hogan, T. (2004). Pruebas psicológicas. Una introducción práctica. México: Manual Moderno. [Versión electrónica]. Extraído el 27 de Mayo de 2015 de http://web.usach.cl/psicologia/congreso/programa_cientifico.pdf (enlace inactivo)
Kerlinger, N. F. (2009). Investigación del Comportamiento. México: Mcgraw-Hill Muñiz, F. J. (1990): Teoría de Respuesta al Ítem, Madrid: Pirámide. [Versión electrónica]. Extraído el 9 de octubre de 2015 de www.uv.es/~meliajl/Research/EstimationWeb/Estindex.htm
Milos, I. y Galdames, M. (2007). Perfil, Diagnóstico y Aplicación de los Estilos de Aprendizaje en las Prácticas de Laboratorio en Estudiantes de Psicología. II Congreso Chileno de Psicología. [Versión electrónica]. Extraído el 9 de octubre de 2012 de web.usach.cl/psicologia/congreso/programa_cientifico.pdf
Muñiz, F. J. (1998). Teoría Clásica de los Test, Madrid: Pirámide. [Versión electrónica] Extraído el 9 de octubre de 2015 de  www4.ujaen.es/~lmlozano/docencia/Fundamentos/Programa.pdf
Rojas, S. R. (1998). Guía para realizar investigación social, ed. 32, Ciudad de México: Plaza y Valdez, pp. 298-308. [Versión electrónica] Extraído el 9 de octubre de 2012 de www.uv.es/aleza/Bibliogr%20EA.pdf
Tintaya, P. (1999). Diseños de investigación. La Paz: CISPE. [Versión electrónica] Extraído el 9 de octubre de 2015 de  www.iep.org.pe/textos/DDT/mineriayconflictosocial.pdf
UAEM (2015). Agenda estadística 2015, Universidad Autónoma del Estado de México. Mexico. [Versión electrónica] Extraído el 9 de febrero de 2016 de: http://planeacion.uaemex.mx/docs/AE/2015/AE_2015.pdf
UAEM (2014). Reglamento de estudios profesionales, Artículo 4, p. 193, 1ª ed., Universidad Autónoma del Estado de México. México [Versión electrónica] Extraído el 9 de febrero de 2016 de: http://www.uaemex.mx/abogado/doc/0006%20REP.pdf