Monografias | Análisis de Conglomerados:Una experiencia en la evaluación final del rendimiento académico

Índice
Resumen
Introducción 
Desarrollo 
Conclusiones 
Bibliografía 

Resumen
Los aspectos relacionados con la comprobación y evaluación del rendimiento académico de los estudiantes y de los objetivos de la educación son motivo de apasionada discusión por parte de científicos, pedagogos y estudiosos de todo el mundo. 

El trabajo expone una experiencia llevada a cabo a partir del Curso Académico 2002-2003 hasta el presente en la utilización de la técnica estadística conocida como “Análisis de Conglomerados” para determinar la evaluación final de todos los estudiantes del 4to. Semestre de la carrera de Medicina de la Facultad "10 de Octubre" del Instituto Superior de Ciencias Médicas de La Habana en las asignaturas Anatomía Patológica, Agentes Biológicos, Informática Médica II, Psicología Médica I e Idioma Inglés IV y valorar el desarrollo docente individual de cada uno desde el inicio de la carrera.

Introducción
Los aspectos relacionados con la comprobación y evaluación del rendimiento académico de los estudiantes y de los objetivos de la educación son motivo de apasionada discusión por parte de científicos, pedagogos y estudiosos de todo el mundo.

La comprobación del sistema de conocimientos, hábitos y habilidades de los alumnos, como parte esencial de la evaluación del aprendizaje, es de gran importancia en el desarrollo del proceso de enseñanza.

Mediante la evaluación se comparan los resultados de educadores y alumnos con los objetivos propuestos, para determinar la eficiencia del proceso docente-educativo y, consecuentemente, reorientar el trabajo y decidir si es necesario volver a trabajar sobre los mismos objetivos o sobre parte de ellos, con todos o con algunos alumnos; al mismo tiempo se comprueba si la trayectoria que se siguió en el trabajo fue adecuada o no.

La evaluación en su sentido más amplio, podría definirse como un componente esencial del proceso de enseñanza que parte de la definición misma de los objetivos y concluye con la determinación del grado de eficiencia del proceso, dada por la medida en que la actividad de educador y alumnos haya logrado como resultado los objetivos propuestos. Su carácter de continuidad permite la constante comprobación del resultado del proceso de enseñanza y la convierte en guía orientadora de este.

Los momentos evaluativos son parte del proceso de enseñanza y están presentes en su desarrollo. Todo trabajo debe conducir a un resultado parcial o final y es también la evaluación la que nos permite, en su función comprobatoria, establecer una calificación expresada en una nota o índice que signifique el nivel de calidad alcanzado en el proceso general y el resultado del aprovechamiento que manifiesta cada uno de los alumnos. Esto constituye el momento de comprobación y lo que se considera evaluación en su sentido más estrecho, es decir, el juicio de valor que se emite cuando concluye el proceso evaluativo. (1) Sin embargo, podemos preguntarnos hasta qué punto puede realmente resultar objetiva la evaluación final emitida por el profesor. 

El sistema evaluativo que utilizan nuestras Universidades se basa en una valoración cualitativa del rendimiento académico expresado en el llamado "recorrido del estudiante" a partir de los controles sistemáticos, parciales y el examen final a través de una escala basada en solamente cuatro categorías: 5- Excelente, 4- Bien, 3- Aprobado y 2-Desaprobado.

Sin dudas, para realizar la valoración final, los profesores no habrán de tener dudas con algunos estudiantes cuyo resultado obedecerá a una de estas categorías, pero existirán otros a los que será difícil ubicar en una u otra. Muchas veces, por consiguiente, intervendrá la opinión subjetiva acerca del desempeño integral del estudiante y en consecuencia, no seremos siempre verdaderamente justos con sus resultados.

La utilización de técnicas estadísticas se hace cada vez más frecuente en los trabajos de investigación relacionados con la Educación Superior. (2,3,4,5) Entre estas, el Análisis de Conglomerados o "Clusters" (en inglés) clasifica dentro de las técnicas de Interdependencia del Análisis Estadístico Multivariado, es decir, aquellas que no distinguen entre variables dependientes e independientes y su objetivo consiste en identificar qué variables están relacionadas, cómo lo están y por qué. (6) También conocido como Taxonomía Numérica o Reconocimiento de Patrones, tiene como objetivo clasificar una muestra de entidades (individuos o variables) en un número de conglomerados o grupos de manera que las observaciones pertenecientes a un conglomerado sean muy similares entre sí (cohesión interna del conglomerado) y muy disimilares del resto (aislamiento externo del conglomerado) (7), es decir, permite formar grupos de individuos homogéneos y mutuamente excluyentes respecto a un conjunto de características que pueden ser cualitativas o cuantitativas. (8) Por tanto, el Análisis de Conglomerados puede contribuir a evitar decisiones subjetivas como la señalada anteriormente. De hecho son conocidas numerosas aplicaciones del mismo en el campo educativo aunque en nuestras Universidades no se tienen antecedentes de su aplicación. (9,10 ,11 ,12 ,13) Por otra parte, las pruebas estadísticas no paramétricas para contrastar hipótesis están disponibles para tratar datos que son simplemente clasificatorios o categóricos. (14) 

Este trabajo surgió como resultado de la reunión de profesores de 2do. Año de Medicina, conocida en nuestra Universidad como “Comité Horizontal”, que analiza semanalmente el comportamiento docente e integral de todos los estudiantes. Teniendo en cuenta la problemática planteada, al realizar este estudio nuestros objetivos fueron:
Objetivo General:
¨ Analizar el rendimiento académico integral de todos los estudiantes.

Objetivos Específicos:
¨ Evaluar de una manera objetiva el resultado final de los estudiantes en cada asignatura. 
¨ Identificar las habilidades lingüísticas que presentan mayores dificultades en el proceso de enseñanza-aprendizaje del Idioma Inglés.
¨ Valorar el desarrollo docente individual de cada estudiante desde el inicio de la carrera.

Desarrollo
El presente trabajo expone una experiencia llevada a cabo a partir del Curso Académico 2002-2003 hasta el presente en la utilización de la técnica estadística conocida como “Análisis de Conglomerados” para determinar la evaluación final de los estudiantes de nuestra Facultad en el 4to. Semestre de la carrera de Medicina en las asignaturas Anatomía Patológica, Agentes Biológicos, Informática Médica II, Psicología Médica I e Idioma Inglés IV, así como en el análisis del "recorrido" de estos desde el inicio de la carrera. El estudio se ha basado en los resultados académicos de todos los estudiantes (32, 25, 21 y 20) en los cuatro últimos cursos respectivamente. 

La información de partida del Análisis de Conglomerados es una matriz n x p que contiene las observaciones para los n individuos de las p variables que intervienen en el análisis. En el proceso de su aplicación debemos preocuparnos por la forma en que mediremos la separación entre los valores de los distintos individuos, con arreglo a qué criterios se formarán los grupos de nivel básico y cómo iremos reagrupando estos en otros de orden superior; por tanto, es preciso tomar decisiones sobre los tres aspectos siguientes: 
a) Medida de Distancia
b) Método de Formación de Conglomerados
c) Criterio para Combinar los Conglomerados

Existen diversos algoritmos y dependiendo del tipo de datos manejados y de los objetivos concretos del estudio se aplican unos u otros. Por otra parte, las exigencias de normalidad, homocedasticidad (igualdad de varianzas) y linealidad que son importantes en otras técnicas tienen poco peso en el Análisis de Conglomerados. (15)

Quizás el asunto más desconcertante para el investigador que utiliza este análisis es la determinación del número final de conglomerados a formar (también conocida como regla de parada) ya que desafortunadamente no existe un procedimiento objetivo o estándar. Dado que no se utiliza un criterio estadístico interno para la inferencia, tal como las pruebas de significación estadística de otros métodos multivariados, los investigadores han desarrollado varios criterios y líneas a seguir para aproximarse al problema, lo que muchas veces implica procedimientos francamente complejos. (9) Además, la interpretación de los resultados del Análisis de Conglomerados implica el examen de cada grupo o "cluster", asignando un nombre o etiqueta que describa su naturaleza. (6) No obstante, estos aspectos no representaron un inconveniente para nuestro problema pues la determinación del número de "clusters" se encuentra determinado por un máximo de sólo cuatro grupos definidos por las categorías evaluativas que a su vez definen perfectamente sus nombres o etiquetas.

Para la aplicación del método se utilizó como medida de distancia la Euclideana propia para datos cuantitativos o cualitativos ordinales.

Para la formación de los "clusters" se empleó el método jerárquico el cual configura los grupos con estructura de árbol, de forma que los clusters de niveles más bajos van siendo englobados en otros de niveles superiores mediante el algoritmo aglomerativo o ascendente que comienza con tantos clusters como individuos y en cada etapa forma un cluster por unión de dos individuos aislados, de dos clusters o de un individuo con un cluster formado en una etapa anterior; el final del proceso es un grupo único formado por todos los individuos. Como resultado de aplicar el algoritmo se obtiene una representación gráfica denominada "dendograma" que muestra las etapas de formación de los conglomerados y los valores de las distancias en cada etapa. En el dendograma es posible conocer la composición de los grupos según el número de ellos que hayamos establecido sólo trazando una vertical a la altura correspondiente y además la longitud de las barras indica la distancia entre los grupos que se combinan. El dendograma redimensiona las escalas originales a otra entre 0 y 25, considerando las proporciones de las distancias entre las etapas.

De los criterios empleados para combinar clusters en los métodos jerárquicos se utilizó el enlace promedio entre grupos que busca la distancia mínima entre dos clusters calculada como el promedio de las distancias entre todos los pares de observaciones (uno de cada cluster). (16,17) 

Para el procesamiento estadístico de toda la información se utilizó el paquete profesional SPSS (Statistical Package for Social Sciences) v.10.0. (18)

Una primera aplicación del método se llevó a cabo para analizar el "recorrido" de los estudiantes en las asignaturas del Curso 2002-2003.

Se conoce que resulta decisivo seleccionar las variables "relevantes" para identificar los conglomerados, de acuerdo a los objetivos propuestos, ya que de lo contrario, los resultados carecen de sentido. Como ejemplo, a partir de las características del Sistema Evaluativo de la asignatura Informática Médica II (en la que se obtuvieron muy buenos resultados) se consideraron como variables las siguientes evaluaciones:
· Preguntas de Control Sistemáticas (orales o escritas)
· Clases Prácticas
· Encuentros de Conocimientos
· Trabajo Extra Clase
· Seminarios
· Trabajo de Control en Clase
· Prueba Intra Semestral 
· Prueba Final

Resulta válido aclarar que al aplicar esta técnica se parte del criterio de que las evaluaciones que se tomen como referencia habrán de ser obtenidas utilizando instrumentos adecuados de evaluación. En este caso, se partió de las valoraciones cualitativas de cada uno de esos aspectos realizadas por los profesores. Si no todas las variables se encuentran expresadas con valores similares, el criterio recomendado es trabajar a partir de las variables tipificadas.
El resultado del dendograma obtenido a través del paquete estadístico se muestra a continuación:





Trazando una vertical a una distancia de 10 se observan bien definidos tres conglomerados que corresponden a los grupos con evaluaciones de 5, 4 y 3 respectivamente.

La evaluación obtenida por cuatro de los estudiantes en la Prueba Final ofrecía dudas para decidir la evaluación final. El dendograma muestra como dos de los estudiantes con resultado de 4 en la Prueba Final: Neil y Marcos se suman al grupo cuya valoración general es de 5. De igual forma ayudó a definir la evaluación de otros dos estudiantes que obtuvieron 5 en el Examen Final: Yainelis y Osmier. Mientras la primera fue asignada al conglomerado con evaluación de 5, el segundo quedó agrupado con los estudiantes cuyo resultado de 4 no ofrecía lugar a dudas. Al mismo tiempo, una estudiante quedó bien diferenciada de ambos conglomerados, constituyendo por sí sola el conglomerado con evaluación de 3.

Es importante señalar que al obtener un dendograma para este tipo de situación se debe centrar la atención en la formación de los cuatro conglomerados posibles tomando como referencia aquellos alumnos cuya evaluación se encuentra bien definida.

En los casos de las asignaturas Anatomía Patológica, Agentes Biológicos y Psicología Médica I se consideraron como variables los resultados de las evaluaciones en las Preguntas de Control, los Seminarios, los Trabajos de Control, la Prueba Intra Semestral, el Trabajo Independiente y la Prueba Final.

En todos los cursos los resultados obtenidos a través de cada dendograma fueron comparados con los resultados previamente definidos por los profesores a través de las Pruebas Estadísticas no Paramétricas de Wilcoxon y de los Signos para dos muestras relacionadas. Si bien no existió una diferencia estadísticamente significativa entre la evaluación obtenida a través del algoritmo y la de los profesores, se pudo constatar que no siempre se había sido verdaderamente objetivo en todos los casos, sometiéndose estos a una discusión para otorgar la evaluación final. 

Por otra parte, la conformación de los “clusters” se puede también realizar en función de las variables, las cuales pueden ser, por ejemplo, en el caso del análisis de una prueba de cualquier asignatura, las diferentes preguntas que la conforman; o bien, como en el caso de la disciplina Idioma Inglés, las cuatro habilidades que se miden durante el proceso de enseñanza-aprendizaje: Expresión Oral, Comprensión Auditiva, Lectura y Escritura. En todos los cursos un análisis adicional a partir de las pruebas de Friedman (para k muestras relacionadas) y Wilcoxon (para dos muestras relacionadas) señalaron la existencia de diferencias en el comportamiento de las cuatro habilidades y más específicamente la existencia de diferencias entre la Comprensión Auditiva y la Expresión Oral y entre la Lectura y la Escritura, pero no entre la Expresión Oral y la Lectura a un nivel de significación del 5%. De esta forma, se pudieron conocer las principales dificultades en las que los profesores de la asignatura debían trabajar en los siguientes cursos. 

Otro análisis realizado a partir de la evaluación obtenida por todos los estudiantes en las 31 asignaturas cursadas desde el inicio de la carrera hasta la conclusión del Curso 2002-2003 mostró el siguiente resultado:



En este caso al trazar una vertical a una distancia cercana a 15 se observan bien definidos tres conglomerados que corresponden a grupos de estudiantes con rendimientos académicos diferentes. Si se traza adicionalmente otra vertical a una distancia cercana a 10, el segundo conglomerado queda a su vez subdividido en otros subgrupos. En una situación como esta el número de conglomerados a obtener puede ser definido a priori y en consecuencia se trabaja a partir de la distancia que permita obtener el resultado deseado.

A partir de esta información el Vice-Decanato Docente de la Facultad conformó las brigadas de 3er. Año de Medicina en cada curso siguiente, tomando en consideración un mejor balance del rendimiento académico de los estudiantes. Es de señalar que en todos los cursos se realizó un Análisis de Fiabilidad de la información procesada. El valor mínimo del estadígrafo Alpha de Cronbach obtenido de .9432 próximo a 1 reafirmó la validez del estudio y por consiguiente de los resultados en todos los casos. 

Un análisis similar se realizó también con la disciplina Idioma Inglés que se estudia durante diez semestres. En cada Curso, se obtuvo el dendograma a partir de las evaluaciones de los semestres cursados, lo que ha permitido valorar más efectivamente el desarrollo individual de cada estudiante en esta importante asignatura.

Por último, aunque no constituía objetivo del trabajo, al finalizar cada Curso se obtuvo también el dendograma en función de todas las asignaturas cursadas pudiendo constatarse que en todos los casos quedaron muy bien definidos tres conglomerados. Un primer conglomerado integrado por las asignaturas de las llamadas Ciencias Básicas y otras materias de Medicina, un segundo integrado por asignaturas complementarias tales como Informática Médica, Psicología Médica, Idioma Inglés, etc. y un tercero en el que aparecen las asignaturas de menor complejidad para el estudiante como Educación Física, Historia de Cuba, Tiempo Electivo, etc. El hecho de que asignaturas similares se asociasen entre ellas y no con otras de características diferentes, sirvió para corroborar una evaluación correcta por parte de los profesores, mucho más teniendo en cuenta que las evaluaciones de los tres primeros semestres de la Carrera provienen de diferentes Facultades.

No obstante los resultados obtenidos, el Análisis de Conglomerados es una técnica eminentemente exploratoria cuya finalidad es sugerir ideas al analista a la hora de elaborar hipótesis y modelos que expliquen el comportamiento de las variables o individuos analizados, identificando grupos homogéneos de objetos. Los resultados del análisis deben tomarse como punto de partida en la elaboración de teorías que expliquen dicho comportamiento, de ahí que en ningún momento dejemos al algoritmo el papel de evaluador del estudiante y anulemos el que en este sentido juega el profesor, es decir, que el Análisis de Conglomerados sólo constituye una valiosa herramienta para una mejor toma de decisiones.

Conclusiones
- El Análisis de Conglomerados ha permitido evaluar de una manera objetiva el resultado final de cada estudiante en las asignaturas Anatomía Patológica, Agentes Biológicos, Informática Médica II, Psicología Médica I e Idioma Inglés IV.

- Se han identificado las habilidades lingüísticas que presentan mayores dificultades en el proceso de enseñanza-aprendizaje del Idioma Inglés.

- El resultado obtenido a partir del recorrido general de todos los estudiantes ha permitido realizar un mejor seguimiento del comportamiento de estos a través de los siguientes años de la Carrera.

Bibliografía
(1) Colectivo de Autores. Pedagogía. La Habana: Editorial Pueblo y Educación, 1989:294-295. 
(2) Valdés, Alain. Hacia la Gestión y el Control del Proceso Docente Educativo con la Ayuda del Control Estadístico de la Calidad. CD Memorias Universidad 2002. 
PER-103. ISBN 959-16-0138-7. La Habana. 2002.
(3) Silva, Manuel. Pedagogía, Tablas de Contingencia y Validación de Hipótesis Científico-Pedagógicas. CD Memorias Universidad 2002. PER-104. ISBN 959-16-
0138-7. La Habana. 2002.
(4) Carot, José Miguel. Jabaloyas, José. Martínez, Mónica. Miró, Pau. Análisis Estadístico de la Encuesta de Opinión del Alumno sobre la Actuación Docente del 
Profesorado de Formación de Post-Grado. Universidad Politécnica de Valencia, España. CD Memorias Universidad 2004. POS-069. ISBN 959-7164-53-1. La 
Habana. 2004.
(5) Apodaca, Pedro. Dimensiones de la Competencia Docente desde la Percepción de los Alumnos. Universidad del País Vasco, España. CD Memorias Universidad 
2004. CAL-045. ISBN 959-7164-53-1. La Habana. 2004.
(6) Salvador Figueras, Manuel. Introducción al Análisis Multivariante. Universidad de Zaragoza. 2001. Disponible en URL: http://www.5campus.org/leccion/introduccion
(7) Salvador Figueras, Manuel. Análisis de Conglomerados o Clusters. Universidad de Zaragoza. 2001. Disponible en URL: http://www.5campus.org/leccion/cluster 
(8) Martínez Arias, R. El Análisis Multivariante en la Investigación Científica. Cuadernos de Estadística. Editorial La Muralla. 2000.
(9) García Ramos, J. M. Análisis de Conglomerados en la Investigación Educativa. Diccionario de Ciencias de la Educación. Madrid: Anaya. 1999. (10) Gregory, R. P. Streaming, Setting and Mixing Ability Grouping in Primary and Secondary Schools: Some Research Findings. Educational Studies. 1994; 10 (3). 209-226.
(11) Mafokozi, J. Diferencias Individuales en el Aprendizaje y Tratamientos Instructivos Adaptados.Bordón.1994;46(1).69-82. (12) Mafokozi, J. El Análisis Cluster en la Adaptación Educativa a las Diferencias Individuales y Grupales. En Nuevas Realidades Educativas, Nuevas Necesidades Metodológicas. Málaga: Centro de Ediciones de la Diputación Provincial de Málaga.1999:425-429. (13) Vatterrot, C. & Yard, G. J. Accomodating Individual Differences Through Instructional Adaptations. Review of Middle School. 1998; 24: 23-28. 
(14) Siegel, Sidney. Castellan, N. John. Estadística no Paramétrica. México: Editorial Trillas. 1995:57-58.
(15) Gnanadesikan, R. Methods for Statistical Data Analysis of Multivariate Observations. A Wiley - Interscience Publication, John Wiley&Sons, Inc. 1997. 
(16) Hair, J. R. Anderson. R. Tatham, W. Black. Análisis Multivariante. 5. ed. Prentice 
Hall.1999:515-516. (17) Sharma, S. Applied Multivariate Techniques. John Wiley&Sons,Inc. 1998.
(18) Ferrán, Magdalena. SPSS para Windows. Análisis Estadístico. Madrid: Mc Graw-Hill / Interamericana de España. 2002. 

Autor: 
Ms. C. Arturo J. Santander Montes
Coautores: Ms. C. René Ruiz Vaquero
Ms. C. Sonia Fernández Brañas
Lic. Leonilda Betancourt Herrera
Dr. Rinaldo González Pérez
Dra. Silvia Sánchez Muñoz

Institución: Instituto Superior de Ciencias Médicas de La Habana
Facultad de Ciencias Médicas "10 de Octubre"
e-mail: arturo.montes@infomed.sld.cu

Compartir