Ilustrados comunidad mundial educativa
Inicio | Escribenos
User: Pass: Recordar ó (Registrate!)

| !Publicar Articulo¡

Algunas consideraciones acerca del método de evaluación utilizando el criterio de expertos

Resumen: En la revisión realizada de numerosos trabajos relacionados con el campo médico y/o educativo, se aprecian expresiones utilizadas por los investigadores como la siguiente " los expertos consultados valoran positivamente el trabajo". Es muy probable que esto sea cierto, pero lo que no aparece en la memoria revisada es: ¿Cómo se seleccionaron los expertos? ¿Cuál es el objetivo explícito de la consulta? ¿Son en realidad "expertos" las personas consultadas? ¿Cuáles fueron las interrogantes planteadas para que emitieran sus juicios? ¿Qué método fue utilizado?. Entre otros aspectos, a tener en cuenta a la hora de utilizar el "método de evaluación según el "criterio de expertos"
5,344 visitas
Rating: 0
Tell a Friend
Autor: PhD Luís Arturo Ramírez Urizarri y Dra. Msc Ana margarita Toledo Fernández

PROBLEMA

En las investigaciones médicas y/o médica y/o educativas se suele decir que se sometió  a una evaluación de expertos, pero no se dice ni quienes, ni como, ni que evaluaron los expertos.

OBJETO

Proceso de Investigación médica y/o médica y/o educativa.

OBJETIVO

Analizar en qué consiste, el método y explicar como se puede aplicar.

TAREAS

En qué se fundamenta  el método?

Concepto de Experto

Cómo se ejecuta el método?

Etapas:                       

§         Elaboración del objetivo.

§         Definición de expertos.

§         Criterios de Selección  - Competencia.

§         Selección de la Metodología

                                 Preferencia

                                 Comparación de Pares.

                                 Delphy o Delfos

§         Ejecución metodología.

§         Procesamiento de datos.

INTRODUCCIÓN

En la revisión realizada de numerosos trabajos relacionados con el campo médico y/o educativo, se aprecian expresiones utilizadas por los investigadores como la siguiente " los expertos consultados valoran positivamente el trabajo". Es muy probable que esto sea cierto, pero lo que no aparece en la memoria revisada es: ¿Cómo se seleccionaron los expertos? ¿Cuál es el objetivo explícito de la consulta? ¿Son en realidad "expertos" las personas consultadas? ¿Cuáles fueron las interrogantes planteadas para que emitieran sus juicios? ¿Qué método fue utilizado?. Entre otros aspectos, a tener en cuenta a la hora de utilizar el "método de evaluación según el "criterio de expertos"

El propósito del presente trabajo es ofrecer algunos elementos para darle mayor rigurosidad al trabajo científico cuando, como es el caso de las investigaciones pedagógicas, no es factible o no es perentorio un experimento.

No es intención hacer un estudio exhaustivo sobre el tema, son simplemente algunos apuntes que sirven de incentivo, para aquellos que tengan acceso al mismo sigan profundiza en la referida temática

DESARROLLO

Las investigaciones médica y/o educativas están relacionados con el diseño curricular, las didácticas especiales, la educación de la personalidad, la formación de cualidades y capacidades intelectuales de los estudiantes, entre otras temáticas.

Ellas cumplen una misión social, mejorar la calidad y la efectividad del trabajo médico y/o educativo, del proceso de enseñanza - aprendizaje y asegurar el efecto médico y/o educativo en correspondencia con los principios de nuestra sociedad.

También, sus resultados deben ser tales que cumplan el objetivo de transformar y perfeccionar la práctica médica y/o educativa, y en tal proceso alcanzar niveles de calidad, con un producto cuyo resultado científico garantice la solución de la problemática investigada.

Su efectividad esta en relación con el desarrollo del proceso, con el rigor científico del trabajo investigativo, con la planificación del mismo y con la idoneidad metodológica e instrumental utilizada para desarrollarlo y alcanzar los resultados que pueden ser aplicados en la práctica médica y/o educativa.

La valoración de la efectividad tienen como problema esencial la búsqueda de vías para su evaluación y la determinación de los criterios metodológicos para lograrlo, los que pueden ser:

§         Científico - Formales.

§         Económicos.

§         De utilización práctica.

§         Métricos.

§         Cualimétricos.

Los criterios anteriores se operacionalizan en un conjunto de indicadores tales como:

§         Científico - Formales: que utilizan como indicadores:

ü       Actualidad

ü       Novedad

ü       Fiabilidad

ü       Significación de los resultados.

§         Económicos a su vez utilizan

ü       Relación de recursos empleados y utilidad alcanzada.

ü       Relación entre el tiempo de realización y la introducción de resultados.

§         Utilización práctica.

ü       Nivel de generalización del resultado.

ü       Nivel de satisfacción práctica del resultado.

§         Métricos, utiliza indicadores de:

ü       Significación

ü       Veracidad

ü       Confiabilidad y

ü       En general se utilizan técnicas estadísticas.

§         Cualimétricos, utilizan:

Criterios de evaluación a través de expertos y dentro de estos se encuentran las metodologías.

·        De referencia

·        De comparación por pares.

·        Delphy o Delfos.

La práctica científica ha demostrado que en las investigaciones médicas y/o educativas realizadas, este método no es utilizado, siendo sustituido por el método experimental, el que no garantiza totalmente la validez y confiabilidad de los resultados científicos obtenidos, ya que las relaciones funcionales en las investigaciones sociales no pueden validarse completamente, es decir, ni confirmarse ni refutarse totalmente mediante el experimento social como consecuencia de que una ley o relación no opera aislada sino forma parte del todo, del objeto estudiado, en el cual el componente consciente de los sujetos que intervienen en la investigación, desempeña un papel decisivo que no se puede abstraer, y no es posible dejar de tomar en consideración.

¿Qué es la cualimetría?

Se sabe  que los indicadores son cualitativos cuando no tienen definida su unidad de medida. Para la evaluación cuantitativa  de tales indicadores se emplean con frecuencia métodos Cualimétricos.

La cualimetría estudia y elabora los métodos cuantitativos para realizar la evaluación de la calidad. Se sustenta en los principios siguientes:

1.       Cualquier cualidad se puede medir.

2.       La calidad depende de una serie de propiedades que conforman los niveles de la misma.

3.       Cada propiedad esta determinada por dos números.

ü       k (indicador relativo)

ü       m (Ponderabilidad )

4.       La suma de las ponderabilidades en cada nivel es igual a la unidad (0 al 100%).

Los procedimientos metodológicos de la cualimetría se agrupan en:

§         Heurísticos (intuitivos) basados en la evaluación de expertos y en encuestas

§         Mediante instrumentos o aparatos

La ejecución de la evaluación de expertos es no solo un trabajo técnico que presupone una observación estricta de determinadas reglas, sino que es también arte que reclama de intuición y de conocimiento.

¿En qué consiste el método de evaluación a través de expertos?.

Veamos primero en que consiste un experto

Se entiende por experto, tanto al individuo en si como a un grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema y hacer recomendaciones respecto a sus momentos fundamentales con un máximo de competencia.

El lema de este método es: "dos cabezas piensan mejor que una"

La evaluación de una investigación médica y/o educativa se denomina de expertos  cuando se obtiene de las opiniones de los especialistas, se emplea para:

§         Comprobar la calidad y efectividad, en tanto en

ü       Su concepción teórica.

ü       Su aplicación práctica

Es decir los resultados que se pudieron  obtener de la aplicación de los resultados de la investigación en la práctica médica y/o educativa cuando resulta imposible o poco operativa la aplicación de un experimento.

En general suelen utilizarse en:

ü       Las investigaciones con un enfoque teórico, con el propósito de evaluar la calidad y efectividad del modelo teórico propuesto y comprobar la validez de los procedimientos metodológicos que se aplicarán.

ü       Las de corte experimental antes de someter a la prueba de la experiencia el método teórico propuesto.

La evaluación ofrecida por los expertos puede ser:

ü       Individual

ü       Grupal (o colectiva)

ü       De forma oral.

ü       Llenando un modelo o guía elaborado previamente por los investigadores que contiene los aspectos o factores que se desea que sean los indicadores para medir el resultado de la investigación.

ü       También respondiendo una encuesta ( cuestionario o guía).

En ocasiones es más adecuado y ese es el caso de las investigaciones médica y/o educativas, acerca de la calidad y efectividad de la investigación aproximada y rápida (método de experto) que emplear un método en apariencia más exacto pero que ocupa mucho mas tiempo, como es el caso del experimento pedagógico.

La evaluación de expertos depende considerablemente de las personalidades de los expertos, a saber:

ü       Calificación científico - técnica.

ü       Experiencia profesional.

ü       Preparación, conocimiento y especialización en el tema objeto de investigación.

ü       Gustos personales.

De acuerdo con esto, las opiniones de los expertos se analizan como magnitudes aleatorias y se valoran mediante métodos estadísticos.

De esta manera la evaluación se realiza a través de un sistema de procedimientos  organizados, lógicos y estadístico - matemáticos dirigidos a obtener la información procedente de los especialistas y su posterior análisis con el objetivo de tomar decisiones confiables.

De ahí que se pueda afirmar que "el mejor investigador es precisamente aquel que se apoya simultáneamente en su experiencia, en los datos de la ciencia y en los conocimientos de otras personas"

¿Cuáles son las etapas que se siguen al aplicar el método de evaluación a través de expertos?

En la aplicación del referido método se siguen los siguientes pasos o etapas:

1.       Elaboración del objetivo

2.       Selección de los expertos

3.       Elección de la metodología.

4.       Ejecución de la metodología seleccionada.

5.       Procesamiento de la información.

Veamos con mas detalle cada una de estas etapas.

1.       Elaboración del Objetivo.  Su formulación debe hacerse en función de validar el modelo teórico propuesto en la investigación, tanto en la calidad de la concepción teórica de su elaboración como la efectividad que se obtendrá con la aplicación en la práctica médica y/o educativa.

2.       Selección de los expertos Esta es una de las etapas más importantes de la aplicación del método. Al experto, altamente calificado le deben ser inherentes las siguientes cualidades:

ü       Etica profesional.

ü       Maestría.

ü       Imparcialidad

ü       Intuición

ü       Amplitud de enfoques

ü       Independencia de Juicios.

Para su selección se suelen utilizar los siguientes criterios

ü       Competencia

ü       Creatividad

ü       Disposición a participar en la encuesta.

ü       Conformidad.

ü       Capacidad de análisis

ü       Espíritu colectivista y autocrítico.

ü       Efectividad de su actividad profesional.

¿Cómo determinar la competencia del candidato a experto?

La competencia es el nivel de calificación en una determinada esfera del conocimiento. Se determina sobre la base de:

·        La actividad fructífera del especialista y

·        Del nivel y profundidad de conocimientos de los logros de la ciencia y la técnica en el mundo.

·        La comprensión del problema.

·        Las perspectivas de su desarrollo.

Existe la tendencia de valorar la competencia de un experto de acuerdo con su grado científico y el puesto que éste ocupa, sin embargo no siempre estas condiciones determinan la competencia.

En la práctica de la evaluación mediante el criterio de expertos, ha tenido aceptación la determinación de la competencia, utilizando la autovaloración de la misma por el propio experto.

La autovaloración, la que deviene a su vez en un criterio a tener en cuenta, consiste en proponerle a los candidatos a expertos llevar una autoevaluación de sus conocimientos relacionados con el tema que será objeto de enjuiciamiento. La experiencia demuestra que las personas con una elevada autoevaluación se equivocan menos que otras en sus predicciones.

¿Cuál es la metodología para determinar el coeficiente de competencia del experto?

Existen dos metodologías para esto, analicemos cada una de ellas.

Primera: Esta metodología fue propuesta por el Comité Estatal para la Ciencia y la Técnica de la antigua URSS. En la misma la competencia de los expertos se determina por el coeficiente K,  el cual se calcula de acuerdo con la opinión del candidato sobre su nivel de conocimiento acerca del problema que se está resolviendo y con las fuentes que le permiten argumentar sus criterios.

El coeficiente K se calcula por la siguiente expresión:

K  = 1/2  (Kc + Ka)

Donde:

Kc: Es el coeficiente de conocimiento o información que tiene el experto acerca del problema calculado sobre la base de la valoración del propio experto en una escala de 0 a 10 y multiplicado por 0.1  (dividido por 10) de modo que:

·        Evaluación 0 indica absoluto desconocimiento de la problemática que se evalúa.

·        Evaluación 1 indica pleno conocimiento de la referida problemática.

Entre esta evaluaciones límites (extremas) hay (9) intermedias.

El experto deberá marcar una cruz en la casilla que estime pertinente, así

 

 0

 1

 2

 3

 4

 5

 6

 7

 8

 9

 10

 

 

 

 

 

 

 X

 

 

 

 

 

Kc = 8 (0.1) = 8/10 = 0.8

 

Y Ka: es el coeficiente de argumentación o fundamentación de los criterios del experto determinado como resultado de la suma de los puntos alcanzados a partir de una tabla patrón como la siguiente:.

 

         Fuentes de argumentación

Grado de influencia de cada una de las fuentes en sus criterios

Alto (a)

Medio (m)

Bajo (b)

1.       Análisis Teóricos Realizados

 0.3

 0.2

 0.1

2. Experiencia obtenida

 0.5

 0.4

 0.2

3.Trabajos de autores nacionales.

 0.05

 0.05

 0.05

4.Trabajos de autores Extranjeros.

 0.05

 0.05

 0.05

5.Conocimiento del estado actual del problema en el extranjero

 0.05

 0.05

 0.05

6.Intuición

 0.05

 0.05

 0.05

TOTAL

 1

 0.8

 0.5

Al experto se le presenta esta tabla sin cifras orientándoles que marque con una (x) sobre cual de las fuentes ha influido más en su conocimiento de acuerdo con los niveles ALTO (A), MEDIO (M) y BAJO  (B)

Posteriormente utilizando los valores que aparecen en la tabla patrón se determina el valor de Ka para cada aspecto.

De tal modo que si   Ka  = 1® influencia alta de todas las fuentes

                                 Ka  =  0.8 ®  influencia media de todas las fuentes

                                  Ka =   0.5 ® influencia baja de todas las fuentes

Ejemplo 1: Un investigador estudia las características de la evaluación en los sistemas médico y/o eduactivos latinoamericanos con el objetivo de elaborar un nuevo sistema evaluativo que resuma en él las principales virtudes de cada uno de ellos y evite sus defectos. Para dar cumplimiento a este empeño, decide recurrir al método de evaluación a través del criterio de expertos, para lo cual necesita seleccionarlos, luego de conformar un estado inicial de aquellos que le parecen cumplen con los requisitos, los somete a una autoevaluación de información y argumentación que poseen sobre el tema. Para ello les piden que marquen con una cruz en una escala creciente de 0 a 10, el valor que corresponde con el grado de conocimiento e información que tienen sobre el tema de estudio.

Por otra parte le da una tabla para obtener el coeficiente de argumentación. Los resultados para tres expertos (candidatos) es el siguiente

                   EXPERTO

 1

 2

 3

 4

 5

 6

 7

 8

 9

10

                          1

 

 

 

 

 

 

 

 X

 

 

                          2

 

 

 X

 

 

 

 

 

 

 

                          3

 

 

 

 

 

 

 X

 

 

 

Kc1  =  8 (0.1) =  8/10 =  0.8

Kc2  =   3 (0.1) =   3/10   = 0.3

Kc3  =   7 (0.1) =   7/10  =  0.7

 

                Exp  1

                    Exp  2

               Exp 3

 

  A

   M

    B

  A

  M

  B

  A

  M

   B

  1

  X

 

 

 

 

  X

 

 

    X

  2

 

   X

 

 

 

  X

 

    X

 

  3

 

   X

 

 

   X

 

 

    X

 

  4

  X

 

 

 

 

    X

 

    X

 

  5

  X

 

 

 

   

    X

 

    X

 

  6

 

   X

 

 

    X

 

   X

 

 

                   

K a(1)  =   0.3  +   0.4  +  0.05  +  0.05 + 0.05 + 0.05  =  0.9

K a(2)  =   0.1  +   0.2  +  0.05  +  0.05 + 0.05 + 0.05  =  0.5

K a(3)  =   0.1  +   0.4  +  0.05  +  0.05 + 0.05 + 0.05  =  0.7

K 1  = 1/2   (Kc1 +  Ka1)  =  1/2  ( 0.8+ 0.9)   = 0.85

K 2    = 1/2   (Kc2 +  Ka2 )  =  1/2  ( 0.3 + 0.5 )   = 0.4

K 3    = 1/2   (Kc3  +  Ka3 )  =  1/2  ( 0.7  +  0.7 )   = 0.7

Ahora bien si

§         0.8  £  K  £     1  Þ   K  ®  alto, luego el experto 1 tiene competencia alta.

§         0.5  £  K  <  0.8  Þ   K  ®  media, luego el experto 3 tiene competencia media

§            0  £  K  <  0.5  Þ   K  ®  bajo luego el experto 2 tiene competencia baja

Entonces el investigador pudiera  utilizar con toda seguridad al primero de los expertos y si el coeficiente de competencia promedio ( K = 1/n åKi) de todos los expertos posibles. Es alto, podría analizar la posibilidad de utilizar el tercero.

K =   1/3  (0.85  +  0.3  +  0.7  )  =  1.85 / 3    =  0.62

Para el caso de estos tres expertos no la utilizaría, pues K es medio.

Segunda: En esta segunda metodología, para hallar el coeficiente de  competencia se utiliza la expresión 

K = 1/2  (Ka  +  Kr).

Donde:

Ka: Es coeficiente de competencia absoluto, el que se determina por la relación entre el número de casos en que el experto evaluó correctamente el desarrollo futuro de investigaciones y el número total en que él mismo ha participado como experto.

Ka   =  cantidad de casos correctos

            Cantidad de casos valorados

Así, si un experto ha participado en 10 evaluaciones de resultados e investigaciones y en 6 de estos se han confirmado sus puntos de vista, entonces,

Ka  =  6/10  =  0.6   y

Kr: coeficiente de competencia relativa que se determina por la relación de la efectividad  absoluta del experto y la efectividad absoluta media del grupo de expertos. Es decir:

                      Kai                                                       i toma valores desde  1 hasta n

Kr  =     _____________

                 1/n ( å Kai)

 esta metodología es prácticamente aplicable cuando los expertos seleccionados ya han realizado esa función. Se podrían utilizar ambos para valorar los expertos que ya han emitido juicios valorativo anteriormente, esta última, y la primera para aquellos que no lo han hecho.

La mayoría de los criterios señalados después del de competencia pueden ser valorados mediante el análisis de la síntesis  curricular del experto.

Estos criterios se integran en lo que suele llamarse "efectividad de la actividad profesional del experto". Este criterio es un elemento que suele constituirse en el mas utilizado, por ser el que logra mayor objetividad en la evaluación del resultado y a la vez el más cómodo para la selección de expertos.

Con el objetivo de incrementar la calidad de la evaluación se trata de hacer una selección de aquellos especialistas de reconocida experiencia profesional avalada por la alta calificación, conocimiento profundo del tema objeto de investigación y resultados satisfactorios en el trabajo pedagógico.

Comúnmente en las investigaciones médica y/o educativas se seleccionan expertos con las características anteriormente señaladas y que se desempeñan como especialistas en:

ü       Didácticas especiales.

ü       Pedagogía.

ü       Psicología Médica y/o educativa.

ü       Metodología de la especialidad en diferentes niveles.

ü       Profesores o maestros que serán los usuarios del resultado científico objeto de evaluación.

La confiabilidad y la calidad de los juicios emitidos depende en gran medida de:

ü       La idoneidad y características de los expertos.

ü       La cantidad de expertos seleccionados

ü       La estructura del grupo por especialidades.

Para incrementar la calidad y confiabilidad de los juicios dados, se trata de aumentar la competencia de los expertos mediante:

ü       Enseñanza especializada sobre el tema objeto de evaluación.

ü       Familiarización con la información más amplia posible sobre el resultado a evaluar.

Se considera que el experto es mas competente: Mientras mas cerca esta su punto de vista de la opinión colectiva, es decir, el grado de concordancia de su evaluación con respecto a la evaluación promedio del grupo de expertos.

En relación con la cantidad de expertos se puede señalar que:

Un número pequeño crea una hipertrofia, es decir exagera el papel de cada uno de ellos.

ü       Un número muy grande hace difícil el logro de concordancia de opiniones.

Se ha demostrado que:

ü       Si el número de expertos es 5 se comete un error del 20%

ü       Si el número de expertos es 10 se comete el error del 10%

ü       Si el número de expertos es 15 se comete un error del 5%

ü       Si el número de expertos es 20 se comete el error del  2.5%

ü       Si el número de expertos es 30 se comete un error del  1%

Es evidente, de acuerdo con lo anterior que el número de expertos a seleccionar está entre 15 y 30.

2.       Elección de la metodología.  Existen varias metodologías para la aplicación del método de evaluación a través del criterio de expertos, analicemos las mas utilizadas.

§         Metodología de Preferencia:  Esta suele ser la mas empleada, por su exactitud, objetividad y rapidez. En esta metodología, los expertos, ubicarán los aspectos evaluados según la encuesta o guía elaborada por grupos en orden descendente de calidad, es decir, el lugar que ocupa cada uno de los aspectos de la guía, según el nivel de calidad, es decir, según el nivel de calidad que refleje o manifieste el resultado de las investigaciones objeto de análisis. Este lugar esta determinado por la cantidad de puntos acumulados, mientras mayor sea el total de puntos, más alto será el lugar ocupado y será mayor la calidad del resultado y viceversa.

Ejemplo 2 

Supongamos que un investigador le envía a cinco expertos el informe final de su investigación y le pide a estos que la evalúe de acuerdo con la siguiente tabla:

          ASPECTOS A EVALUAR

  7

  6

  5

  4

  3

 2

 1

 E

MB

B

R

 M

BM

 P

1. Introducción.

 

 

 

 

 

 

 

2. Diagnóstico

 

 

 

 

 

 

 

3. Análisis histórico

 

 

 

 

 

 

 

4. Fundamentos teóricos

 

 

 

 

 

 

 

5. Modelo teórico elaborado.

 

 

 

 

 

 

 

6. Significación práctica

 

 

 

 

 

 

 

7. Conclusiones y recomendaciones

 

 

 

 

 

 

 

Donde:

E :        Excelente   

MB:     Muy Bien

B:       Bien

R :     Regular

M :     Mal

BM :    Bastante mal

P:  Pésimo

Cada uno de los expertos califico a estos aspectos del modo siguiente:

                   EXPERTOS

                    ASPECTOS

 1

 2

 3

 4

 5

 6

 7

1

 4

 3

 2

 6

 1

 5

 7

2

 6

 3

 2

 5

 1

 4

 7

3

 4

 2

 1

 6

 3

 5

 7

4

 4

 3

 2

 5

 1

 6

 7

5

 3

 4

 2

 6

 1

 5

 7

   Metodología de la comparación por pares. En este caso cada experto confecciona una tabla en la cual los aspectos a evaluar se encuentran ubicados tanto en sentido horizontal como vertical (tabla de contingencia), cada celda de la tabla guarda relación con los aspectos comparados y en ella se coloca el número de ellos que a juicio del experto  mejor se refleja o manifiesta el resultado objeto de evaluación.

Ejemplo 3: Un investigador esta elaborando una metodología mediante la cual desea mejorar el proceso de enseñanza aprendizaje de una determinada asignatura. Después de estudiar muchos libros y artículos científicos sobre didáctica y metodología de dicha asignatura y realizar consultas informales a entendidos en la materia en cuestión, elaboró una primera aproximación teórica de la metodología buscada. La misma consta de cuatro pasos debidamente determinados.

Entonces decidió utilizar el  "método de evaluación a través del criterio de expertos" para perfeccionar a partir del mismo la metodología elaborada.

Para ello seleccionó 31 expertos y le aplicó una encuesta cuyos resultados fueron los siguientes:

 

               PASOS DE LA METODOLOGIA

C1

C2

C3

C4

C5

 

MA

BA

A

PA

NA

total

1.    P1

10

5

12

4

-

31

2.    P2

20

3

5

-

3

31

3.    P3

5

2

4

8

12

31

4.    P4

9

8

7

6

1

31

 

MA:  Muy adecuado                         A: Adecuado                        NA: No adecuado.

BA. Bastante adecuado                    PA: Poco Adecuado

k: Número de Categorías  = 5

n : (Número de aspectos a evaluar) = 4 (son los pasos de la metodología)

fa : Frecuencia absoluta de selección por categoría a cada paso por los aspectos.

Pregunta:  Si el investigador va a considerar que debe mantener sin cambios los pasos que resultan bastante y muy adecuado, ¿qué pasos de la metodología deberían ser reelaborados por el investigador?

Veamos que debe hacerse para dar respuesta a la interrogante planteada:

1.       A partir de la tabla anterior construir una tabla de frecuencia absoluta acumulada (Fa )

Pasos de la metodología

C1

C2

C3

C4

C5

1.    P1

10

15

27

31

31

2.    P2

20

23

28

28

31

3.    P3

5

7

11

19

31

4.    P4

9

17

24

30

31

 

2.       A partir de la tabla anterior se construye una tabla de frecuencia relativa acumulada (Fr) para lo cual se divide cada valor de la celda en la tabla anterior por el número de expertos ( m = 31). La última columna se debe eliminar, al tratarse de cinco categorías la última representa el total de expertos y se buscan los puntos cortes.

3.        

Pasos de la metodología

C1

C2

C3

C4

VT

P

 

N-P

1.    P1

10/31

0.3226

15/31

0.4839

27/31

0.8710

31/31

1.0

4,12

0,03

-0.63

2.    P2

20/31

0.6451

23/31

0.7419

28/31

0.9032

28/31

0.9032

3.62

0,87

0.51

3.    P3

5/31

0.1613

7/31

0.2258

11/31

0.3548

19/31

0.6129

-1.82

-0.46

0.86

4.    P4

9/31

0.2903

17/31

0.5484

24/31

0.7742

30/31

0.9677

2.17

-0.54

-0.14

1.       Se busca la imagen de cada uno de los valores de la tabla anterior por la inversa de la curva normal:

   Fr'     =  ( Fr -  0.5 )  y se busca en la tabla de áreas la curva normal. Por ejemplo:

0.3226  - 0.5  =  - 0.1774  que corresponde a Z =  - 0.46

0.6451  -  05  =  0.1451   que corresponde a Z = 0.37

Pasos de la metodologia

C1

C2

C3

C4

VT

P

N-P

1.    P1

-0.46

-0.04

1.13

3.44

4.12

0.03

-0.63

2.    P2

0.37

0.65

1.30

     1.32

3.62

0,87

0.51

3.    P3

-0.99

-0.75

-0.37

0.29

-1.82

-0.46

0.86

4.    P4

-0.51

0.12

0.25

0.85

2.17

-0.54

-0.14

Puntos de corte

-0.41

-0.005

0.79

1.73

8.09

 

 

 Para obtenerlos puntos de corte de divide la suma de los valores correspondientes a cada columna ( o categorías C1, C2.... en la tabla anterior) entre el numero de aspectos evaluados (4).

Se calculan   el promedio  P de cada aspecto, para ello se halla la suma de las imágenes en cada fila , para cada aspecto y se divide  en este caso por cuatro.

Se calcula la suma de las cuatro sumas en la columna correspondiente, esto se hace para calcular n, que es el cociente de esa sumatoria por el producto del número de categorías (5) y el número de aspectos

N= 8.09/20= 0.405                                                                                                                                    

(N -P ):  Es el valor promedio que otorgan los expertos consultados a cada paso de la metodología.

Los puntos de corte sirven para determinar la categoría o grado de adecuación de cada paso de la metodología según la opinión de los expertos consultados respecto a ellos, se opera del modo siguiente:

Muy adecuado:  0.41

Bastante adecuado:  - 0.005

Adecuado:  0.79

Poco adecuado: 1.73

Si ahora comparamos la diferencia (N-P) para cada paso de la metodología con los puntos de este, tendremos:

(N-P) = -0.63 para P1 se podría considerar que esta próximo a  muy adecuado.

(N-P) = 0,51 Para P2 también esta próximo a muy adecuado.

(N-P) =  0.86 esta próximo a adecuado para P3 y tiende a poco adecuado.

(N-P) =  -0.14 para P4 esta próximo a bastante adecuado.

Como el investigador desea cambiar aquellos pasos que no resulten muy adecuados o bastante adecuados, entonces el único paso que requiere un análisis para cambiarlo sería el P3. Los demás se pueden considerar que no deben cambiar.

§         Metodología  Delphy o Delfos.

Esta es la de mayor complejidad y por lo tanto hay que emplear mucho mas tiempo para obtener los resultados de la evaluación por los expertos.

Esta metodología (según los especialistas) es la utilización sistemática del juicio intuitivo de un grupo de expertos para obtener un consenso de opiniones informadas. Su esencia esta dada por:

]         Organización de un dialogo anónimo entre expertos consultados individualmente, mediante cuestionarios con vistas a obtener un consenso general o, al menos los motivos de la discrepancia.

Este método puede ser de:

]         Previsión: cuando los elementos del sistema a estudiar son conocidos y se orienta la encuesta a indagar sobre el comportamiento previsible de las mismas.

]         Perspectiva: Cuando los elementos a estudiar no son conocidos y se orienta la encuesta a la determinación de la estructura posible del sistema.

Sus particularidades distintivas son:

]         Anonimidad: Los expertos no establecen contacto directo entre ellos, contestando las preguntas sin confrontarse e incluso son conocerse entre sí, lo que permite eliminar la influencia de cualquiera de ellos sobre la opinión del grupo.

]         Variedad de etapas : La evaluación se realiza en varias etapas, después de cada evaluación estas tengan la posibilidad de evaluar los resultados de la ronda anterior, familiarizarse con las opiniones de los otros, así como las razones dadas para cada respuesta y su dispersión promedio en el grupo.

]         Carácter Dirigido: Se regula el procedimiento de evaluación y se conserva la anonimicidad del coordinador, que tiene derecho a dar a conocerla a los demás expertos en cada ronda de evaluación.

]         El control de la calidad de la evaluación:  Después de cada ronda de evaluación se analizan las discrepancias de opinión entre los expertos en relación con el valor promedio. En este caso, las medidas cuantitativas que se emplean de las escalas de medición utilizadas, por ejemplo:

¨       Si la escala es ordinal el valor promedio se calcula por la mediana y

¨       La desigualdad de opiniones, por la magnitud de los cuartiles.

¨       Si la escala es de intervalo o de razones, el valor promedio se calcula por la media aritmética y la desviación estándar.

Este proceso se prosigue hasta que la discrepancias se reduzcan hasta un valor establecido con anterioridad.

El primer cuestionario brinda información estadística

El segundo cuestionario comunica a cada experto un determinado número de indicaciones sobre la distribución estadística de las respuestas, le permite modificar su juicio, si así lo considera, y le exige los argumentos que justifican las opiniones.

El tercer cuestionario muestra los argumentos unificados de las opiniones de los expertos en la ronda de evaluación anterior para que puedan examinar con más detalle los aspectos del problema y reconsiderar sus criterios. De considerarse necesario se podrá realizar un cuarto o quinto cuestionario hasta que se llegue a un consenso en los criterios.

Una vez seleccionada la metodología es necesario pasar a la etapa de:

2.       Ejecución de la metodología.

Se inicia con la elaboración de la guía de aspectos  a valorar por los expertos o la elaboración de cuestionarios de la encuesta, la cual  se le entrega a los expertos.

¨       Si  se pide información de forma individual, entonces se entregará por escrito.

¨       Si se realiza la evaluación en colectivo de expertos entonces la información se realizará de forma oral.

En ambos casos los expertos deben expresar sus ideas y criterios sobre las bondades, deficiencias o insuficiencias que presenta el resultado científico valorado, y que pudiera presentar al ser aplicado a la practica médica y/o educativa y finalmente ordenar los aspectos que con mayor calidad se reflejen o manifiesten en dicho resultado y así sucesivamente.

El número de rangos a asignar debe coincidir con el número total de aspectos  a valorar en la guía.

Una vez ejecutada la metodología se pasará a la etapa de:

3.       Procesamiento de la información.

Este constituye el paso final. En los ejemplos  planteados se ha visto parte del procesamiento que llevan algunas metodologías explicadas. Lo que a continuación se expresa es la más idónea para la metodología de preferencia. El procesamiento  de información se realiza empleando el coeficiente de concordancia de Kendall al que denotaremos aquí por C.

El mismo expresa el grado de asociación entre un número determinado de variables semejantes. Es particularmente útil para el estudio de la confiabilidad  entre expertos a pruebas.

Se calcula mediante la siguiente expresión:

             

                 12 S

C =   ___________  donde S =  å  (Ri -  å  Ir/n)

            2           3

         m        (n   - n)

 

m: número de expertos

n:  cantidad de preguntas o aspectos a evaluar.

Si C = 0  Þ  ausencia de concordancia en la evaluación emitida por los expertos.

Y si C = 1  Þ  unidad de concordancia en la evaluación emitida por los expertos.

Ejemplo 4: Este ejemplo esta relacionado con el ejemplo 2

Reproduciendo la tabla que se incluyó en él tendremos:

             Expertos

                     aspectos

1

2

3

4

5

6

7

1.

4

3

2

6

1

5

7

2,

6

3

2

5

1

4

7

3.

4

3

1

6

3

5

7

4.

4

3

2

5

1

6

7

5.

3

4

2

6

1

5

7

Si

21

15

9

28

7

25

35

 

 

`S   =  å Ir     =  21 + 15 + 9 + 28 + 7 + 25 + 35       =  20

              n                               7

                  _ 2                      2                       2                     2                          2                  2                     2                        2

S  =  å  (Ir - S )  = (21 - 20)  +  (15 - 20)   +  (9 -20)     +  (28 -20)  + (7-20 )  + (25 - 20) +  (35 - 29 ) = 630

 

C    =   12   (360)                   =  0.9

            25 (343 - 7)

prueba de significación para C

para muestras pequeñas: Si  n  £   7 los valores críticos de S asociados con la significación de C para los niveles de significación   µ = 0.05  y   µ  =  0.01 aparecen en la tabla R del anexo del texto. Diseños no paramétricos de D. Siegel.

Para muestras grandes, si h mayor que siete la expresión siguiente esta aproximadamente distribuida como ci cuadrado con un número de grados de libertad ( df = n - 1).

                                                                                             

c 2     =   12   S      =    m ( n - 1 )  C. nfn  ;    c  2    =  (n-1) C

            n + n 2

                                                                                                                                  

la probabilidad asociada con un valor tan grande de   c2    se determina rn la tabla C del referido apéndice de S. Siegel.

Para el ejemplo planteado  n = 7  (muestras pequeñas) los valores críticos de S asociados con la significación de C se buscan en la tabla (ver anexo del trabajo) del anexo del libro mencionado por Sydney Siegel.

El valor crítico para m = 5 y n = 7 asociado con C = 0.9  S = 3.44  Si  S ³  344 se rechaza la hipótesis  de nulidad  de que no hay relación entre los juicios emitidos por los expertos, entonces se acepta la hipótesis alternativa de que C = 0.9 es significativo con un  nivel de confianza del 99% ( = 0.01). Es decir los juicios emitidos si están correlacionados.

Se puede concluir entonces que hay evidencias suficientes para plantear con un 99% de confianza que los cinco expertos concuerdan en el grado de coincidencia de la efectividad del resultado científico al ser aplicados en la práctica médica y/o educativa.

El error de la decisión tomada (existe concordancia entre las opiniones de todos los expertos sobre la calidad y efectividad del resultado) a partir de esta evaluación. Es del 20% por ser cinco (5) el número de expertos;  se puede apreciar que se sesgará un poco  la opinión de cada uno de ellos y se puede criticar la utilización del método en este caso.

Quedaría por agregar que aun cuando hay un cierto grado de error determinado por la cantidad de expertos, es preferible hacer uso de este método según la metodología explicada que decir:  se consultaron expertos y no aparece en la memoria o informe final de la investigación  ningún indicio de cómo se utilizó.

No es que el uso o utilización del método determine la calidad o efectividad del resultado científico, sino que es un elemento que le confiere mayor cientificidad al proceso investigativo desarrollado.

Ejemplo 3

Se somete a la evaluación de expertos una estrategia didáctica para lo cual se han seguido las siguientes etapas.

Primera Etapa: Formulación del objetivo de la evaluación por los expertos. "Validar la estrategia didáctica elaborada tanto en la calidad de su concepción teórica como en la efectividad que pudiera presentar con su aplicación en la práctica médica y/o educativa.

Segunda Etapa: Selección de los expertos.

Se seleccionaron 15 expertos tomando como criterio de selección la efectividad de la actividad profesional que realiza; de los cuales:

-          Tres son especialistas en didáctica de la física.

-          Tres son especialistas en pedagogía.

-          Tres son especialistas en Psicología Médica y/o educativa.

-          Tres son especialistas en metodologías por áreas del conocimiento en el nivel de básica secundaría.

-          Tres son profesores con reconocido prestigio profesional.

Tercera etapa:

Elección de la metodología a seguir.

La metodología seleccionada es la de PREFERENCIA, se realizara de forma individual entregando por escrito las opiniones sobre las bondades, diferencias e insuficiencias que presenta la estrategia  didáctica en su concepción teórica así como  lo que pudiera acontecer con su aplicación en la práctica médica y/o educativa.

Cuarta  Etapa:  La ejecución de la metodología se inicia con la elaboración de la guía de aspectos a valorar, la cual será entregada a cada experto.

GUIA

Aspectos a tener en cuenta por los expertos para realizar la evaluación de la estrategia didáctica 

Estimados Colegas

Usted ha sido seleccionado por su calificación científica técnica, sus años de experiencia y los resultados alcanzados en su labor profesional, como experto para evaluar los resultados teóricos de ésta investigación,  por lo que el autor le solicita que ofrezca sus ideas y criterios sobre las bondades, deficiencias e insuficiencias que presenta la estrategia didáctica en su concepción teórica y que pudiera presentar la misma al ser aplicada en la práctica escolar, a partir de valorar los aspectos que a continuación se relacionan  ordenándolos de manera  decreciente asignando el número 9 al aspecto ( o los aspectos) que ustedes consideren que mejor se revelan o se manifiestan en la Estrategia didáctica, el número 8 al siguiente y así sucesivamente hasta el número 1.

1.       Valorar si la concepción teórica y práctica de la estrategia didáctica refleja los principios teóricos que la sustentan.

2.       Valorar si la concepción estructural y metodológica de la estrategia didáctica favorecen el logro del objetivo por el cual se elaboro.

3.       Valorar si las etapas declaradas en la estrategia didáctica para la estructuración del proceso enseñanza - aprendizaje  según una investigación dirigida han sido ordenados atendiendo a criterios lógicos y metodológicos, valorar si reflejan con calidad y precisión las orientaciones para el tratamiento metodológico de las acciones a desarrollar en cada etapa de la estrategia didáctica.

4.       Valorar si los indicadores y categorías del sistema de control propuestos en la estrategia didáctica son precisos y miden el cumplimiento del objetivo general.

5.       Valorar el nivel de satisfacción práctica de la estrategia didáctica, como solución al problema y posibilidades reales de su puesta en práctica.

6.       Valorar si existe correspondencia en la complejidad de las actividades teóricas y prácticas a desarrollar por los escolares en las actividades propuestas en la estrategia didáctica y, las particularidades de su desarrollo psíquico.

7.       Valorar la contribución que realiza la estrategia didáctica a la formación de las cualidades de la personalidad de los escolares en las esferas: intelectual, afectiva, volitiva y moral.

8.       Valorar la contribución que realiza la estrategia didáctica al conocimiento de los escolares,  de los procesos y fenómenos de la práctica social en las esferas: social, económica y ambiental.

Para finalizar, el autor le pide realizar sugerencias o reflexiones críticas que contribuyan a perfeccionar la estrategia didáctica, tanto en su concepción teórica como para su aplicación en la práctica.

Resultados obtenidos en la evaluación de la Estrategia Didáctica a través del criterio de Expertos.

En la tabla aparecen los resultados del ordenamiento realizado por cada uno de los expertos a los diferentes aspectos de la guía para realizar la evaluación de la estrategia didáctica.

Expertos del 1 al 3: Especialistas en didáctica de la física, doctores en ciencias pedagógicas, profesores auxiliares de reconocida experiencia  avalada  con más de 2 años de experiencia profesional y resultados satisfactorios en su trabajo.

Expertos del 4 al 6    Especialistas en pedagogía, doctores en Ciencias pedagógicas, profesores auxiliares de reconocida experiencia con mas de 15 años de ejercicio profesional y resultados satisfactorios en su trabajo.

Expertos del 7 al 9 : Especialistas en psicología médica y/o educativa, un Master en psicología médica y/o educativa y dos en ciencias de la educación, profesores auxiliares, de reconocida experiencia avalada con mas de 10 años de ejercicio profesional y resultados satisfactorios en su trabajo.

Expertos del 10 al 12.  Metodologías por áreas del conocimiento, licenciados en educación de reconocida experiencia con más de 10 años de experiencia profesional y resultados satisfactorios en su trabajo.

Expertos del 13 al 15  Profesores de física en secundaria básica de reconocida experiencia avalada con mas de 15 años de ejercicio profesional y resultados satisfactorios en el trabajo.

Ordenamiento realizado por cada uno de los expertos a los aspectos de la guía.

              EXPERTOS

                                 ASPECTOS

1

2

3

4

5

6

7

8

9

1

7

9

8

8

6

9

7

8

5

2

6

9

8

7

5

9

8

7

4

3

5

9

8

7

6

8

9

7

4

4

9

8

7

6

5

9

7

8

6

5

6

9

8

7

6

8

8

9

5

6

7

8

9

6

5

8

8

8

6

7

6

5

8

6

4

8

9

9

7

8

4

5

9

6

6

8

9

8

7

9

7

5

8

5

6

8

8

9

6

10

8

9

7

6

5

9

7

8

6

11

9

8

7

6

5

8

9

7

5

12

7

8

9

6

5

9

8

7

6

13

5

7

8

9

6

8

7

9

8

14

4

9

8

7

5

9

8

8

9

15

6

8

9

7

5

8

8

9

7

Ordenamiento de los rangos de puntajes ligados en cada uno de los aspectos de la guía.

 

 

      EXPERTOS

                                              ASPECTOS

1

2

3

4

5

6

7

8

9

1

3.5

8.5

6

6

2

8.5

3.5

6

1

2

3

8.5

6.5

4.5

2

8.5

6.5

4.5

1

3

2

8.5

6.5

4.5

3

6.5

8.5

4.5

1

4

8.5

6.5

4.5

2.5

5

8.5

4.5

6.5

2.5

5

2.5

8.5

6

7

2.5

6

6

8.5

5

6

4

6.5

9.5

2.5

1

6.5

6.5

6.5

2.5

7

3.5

2

6.5

3.5

1

6.5

8.5

8.5

5

8

1

2

8.5

3.5

3.5

6.5

8.5

6.5

5

9

5

2.5

7

2.5

3.5

7

7

9

3.5

10

6.5

8.5

4.5

2.5

1

8.5

4.5

6.5

2.5

11

8.5

6.5

4.5

3

1.5

6.5

8.5

4.5

2.5

12

4.5

6.5

8.5

2.5

1

8.5

6.5

4.5

2,5

13

1

3.5

6

8.5

2

6

3.,5

8.5

6

14

1

8

5

3

2

8

5

5

8

15

2

6

8.5

3.5

1

6

6

8.5

3.5

Rj.

56.5

52.5

96.5

59.5

33

108

93.5

98

47.5

Procesamiento de la información.

c   =     å Rj   =  685.0   =  76.11  ( Media de los rangos)

               N              9

                                   2

S  =  å  (Rj -  å Rj   )      = 6841.2   ( Suma de los cuadrados de las desviaciones de la suma

                         N                                 de los rangos).

                 3

T  =  å  (t   - t )    =   å T  = 38.5   (Factor de Corrección.)

              N

Donde t  =  número de observaciones en grupos  legados para un observador  dado.

MåT  suma de todos los grupos de legos

Coeficiente  Concordancia.

C =                ........12 S…………   =   82094.4     =     0.51

                                   2       3

                   M  (N   - N )  - MåT        161272.5

 

Prueba de significación de C.

  2

c   =  M (N -1) C   =  15 (8) (0.51)   =  61.2

gl  =  (N-1)  =  8

   2

c    para gl  = 8  es 26.12   para  µ  =  0.001

Error de la evaluación:

Como se seleccionaron 15 expertos el error de la evaluación es de un cinco %, es decir el error de las partes de esta valoración es pequeña por lo que la misma se puede considerar confiable y válida.

              2                                                                                     2

Como X   (práctico) = 61.2 >  que 26.12  = x     (teórico) para gl = 8  y  µ = 0.001

Los resultados de la evaluación de la estrategia didáctica realizada por los expertos son estadísticamente significativos. Lo que implica que hay evidencias suficientes para plantear, a un 99.9 %  la confiabilidad que los 15 expertos concuerden en el grado de coincidencia de la efectividad de la estrategia didáctica, tanto en la calidad de la concepción teórica como en la efectividad que se obtendrá con su aplicación en práctica médica y/o educativa.

 

Bibliografía revisada:

Baxter, G  y Ruíz, A. Metodología de la Investigación Médica y/o educativa ICCP La Habana. Folleto Mimeografiado. 1999.

Siegel S. Diseño experimental no paramétrico. Ediciones Revolucionarias. La Habana . Cuba 1920.

 

AUTORES:

  1. Luís Arturo Ramírez Urizarri, PhD y Dra. Ana margarita Toledo Fernández ,Msc.

           Doctor en Ciencias Pedagógicas

  1. Dra. Ana margarita Toledo Fernández ,Msc.

           Especialista de Medicina Familiar

Articulos relacionados:
Nuevos Contactantes en Alergologia
Resumen:
Con los rápidos avances tecnológicos que estamos viviendo en nuestra sociedad, es constante la incorporación de nuevas sustancias, materiales y objetos con los que entram...
Factores socioeconómicos y dietarios en relación con el estado nutricional en niños
Resumen:
Los niños, en su rápido crecimiento, entran en el periodo preescolar, posteriormente al escolar que se inicia desde los seis hasta los 12 años de vida. Etapa en el cual s...
Evaluación Geriátrica de los adultos mayores en un Consultorio del Médico de la Familia en el Policlínico Docente Comunitario “Turcios Lima” de San José de las Lajas (Tesis)
Resumen:
Con el objetivo de conocer la evaluación Geriátrica en la población de Adultos Mayores de un Consultorio del Médico de la Familia perteneciente al Policlínico Comunitario...
Moxibustión en el síndrome vertiginoso
Resumen:
Se realizo un estudio prospectivo en el período de tiempo comprendido desde Enero del 2006 hasta Marzo del 2007, con 98 pacientes portadores de síndrome vertiginoso, sele...
Algunas consideraciones éticas en Cirugía Laparoscópica.
Resumen:
El presente trabajo es el resultado del intercambio de opiniones entre profesionales y personal relacionado con la Medicina, la reflexión y la revisión de material biblio...
Copyright © 2011 ilustrados.com, Monografias, tesis, bibliografias, educacion. Tofos los temas y publicaciones son propiedad de sus respectivos autores ©