|
Categorias
|
Algunas consideraciones acerca del método de evaluación utilizando el criterio de expertos
PROBLEMA En
las investigaciones médicas y/o médica y/o educativas se suele decir que se
sometió a una evaluación de
expertos, pero no se dice ni quienes, ni como, ni que evaluaron los expertos. OBJETO Proceso
de Investigación médica y/o médica y/o educativa. OBJETIVO Analizar
en qué consiste, el método y explicar como se puede aplicar. TAREAS En
qué se fundamenta el método? Concepto
de Experto Cómo
se ejecuta el método? Etapas:
§
Elaboración
del objetivo. §
Definición
de expertos. §
Criterios
de Selección - Competencia. §
Selección
de la Metodología
Preferencia
Comparación
de Pares.
Delphy
o Delfos §
Ejecución
metodología. §
Procesamiento
de datos. INTRODUCCIÓN En
la revisión realizada de numerosos trabajos relacionados con el campo médico
y/o educativo, se aprecian expresiones utilizadas por los investigadores como la
siguiente " los expertos consultados valoran positivamente el
trabajo". Es muy probable que esto sea cierto, pero lo que no aparece en la
memoria revisada es: ¿Cómo se seleccionaron los expertos? ¿Cuál es el
objetivo explícito de la consulta? ¿Son en realidad "expertos" las
personas consultadas? ¿Cuáles fueron las interrogantes planteadas para que
emitieran sus juicios? ¿Qué método fue utilizado?. Entre otros aspectos, a
tener en cuenta a la hora de utilizar el "método de evaluación según el
"criterio de expertos" El
propósito del presente trabajo es ofrecer algunos elementos para darle mayor
rigurosidad al trabajo científico cuando, como es el caso de las
investigaciones pedagógicas, no es factible o no es perentorio un experimento. No
es intención hacer un estudio exhaustivo sobre el tema, son simplemente algunos
apuntes que sirven de incentivo, para aquellos que tengan acceso al mismo sigan
profundiza en la referida temática DESARROLLO Las
investigaciones médica y/o educativas están relacionados con el diseño
curricular, las didácticas especiales, la educación de la personalidad, la
formación de cualidades y capacidades intelectuales de los estudiantes, entre
otras temáticas. Ellas
cumplen una misión social, mejorar la calidad y la efectividad del trabajo médico
y/o educativo, del proceso de enseñanza - aprendizaje y asegurar el efecto médico
y/o educativo en correspondencia con los principios de nuestra sociedad. También,
sus resultados deben ser tales que cumplan el objetivo de transformar y
perfeccionar la práctica médica y/o educativa, y en tal proceso alcanzar
niveles de calidad, con un producto cuyo resultado científico garantice la
solución de la problemática investigada. Su
efectividad esta en relación con el desarrollo del proceso, con el rigor científico
del trabajo investigativo, con la planificación del mismo y con la idoneidad
metodológica e instrumental utilizada para desarrollarlo y alcanzar los
resultados que pueden ser aplicados en la práctica médica y/o educativa. La
valoración de la efectividad tienen como problema esencial la búsqueda de vías
para su evaluación y la determinación de los criterios metodológicos para
lograrlo, los que pueden ser: §
Científico
- Formales. §
Económicos. §
De
utilización práctica. §
Métricos. §
Cualimétricos. Los
criterios anteriores se operacionalizan en un conjunto de indicadores tales
como: §
Científico
- Formales: que utilizan como indicadores: ü
Actualidad ü
Novedad ü
Fiabilidad ü
Significación
de los resultados. §
Económicos
a su vez utilizan ü
Relación
de recursos empleados y utilidad alcanzada. ü
Relación
entre el tiempo de realización y la introducción de resultados. §
Utilización
práctica. ü
Nivel de
generalización del resultado. ü
Nivel de
satisfacción práctica del resultado. §
Métricos,
utiliza indicadores de: ü
Significación ü
Veracidad ü
Confiabilidad
y ü
En general
se utilizan técnicas estadísticas. §
Cualimétricos,
utilizan: Criterios
de evaluación a través de expertos y dentro de estos se encuentran las
metodologías. ·
De
referencia ·
De
comparación por pares. ·
Delphy o
Delfos. La
práctica científica ha demostrado que en las investigaciones médicas y/o
educativas realizadas, este método no es utilizado, siendo sustituido por el método
experimental, el que no garantiza totalmente la validez y confiabilidad de los
resultados científicos obtenidos, ya que las relaciones funcionales en las
investigaciones sociales no pueden validarse completamente, es decir, ni
confirmarse ni refutarse totalmente mediante el experimento social como
consecuencia de que una ley o relación no opera aislada sino forma parte del
todo, del objeto estudiado, en el cual el componente consciente de los sujetos
que intervienen en la investigación, desempeña un papel decisivo que no se
puede abstraer, y no es posible dejar de tomar en consideración. ¿Qué
es la cualimetría? Se
sabe que los indicadores son
cualitativos cuando no tienen definida su unidad de medida. Para la evaluación
cuantitativa de tales indicadores
se emplean con frecuencia métodos Cualimétricos. La
cualimetría estudia y elabora los métodos cuantitativos para realizar la
evaluación de la calidad. Se sustenta en los principios siguientes: 1.
Cualquier cualidad se puede medir. 2.
La calidad depende de una serie de propiedades que conforman los niveles
de la misma. 3.
Cada propiedad esta determinada por dos números. ü
k
(indicador relativo) ü
m
(Ponderabilidad ) 4.
La suma de las ponderabilidades en cada nivel es igual a la unidad (0 al
100%). Los
procedimientos metodológicos de la cualimetría se agrupan en: §
Heurísticos
(intuitivos) basados en la evaluación de expertos y en encuestas §
Mediante
instrumentos o aparatos La
ejecución de la evaluación de expertos es no solo un trabajo técnico que
presupone una observación estricta de determinadas reglas, sino que es también
arte que reclama de intuición y de conocimiento. ¿En
qué consiste el método de evaluación a través de expertos?. Veamos
primero en que consiste un experto
El
lema de este método es: "dos cabezas piensan mejor que una" La
evaluación de una investigación médica y/o educativa se denomina de
expertos cuando se obtiene de
las opiniones de los especialistas, se emplea para: §
Comprobar
la calidad y efectividad, en tanto en ü
Su
concepción teórica. ü
Su
aplicación práctica Es
decir los resultados que se pudieron obtener
de la aplicación de los resultados de la investigación en la práctica médica
y/o educativa cuando resulta imposible o poco operativa la aplicación de un
experimento. En
general suelen utilizarse en: ü
Las
investigaciones con un enfoque teórico, con el propósito de evaluar la calidad
y efectividad del modelo teórico propuesto y comprobar la validez de los
procedimientos metodológicos que se aplicarán. ü
Las de
corte experimental antes de someter a la prueba de la experiencia el método teórico
propuesto. La
evaluación ofrecida por los expertos puede ser: ü
Individual ü
Grupal (o
colectiva) ü
De forma
oral. ü
Llenando
un modelo o guía elaborado previamente por los investigadores que contiene los
aspectos o factores que se desea que sean los indicadores para medir el
resultado de la investigación. ü
También
respondiendo una encuesta ( cuestionario o guía). En
ocasiones es más adecuado y ese es el caso de las investigaciones médica y/o
educativas, acerca de la calidad y efectividad de la investigación aproximada y
rápida (método de experto) que emplear un método en apariencia más exacto
pero que ocupa mucho mas tiempo, como es el caso del experimento pedagógico. La
evaluación de expertos depende considerablemente de las personalidades de los
expertos, a saber: ü
Calificación
científico - técnica. ü
Experiencia
profesional. ü
Preparación,
conocimiento y especialización en el tema objeto de investigación. ü
Gustos
personales. De
acuerdo con esto, las opiniones de los expertos se analizan como magnitudes
aleatorias y se valoran mediante métodos estadísticos. De
esta manera la evaluación se realiza a través de un sistema de procedimientos
organizados, lógicos y estadístico - matemáticos dirigidos a obtener
la información procedente de los especialistas y su posterior análisis con el
objetivo de tomar decisiones confiables. De
ahí que se pueda afirmar que "el mejor investigador es precisamente aquel
que se apoya simultáneamente en su experiencia, en los datos de la ciencia y en
los conocimientos de otras personas" ¿Cuáles
son las etapas que se siguen al aplicar el método de evaluación a través de
expertos? En
la aplicación del referido método se siguen los siguientes pasos o etapas: 1.
Elaboración del objetivo 2.
Selección de los expertos 3.
Elección de la metodología. 4.
Ejecución de la metodología seleccionada. 5.
Procesamiento de la información. Veamos
con mas detalle cada una de estas etapas. 1.
Elaboración
del Objetivo.
Su formulación debe hacerse en función de validar el modelo teórico
propuesto en la investigación, tanto en la calidad de la concepción teórica
de su elaboración como la efectividad que se obtendrá con la aplicación en la
práctica médica y/o educativa. 2.
Selección
de los expertos
Esta es una de las etapas más importantes de la aplicación del método. Al
experto, altamente calificado le deben ser inherentes las siguientes cualidades: ü
Etica
profesional. ü
Maestría. ü
Imparcialidad ü
Intuición ü
Amplitud
de enfoques ü
Independencia
de Juicios. Para
su selección se suelen utilizar los siguientes criterios ü
Competencia ü
Creatividad ü
Disposición
a participar en la encuesta. ü
Conformidad. ü
Capacidad
de análisis ü
Espíritu
colectivista y autocrítico. ü
Efectividad
de su actividad profesional. ¿Cómo
determinar la competencia del candidato a experto? La
competencia es el nivel de calificación en una determinada esfera del
conocimiento. Se determina sobre la base de: ·
La
actividad fructífera del especialista y ·
Del nivel
y profundidad de conocimientos de los logros de la ciencia y la técnica en el
mundo. ·
La
comprensión del problema. ·
Las
perspectivas de su desarrollo. Existe
la tendencia de valorar la competencia de un experto de acuerdo con su grado
científico y el puesto que éste ocupa, sin embargo no
siempre estas condiciones determinan la competencia. En
la práctica de la evaluación mediante el criterio de expertos, ha tenido
aceptación la determinación de la competencia, utilizando la autovaloración
de la misma por el propio experto. La
autovaloración, la que deviene a su vez en un criterio a tener en
cuenta, consiste en proponerle a los candidatos a expertos llevar una
autoevaluación de sus conocimientos relacionados con el tema que será objeto
de enjuiciamiento. La experiencia demuestra que las personas con una elevada
autoevaluación se equivocan menos que otras en sus predicciones. ¿Cuál
es la metodología para determinar el coeficiente de competencia del experto? Existen
dos metodologías para esto, analicemos cada una de ellas. Primera:
Esta metodología fue propuesta por el Comité Estatal para la Ciencia y la Técnica
de la antigua URSS. En la misma la competencia de los expertos se determina por
el coeficiente K, el
cual se calcula de acuerdo con la opinión del candidato sobre su nivel de
conocimiento acerca del problema que se está resolviendo y con las fuentes que
le permiten argumentar sus criterios. El
coeficiente K se calcula por la siguiente expresión: K =
1/2 (Kc +
Ka) Donde: Kc:
Es el coeficiente de conocimiento o información que tiene el experto acerca del
problema calculado sobre la base de la valoración del propio experto en una
escala de 0 a 10 y multiplicado por 0.1 (dividido
por 10) de modo que: ·
Evaluación
0 indica absoluto desconocimiento de la problemática que se evalúa. ·
Evaluación
1 indica pleno conocimiento de la referida problemática. Entre
esta evaluaciones límites (extremas) hay (9) intermedias. El
experto deberá marcar una cruz en la casilla que estime pertinente, así
Kc
=
8 (0.1) =
8/10 =
0.8 Y
Ka: es el coeficiente de argumentación o fundamentación de los
criterios del experto determinado como resultado de la suma de los puntos
alcanzados a partir de una tabla patrón como la siguiente:.
Al
experto se le presenta esta tabla sin cifras orientándoles que marque con una
(x) sobre cual de las fuentes ha influido más en su conocimiento de acuerdo con
los niveles ALTO (A), MEDIO (M) y BAJO (B) Posteriormente
utilizando los valores que aparecen en la tabla patrón se determina el valor de
Ka para cada aspecto. De
tal modo que si Ka
= 1®
influencia alta de todas las fuentes
Ka =
0.8 ® influencia media de todas
las fuentes
Ka = 0.5 ® influencia baja de todas las fuentes Ejemplo
1: Un investigador estudia las características de la evaluación en los
sistemas médico y/o eduactivos latinoamericanos con el objetivo de elaborar un
nuevo sistema evaluativo que resuma en él las principales virtudes de cada uno
de ellos y evite sus defectos. Para dar cumplimiento a este empeño, decide
recurrir al método de evaluación a través del criterio de expertos, para lo
cual necesita seleccionarlos, luego de conformar un estado inicial de aquellos
que le parecen cumplen con los requisitos, los somete a una autoevaluación de
información y argumentación que poseen sobre el tema. Para ello les piden que
marquen con una cruz en una escala creciente de 0 a 10, el valor que corresponde
con el grado de conocimiento e información que tienen sobre el tema de estudio. Por
otra parte le da una tabla para obtener el coeficiente de argumentación. Los
resultados para tres expertos (candidatos) es el siguiente
Kc1 =
8 (0.1) = 8/10 = 0.8 Kc2 =
3 (0.1) = 3/10 =
0.3 Kc3 =
7 (0.1) = 7/10 =
0.7
K
a(1) =
0.3 +
0.4 +
0.05 +
0.05 + 0.05 +
0.05 =
0.9 K
a(2) =
0.1 +
0.2 +
0.05 +
0.05 + 0.05 +
0.05 =
0.5 K
a(3) =
0.1 +
0.4 +
0.05 +
0.05 + 0.05 +
0.05 =
0.7 K
1 =
1/2 (Kc1 + Ka1) =
1/2
( 0.8+ 0.9) = 0.85 K
2 =
1/2 (Kc2 + Ka2 ) =
1/2
( 0.3 + 0.5 ) = 0.4 K
3 =
1/2 (Kc3
+
Ka3 ) =
1/2
( 0.7 +
0.7 ) =
0.7 Ahora
bien si §
0.8 £ K £
1 Þ
K ® alto, luego el experto 1
tiene competencia alta. §
0.5 £ K <
0.8 Þ K ®
media, luego el experto 3 tiene competencia media §
0 £
K < 0.5
Þ
K ® bajo luego el experto 2
tiene competencia baja Entonces
el investigador pudiera utilizar
con toda seguridad al primero de los expertos y si el coeficiente de competencia
promedio ( K = 1/n åKi)
de todos los expertos posibles. Es alto, podría analizar la posibilidad de
utilizar el tercero. K
= 1/3
(0.85 +
0.3 + 0.7 ) = 1.85 / 3
= 0.62 Para
el caso de estos tres expertos no la utilizaría, pues K es medio. Segunda:
En esta segunda metodología, para hallar el coeficiente de competencia se utiliza la expresión K
= 1/2 (Ka
+ Kr). Donde: Ka:
Es coeficiente de competencia absoluto, el que se determina por la relación
entre el número de casos en que el experto evaluó correctamente el desarrollo
futuro de investigaciones y el número total en que él mismo ha participado
como experto. Ka
= cantidad de casos
correctos
Cantidad de casos valorados Así,
si un experto ha participado en 10 evaluaciones de resultados e investigaciones
y en 6 de estos se han confirmado sus puntos de vista, entonces, Ka
= 6/10
= 0.6 y Kr:
coeficiente de competencia relativa que se determina por la relación de la
efectividad absoluta del experto y
la efectividad absoluta media del grupo de expertos. Es decir:
Kai
i
toma valores desde 1 hasta n Kr = _____________
1/n ( å
Kai) esta metodología es prácticamente aplicable cuando los expertos
seleccionados ya han realizado esa función. Se podrían utilizar ambos para
valorar los expertos que ya han emitido juicios valorativo anteriormente, esta
última, y la primera para aquellos que no lo han hecho. La
mayoría de los criterios señalados después del de competencia pueden ser
valorados mediante el análisis de la síntesis
curricular del experto. Estos
criterios se integran en lo que suele llamarse "efectividad de la actividad
profesional del experto". Este criterio es un elemento que suele
constituirse en el mas utilizado, por ser el que logra mayor objetividad en la
evaluación del resultado y a la vez el más cómodo para la selección de
expertos. Con
el objetivo de incrementar la calidad de la evaluación se trata de hacer una
selección de aquellos especialistas de reconocida experiencia profesional
avalada por la alta calificación, conocimiento profundo del tema objeto de
investigación y resultados satisfactorios en el trabajo pedagógico. Comúnmente
en las investigaciones médica y/o educativas se seleccionan expertos con las
características anteriormente señaladas y que se desempeñan como
especialistas en: ü
Didácticas especiales. ü
Pedagogía. ü
Psicología Médica y/o educativa. ü
Metodología de la especialidad en diferentes niveles. ü
Profesores o maestros que serán los usuarios del resultado científico
objeto de evaluación. La
confiabilidad y la calidad de los juicios emitidos depende en gran medida de: ü
La idoneidad y características de los expertos. ü
La cantidad de expertos seleccionados ü
La estructura del grupo por especialidades. Para
incrementar la calidad y confiabilidad de los juicios dados, se trata de
aumentar la competencia de los expertos mediante: ü
Enseñanza especializada sobre el tema objeto de evaluación. ü
Familiarización con la información más amplia posible sobre el
resultado a evaluar. Se
considera que el experto es mas competente: Mientras mas cerca esta su punto de
vista de la opinión colectiva, es decir, el grado de concordancia de su
evaluación con respecto a la evaluación promedio del grupo de expertos. En
relación con la cantidad de expertos se puede señalar que: Un
número pequeño crea una hipertrofia, es decir exagera el papel de cada uno de
ellos. ü
Un número muy grande hace difícil el logro de concordancia de
opiniones. Se
ha demostrado que: ü
Si el número de expertos es 5 se comete un error del 20% ü
Si el número de expertos es 10 se comete el error del 10% ü
Si el número de expertos es 15 se comete un error del 5% ü
Si el número de expertos es 20 se comete el error del
2.5% ü
Si el número de expertos es 30 se comete un error del
1% Es
evidente, de acuerdo con lo anterior que el número de expertos a seleccionar
está entre 15 y 30. 2.
Elección de la metodología.
Existen
varias metodologías para la aplicación del método de evaluación a través
del criterio de expertos, analicemos las mas utilizadas. §
Metodología
de Preferencia: Esta
suele ser la mas empleada, por su exactitud, objetividad y rapidez. En esta
metodología, los expertos, ubicarán los aspectos evaluados según la encuesta
o guía elaborada por grupos en orden descendente de calidad, es decir, el lugar
que ocupa cada uno de los aspectos de la guía, según el nivel de calidad, es
decir, según el nivel de calidad que refleje o manifieste el resultado de las
investigaciones objeto de análisis. Este lugar esta determinado por la cantidad
de puntos acumulados, mientras mayor sea el total de puntos, más alto será el
lugar ocupado y será mayor la calidad del resultado y viceversa. Ejemplo
2
Supongamos
que un investigador le envía a cinco expertos el informe final de su
investigación y le pide a estos que la evalúe de acuerdo con la siguiente
tabla:
Donde: E
: Excelente MB:
Muy Bien B:
Bien R
: Regular M
: Mal BM
: Bastante mal P:
Pésimo Cada
uno de los expertos califico a estos aspectos del modo siguiente:
Metodología
de la comparación por pares. En este caso cada experto confecciona una
tabla en la cual los aspectos a evaluar se encuentran ubicados tanto en sentido
horizontal como vertical (tabla de contingencia), cada celda de la tabla guarda
relación con los aspectos comparados y en ella se coloca el número de ellos
que a juicio del experto mejor se
refleja o manifiesta el resultado objeto de evaluación. Ejemplo
3:
Un investigador esta elaborando una metodología mediante la cual desea mejorar
el proceso de enseñanza aprendizaje de una determinada asignatura. Después de
estudiar muchos libros y artículos científicos sobre didáctica y metodología
de dicha asignatura y realizar consultas informales a entendidos en la materia
en cuestión, elaboró una primera aproximación teórica de la metodología
buscada. La misma consta de cuatro pasos debidamente determinados. Entonces
decidió utilizar el "método
de evaluación a través del criterio de expertos" para perfeccionar a
partir del mismo la metodología elaborada. Para
ello seleccionó 31 expertos y le aplicó una encuesta cuyos resultados fueron
los siguientes:
MA:
Muy adecuado
A: Adecuado
NA: No adecuado. BA.
Bastante adecuado
PA: Poco Adecuado k:
Número de Categorías = 5 n
: (Número de aspectos a evaluar) = 4 (son los pasos de la metodología) fa
: Frecuencia absoluta de selección por categoría a cada paso por los aspectos. Pregunta:
Si el investigador va a considerar que debe mantener sin cambios los
pasos que resultan bastante y muy adecuado, ¿qué pasos de la metodología deberían
ser reelaborados por el investigador? Veamos
que debe hacerse para dar respuesta a la interrogante planteada: 1.
A partir de la tabla anterior construir una tabla de frecuencia absoluta
acumulada (Fa )
2.
A partir de la tabla anterior se construye una tabla de frecuencia
relativa acumulada (Fr) para lo cual se divide cada valor de la celda en la
tabla anterior por el número de expertos ( m = 31). La última columna se debe
eliminar, al tratarse de cinco categorías la última representa el total de
expertos y se buscan los puntos cortes. 3.
1.
Se busca la imagen de cada uno de los valores de la tabla anterior por la
inversa de la curva normal: Fr'
= ( Fr -
0.5 ) y se busca en la tabla
de áreas la curva normal. Por ejemplo: 0.3226
- 0.5 =
- 0.1774 que corresponde a Z
= - 0.46 0.6451
- 05
= 0.1451 que
corresponde a Z = 0.37
Para obtenerlos puntos de corte de divide la suma de los
valores correspondientes a cada columna ( o categorías C1, C2.... en la tabla
anterior) entre el numero de aspectos evaluados (4). Se
calculan el promedio P de cada aspecto, para ello se halla la suma de las imágenes
en cada fila , para cada aspecto y se divide
en este caso por cuatro. Se
calcula la suma de las cuatro sumas en la columna correspondiente, esto se hace
para calcular n, que es el cociente de esa sumatoria por el producto del número
de categorías (5) y el número de aspectos N=
8.09/20= 0.405
(N
-P ): Es el valor promedio que
otorgan los expertos consultados a cada paso de la metodología. Los
puntos de corte sirven para determinar la categoría o grado de adecuación de
cada paso de la metodología según la opinión de los expertos consultados
respecto a ellos, se opera del modo siguiente: Muy
adecuado: 0.41 Bastante
adecuado: - 0.005 Adecuado:
0.79 Poco
adecuado: 1.73 Si
ahora comparamos la diferencia (N-P) para cada paso de la metodología con los
puntos de este, tendremos: (N-P)
= -0.63 para P1 se podría considerar que esta próximo a
muy adecuado. (N-P)
= 0,51 Para P2 también esta próximo a muy adecuado. (N-P)
= 0.86 esta próximo a adecuado
para P3 y tiende a poco adecuado. (N-P)
= -0.14 para P4 esta próximo a
bastante adecuado. Como
el investigador desea cambiar aquellos pasos que no resulten muy adecuados o
bastante adecuados, entonces el único paso que requiere un análisis para
cambiarlo sería el P3. Los demás se pueden considerar que no deben cambiar. §
Metodología
Delphy o Delfos. Esta
es la de mayor complejidad y por lo tanto hay que emplear mucho mas tiempo para
obtener los resultados de la evaluación por los expertos. Esta
metodología (según los especialistas) es la utilización sistemática del
juicio intuitivo de un grupo de expertos para obtener un consenso de opiniones
informadas. Su esencia esta dada por: ]
Organización
de un dialogo anónimo entre expertos consultados individualmente, mediante
cuestionarios con vistas a obtener un consenso general o, al menos los motivos
de la discrepancia. Este
método puede ser de: ]
Previsión:
cuando los elementos del sistema a estudiar son conocidos y se orienta la
encuesta a indagar sobre el comportamiento previsible de las mismas. ]
Perspectiva:
Cuando los elementos a estudiar no son conocidos y se orienta la encuesta a la
determinación de la estructura posible del sistema. Sus
particularidades distintivas son: ]
Anonimidad:
Los expertos no establecen contacto directo entre ellos, contestando las
preguntas sin confrontarse e incluso son conocerse entre sí, lo que permite
eliminar la influencia de cualquiera de ellos sobre la opinión del grupo. ]
Variedad
de etapas :
La evaluación se realiza en varias etapas, después de cada evaluación estas
tengan la posibilidad de evaluar los resultados de la ronda anterior,
familiarizarse con las opiniones de los otros, así como las razones dadas para
cada respuesta y su dispersión promedio en el grupo. ]
Carácter
Dirigido: Se
regula el procedimiento de evaluación y se conserva la anonimicidad del
coordinador, que tiene derecho a dar a conocerla a los demás expertos en cada
ronda de evaluación. ]
El
control de la calidad de la evaluación:
Después de cada ronda de evaluación se analizan las discrepancias de
opinión entre los expertos en relación con el valor promedio. En este caso,
las medidas cuantitativas que se emplean de las escalas de medición utilizadas,
por ejemplo: ¨
Si la
escala es ordinal el valor promedio se calcula por la mediana y ¨
La
desigualdad de opiniones, por la magnitud de los cuartiles. ¨
Si la
escala es de intervalo o de razones, el valor promedio se calcula por la media
aritmética y la desviación estándar. Este
proceso se prosigue hasta que la discrepancias se reduzcan hasta un valor
establecido con anterioridad. El
primer cuestionario brinda información estadística El
segundo cuestionario comunica a cada experto un determinado número de
indicaciones sobre la distribución estadística de las respuestas, le permite
modificar su juicio, si así lo considera, y le exige los argumentos que
justifican las opiniones. El
tercer cuestionario muestra los argumentos unificados de las opiniones de los
expertos en la ronda de evaluación anterior para que puedan examinar con más
detalle los aspectos del problema y reconsiderar sus criterios. De considerarse
necesario se podrá realizar un cuarto o quinto cuestionario hasta que se llegue
a un consenso en los criterios. Una
vez seleccionada la metodología es necesario pasar a la etapa de: 2.
Ejecución de la metodología. Se
inicia con la elaboración de la guía de aspectos
a valorar por los expertos o la elaboración de cuestionarios de la
encuesta, la cual se le entrega a
los expertos. ¨
Si
se pide información de forma individual, entonces se entregará por
escrito. ¨
Si se
realiza la evaluación en colectivo de expertos entonces la información se
realizará de forma oral. En
ambos casos los expertos deben expresar sus ideas y criterios sobre las
bondades, deficiencias o insuficiencias que presenta el resultado científico
valorado, y que pudiera presentar al ser aplicado a la practica médica y/o
educativa y finalmente ordenar los aspectos que con mayor calidad se reflejen o
manifiesten en dicho resultado y así sucesivamente. El
número de rangos a asignar debe coincidir con el número total de aspectos
a valorar en la guía. Una
vez ejecutada la metodología se pasará a la etapa de: 3.
Procesamiento de la información. Este
constituye el paso final. En los ejemplos planteados
se ha visto parte del procesamiento que llevan algunas metodologías explicadas.
Lo que a continuación se expresa es la más idónea para la metodología de
preferencia. El procesamiento de
información se realiza empleando el coeficiente de concordancia de Kendall al
que denotaremos aquí por C. El
mismo expresa el grado de asociación entre un número determinado de variables
semejantes. Es particularmente útil para el estudio de la confiabilidad
entre expertos a pruebas. Se
calcula mediante la siguiente expresión:
12 S C
= ___________ donde S = å
(Ri - å
Ir/n) 2
3 m
(n - n) m:
número de expertos n:
cantidad de preguntas o aspectos a evaluar. Si
C = 0 Þ
ausencia de concordancia en la evaluación emitida por los expertos. Y
si C = 1 Þ
unidad de concordancia en la
evaluación emitida por los expertos. Ejemplo
4: Este ejemplo esta relacionado con el ejemplo 2 Reproduciendo
la tabla que se incluyó en él tendremos:
`S
= å
Ir
= 21
+ 15 + 9 + 28 + 7 + 25 + 35
= 20
n
7
_
2
2
2
2
2
2
2
2 S = å
(Ir - S ) = (21 - 20)
+ (15 - 20)
+ (9 -20)
+ (28 -20)
+ (7-20 ) + (25 - 20) +
(35 - 29 ) = 630 C = 12
(360) =
0.9 25
(343 - 7) prueba
de significación para C para
muestras pequeñas: Si n
£
7 los valores críticos de S asociados con la significación de C para
los niveles de significación µ
= 0.05 y
µ
= 0.01 aparecen en la tabla R del anexo del texto. Diseños no
paramétricos de D. Siegel. Para
muestras grandes, si h
mayor que siete la expresión siguiente esta aproximadamente distribuida como ci
cuadrado con un número de grados de libertad ( df = n - 1).
c
2
= 12 S
=
m ( n - 1 ) C. nfn
; c
2
=
(n-1) C
n + n
2
la
probabilidad asociada con un valor tan grande de
c2 se determina rn la tabla C del referido apéndice
de S. Siegel. Para
el ejemplo planteado n = 7
(muestras pequeñas) los valores críticos de S asociados con la
significación de C se buscan en la tabla (ver anexo del trabajo) del anexo del
libro mencionado por Sydney Siegel. El
valor crítico para m = 5 y n = 7 asociado con C = 0.9
S = 3.44 Si S ³
344 se rechaza la hipótesis de
nulidad de que no hay relación
entre los juicios emitidos por los expertos, entonces se acepta la hipótesis
alternativa de que C = 0.9 es significativo con un
nivel de confianza del 99% ( = 0.01). Es decir los juicios emitidos si
están correlacionados. Se
puede concluir entonces que hay evidencias suficientes para plantear con un 99%
de confianza que los cinco expertos concuerdan en el grado de coincidencia de la
efectividad del resultado científico al ser aplicados en la práctica médica
y/o educativa. El
error de la decisión tomada (existe concordancia entre las opiniones de todos
los expertos sobre la calidad y efectividad del resultado) a partir de esta
evaluación. Es del 20% por ser cinco (5) el número de expertos;
se puede apreciar que se sesgará un poco la opinión de cada uno de ellos y se puede criticar la
utilización del método en este caso. Quedaría
por agregar que aun cuando hay un cierto grado de error determinado por la
cantidad de expertos, es preferible hacer uso de este método según la
metodología explicada que decir: se
consultaron expertos y no aparece en la memoria o informe final de la
investigación ningún indicio de cómo
se utilizó. No
es que el uso o utilización del método determine la calidad o efectividad del
resultado científico, sino que es un elemento que le confiere mayor
cientificidad al proceso investigativo desarrollado. Ejemplo
3 Se
somete a la evaluación de expertos una estrategia didáctica para lo cual se
han seguido las siguientes etapas. Primera Etapa:
Formulación del objetivo de la evaluación por los expertos. "Validar la
estrategia didáctica elaborada tanto en la calidad de su concepción teórica
como en la efectividad que pudiera presentar con su aplicación en la práctica
médica y/o educativa. Segunda Etapa:
Selección de los expertos. Se
seleccionaron 15 expertos tomando como criterio de selección la efectividad de
la actividad profesional que realiza; de los cuales: -
Tres son especialistas en didáctica de la física. -
Tres son especialistas en pedagogía. -
Tres son especialistas en Psicología Médica y/o educativa. -
Tres son especialistas en metodologías por áreas del conocimiento en el
nivel de básica secundaría. -
Tres son profesores con reconocido prestigio profesional. Tercera etapa: Elección
de la metodología a seguir. La
metodología seleccionada es la de PREFERENCIA, se realizara de forma individual
entregando por escrito las opiniones sobre las bondades, diferencias e
insuficiencias que presenta la estrategia didáctica
en su concepción teórica así como lo
que pudiera acontecer con su aplicación en la práctica médica y/o educativa. Cuarta
Etapa: La
ejecución de la metodología se inicia con la elaboración de la guía de
aspectos a valorar, la cual será entregada a cada experto. GUIA Aspectos
a tener en cuenta por los expertos para realizar la evaluación de la estrategia
didáctica Estimados
Colegas Usted
ha sido seleccionado por su calificación científica técnica, sus años de
experiencia y los resultados alcanzados en su labor profesional, como experto
para evaluar los resultados teóricos de ésta investigación,
por lo que el autor le solicita que ofrezca sus ideas y criterios sobre
las bondades, deficiencias e insuficiencias que presenta la estrategia didáctica
en su concepción teórica y que pudiera presentar la misma al ser aplicada en
la práctica escolar, a partir de valorar los aspectos que a continuación se
relacionan ordenándolos de manera
decreciente asignando el número 9 al aspecto ( o los aspectos) que
ustedes consideren que mejor se revelan o se manifiestan en la Estrategia didáctica,
el número 8 al siguiente y así sucesivamente hasta el número 1. 1.
Valorar si la concepción teórica y práctica de la estrategia didáctica
refleja los principios teóricos que la sustentan. 2.
Valorar si la concepción estructural y metodológica de la estrategia
didáctica favorecen el logro del objetivo por el cual se elaboro. 3.
Valorar si las etapas declaradas en la estrategia didáctica para la
estructuración del proceso enseñanza - aprendizaje
según una investigación dirigida han sido ordenados atendiendo a
criterios lógicos y metodológicos, valorar si reflejan con calidad y precisión
las orientaciones para el tratamiento metodológico de las acciones a
desarrollar en cada etapa de la estrategia didáctica. 4.
Valorar si los indicadores y categorías del sistema de control
propuestos en la estrategia didáctica son precisos y miden el cumplimiento del
objetivo general. 5.
Valorar el nivel de satisfacción práctica de la estrategia didáctica,
como solución al problema y posibilidades reales de su puesta en práctica. 6.
Valorar si existe correspondencia en la complejidad de las actividades teóricas
y prácticas a desarrollar por los escolares en las actividades propuestas en la
estrategia didáctica y, las particularidades de su desarrollo psíquico. 7.
Valorar la contribución que realiza la estrategia didáctica a la
formación de las cualidades de la personalidad de los escolares en las esferas:
intelectual, afectiva, volitiva y moral. 8.
Valorar la contribución que realiza la estrategia didáctica al
conocimiento de los escolares, de
los procesos y fenómenos de la práctica social en las esferas: social, económica
y ambiental. Para
finalizar, el autor le pide realizar sugerencias o reflexiones críticas que
contribuyan a perfeccionar la estrategia didáctica, tanto en su concepción teórica
como para su aplicación en la práctica. Resultados
obtenidos en la evaluación de la Estrategia Didáctica a través del criterio
de Expertos. En
la tabla aparecen los resultados del ordenamiento realizado por cada uno de los
expertos a los diferentes aspectos de la guía para realizar la evaluación de
la estrategia didáctica. Expertos del
1 al 3:
Especialistas en didáctica de la física, doctores en ciencias pedagógicas,
profesores auxiliares de reconocida experiencia
avalada con más de 2 años
de experiencia profesional y resultados satisfactorios en su trabajo. Expertos del
4 al 6
Especialistas
en pedagogía, doctores en Ciencias pedagógicas, profesores auxiliares de
reconocida experiencia con mas de 15 años de ejercicio profesional y resultados
satisfactorios en su trabajo. Expertos del
7 al 9 :
Especialistas en psicología médica y/o educativa, un Master en psicología médica
y/o educativa y dos en ciencias de la educación, profesores auxiliares, de
reconocida experiencia avalada con mas de 10 años de ejercicio profesional y
resultados satisfactorios en su trabajo. Expertos del
10 al 12. Metodologías
por áreas del conocimiento, licenciados en educación de reconocida experiencia
con más de 10 años de experiencia profesional y resultados satisfactorios en
su trabajo. Expertos del
13 al 15 Profesores
de física en secundaria básica de reconocida experiencia avalada con mas de 15
años de ejercicio profesional y resultados satisfactorios en el trabajo. Ordenamiento
realizado por cada uno de los expertos a los aspectos de la guía.
Ordenamiento
de los rangos de puntajes ligados en cada uno de los aspectos de la guía.
Procesamiento
de la información. c
= å
Rj
= 685.0
= 76.11
( Media de los rangos)
N
9
2 S = å
(Rj - å
Rj )
= 6841.2 ( Suma
de los cuadrados de las desviaciones de la suma
N
de los rangos).
3 T = å
(t - t ) = å
T = 38.5
(Factor de Corrección.)
N Donde
t =
número de observaciones en grupos legados
para un observador dado. MåT
suma de todos los grupos de legos Coeficiente
Concordancia. C
=
........12 S………… =
82094.4 =
0.51
2 3
M
(N - N )
- MåT
161272.5 Prueba
de significación de C.
2 c = M (N -1)
C =
15 (8) (0.51) =
61.2 gl
= (N-1)
= 8
2 c
para gl = 8
es 26.12 para
µ
= 0.001 Error
de la evaluación: Como
se seleccionaron 15 expertos el error de la evaluación es de un cinco %, es
decir el error de las partes de esta valoración es pequeña por lo que la misma
se puede considerar confiable y válida.
2
2 Como
X (práctico) = 61.2 >
que 26.12 = x (teórico) para gl = 8
y µ
= 0.001 Los
resultados de la evaluación de la estrategia didáctica realizada por los
expertos son estadísticamente significativos. Lo que implica que hay evidencias
suficientes para plantear, a un 99.9 % la
confiabilidad que los 15 expertos concuerden en el grado de coincidencia de la
efectividad de la estrategia didáctica, tanto en la calidad de la concepción
teórica como en la efectividad que se obtendrá con su aplicación en práctica
médica y/o educativa. Bibliografía
revisada: Baxter,
G y Ruíz, A. Metodología de la
Investigación Médica y/o educativa ICCP La Habana. Folleto Mimeografiado.
1999. Siegel
S. Diseño experimental no paramétrico. Ediciones Revolucionarias. La Habana .
Cuba 1920. AUTORES:
Doctor
en Ciencias Pedagógicas
Especialista
de Medicina Familiar
Articulos relacionados:
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Copyright © 2011 ilustrados.com, Monografias, tesis, bibliografias, educacion. Tofos los temas y publicaciones son propiedad de sus respectivos autores ©