Monografias | Algunas consideraciones acerca del método de evaluación utilizando el criterio de expertos

PROBLEMA

En las investigaciones médicas y/o médica y/o educativas se suele decir que se sometió  a una evaluación de expertos, pero no se dice ni quienes, ni como, ni que evaluaron los expertos.

OBJETO

Proceso de Investigación médica y/o médica y/o educativa.

OBJETIVO

Analizar en qué consiste, el método y explicar como se puede aplicar.

TAREAS

En qué se fundamenta  el método?

Concepto de Experto

Cómo se ejecuta el método?

Etapas:                       

§         Elaboración del objetivo.

§         Definición de expertos.

§         Criterios de Selección  - Competencia.

§         Selección de la Metodología

                                 Preferencia

                                 Comparación de Pares.

                                 Delphy o Delfos

§         Ejecución metodología.

§         Procesamiento de datos.

INTRODUCCIÓN

En la revisión realizada de numerosos trabajos relacionados con el campo médico y/o educativo, se aprecian expresiones utilizadas por los investigadores como la siguiente " los expertos consultados valoran positivamente el trabajo". Es muy probable que esto sea cierto, pero lo que no aparece en la memoria revisada es: ¿Cómo se seleccionaron los expertos? ¿Cuál es el objetivo explícito de la consulta? ¿Son en realidad "expertos" las personas consultadas? ¿Cuáles fueron las interrogantes planteadas para que emitieran sus juicios? ¿Qué método fue utilizado?. Entre otros aspectos, a tener en cuenta a la hora de utilizar el "método de evaluación según el "criterio de expertos"

El propósito del presente trabajo es ofrecer algunos elementos para darle mayor rigurosidad al trabajo científico cuando, como es el caso de las investigaciones pedagógicas, no es factible o no es perentorio un experimento.

No es intención hacer un estudio exhaustivo sobre el tema, son simplemente algunos apuntes que sirven de incentivo, para aquellos que tengan acceso al mismo sigan profundiza en la referida temática

DESARROLLO

Las investigaciones médica y/o educativas están relacionados con el diseño curricular, las didácticas especiales, la educación de la personalidad, la formación de cualidades y capacidades intelectuales de los estudiantes, entre otras temáticas.

Ellas cumplen una misión social, mejorar la calidad y la efectividad del trabajo médico y/o educativo, del proceso de enseñanza - aprendizaje y asegurar el efecto médico y/o educativo en correspondencia con los principios de nuestra sociedad.

También, sus resultados deben ser tales que cumplan el objetivo de transformar y perfeccionar la práctica médica y/o educativa, y en tal proceso alcanzar niveles de calidad, con un producto cuyo resultado científico garantice la solución de la problemática investigada.

Su efectividad esta en relación con el desarrollo del proceso, con el rigor científico del trabajo investigativo, con la planificación del mismo y con la idoneidad metodológica e instrumental utilizada para desarrollarlo y alcanzar los resultados que pueden ser aplicados en la práctica médica y/o educativa.

La valoración de la efectividad tienen como problema esencial la búsqueda de vías para su evaluación y la determinación de los criterios metodológicos para lograrlo, los que pueden ser:

§         Científico - Formales.

§         Económicos.

§         De utilización práctica.

§         Métricos.

§         Cualimétricos.

Los criterios anteriores se operacionalizan en un conjunto de indicadores tales como:

§         Científico - Formales: que utilizan como indicadores:

ü       Actualidad

ü       Novedad

ü       Fiabilidad

ü       Significación de los resultados.

§         Económicos a su vez utilizan

ü       Relación de recursos empleados y utilidad alcanzada.

ü       Relación entre el tiempo de realización y la introducción de resultados.

§         Utilización práctica.

ü       Nivel de generalización del resultado.

ü       Nivel de satisfacción práctica del resultado.

§         Métricos, utiliza indicadores de:

ü       Significación

ü       Veracidad

ü       Confiabilidad y

ü       En general se utilizan técnicas estadísticas.

§         Cualimétricos, utilizan:

Criterios de evaluación a través de expertos y dentro de estos se encuentran las metodologías.

·        De referencia

·        De comparación por pares.

·        Delphy o Delfos.

La práctica científica ha demostrado que en las investigaciones médicas y/o educativas realizadas, este método no es utilizado, siendo sustituido por el método experimental, el que no garantiza totalmente la validez y confiabilidad de los resultados científicos obtenidos, ya que las relaciones funcionales en las investigaciones sociales no pueden validarse completamente, es decir, ni confirmarse ni refutarse totalmente mediante el experimento social como consecuencia de que una ley o relación no opera aislada sino forma parte del todo, del objeto estudiado, en el cual el componente consciente de los sujetos que intervienen en la investigación, desempeña un papel decisivo que no se puede abstraer, y no es posible dejar de tomar en consideración.

¿Qué es la cualimetría?

Se sabe  que los indicadores son cualitativos cuando no tienen definida su unidad de medida. Para la evaluación cuantitativa  de tales indicadores se emplean con frecuencia métodos Cualimétricos.

La cualimetría estudia y elabora los métodos cuantitativos para realizar la evaluación de la calidad. Se sustenta en los principios siguientes:

1.       Cualquier cualidad se puede medir.

2.       La calidad depende de una serie de propiedades que conforman los niveles de la misma.

3.       Cada propiedad esta determinada por dos números.

ü       k (indicador relativo)

ü       m (Ponderabilidad )

4.       La suma de las ponderabilidades en cada nivel es igual a la unidad (0 al 100%).

Los procedimientos metodológicos de la cualimetría se agrupan en:

§         Heurísticos (intuitivos) basados en la evaluación de expertos y en encuestas

§         Mediante instrumentos o aparatos

La ejecución de la evaluación de expertos es no solo un trabajo técnico que presupone una observación estricta de determinadas reglas, sino que es también arte que reclama de intuición y de conocimiento.

¿En qué consiste el método de evaluación a través de expertos?.

Veamos primero en que consiste un experto

El lema de este método es: "dos cabezas piensan mejor que una"

La evaluación de una investigación médica y/o educativa se denomina de expertos  cuando se obtiene de las opiniones de los especialistas, se emplea para:

§         Comprobar la calidad y efectividad, en tanto en

ü       Su concepción teórica.

ü       Su aplicación práctica

Es decir los resultados que se pudieron  obtener de la aplicación de los resultados de la investigación en la práctica médica y/o educativa cuando resulta imposible o poco operativa la aplicación de un experimento.

En general suelen utilizarse en:

ü       Las investigaciones con un enfoque teórico, con el propósito de evaluar la calidad y efectividad del modelo teórico propuesto y comprobar la validez de los procedimientos metodológicos que se aplicarán.

ü       Las de corte experimental antes de someter a la prueba de la experiencia el método teórico propuesto.

La evaluación ofrecida por los expertos puede ser:

ü       Individual

ü       Grupal (o colectiva)

ü       De forma oral.

ü       Llenando un modelo o guía elaborado previamente por los investigadores que contiene los aspectos o factores que se desea que sean los indicadores para medir el resultado de la investigación.

ü       También respondiendo una encuesta ( cuestionario o guía).

En ocasiones es más adecuado y ese es el caso de las investigaciones médica y/o educativas, acerca de la calidad y efectividad de la investigación aproximada y rápida (método de experto) que emplear un método en apariencia más exacto pero que ocupa mucho mas tiempo, como es el caso del experimento pedagógico.

La evaluación de expertos depende considerablemente de las personalidades de los expertos, a saber:

ü       Calificación científico - técnica.

ü       Experiencia profesional.

ü       Preparación, conocimiento y especialización en el tema objeto de investigación.

ü       Gustos personales.

De acuerdo con esto, las opiniones de los expertos se analizan como magnitudes aleatorias y se valoran mediante métodos estadísticos.

De esta manera la evaluación se realiza a través de un sistema de procedimientos  organizados, lógicos y estadístico - matemáticos dirigidos a obtener la información procedente de los especialistas y su posterior análisis con el objetivo de tomar decisiones confiables.

De ahí que se pueda afirmar que "el mejor investigador es precisamente aquel que se apoya simultáneamente en su experiencia, en los datos de la ciencia y en los conocimientos de otras personas"

¿Cuáles son las etapas que se siguen al aplicar el método de evaluación a través de expertos?

En la aplicación del referido método se siguen los siguientes pasos o etapas:

1.       Elaboración del objetivo

2.       Selección de los expertos

3.       Elección de la metodología.

4.       Ejecución de la metodología seleccionada.

5.       Procesamiento de la información.

Veamos con mas detalle cada una de estas etapas.

1.       Elaboración del Objetivo.  Su formulación debe hacerse en función de validar el modelo teórico propuesto en la investigación, tanto en la calidad de la concepción teórica de su elaboración como la efectividad que se obtendrá con la aplicación en la práctica médica y/o educativa.

2.       Selección de los expertos Esta es una de las etapas más importantes de la aplicación del método. Al experto, altamente calificado le deben ser inherentes las siguientes cualidades:

ü       Etica profesional.

ü       Maestría.

ü       Imparcialidad

ü       Intuición

ü       Amplitud de enfoques

ü       Independencia de Juicios.

Para su selección se suelen utilizar los siguientes criterios

ü       Competencia

ü       Creatividad

ü       Disposición a participar en la encuesta.

ü       Conformidad.

ü       Capacidad de análisis

ü       Espíritu colectivista y autocrítico.

ü       Efectividad de su actividad profesional.

¿Cómo determinar la competencia del candidato a experto?

La competencia es el nivel de calificación en una determinada esfera del conocimiento. Se determina sobre la base de:

·        La actividad fructífera del especialista y

·        Del nivel y profundidad de conocimientos de los logros de la ciencia y la técnica en el mundo.

·        La comprensión del problema.

·        Las perspectivas de su desarrollo.

Existe la tendencia de valorar la competencia de un experto de acuerdo con su grado científico y el puesto que éste ocupa, sin embargo no siempre estas condiciones determinan la competencia.

En la práctica de la evaluación mediante el criterio de expertos, ha tenido aceptación la determinación de la competencia, utilizando la autovaloración de la misma por el propio experto.

La autovaloración, la que deviene a su vez en un criterio a tener en cuenta, consiste en proponerle a los candidatos a expertos llevar una autoevaluación de sus conocimientos relacionados con el tema que será objeto de enjuiciamiento. La experiencia demuestra que las personas con una elevada autoevaluación se equivocan menos que otras en sus predicciones.

¿Cuál es la metodología para determinar el coeficiente de competencia del experto?

Existen dos metodologías para esto, analicemos cada una de ellas.

Primera: Esta metodología fue propuesta por el Comité Estatal para la Ciencia y la Técnica de la antigua URSS. En la misma la competencia de los expertos se determina por el coeficiente K,  el cual se calcula de acuerdo con la opinión del candidato sobre su nivel de conocimiento acerca del problema que se está resolviendo y con las fuentes que le permiten argumentar sus criterios.

El coeficiente K se calcula por la siguiente expresión:

K  = 1/2  (Kc + Ka)

Donde:

Kc: Es el coeficiente de conocimiento o información que tiene el experto acerca del problema calculado sobre la base de la valoración del propio experto en una escala de 0 a 10 y multiplicado por 0.1  (dividido por 10) de modo que:

·        Evaluación 0 indica absoluto desconocimiento de la problemática que se evalúa.

·        Evaluación 1 indica pleno conocimiento de la referida problemática.

Entre esta evaluaciones límites (extremas) hay (9) intermedias.

El experto deberá marcar una cruz en la casilla que estime pertinente, así

Kc = 8 (0.1) = 8/10 = 0.8

Y Ka: es el coeficiente de argumentación o fundamentación de los criterios del experto determinado como resultado de la suma de los puntos alcanzados a partir de una tabla patrón como la siguiente:.

Al experto se le presenta esta tabla sin cifras orientándoles que marque con una (x) sobre cual de las fuentes ha influido más en su conocimiento de acuerdo con los niveles ALTO (A), MEDIO (M) y BAJO  (B)

Posteriormente utilizando los valores que aparecen en la tabla patrón se determina el valor de Ka para cada aspecto.

De tal modo que si   Ka  = 1® influencia alta de todas las fuentes

                                 Ka  =  0.8 ®  influencia media de todas las fuentes

                                  Ka =   0.5 ® influencia baja de todas las fuentes

Ejemplo 1: Un investigador estudia las características de la evaluación en los sistemas médico y/o eduactivos latinoamericanos con el objetivo de elaborar un nuevo sistema evaluativo que resuma en él las principales virtudes de cada uno de ellos y evite sus defectos. Para dar cumplimiento a este empeño, decide recurrir al método de evaluación a través del criterio de expertos, para lo cual necesita seleccionarlos, luego de conformar un estado inicial de aquellos que le parecen cumplen con los requisitos, los somete a una autoevaluación de información y argumentación que poseen sobre el tema. Para ello les piden que marquen con una cruz en una escala creciente de 0 a 10, el valor que corresponde con el grado de conocimiento e información que tienen sobre el tema de estudio.

Por otra parte le da una tabla para obtener el coeficiente de argumentación. Los resultados para tres expertos (candidatos) es el siguiente

Kc1  =  8 (0.1) =  8/10 =  0.8

Kc2  =   3 (0.1) =   3/10   = 0.3

Kc3  =   7 (0.1) =   7/10