Pasar al contenido principal

¿Cómo hacer una medición por expertos?

Enviado por Infolaft el

Artículo por: Infolaft

La fórmula mas empleada señala que el riesgo es igual al producto de la probabilidad por el impacto (R = P * I), tras lo cual es obvio afirmar que para medir el riesgo se necesita antes que antes se determine cuál es la probabilidad y el impacto. En casos en los que no se cuenta con información histórica infolaft considera pertinente implementar métodos de expertos como la metodología Delphi. Este artículo fue elaborado por Infolaft con base en la experiencia adquirida como prestador del servicio de listas restrictivas y de consultoría Sarlaft y Sagrlaft a cerca de 200 empresas del sector financiero, sector real, sector cooperativo, sector salud y de comercio exterior en Colombia y en varios países de Latinoamérica. De acuerdo con el estandar internacional 31010 Risk management - Risk assessment Techniques de 2009, la metodología Delphi puede ser utilizada en cualquier etapa de la gestión de riesgo en donde se requiera un consenso de opiniones de expertos, y la recomienda como adecuada para el proceso de identificación. Las listas vinculantes para Colombia Igualmente Alberto Lozano en su libro Sarlaft Práctico comenta que este método de expertos puede ser utilizado para el proceso de medición y debe ser apoyado en la utilización de preguntas del tipo ‘¿qué pasaría si…?’ pues en la mayoría de los casos no se cuenta con información histórica para utilizar métodos cuantitativos. Ahora bien, cabe anotar que para que la medición sea válida es necesario seguir todos los pasos de la metodología. Por otra parte y según el documento ‘Validez de contenido y juicio de expertos: una aproximación a su utilización’, ‘‘el juicio de expertos se define como una opinión informada de personas con trayectoria en el tema, que son reconocidas por otros como expertos calificados, y que pueden dar información, evidencia, juicios y valoraciones’’. Es importante anotar que no todo lo que diga un experto es un juicio de experto, para que se constituya como juicio de experto se requiere seguir la metodología. Según el documento ‘Juicio de expertos y percepción del riesgo’, elaborado por Rolf Skjong y Benedikte Wentworht, la selección de expertos debe realizarse teniendo en cuenta la experiencia en la realización de juicios y toma de decisiones basada en evidencia o experticia (posición, experiencia entre otros), la reputación en la comunidad en que se desarrollan, la disponibilidad y motivación para participar, y la imparcialidad y cualidades inherentes como confianza en sí mismo y adaptabilidad. Los autores anteriormente citados también plantean que los expertos pueden escogerse tras evaluar que tengan una educación, entrenamiento y experiencia similar. Listas restrictivas y habeas data

Pasos de la medición

Los autores exponen seis pasos para el desarrollo de un juicio de expertos, los cuales infolaft cita a continuación:
  1. Preparar las instrucciones y plantillas de medición e identificar y definir tanto los puntos como las dimensiones objeto de la medición: en la definición de las dimensiones es necesario establecer pesos diferenciales en cada una de ellas. Por ejemplo, para la medición de riesgo LA/FT se debe validar si se requiere realizar ponderaciones en el caso de los riesgos asociados (legal, reputacional, operativo y de contagio).
  2. Seleccionar los expertos y entrenarlos: para el caso de sistemas de prevención de riesgo LA/FT se recomienda contar con las personas relacionadas con los procesos en los que se identifiquen los eventos de riesgo.
  3. Explicar el contexto: antes de iniciar la sesión es necesario realizar la presentación de la temática y el objetivo de la medición. En el caso de la medición LA/FT vale la pena mencionar que es realizada bajo una normatividad que debe cumplir la entidad.
  4. Brindar el espacio para la discusión: se recomienda generar estos espacios a fin de contemplar las diversas situaciones que, de acuerdo a la experiencia de los participantes, sea posible identificar para dar un mayor acercamiento a los eventos evaluados. Sin embargo, en los casos en los que se cuenta con un gran número de eventos se recomienda analizar la pertinencia de la generación de este espacio, ya que en ocasiones es suficiente con que los expertos hayan recibido una buena contextualización del tema.
  5. Establecer el acuerdo entre expertos por medio del cálculo de la consistencia o concordancia mediante la aplicación de elementos estadísticos que lo permitan.
  6. Elaboración de informe final de las conclusiones obtenidas.

Sobre la precisión

Partiendo de objetivo principal que corresponde a la medición acertada del riesgo en términos de probabilidad e impacto, hablaremos de la precisión. La precisión de un instrumento está dado por dos factores: el procedimiento o instrumento y el observador o experto. La consistencia de los resultados se valida cuando se aplican los interrogantes más de una vez a un mismo individuo bajo las mismas circunstancias, aunque se debe tener en cuenta que esta precisión puede verse afectada por los factores mencionados anteriormente: el procedimiento (relacionado por ejemplo con la definición de los criterios, las planillas y el contexto) y por la variación del mismo experto (relacionado con el entrenamiento, formación y capacidad de análisis). De acuerdo con el documento ‘Concordancia y consistencia’ la consistencia de los resultados se puede evaluar mediante la comparación de los resultados de varias observaciones del mismo experto, la comparación de los resultados del observador con un estándar (no aplica en este caso, pues no se cuenta con estándares) y comparar a varios observadores entre sí para validar el mismo nivel de concordancia entre ellos. De forma práctica se recomienda utilizar el índice de concordancia, dado que es el más sencillo de todos. Allí se expresa el porcentaje de acuerdo entre ellos, es decir, en qué medida hubo coincidencia en la clasificación entre los expertos en relación al total. Es importante anotar que en ocasiones la concordancia puede haberse presentado por simple coincidencia o azar. A fin de omitir este tipo de distorsión es posible aplicar pruebas estadísticas más complejas como Kappa y Kendall en las que se elimina la probabilidad del azar. A continuación se presentan las ventajas y desventajas del método de expertos, según lo expuesto por Sandra Hurtado en su artículo ‘Criterio de expertos. Su procesamiento a través del método Delphy’:

Ventajas

Entre las ventajas se destaca que se puede obtener un mejor resultado al realizar la consulta a varias personas que cuentan con el conocimiento y la experiencia necesaria para evaluar los eventos de riesgo, obteniendo un mejor pronóstico. Además se fomenta la comunicación cuando se abren espacios de discusión porque los pronósticos y validaciones se contextualizan al auditorio en la situación puntual a evaluar, reflejando un mayor acercamiento a la realidad. Incluso el uso de ideas, juicios personales y percepciones vinculadas entre sí enriquece este método.

Desventajas

Entre las desventajas se cuenta que puede tener variaciones importantes de un periodo a otro de acuerdo a cambios de percepción de los expertos. Se ha criticado su poca seguridad y la gran sensibilidad de los resultados dada la formulación de las preguntas. Existe dificultad para establecer el grado de experiencia de los miembros del panel y la posibilidad de identificar lo inesperado entre las repeticiones del proceso, y los métodos cualitativos confían principalmente en el juicio de los expertos y tienden a ser menos precisos que los métodos cuantitativos. Concluyendo, es necesario evaluar los diferentes métodos que pueden ser empleados y conocer sus limitaciones a fin de identificar aquel con el que sea mas apropiado para la empresa pues no siempre es mejor o es posible utilizar los métodos cualitativos, es posible evaluar métodos semicuantitativos o cuantitativos, todo depende de el tipo de empresa, la etapa en la que se encuentre la gestión del riesgo y la información disponible al momento de la medición.

Artículos relacionados: Información para la medición. Ed. 72

Recomendados

SAGRILAFT y PTEE: hay 23 procesos sancionatorios en curso

El dato fue revelado por Jorge Cabrera, delegado de Asuntos Contables y...

SAGRILAFT: definición de beneficiario final está contenida en Estatuto Tributario

La importante precisión fue realizada por la Superintendencia de Sociedades a...

¿Qué es SAGRILAFT y cómo implementarlo?

Estos son los puntos principales del SAGRILAFT o Sistema de Autocontrol y...