Artículo Texto Completo

Opciones de Artículo
ANÁLISIS DE VALIDEZ Y REPRODUCIBILIDAD DE UN INSTRUMENTO PARA SISTEMAS NACIONALES DE INOCUIDAD DE ALIMENTOS.
ANALYSIS OF VALIDITY AND REPRODUCIBILITY OF AN INSTRUMENT FOR NATIONAL FOOD SAFETY SYSTEMS.

Andrés Cartín Rojas, MSc.

Máster en Gestión de Programas Sanitarios en Inocuidad de Alimentos (Costa Rica).

Profesor adjunto de la cátedra de Ciencias Agropecuarias en la Universidad Estatal a
Distancia (UNED), San José, Costa Rica.Profesor adjunto de la carrera de Asistencia y Medicina Veterinaria en la Universidad
Técnica Nacional, Atenas, Costa Rica.

acartin@outlook.com


Alina Pascual Barrera, Ph.D.

Doctora en Ciencias del Mar (España).

Profesora Investigadora del Programa de Doctorado en Proyectos de la Universidad< br/>Internacional Iberoamericana (UNINI), Campeche, México.

alina.pascual@unini.edu.mx


ARTÍCULO DE INVESTIGACIÓN

Recibido: 3 de enero de 2019.

Aceptado: 30 de abril de 2019.

 

RESUMEN

El propósito de la presente investigación radicó en desarrollar y validar un instrumento para evaluar los sistemas nacionales de inocuidad de alimentos, denominado Evaluación de la Funcionalidad de Sistemas de Inocuidad de Alimentos (ESFIA). La validez de contenido es el grado en que la prueba presenta una muestra adecuada de los contenidos a los que se refiere, fue cuantificada mediante la metodología propuesta por Tristán (2008). La reproducibilidad de esta herramienta midió la fiabilidad mediante la estimación del Índice Alfa de Cronbach. La consistencia interna se calculó mediante la técnica de partición de dos mitades aleatorias de la prueba y el empleo del Coeficiente de Correlación de Pearson con ajuste de Spearman-Brown. Los datos obtenidos demuestran que el ESFIA presenta una adecuada estratificación y contenido del instrumento, así como también su aplicabilidad. El ESFIA, habiéndose comprobado su validez, será el constructo base para el desarrollo de un nuevo modelo de evaluación de prioridades, denominado Metodología de Análisis para Sistemas Nacionales de Inocuidad Alimentaria (MASNIA). La investigación realizada demuestra que, debido a la similitud en cuanto a estructura en los sistemas de gestión de inocuidad de muchos países latinoamericanos, el ESFIA puede ser aplicable a otros países de la región.

Palabras clave: inocuidad alimentaria, Costa Rica, enfermedades de transmisión alimentaria, seguridad alimentaria.

ABSTRACT

The purpose of the present investigation was to develop and validate an instrument to evaluate national food safety systems, called the Food Safety Systems Functionality Assessment (ESFIA). Content Validity is the degree to which the test presents an adequate sample of the contents to which it refers, was quantified by the methodology proposed by Tristán-López (2008). The Reproducibility of this tool measured reliability by estimating the Cronbach Alpha Index. Internal consistency was calculated using the splitting technique of two random halves of the test and the use of Pearson's Correlation Coefficient with Spearman-Brown adjustment. The data obtained show that the ESFIA presents an adequate stratification and content of the instrument, as well as its applicability. The ESFIA, having proven its validity, will be the basic construct for the development of a new model for evaluating priorities, called Analysis Methodology for National Systems of Food Safety (MSFS). The research carried out shows that, due to the similarity in terms of structure in the safety management systems of many Latin American countries, the ESFIA may be applicable to other countries in the region.

Keywords: food safety, Costa Rica, foodborne diseases, food security.


INTRODUCCIÓN

La inocuidad alimentaria es un elemento infraestructural crítico y necesario para el fortalecimiento de la seguridad alimentaria y la salud pública. La adecuada estructuración de los sistemas de gestión sanitaria de higiene de alimentos es un entramado complejo que involucra aspectos relativos a políticas públicas, capacidad de cumplimiento de lineamientos internacionales, sistemas de monitoreo y vigilancia epidemiológica, y gestión preventiva y oportuna ante riesgos emergentes (Tafur, 2009; Moussiaux et al., 2017).

Bajo el actual esquema de economía globalizada, se promueve un libre tránsito de bienes en donde cada vez son más los insumos pecuarios que ingresan y se intercambian bajo un sistema multilateral de comercio (King et al., 2017). Conforme las fronteras comerciales se diluyen y los sistemas agroproductivos se vuelven más complejos, los peligros asociados a ellos se incrementan en forma paralela. Los países en desarrollo conllevan el mayor peso relativo a la incidencia de Enfermedades de Transmisión Alimentaria (ETAs).

En gran medida, la presencia de sistemas resilientes enfocados a la gestión sanitaria de los alimentos está relacionada con la ejecución e implementación de estructuras organizacionales robustas y eficientes, tendentes a asegurar los productos destinados a los consumidores denominados encadenamientos agroproductivos o agrocadenas (Qekwana, McCrindle, Oguttu, & Grace, 2017). En este sentido, los sistemas garantes de la inocuidad de alimentos se convierten también en elementos dinamizadores de las economías, y son elementos cruciales en el acceso a mercados internacionales al garantizar alimentos salubres a los futuros consumidores y países socios comerciales (Kotsanopoulos & Arvanitoyannis, 2017; McDermott & Wyatt, 2017).

De esta forma, los Sistemas de Gestión para la Vigilancia y el Control de la Inocuidad de los Alimentos de Origen Animal (SGVCIAOA) son instrumentos claves para la certificación comercial a la hora de exportar. Esto genera transparencia y confiabilidad de la gestión sanitaria de productos alimenticios de origen animal a lo largo de la agrocadena productiva y de valor.

Por su parte Jia & Jukes (2013) y Mwamakamba et al. (2012), señalan que los SGVCIAOA modernos incorporan también el desarrollo del enfoque de agrocadenas y una integración intersectorial coordinada. Para Charlebois & Hielm (2014), muchas de las políticas de higiene alimentaria poseen una ejecución e implementación compleja, pero deben de ser lo suficientemente adaptables para asegurar a la población un flujo y acceso continuo de alimentos salubres, sin menoscabar la capacidad de competitividad del sector empresarial o la capacidad de armonizar esas normativas conforme a los estándares internaciones. En este sentido, los análisis de implementación de nuevos marcos regulatorios a lo largo de las cadenas de suministros y las interacciones de sus actores son imperativos, ya que permiten identificar las limitantes financieras y operativas con el mismo debe enfrentarse.

Debido a que la higiene o inocuidad alimentaria es una subdisciplina de las ciencias de la salud, que hace referencia a la gestión sanitaria oportuna y libre de peligros de los insumos comestibles que llegan a población, es necesario establecer herramientas evaluativas para determinar si los SGVCIAOA son eficientes en términos de asegurar la inocuidad alimentaria (Shuren & Califf, 2016; Angelos, Arens, Johnson, Cadrielo, & Osburn, 2017).

Hendrikx et al. (2011), precisa que la evaluación de los proyectos destinados a medir el cumplimiento de los SGVCIAOA es un importante componente del análisis de riesgos y de la estimación de la funcionalidad de las prácticas de los Servicios Veterinarios bajo mandato de la OIE, las cuales son las estructuras sanitarias que por normativa internacional regulan y vigilan el libre tránsito de los bienes pecuarios, incluidos los alimentos que llegan a la mesa de los consumidores.

Según la opinión de Smith (2013) un programa exitoso de Salud Pública Veterinaria (SPV) debe contener las acciones preventivas necesarias que eviten la presencia de un riesgo en la agrocadena, las pautas a seguir en caso de que este ocurra y un sistema de evaluación que permita medir el alcance y progreso real del programa en función de sus objetivos. La evaluación de los SGVCIAOA es un importante componente del análisis de riesgos y de la estimación de la funcionalidad de las prácticas de los servicios veterinarios bajo mandato de la OIE.

La evaluación se define como: “la estimación sistemática y objetiva de la pertinencia, adecuación, progreso, eficiencia, eficacia e impacto de la implementación y ejecución de un programa, en relación con sus objetivos primarios y teniendo en cuenta todos los recursos empleados en ello” (Drewe et al., 2013, p. 34).

En este sentido, Lugan & Cardona (2015) mencionan la importancia de establecer en el área temática de ciencias de la salud, constructos con medidas y dimensiones puntuales que permitan un mejor y más completo abordaje de todos aquellos elementos tendientes al fortalecimiento de la salud pública en general. Ello, intrínsecamente involucra aspectos relativos a la higiene de los alimentos y sus sistemas de control a distintas escalas (locales, nacionales, internacionales, etc.).

Precisamente en Costa Rica, desde el año 2006, se crea el Sistema Nacional de Salud Animal (SENASA), que tiene dentro de sus competencias el aseguramiento de la inocuidad de insumos de origen pecuario. Sin embargo, es importante señalar que los estudios tendentes a la evaluación del actual SGVCIAOA en Costa Rica son limitados, escasos y en algunos casos, superficiales. Por otra parte, la apertura comercial del país ha permitido una mayor oferta en la cantidad de productos importados, lo cual se tradujo en un mayor riesgo para los consumidores locales, producto de un sistema nacional de inocuidad de alimentos heterogéneo, inmaduro e imperfecto (Vicarioli, 2011). Este mismo autor señala una serie de deficiencias que aún hoy en día se mantienen, entre ellas se destacan:

  1. Un sistema de inocuidad alimentaria heterogéneo y escasamente articulado,
  2. Legislaciones sanitarias referentes al proceso de inspección y control de alimentos, con vacíos jurídicos y duplicidad de funciones entre entes reguladores,
  3. Poca oferta de laboratorios acreditados para el análisis de alimentos,
  4. Un sistema de aseguramiento de inocuidad de alimentos con un enfoque esencialmente dirigido a la exportación, siendo deficiente en su contraparte local.

Este enfoque de salubridad especialmente orientado a la exportación de productos fue uno de los principales hallazgos de Fermet, Gallacher & León (2010), quienes especifican la necesidad de extender a todos los mercados de consumo local la inspección veterinaria, y de mejorar el accionar de los SV costarricenses a este nivel.

No existen estudios más recientes que valoren la fiabilidad y optimización real del actual sistema costarricense. Cabe mencionar que este sistema, al igual que los lineamientos internacionales en materia de inocuidad - producto de incidentes recientes - ha sufrido diversos cambios. Esta investigación procura valorar estos cambios en el actual SGVCIAOA en Costa Rica. Por tanto, para cumplir con este mandato de Estado, de rango constitucional, de acceso a una alimentación sana que permita a la población costarricense disponer de alimentos inocuos, es necesario generar un mecanismo de evaluación que posibilite estimar el nivel de cumplimento actual del SGVCIAOA e identificar sus áreas críticas.

Este artículo tuvo como objetivo comprobar la validez de contenido y reproducibilidad de una herramienta evaluativa denominada Evaluación de la Funcionalidad de Sistemas de Inocuidad de Alimentos (EFSIA) creada como constructo base para el desarrollo de un nuevo modelo de evaluación de prioridades, denominado Metodología de Análisis para Sistemas Nacionales de Inocuidad Alimentaria (MASNIA), que tiene como fin cuantificar la funcionalidad del actual SGVCIAOA costarricense, enfocado al aseguramiento de la salud pública costarricense y en especial de la higiene alimentaria de insumos de origen animal.

La investigación incluyó la estimación de la validez de contenido, el cálculo de la fiabilidad y la consistencia interna. Los datos obtenidos demuestran que el ESFIA presenta una adecuada estratificación y contenido del instrumento, así como también su aplicabilidad.

 

MATERIALES Y MÉTODOS

La metodología llevada a cabo en el presente estudio constó de: 1) desarrollo del instrumento ESFIA; 2) estimación de su validez de contenido; y 3) determinación de su reproducibilidad. A continuación, se detalla cada uno de ellos.

 

Desarrollo del instrumento

En primera instancia se generó el instrumento EFSIA, a partir de documentos vinculantes de referencia como la OIE (2013) para la evaluación de las prestaciones de los Servicios Veterinarios (PVS); el Análisis de brechas PVS, informe para Costa Rica (OIE, 2010); el Informe de Misión Piloto Evaluación PVS “Una Salud” para Costa Rica (OIE, 2011); el Fortalecimiento de los sistemas nacionales de control de los alimentos de la Organización de las Naciones Unidas para la Agricultura y la Alimentación (FAO, 2007); la Guía para desarrollar sistemas nacionales para el retiro de alimentos (FAO, 2012); los Principios y procedimientos de análisis de riesgos en situaciones de emergencia relativas a la inocuidad de los alimentos (FAO & OMS, 2011); y finalmente, el Marco operacional para la buena gobernanza de la interface humano-animal (OIE, 2014).

Este instrumento constituye el primer elemento de un nuevo modelo y metodología empleada para generar un análisis sistemático y riguroso de los SGVCIAOA, denominado Metodología de Análisis para Sistemas Nacionales de Inocuidad Alimentaria (MASNIA). Esta metodología consiste, a modo general, en agrupar inicialmente mediante el ESFIA, a los ítems en distintas categorías o dominios. Los cuales se realizan con base en los documentos antes mencionados y corresponden a los aspectos básicos que un sistema alimentario debe incluir. Posteriormente, se contrasta esta información contra las características actuales que el SGVCIAOA actual posee y producto de esa comparación, se categoriza de forma cuantitativo su cumplimiento en: cumple (1 punto); cumple parcialmente (0,5 puntos) y no cumple (0 puntos). Los valores obtenidos, totales y por sección, posteriormente se estiman mediante una serie de indicadores y se correlacionan para determinar sus asociaciones y establecer las áreas que son prioritarias de intervención.  

 

Validez de Contenido

La validez garantiza la calidad de las mediciones y establece que los elementos intangibles y latentes que lo componen están alineados con lo que se busca medir o estudiar. Para este caso en concreto, se procedió específicamente a corroborar la Validez de Contenido (VDC) utilizando el modelo propuesto por Tristán (2008). Inicialmente, se buscó la colaboración de un panel de expertos, que estuvo constituido por 5 expertos nacionales y 5 internacionales. Los criterios para la selección de estos profesionales fueron: i) Conocimiento en normativa internacional relacionada con los lineamientos de la OIE y la Comisión del Codex Alimentarius (CCA); ii) Experiencia profesional de mínimo 3 años de trabajo en inocuidad de alimentos; iii) Pertenecer o ejercer activamente a una profesión en un área temática en higiene sanitaria en el área de alimentos (veterinaria, tecnología de alimentos, inspección de inocuidad, nutrición, etc.); iv) En el caso de expertos nacionales, se solicitó que además conocieran el actual SGVCIAOA existente.

El contacto de los evaluadores se realizó por medio del correo electrónico. El grupo de evaluadores seleccionados estuvo compuesto por 10 expertos (5 nacionales y 5 internacionales), tal y como se muestra en la Tabla 1. Posteriormente, se elaboró una encuesta con escala Likert trinominal: Esencial, Útil pero no esencial e, Innecesario. Se le solicitó al grupo de expertos que valoraran la esencialidad de la permanencia de cada uno de los ítems que componen el ESFIA, con base en la categorización previamente indicada.

De acuerdo con la esencialidad otorgada por los observadores, se puntuó cada ítem de la siguiente manera. A los ítems considerados como esenciales, se les aplicó una valoración equivalente a 1. En contraste, los ítems considerados útiles, pero no esenciales e innecesarios, al ser evaluados como información no vital para el instrumento, recibieron valoraciones cuantitativas de 0.

La ponderación total de los puntajes fue incorporada a una matriz de validación en Excel. La estructura y operación inicial del ESFIA original contó con 98 ítems (Tabla 2). Se calcularon los promedios de todos los observadores por ítem y sobre estas estimaciones se procedió a aplicar la Validez de Contenido (VCD), la cual busca establecer que los ítems del instrumento representen adecuadamente el constructo que se pretende medir.

 

La estimación de la VCD se realizó estimando la Razón de Validez de Contenido (RVC), la cual indica el nivel de acuerdo entre los panelistas para los ítems catalogados como esenciales. Según Tristán (2008), un nivel aceptable debe ser igual o mayor a 0.58 por ítem y las preguntas con puntuaciones inferiores deben eliminarse o reformularse. El cálculo de la RVC se obtiene mediante la aplicación de la fórmula que se muestra en la Ecuación 1:

En donde:

ne= número de panelistas que tienen acuerdo en la categoría “esencial” sobre el mismo ítem.

N= número total de panelistas que evaluaron el instrumento.

Posteriormente a esto, se procede a ajustar el cálculo de la RVC con la propuesta elaborada por Tristán-López (2008), y obtener la RVC ajustada o RVC`. La ecuación del ajuste se muestra en la Ecuación 2:

Los ítems que no cumplieron con el valor mínimo de aceptación (0.58) fueron eliminados. Esta versión mejorada del ESFIA, sirvió también como base para desarrollar la encuesta a ser aplicada a los médicos veterinarios mediante el Colegio de Médicos Veterinarios de Costa Rica (CMV).

En total, 88 (90%) de los numerales planteados originalmente en la herramienta diagnóstica fueron aceptables. En contraste, se eliminaron 10 (10%) de los numerales previamente establecidos en la versión original del ESFIA y que no cumplieron con el valor mínimo establecido. Los ítems eliminados, junto con la estructura y operación final del ESFIA, se muestran en la Tabla 3 y 4, respectivamente.

Finalmente, se procedió a calcular el Índice de Validez de Contenido (IVC), tanto por conglomerado de rubros (parcial) como de forma general (global). El IVC parcial corresponde a la suma de la puntuación total de los ítems (esenciales y no esenciales), entre el número total de ítems por sección del ESFIA, mientras que el IVC global representa la suma de la puntuación total de los ítems (esenciales y no esenciales), entre el número total de ítems que componen todo el instrumento a validar. Los datos obtenidos se describen en la Tabla 5.

Reproducibilidad

En cuanto a la reproducibilidad para la validación del ESFIA, se determinó la consistencia interna y la fiabilidad. La consistencia interna indica si los distintos ítems de un test producen resultados similares en el supuesto general. La fiabilidad en cambio demuestra el grado de medición sin error que el instrumento posee. La confiabilidad o fiabilidad, se validó mediante el cálculo del índice Alfa de Cronbach. Para el cálculo, se utilizó el paquete informático Real-Statistics@, versión para el programa Excel de Windows 2010-2016. Para la comparación de ambos conjuntos, se utilizó la suma de la puntuación del valor dado por cada evaluador para todos los ítems que constituyen el ESFIA. La subsecuente correlación se llevó a cabo mediante el Coeficiente de Correlación de Pearson (CC), y el posterior ajuste mediante la ecuación de Spearman-Brown. Para el cálculo, se utilizó el paquete informático Real-Statistics@, versión para el programa Excel de Windows 2010-2016.

 

Fiabilidad

La estimación se realizó mediante el valor de la prueba Alfa de Cronbach, el cual se determinó de forma global para todos los ítems que conforman el ESFIA, indicados previamente en la matriz de validación (Tabla 6).

Consistencia Interna

La estimación de este parámetro fue realizada por medio de la técnica de partición de dos mitades aleatorias de la prueba, en dos grupos (1-44 y 45-88) según una matriz de validación elaborada a partir de los resultados de validación de los expertos (Tabla 7). La prueba estadística empleada correspondió al Coeficiente de Correlación de Pearson, con ajuste de Spearman-Brown. Los resultados obtenidos se detallan a continuación.

 

DISCUSIÓN DE RESULTADOS

La evaluación de las propiedades métricas de cualquier instrumento de evaluación o cuestionario resulta crucial para poder comprobar su aplicabilidad. Dos elementos constitutivos son necesarios de verificar. Por un lado, la fiabilidad, que indica la precisión del instrumento y, por otro lado, la validez, que permite estimar la utilidad y relevancia de las puntuaciones obtenidas. 

Es pertinente mencionar que se logró validar el ESFIA mediante los valores de la Razón de Validez de Contenido (RVC), la Razón de Validez de Contenido Ajustada (RVC´) y el Índice de Validez de Contenido (IVC), así como también la estimación del Índice Alfa de Cronbach y el Coeficiente de Correlación de Pearson (CC) con ajuste de Spearman-Brown.

De esta manera, el instrumento denominado Evaluación de la Funcionalidad de Sistemas de Inocuidad de Alimentos (EFSIA) para medir la funcionalidad, cumplimiento y operatividad de los sistemas nacionales de inocuidad de alimentos, mostró un Índice de Validez de Contenido (IVC) global de 0.78. De acuerdo con Gilbert y Prion (2016) este valor corresponde a una estimación bastante aceptable, lo que demuestra que la herramienta presenta propiedades psicométricas óptimas para ser empleado como un instrumento de evaluación, validando además su uso.

Dado que la versión inicial del ESFIA contaba con un total de 98 ítems y una vez aplicado el modelo propuesto por Tristán-López (2008) se eliminan sólo 10 rubros, la modificación de este es mínima y muestra una buena estratificación y contenido del instrumento.

En cuanto a la representatividad, se determinó que el Índice de Alfa de Cronbach denota una muy buena fiabilidad pues el valor obtenido de α (0,91).

Con respecto a los valores relativos a la consistencia interna, Simancas-Pallares, Herazo, & Campos-Arias (2016) establece que existe buena consistencia interna si los valores son superiores a 0.60. Dados los resultados obtenidos en esta investigación (0.78), es plausible estimar la buena consistencia interna del ESFIA.


CONCLUSIONES

El estudio llevado a cabo demuestra que las propiedades métricas de la herramienta diagnóstica multivariada del instrumento denominado ESFIA, son idóneas ya que presentan niveles de validez de contenido y reproducibilidad considerados como aceptables.

El aporte del instrumento recae en que su validez e implementación son elementos necesarios para la siguiente parte del estudio, que conlleva el desarrollo del modelo MASNIA Este modelo pretende determinar la necesidad de limitaciones y detectar las áreas prioritarias de intervención en el corto plazo para desarrollar medidas de mejora y mitigación.

Otro importante aporte de la escala de medición empleada recae en el desarrollo y validación de un instrumento para evaluar los sistemas nacionales de inocuidad de alimentos, denominado Evaluación de la Funcionalidad de Sistemas de Inocuidad de Alimentos (ESFIA). Lo anterior, puede abre la posibilidad de implementación de futuras líneas de investigación, para determinar el nivel de cumplimiento y categorización por tipo de agrocadena.

Cabe señalar que muchos países poseen similitud en cuanto a estructura en los sistemas de gestión de inocuidad, ya que basan su estructura en los códigos vinculantes y supletorios de la Organización Mundial de Salud Animal (OIE, 2018).

De lo anterior se desprende que el ESFIA, una vez que se concluya la segunda parte del estudio mediante el desarrollo del modelo MASNIA, puede llegar a ser aplicable a estructuras de gestión sanitaria semejantes.


REFERENCIAS BIBLIOGRÁFICAS


Comentarios

Deje su comentario