Cómo evaluar biomarcadores para la validez de modelos animales
Para un proyecto de modelado específico, la evaluación de la efectividad del modelo se extiende a lo largo de todo el proceso de investigación. Cabe señalar que el modelo es en realidad una representación abstracta del sistema en estudio. Es muy difícil y sin sentido verificar si un modelo es 100% efectivo. Además, la eficacia del modelo también está relacionada con el propósito de la investigación y las necesidades del usuario. En algunos casos, un modelo de confianza del 60% puede cumplir los requisitos; en otros casos, un modelo de confianza del 99% puede que no.
El concepto de validez del modelo surgió en la década de 1960 con la aplicación generalizada de la tecnología de simulación por computadora en diversas disciplinas y campos de la ingeniería, la cuestión de la validez del modelo ha atraído una atención cada vez mayor. En 1967, Fishman y Kivtat de RAND Corporation señalaron claramente que la investigación sobre la validez de los modelos se puede dividir en dos partes: validación y verificación del modelo. Este punto de vista es generalmente adoptado por la comunidad internacional de simulación. La validación del modelo se refiere a evaluar la credibilidad o usabilidad del modelo comparando la consistencia de los resultados de salida entre el modelo y el sistema real bajo los mismos estándares de entrada y entorno operativo. La validación del modelo se refiere a determinar si la implementación informática de un modelo es correcta.
Aunque las definiciones de verificación y validación varían en la literatura, los expertos generalmente coinciden en la diferencia entre ambas. En pocas palabras, la verificación del modelo enfatiza la coherencia entre el modelo teórico y el sistema real, mientras que la verificación del modelo enfatiza la coherencia entre el modelo actual y el programa de computadora. En alguna literatura, "confirmación" y "verificación" se reemplazan respectivamente por "calibración del modelo" y "verificación del modelo", que son fácilmente aceptadas por ingenieros y técnicos. ".La relación entre la validación y verificación del modelo y el modelado se muestra en la Figura 8.5.
En la Figura 8.5, "entidad problemática" se refiere al objeto a modelar, como sistema, concepto, política, fenómeno, etc. "Un modelo teórico" es un modelo de un sistema, concepto, política o fenómeno. Un "modelo teórico" es una descripción matemática/lógica de una entidad problemática para un propósito de investigación específico. Un "modelo computarizado" (CM) es una implementación informática de un modelo teórico.
Los modelos teóricos se pueden analizar. y modelado mediante la "creación de actividades". A través de los pasos de "programación e implementación", cree un modelo computarizado. Realice "experimentos" de simulación para obtener resultados sobre las entidades problemáticas.
La validación del modelo incluye datos y confirmación de la validez del modelo teórico. confirmación de validez y confirmación de validez operativa Entre ellos, la confirmación de validez operativa es el núcleo de la validación del modelo.
Figura 8.5 La relación entre confirmación y verificación y modelado
1) Confirmación de validez teórica. modelo.
La confirmación de la validez del modelo teórico es un proceso de confirmación de la exactitud de las bases teóricas y los supuestos utilizados en el modelo teórico y la racionalidad de la descripción del modelo teórico de la entidad del problema. dos contenidos:
(1) Probar la exactitud de la base teórica y los supuestos del modelo. Tiene dos significados: uno es probar si se cumplen las condiciones de aplicación de la base teórica, como la linealidad. , normalidad, independencia y estática, etc.; el proceso de prueba se puede realizar mediante métodos estadísticos. El segundo es probar si la aplicación de varias teorías es correcta. Los submodelos y su relación con el modelo general son razonables, es decir, el análisis del modelo es correcto y si la relación matemática / lógica solicitada por el submodelo es consistente con la entidad del problema. Si se confirma que el modelo teórico es válido, se puede poner en funcionamiento de prueba. Finalmente, la precisión del modelo debe evaluarse en función de los resultados obtenidos. Si el modelo teórico no es válido, se debe volver a ejecutar el análisis, el modelado y la validación.
2) Confirmación de la validez de los datos
La confirmación de la validez de los datos se utiliza para garantizar que los datos utilizados en el modelado, la evaluación, las pruebas y los experimentos sean suficientes y correctos. >
Los datos se utilizan para la construcción, calibración y operación del modelo durante el desarrollo del modelo. Los datos adecuados, correctos y precisos son la base para construir un modelo.
La confirmación de la validez de los datos incluye la confirmación de variables clave, parámetros clave y variables aleatorias en el modelo, así como la confirmación de datos como parámetros y valores iniciales utilizados en la confirmación de la validez operativa.
3) Confirmación de validez operativa
La confirmación de validez de operación se refiere a si el comportamiento de salida del modelo es lo suficientemente preciso para el propósito o uso del desarrollo del modelo y su aplicación prevista.
El propósito de la confirmación de la validez operativa es calcular y evaluar la precisión del resultado del modelo. El requisito previo es que estén disponibles los datos del sistema real y de sistemas comparables. Al comparar los datos de salida del modelo y el sistema real en las mismas condiciones iniciales, se puede analizar cuantitativamente la efectividad del modelo. Los sistemas similares a los sistemas reales, los modelos analíticos validados, los modelos de cálculo de ingeniería y los modelos de verificación pueden servir como sistemas comparables al modelo.
La confirmación del modelo teórico, la confirmación de la validez de los datos y la verificación del modelo son los requisitos previos para la confirmación de la validez operativa. Los modelos que pasan la confirmación de validez pueden ponerse en funcionamiento como modelos formales y usarse para estudiar problemas prácticos. Si se descubre que el modelo no es válido durante el proceso de verificación de validez operativa, la razón puede ser que el modelo teórico es incorrecto, el modelo informático es incorrecto o los datos no son válidos. La determinación de causas específicas requiere repetir el proceso de construcción del modelo a partir de las fases de análisis y modelado. Si el sistema real y sus sistemas comparables no existen o son completamente inobservables, no hay forma de comparar el modelo con los datos de salida del sistema. En este caso, la validez del modelo generalmente sólo puede analizarse cualitativamente mediante la verificación del modelo y la confirmación teórica del modelo.
La validación del modelo teórico incluye: 1) confirmación de superficie, que consiste en evaluar toda la información relacionada con el modelo y determinar qué información necesita ser analizada adicionalmente para mejorar la credibilidad del modelo; es decir, la evaluación de la información histórica relacionada con el modelo para evaluar si el modelo es adecuado para la aplicación prevista y 3) la aplicación prevista y el análisis de la demanda, es decir, la evaluación de la eficacia de la aplicación prevista para determinar los requisitos que son; fundamental para el uso eficiente de los recursos. 5) Análisis de seguimiento lógico, que utiliza la lógica del modelo para evaluar el comportamiento de las entidades especificadas en el modelo y determinar si todos estos comportamientos son esperados.