Cómo mejorar la capacidad de predicción del modelo simca
En circunstancias normales, solo podemos intentar modificar la estructura del modelo, poda cuantitativa, etc. No necesitamos modificar el código fuente del marco nosotros mismos.
Normalmente, para acelerar la predicción del modelo, basta con cargar el modelo una vez.
Cuando el tiempo de predicción del modelo es demasiado largo, generalmente utilizamos métodos como reducir el núcleo de convolución, reducir el número de núcleos de convolución, aumentar el tamaño del paso y agregar unidades de agrupación.
O considere colocar el modelo en convolución dividida y convolución vacía en el terminal móvil.
Por último, nuestros modelos se representan con precisión float32 de forma predeterminada y se puede aplicar la cuantificación adecuada. Se puede representar con 16 bits, 8 bits o incluso 2 dígitos de precisión. Esto es razonable siempre que la precisión del modelo no se reduzca significativamente y se cumpla el escenario de uso.
Si tienes otras preguntas al respecto, sígueme y aprendamos juntos.