Máquina de vectores de soporte (SVM): principio
Máquina de vectores de soporte (SVM): el principio de SVM no es difícil de entender. Se puede resumir en una oración: maximizar la distancia desde el hiperplano (vector de soporte) hasta el punto más cercano. del avión.
La máquina de vectores de soporte (SVM) es un modelo de clasificación binaria. Su modelo básico es un clasificador lineal de maximización de intervalos en el espacio de características. Su estrategia de modelo de aprendizaje es la maximización de intervalos, que puede transformarse en un problema de optimización que se resuelve. programación cuadrática convexa. Un modelo clasificador lineal bien entrenado no solo puede garantizar la precisión de la categoría predicha para cada instancia, sino también mejorar la confianza de la categoría predicha para cada instancia, mejorando así la capacidad de generalización del modelo clasificador.
La estrategia de aprendizaje de SVM es la maximización de intervalos, que puede formalizarse como un problema de resolución de programación cuadrática convexa, que también es equivalente al problema de minimizar la función de pérdida de la bisagra de regularización. El algoritmo de aprendizaje de SVM es un algoritmo de optimización para resolver programación cuadrática convexa. Por lo tanto, la idea básica del aprendizaje SVM es resolver el hiperplano de separación que puede segmentar correctamente el conjunto de datos de entrenamiento y maximizar la separación geométrica.
Para los problemas de clasificación no lineal en el espacio de entrada, se puede convertir en un problema de clasificación lineal en un determinado espacio de características dimensionales mediante una transformación no lineal, y los vectores de soporte lineal se pueden aprender en una máquina de características de dimensiones superiores. . Dado que en el problema binario del aprendizaje automático de vectores de soporte lineal, tanto la función objetivo como la función de decisión de clasificación solo involucran el producto interno entre instancias, no es necesario especificar explícitamente la transformación no lineal y se usa la función del núcleo en lugar de la interna. producto.
Las máquinas de vectores de soporte soportan tres tipos de modelos: máquinas de vectores de soporte linealmente separables (LSSVM), máquinas de vectores de soporte lineales (LSSVM) y máquinas de vectores de soporte no lineales (NSSVM).
Cuando los datos de entrenamiento son linealmente separables, se puede aprender un clasificador lineal mediante la maximización estricta de intervalos, es decir, una máquina de vectores de soporte linealmente separable. Cuando la mayoría de los datos de entrenamiento son linealmente separables y solo una cantidad muy pequeña de datos no es separable, se puede aprender un clasificador lineal, es decir, una máquina de vectores de soporte lineal, mediante la maximización suave de intervalos. Si los datos de entrenamiento no son linealmente separables, se pueden utilizar el truco del núcleo y la maximización suave del intervalo para aprender máquinas de vectores de soporte no lineales.