Máquina de vectores de soporte

La máquina de vectores de soporte se puede utilizar para clasificación, regresión y detección de valores atípicos. Tiene las siguientes ventajas:

1. Muy eficaz para conjuntos de datos de alta dimensión.

2. Sigue siendo válido cuando p>n.

3. Utiliza la memoria de manera eficiente.

4. Diferentes funciones del núcleo corresponden a diferentes funciones de decisión.

Las desventajas son las siguientes:

1. Cuando p >> n, la función del núcleo debe seleccionarse de manera razonable para evitar el sobreajuste.

2. Dado que la máquina de vectores de soporte no puede proporcionar estimaciones de probabilidad directamente, debe calcularse mediante validación cruzada cinco veces, por lo que es lenta.

SVC, NuSVC y LinearSVC pueden realizar clasificación multivariada. SVC es muy similar a NuSVC, excepto que NuSVC introduce un nuevo hiperparámetro v, que puede controlar la cantidad de vectores de soporte y el error de entrenamiento. LinearSVC es otra implementación de la función de núcleo lineal para la clasificación de vectores de soporte, por lo que no acepta núcleos de palabras clave, por lo que no hay vector de soporte.

Explicación del vector de soporte: Un vector de soporte es esencialmente un vector, que es el vector más cercano al límite del intervalo, es decir, estos vectores soportan todo el límite del intervalo. Este es el origen del nombre. del vector de soporte.

Existen dos métodos principales de clasificación para la clasificación multivariante: correspondencia uno a uno y correspondencia uno a uno.

Correspondencia uno a uno: suponiendo que hay n categorías, se construirá un clasificador binomial para dos categorías, lo que dará como resultado k=n*(n-1)/2 clasificadores. Al clasificar datos nuevos, estos k clasificadores se utilizarán en secuencia para la clasificación. Cada clasificación equivale a un voto, y no importa qué resultado de clasificación equivale a un voto para qué categoría. Después de utilizar todos los k clasificadores para la clasificación, ¿es equivalente a realizar k votaciones y seleccionar la categoría con más votos como resultado final de la clasificación?

uno versus resto: Supongamos que hay n categorías, construya n clasificadores binomiales, cada clasificador clasifica una de las categorías y las categorías restantes. Al hacer predicciones, estos n clasificadores binarios se utilizan para clasificar y obtener la probabilidad de que los datos pertenezcan a la categoría actual, y luego se selecciona el que tiene la mayor probabilidad como resultado final de la predicción.

De entre ellos, se prefiere el uno contra el resto porque es más rápido y da mejores resultados.

En la regresión kernel-ridge, hablamos de la regresión de vectores de soporte. Tanto la clasificación de vectores de soporte como la regresión de vectores de soporte solo se basan en un subconjunto del conjunto de entrenamiento, porque la función de costo de construir el modelo ignora todo lo relacionado con. las predicciones del modelo. Los resultados están cerca de los datos de entrenamiento. La regresión de vectores de soporte también viene en tres formas diferentes: SVR, NuSVR y LinearSVR.

OneClassSVM implementa la detección de valores atípicos no supervisados.

Las máquinas de vectores de soporte son herramientas poderosas, pero sus requisitos computacionales y de almacenamiento aumentan rápidamente con la cantidad de vectores que deben entrenarse. En esencia, SVM es un problema de programación cuadrática que consiste en separar los vectores de soporte del resto de los datos de entrenamiento. Normalmente la complejidad es ~ .

Configuración del coeficiente de penalización C: C define el peso del ruido. Si hay mucho ruido en los datos, debemos reducir C para evitar que el modelo se sobreajuste.

configuración gamma: gamma define el grado de influencia de una única muestra de entrenamiento, lo que puede dar como resultado que solo ciertas muestras de entrenamiento sean dominantes, lo que puede funcionar bien para el conjunto de entrenamiento pero no bien para el conjunto de prueba, es decir, Puede provocar un sobreajuste. Reducir la gamma puede reducir eficazmente el riesgo de sobreajuste, al igual que el papel de C.

Le recomendamos un sitio web donde el autor cuenta una historia maravillosa sobre SVM: Introducción a SVM (I) a (III) Refresh - Java Jacal de Jasper - BlogJava

Referencia Información: API oficial de Scikit-Learn

Si hay algún error, corríjalo si tiene alguna pregunta, deje un mensaje.