Derivación de la matriz Bagua
El archivo original no puede mostrar la fórmula de látex normalmente, así que los creé uno por uno, manteniendo la fórmula original. El texto original proviene de la derivación de la matriz Bagua.
La derivación de matrices se puede ver en muchos campos. Estadística, economía, optimización, aprendizaje automático, etc. Después de establecer un modelo matemático para el problema objetivo, el problema a menudo se abstrae en un problema de optimización sobre una matriz. Por tanto, operaciones como la derivación de matrices son inevitables.
La mayoría de las personas familiarizadas con estos cálculos deberían poder escribir derivadas simples de vectores y matrices directamente, pero la orientación para funciones matriciales complejas es menos sencilla. El famoso libro de recetas de matrices proporciona a los investigadores un gran diccionario, que contiene varios derivados de matrices y vectores, desde simples hasta complejos, pero si su curiosidad es tan seria como la mía, definitivamente no quedará satisfecho con buscar el diccionario, especialmente Métodos. cuando las fórmulas derivadas vuelan por todos lados de una sola vez.
De hecho, todas las reglas de derivación se pueden derivar de las reglas de derivación más básicas. No sé si habrás notado que en diferentes documentos los resultados de una misma fórmula a veces son diferentes. Si observa detenidamente, encontrará que solo hay una transposición, por lo que primero debemos hablar sobre las dos facciones (diseño) de la derivada.
No sé por qué se llama así. En resumen, hay dos diseños para la derivación de matrices, el diseño del numerador y el diseño del denominador.
Para aclarar la diferencia entre estos dos diseños, veamos primero las reglas de derivación más simples.
Primero, el vector yy toma la derivada del escalar xx. Suponemos que todos los vectores son vectores columna.
En el diseño del numerador,
Y en el diseño del denominador,
La siguiente es la definición bajo el diseño del denominador.
En esta parte veremos algunas reglas básicas de derivación, que se parecen más a definiciones que a reglas. Entonces, esta parte requiere buena comprensión y memoria (si aún no puedes recordarla después de leerla una vez).
¡Escalar! $ \mathrm { \mathbf { y } } $ ¡Vector de par! Fuente de $x$:
Tenga en cuenta que la derivada de un escalar con respecto a un vector es exactamente lo opuesto a la derivada de un vector con respecto a un escalar.
La derivada de vector a vector,
De hecho, intuitivamente, para todas las derivadas de escalares, la forma del resultado debe transponerse, y para orientación de vectores y matrices, el escalar La ubicación permanece sin cambios. Este resumen nos facilita recordarlo.
En general, no existen más de cinco tipos de derivación que involucren matrices y vectores.
A continuación, echemos un vistazo a algunos derivados comunes.
¡Primero que nada! $ \frac { \partial \mathbf { Ax } } { \partial \mathbf { x } } $,
Nota
Teóricamente, para cualquier expresión, se puede derivar de la definición utilizando el formulario anterior.
Pero para algunos derivados más complejos, puede que no sea confiable analizarlos uno por uno en este momento.
Veamos primero las tres primeras categorías de clasificación de derivados. Para estos tres tipos de problemas, veamos un método muy poderoso para obtener resultados analizando dimensiones.
1.
¡Si! $\mathbf{a}\in\mathbb{r}^{m\times n},\mathbf{u}\in\mathbb{r}^{n\times1},\mathbf{x}\in\mathbb{ r}^{p\times1}$
¡Sabemos que el resultado final definitivamente será el mismo! $ \frac { \partial \mathbf { u } } { \partial \mathbf { x } } $ relacionado, ¡atención! $ \frac { \partial \mathbf { u } } { \partial \mathbf { x } } \ in \mathbb { r } { p \ times n } $, ¡entonces! $\mathbf{A}$ solo se puede transponer y agregar más tarde, por lo que
a y u son escalares relativos a x.
¡Además! $ \frac { \partial a \mathbf { u } } { \partial \mathbf { x } }, a \text {} $ y! $\mathbf{x}$ escalar relacionado, ¡supongamos! $ \mathbf { u } \ in \mathbb { r } { m \times 1 }, \mathbf { x } \ in \mathbb { r } { n \times 1 } $Según la ley del producto (versión poco rigurosa), $ a \frac { \partial \mathbf { u } } { \partial \mathbf { x } } $, ¡la siguiente parte es! $ \frac { \partial a } { \partial \mathbf { x } } \ in \mathbb { r } { n \ times 1 } $ y! ¡Alguna forma de producto de $\mathbf{u}$ solo se puede encontrar analizando las dimensiones! $ \frac { \part a}{\partial\mathbf{x}}\mathbf{u}^{\mathrm{t}}$
Por lo tanto
Encontramos que aunque La forma exacta de la regla del producto no se puede aplicar a la derivación de matrices, pero esta regla del producto inexacta nos dice exactamente qué términos estarán definitivamente en el resultado, y luego podemos escribir el resultado analizando las dimensiones.
¡Mira de nuevo! $ \frac { \partial \mathbf { x } } \mathbf { ax } } { \partial \mathbf { x } } $, ¡dónde! $\mathbf{A}$ y! $\mathbf{x}$ es irrelevante.
Para analizar este problema, consideramos un problema más general.
Podemos dividir esto en dos partes usando la ley del producto inexacto.
Entonces este resultado está relacionado con dos partes, una es
y la otra es
De manera similar, al analizar las dimensiones, podemos obtener
Por lo tanto
Finalmente, mira una fórmula
Entonces,
Aviso
Entonces (¡Nota!$\mathbf{x }^ {\mbox{t}}\mathbf{b}\in\mathbb{r}$),
A continuación, observe los dos tipos restantes de los cinco. En problemas prácticos, la traza de la matriz se utiliza principalmente para derivar la matriz. Hemos visto anteriormente que no existe una regla del producto exacta para la derivación de matrices. Analizamos solo los términos contenidos en un solo término mediante la regla del producto inexacto y luego obtenemos el resultado mediante análisis dimensional. Sin embargo, hay una situación en la que la ley de productos es precisa. Veamos ahora este ejemplo, el diferencial de una traza. Porque en forma diferencial,
equivale a:
Para facilitar la memoria y evitar confusiones, simplemente equiparamos las siguientes tres fórmulas.
Igual
Tenga en cuenta que esto está debajo del diseño del numerador, y el diseño del denominador correspondiente debe ser
Para facilitar la memoria y evitar confusiones, simplemente ponemos
y
son directamente equivalentes.
Entonces, todas las derivadas de la forma traza con respecto a la matriz se convierten primero a forma diferencial, por ejemplo
En realidad, es muy simple. Veamos algunos ejemplos más para profundizar nuestra comprensión:
Primero recuerde algunas propiedades muy útiles de las trazas:
Entonces,
Por lo tanto
Esta es una introducción a la derivación de matrices. El propósito es mostrarte cómo derivar estas fórmulas más rápido y mejor, sin tener que consultar un manual. Por supuesto, si te sientes un ingeniero completo y es fácil consultar un manual, entonces sigue adelante y vive tu vida como lo haces. Si lo encuentra útil, continúe: ¡Las matemáticas son divertidas!