Howtosignalprocessing
- ¿Qué es la información mutua en Python??
- ¿Qué es la matriz de información mutua??
- ¿Cómo se calcula la información mutua??
- ¿Cómo se interpreta la puntuación de información mutua??
¿Qué es la información mutua en Python??
La información mutua (MI) [1] entre dos variables aleatorias es un valor no negativo, que mide la dependencia entre las variables. Es igual a cero si y solo si dos variables aleatorias son independientes, y los valores más altos significan una mayor dependencia.
¿Qué es la matriz de información mutua??
La información mutua es una métrica de la teoría de la información que cuantifica las co-dependencias no lineales entre un par de variables aleatorias. Cuando se extiende a más de un par, se puede construir una matriz de información mutua, similar a la matriz de correlación.
¿Cómo se calcula la información mutua??
La información mutua también se puede calcular como la divergencia KL entre la distribución de probabilidad conjunta y el producto de las probabilidades marginales para cada variable. - Página 57, Reconocimiento de patrones y aprendizaje automático, 2006. Esto se puede establecer formalmente como sigue: i (x; y) = kl (p (x, y) || p (x) * p (y))
¿Cómo se interpreta la puntuación de información mutua??
La puntuación de mi caerá en el rango de 0 a ∞. El valor más alto, más cercana la conexión entre esta característica y el objetivo, lo que sugiere que debemos poner esta característica en el conjunto de datos de capacitación. Si el puntaje de MI es 0 o muy bajo como 0.01. La puntuación baja sugiere una conexión débil entre esta característica y el objetivo.
