Howtosignalprocessing
- ¿Puede la información mutua ser negativa en la teoría de la información??
- ¿Cómo evalúa la información mutua??
- ¿Cómo se interpreta los valores de información mutua??
- ¿Cuál es el significado de la información mutua en la teoría de la información??
- Por qué la información mutua es mejor que la correlación?
- ¿Puede la información mutua condicional ser negativa??
¿Puede la información mutua ser negativa en la teoría de la información??
Tenga en cuenta que la información mutua es simétrica en los argumentos. Es decir, i (x; y) = i (y; x). La información mutua tampoco es negativa, como mostraremos en un minuto.
¿Cómo evalúa la información mutua??
La información mutua también se puede calcular como la divergencia KL entre la distribución de probabilidad conjunta y el producto de las probabilidades marginales para cada variable. - Página 57, Reconocimiento de patrones y aprendizaje automático, 2006. Esto se puede establecer formalmente como sigue: i (x; y) = kl (p (x, y) || p (x) * p (y))
¿Cómo se interpreta los valores de información mutua??
La alta información mutua indica una gran reducción en la incertidumbre; La información mutua baja indica una pequeña reducción; y cero información mutua entre dos variables aleatorias significa que las variables son independientes.
¿Cuál es el significado de la información mutua en la teoría de la información??
La información mutua es una cantidad que mide una relación entre dos variables aleatorias que se muestrean simultáneamente. En particular, mide cuánta información se comunica, en promedio, en una variable aleatoria sobre otra.
Por qué la información mutua es mejor que la correlación?
La principal diferencia es que la correlación es una medida de dependencia lineal, mientras que la información mutua mide la dependencia general (incluidas las relaciones no lineales). Por lo tanto, la información mutua detecta dependencias que no solo dependen de la covarianza.
¿Puede la información mutua condicional ser negativa??
Debido a que la información mutua condicional puede ser mayor o menor que su contraparte incondicional, la información de interacción puede ser positiva, negativa o cero, lo que hace que sea difícil interpretar.
