Ayúdanos a dar forma a GoConqr. ¿Qué deberíamos añadir?

Mapa mental

ENTROPÍA DE UNA FUENTE

Alex Ortiz Español

Mapa mental sobre entropía de una fuente: teoría de la información, compresión de datos y fuentes de orden-0

Mapa mental: entropía de una fuente

Contenido del mapa

ENTROPÍA DE UNA FUENTE

  1. De acuerdo a la teoría de la información, el nivel de información de una fuente se puede medir según la entropía de la misma.

  2. Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a C. E. Shannon. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a A. Kolmogorov.

  3. Dada una fuente F que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje.

    • Para codificar los mensajes de una fuente intentaremos pues utilizar menor cantidad de bits para los mensajes más probables y mayor cantidad de bits para los mensajes menos probables, de forma tal que el promedio de bits utilizados para codificar los mensajes sea menor a la cantidad de bits promedio de los mensajes originales.
  4. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0, pues la probabilidad de ocurrencia de un mensaje no depende de los mensajes anteriores.

    • A las fuentes de orden superior se las puede representar mediante una fuente de orden-0 utilizando técnicas de modelización apropiadas.
  5. La entropía de la fuente determina el nivel de compresión que podemos obtener como máximo para un conjunto de datos, si consideramos como fuente a un archivo y obtenemos las probabilidades de ocurrencia de cada carácter en el archivo podremos calcular la longitud promedio del archivo comprimido, se demuestra que no es posible comprimir estadísticamente un mensaje/archivo más allá de su entropía

Información

Descripción
Definición Entropía de una Fuente
Creado por
Alex Ortiz
Visitas
493
Etiquetas
2016entropiafuente
Valoración

Escríbenos

¿Sobre qué es tu mensaje?

¿Qué deberíamos añadir?