Help shape GoConqr. What should we add next?

Mind map

ENTROPÍA DE UNA FUENTE

Alex Ortiz Spanish

Mapa mental sobre entropía de una fuente: teoría de la información, compresión de datos y fuentes de orden-0

Mapa mental: entropía de una fuente

Map content

ENTROPÍA DE UNA FUENTE

  1. De acuerdo a la teoría de la información, el nivel de información de una fuente se puede medir según la entropía de la misma.

  2. Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a C. E. Shannon. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a A. Kolmogorov.

  3. Dada una fuente F que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje.

    • Para codificar los mensajes de una fuente intentaremos pues utilizar menor cantidad de bits para los mensajes más probables y mayor cantidad de bits para los mensajes menos probables, de forma tal que el promedio de bits utilizados para codificar los mensajes sea menor a la cantidad de bits promedio de los mensajes originales.
  4. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0, pues la probabilidad de ocurrencia de un mensaje no depende de los mensajes anteriores.

    • A las fuentes de orden superior se las puede representar mediante una fuente de orden-0 utilizando técnicas de modelización apropiadas.
  5. La entropía de la fuente determina el nivel de compresión que podemos obtener como máximo para un conjunto de datos, si consideramos como fuente a un archivo y obtenemos las probabilidades de ocurrencia de cada carácter en el archivo podremos calcular la longitud promedio del archivo comprimido, se demuestra que no es posible comprimir estadísticamente un mensaje/archivo más allá de su entropía

Information

Description
Definición Entropía de una Fuente
Created by
Alex Ortiz
Views
493
Tags
2016entropiafuente
Rating

Feedback

What is it about?

What should we add next?