ENTROPÍA DE UNA FUENTE

Alex Ortiz
Mind Map by Alex Ortiz, updated more than 1 year ago
Alex Ortiz
Created by Alex Ortiz almost 5 years ago
368
0

Description

Definición Entropía de una Fuente

Resource summary

ENTROPÍA DE UNA FUENTE
  1. De acuerdo a la teoría de la información, el nivel de información de una fuente se puede medir según la entropía de la misma.
    1. Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a C. E. Shannon. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a A. Kolmogorov.
      1. Dada una fuente F que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje.
        1. Para codificar los mensajes de una fuente intentaremos pues utilizar menor cantidad de bits para los mensajes más probables y mayor cantidad de bits para los mensajes menos probables, de forma tal que el promedio de bits utilizados para codificar los mensajes sea menor a la cantidad de bits promedio de los mensajes originales.
        2. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0, pues la probabilidad de ocurrencia de un mensaje no depende de los mensajes anteriores.
          1. A las fuentes de orden superior se las puede representar mediante una fuente de orden-0 utilizando técnicas de modelización apropiadas.
          2. La entropía de la fuente determina el nivel de compresión que podemos obtener como máximo para un conjunto de datos, si consideramos como fuente a un archivo y obtenemos las probabilidades de ocurrencia de cada carácter en el archivo podremos calcular la longitud promedio del archivo comprimido, se demuestra que no es posible comprimir estadísticamente un mensaje/archivo más allá de su entropía
            Show full summary Hide full summary

            Similar

            Elementos de la Teoría Fuente
            Alex Ortiz
            12 consejos de la OMS para una buena Salud
            Sofiloren Reyes
            NEtiqueta
            jeimi- ks
            Inmunología y Alergología - Mayo 2016/Mayo 2017
            Belén Vera Santana
            MAPA CONCEPTUAL DEL ATOMO
            Noemi Colmenares
            MAPA CONCEPTUAL DEL ATOMO
            Magaly Navarro Romero
            EXAMEN MAYO 2016
            Neurología 2019