Entropía de una fuente

Description

Entropía
Diego Zerkk
Mind Map by Diego Zerkk, updated more than 1 year ago
Diego Zerkk
Created by Diego Zerkk almost 8 years ago
3750
0

Resource summary

Entropía de una fuente
  1. Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a C. E. Shannon
    1. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a A. Kolmogorov.
      1. Dada una fuente F que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje
        1. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0, pues la probabilidad de ocurrencia de un mensaje no depende de los mensajes anteriores
          1. Definimos la probabilidad de ocurrencia de un mensaje en una fuente como la cantidad de apariciones de dicho mensaje dividido entre el total de mensajes.
            1. El objetivo de la compresión de datos es encontrar los Li que minimizan a H, además los Li se deben determinar en función de los Pi, pues la longitud de los códigos debe depender de la probabilidad de ocurrencia de los mismos (los más ocurrentes queremos codificarlos en menos bits).
              1. A partir de aquí y tras intrincados procedimientos matemáticos que fueron demostrados por Shannon oportunamente se llega a que H es mínimo cuando f(Pi) = log2 (1/Pi).
                Show full summary Hide full summary

                Similar

                Respiratory System
                bridget.watts97
                Anatomy and Physiology
                pressey_property
                P2a revision (part 1)
                juliasutton
                Global History Regents Review Notes (Europe)
                Jen Molte
                GCSE Biology 4 OCR - The Processes of Life
                blairzy123
                River Landscapes
                Chima Power
                Macromolecules
                sealescience
                Animal Farm Chapter Overview
                10jgorman
                Business Studies GCSE
                phil.ianson666
                Jane Eyre
                sennahlee
                Organic Nomenclature
                Anna Wagner