Entropía de una fuente

Description

Entropía
Diego Zerkk
Mind Map by Diego Zerkk, updated more than 1 year ago
Diego Zerkk
Created by Diego Zerkk almost 8 years ago
3752
0

Resource summary

Entropía de una fuente
  1. Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a C. E. Shannon
    1. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a A. Kolmogorov.
      1. Dada una fuente F que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje
        1. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0, pues la probabilidad de ocurrencia de un mensaje no depende de los mensajes anteriores
          1. Definimos la probabilidad de ocurrencia de un mensaje en una fuente como la cantidad de apariciones de dicho mensaje dividido entre el total de mensajes.
            1. El objetivo de la compresión de datos es encontrar los Li que minimizan a H, además los Li se deben determinar en función de los Pi, pues la longitud de los códigos debe depender de la probabilidad de ocurrencia de los mismos (los más ocurrentes queremos codificarlos en menos bits).
              1. A partir de aquí y tras intrincados procedimientos matemáticos que fueron demostrados por Shannon oportunamente se llega a que H es mínimo cuando f(Pi) = log2 (1/Pi).
                Show full summary Hide full summary

                Similar

                Sociology
                shattering.illus
                Memory Key words
                Sammy :P
                CHEMISTRY C1 1
                x_clairey_x
                Who was to blame for the Cold War?
                Will Barnes
                Physics Unit 2 - Force, Acceleration And Terminal Velocity
                Ryan Storey
                Chemistry GCSE
                frimpongr
                Unit 2 flashcards
                C R
                Ancient China - Glossary of Terms
                Ms M
                Cells And Cell Techniques - Flashcards (AQA AS-Level Biology)
                Henry Kitchen
                Neuro anatomy
                James Murdoch
                OP doplnovaci otazky II.
                Helen Phamova