ENTROPÍA DE UNA FUENTE

Description

Definición Entropía de una Fuente
Alex Ortiz
Mind Map by Alex Ortiz, updated more than 1 year ago
Alex Ortiz
Created by Alex Ortiz over 7 years ago
457
0

Resource summary

ENTROPÍA DE UNA FUENTE
  1. De acuerdo a la teoría de la información, el nivel de información de una fuente se puede medir según la entropía de la misma.
    1. Los estudios sobre la entropía son de suma importancia en la teoría de la información y se deben principalmente a C. E. Shannon. Existe, a su vez, un gran número de propiedades respecto de la entropía de variables aleatorias debidas a A. Kolmogorov.
      1. Dada una fuente F que emite mensajes, resulta frecuente observar que los mensajes emitidos no resulten equiprobables sino que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje.
        1. Para codificar los mensajes de una fuente intentaremos pues utilizar menor cantidad de bits para los mensajes más probables y mayor cantidad de bits para los mensajes menos probables, de forma tal que el promedio de bits utilizados para codificar los mensajes sea menor a la cantidad de bits promedio de los mensajes originales.
        2. Esta es la base de la compresión de datos. A este tipo de fuente se la denomina fuente de orden-0, pues la probabilidad de ocurrencia de un mensaje no depende de los mensajes anteriores.
          1. A las fuentes de orden superior se las puede representar mediante una fuente de orden-0 utilizando técnicas de modelización apropiadas.
          2. La entropía de la fuente determina el nivel de compresión que podemos obtener como máximo para un conjunto de datos, si consideramos como fuente a un archivo y obtenemos las probabilidades de ocurrencia de cada carácter en el archivo podremos calcular la longitud promedio del archivo comprimido, se demuestra que no es posible comprimir estadísticamente un mensaje/archivo más allá de su entropía
            Show full summary Hide full summary

            Similar

            Elementos de la Teoría Fuente
            Alex Ortiz
            MAPA CONCEPTUAL DEL ATOMO
            Noemi Colmenares
            Inmunología y Alergología - Mayo 2016/Mayo 2017
            Belén Vera Santana
            EXAMEN MAYO 2016
            Neurología 2019
            mapa conceptual factorizacion
            YECID SANCHEZ
            PREPARATORIO PROCESAL UGC 2016
            William Galeano
            MAPA CONCEPTUAL TOLERANCIA
            ROBERTO ARAQUE
            como insertar imagenes
            chema duarte