Teoria da Informação e Inferência

Entropia, Entropia Relativa e Informação Mútua. Propriedade da Equipartição Assintótica e Conjuntos Típicos. Compressão de Dados: Códigos Livres de Prefixo, Código de Shannon, Código de Huffman. Códigos Universais. Capacidade de um canal. Teorema de Codificação de Canal. Capacidade de Canal com Feedback. Teorema da Separação Entre Fonte e Canal. Entropia Diferencial e Propriedade da Equipartição Assintótica Contínua. Canal Gaussiano. Canais Gaussianos Paralelos. Os tópicos a seguir podem ser cobertos com profundidade variada baseada na disponibilidade de tempo e no interesse dos alunos: Compressão de Imagens e Vídeo, Teoria da Taxa-Distorção, Informação de Fisher e Geometria da Informação, Complexidade de Kolmogorov, Teoria da Informação em Redes, Teoria de Portfolio.

Referência:
Thomas M. Cover and Joy A. Thomas. 2006. Elements of Information Theory (Wiley Series in Telecommunications and Signal Processing). Wiley-Interscience, USA.

* Ementa básica. O professor tem autonomia para efetuar qualquer alteração.