<aside> 📌 Aquesta secció és opcional i no entra en l’examen (de la majoria de professors), però està bastant bé per entendre les estadístiques que venen a continuació.

Per més informació

Teoria de la Informació

</aside>

Idees bàsiques

Entropia (fórmula de Boltzmann)

$$ S=k_B\ln\Omega $$

“Mesura cada macroestat quants microestats associats té, és a dir la probabilitat d’un macroestat.”

Si un sistema tancat sempre evoluciona augmentant l’entropia (2a llei de la Termodinàmica), significa que sempre evolucionarà cap al macroestat més probable (el que més microestats associats té).

[Vídeo QuantumFracture que explica el concepte]

Pregunta que ens fem:

Si tenim un conjunt d’esdeveniments (microestats en el cas de la física), cadascun amb una noció de probabilitat associada (ja sigui independent o condicionada, discreta o continua), podem associar a aquella distribució de probabilitat una entropia?

Entropia de Shannon

Fórmula

Cas discret

$$ H=-\sum_i p_i\log_2 p_i $$

Cas continu

$$ H=-\int p(x)\log_2 p(x) $$

Explicació fórmula i introducció a Teoria de la Informació

https://www.youtube.com/watch?v=4ic-J79O9hg

Nota: recordem que $\log_2(1/p_i)=-\log_2 p_i$

Intuïció sobre de l’entropia de Shannon

L’entropia de Shannon ens diu la quantitat d’informació que emmagatzema un sistema.