Physique statistique

Serie 1, mardi 9/9 : Dans la premiere série, qui commence AVANT le cours, nous parlerons de deux techniques mathématiques fondamentales pour notre cours, à savoir la methode de Laplace, et la transformee de Legendre. Cette série d'exercices est fondamentale, car ces techniques ne cessent de revenir en physique statistique. Vous trouverez le pdf de la Serie1 ici avec sa correction, je vous conseille de bien connaitres ces deux techniques!

Cours 1, jeudi 11/9: Apres une présentation générale, ce premiers cours sera pour nous l'occasion de faire des rappels utiles de probabilités. En effet, avant toute chose, la physique statistique est probabiliste! [Vidéo 1] [Vidéo 2] [Vidéo 3] [Notes pour le cours 1, en latex/overleaf]

Petit resume du cours: Nous avons dicute en particulier des fluctuations (ou deviations) typique pour un variable aleatoire $S_n$ qui est la moyenne empirique de $n$ variables aleatoires i.i.d. $X_i$ de moyenne $\mu$ et de variance $\Delta$. Plus precisement $S_n=\frac 1n \sum_i X_i$.

Bien sur, la distribution de $S_n$ est centree en $\mu$, et sa variance decroit comme $\Delta/n$. Quand $n \to \infty$ la variance va a zero et $S_n$ converge en probabilitee vers $\mu$: c'est la *loi des grands nombres* (LLN) qui nous dit que la moyenne empirique mesuree sur $n$ observations converge  vers la vraie moyenne quand $n$ est grand:

                 $S_n \xrightarrow{\mathbb{P}} \mu$

Ce qui va nous interesser, cependannt, ce sont les fluctuations a $n$ grand mais fini! Dans ce cas ci, la loi de $S_n$ ressemble a cela (ici pour un exemple que nous retrouverons dans la serie 2):

Pas mal non? L'accord avec la Gaussienne est certainement impressionant deja a $n=60$ ! On voit bien que les fluctuations sont bien d'orde $1/sqrt(60) \approx 0.1$ autour de la moyenne Augmentons encore $n$ et passons a $n=200$:

L'accord est encore plus impressionant, et les fluctutaions autour de la moyenne (ici 0.3) sont encore plus petites! Le theoreme de la limite centrale nous dit que si l'on zoome autour de $(S_n-\mu)/sqrt(\Delta)$ par un facteur $\sqrt n$, on aura bien une courbe qui converge en distribution vers une gaussienne:

$\sqrt{n} \frac {S_n-\mu}{\sqrt{\Delta}} \xrightarrow{\mathbb{d}}  N(s;0,1)$
Cela singifie qu'a l'echelle des fluctutations en $1/\sqrt n$ (celle que l'on observe en multipliant par $\sqrt n$) tout est bien Gaussien. Mais comme nous l'avons dit en cours: ATTENTION! Cet accord est TROMPEUR!  En effet, des que l'on regarde un peu plus loin, on peut observer que les queues de la distribution ne sont pas gaussienne! Pour cela, regardons le la meme image avec une echelle log en $y$:

La difference est claire maintenant! Bien sur, proche de $0.3$ les deux courbes sont presques identiques, mais par contre les difference sont importantes! Comme nous l'avons dit encore, le theorme de Cramer permet de calculer une limite de la courbe verte quand $n \to infty$. En effet, Cramer nous dit que si l'on connait la fonction generatrice des cumulants $K(\lambda)=\mathbb E[e^{\lambda X}]$ de la variable aleatoire $X$, alors on peut calculer la limite

$\frac 1n \log P_n(S_n) \to \sup_{\lambda} [\lambda s - K(\lambda)]$

Verifions cela en comparaant avec la prediction de Cramer:
Voila qui est bien mieux! Et si l'on va a $$n=1000$ c'est parfait!



Vous aurez l'occasion de jouer avec cet exemple lors de la Serie 2! 

Serie 2, mardi 16/9 : Dans cette seconde série, nous allons appliquer nos connaissances en probabilité et examiner les fluctuations typiques et larges pour un problème de pièces tirées à pile ou face. Nous allons aussi calculer le volume d'une hypersphère en toutes dimensions, un calcul qui se révélera très utile bientôt ! Vous trouverez le pdf de la Serie2 ici avec sa correction! Voila un lien vers le python notebook pour generer les plots pour la Serie 2.

Cours 1+2, jeudi 18/9:  [Vidéo 1] [Vidéo 2] [Vidéo 3] [Vidéo 4] Nous allons d'abord terminer le premier chapitre et démontrer les théorèmes de Sanov et de Cramér. Nous parlerons ensuite en peu d'entropie!

Munis de nos connaissances expertes en probabilités, nous commencerons ensuite le second cours, intitulé "Principes fondamentaux : Micro- et Macro-états, et Ergodicité", qui traitera des fondements de la physique statistique à travers un exemple simple (voire simpliste) d'un système de N spins indépendants. Cela nous sera très utile pour exposer les bases de la physique statistique! Voici le lien  pour le cours 2, en latex/overleaf. En parlons de ce second cours, vous trouverez le lien ici vers un code python pour generer la simulation de la dynamique de N spins.

Commentaire sur la partie probabilités : Nous voilà arrivés à la fin de la partie mathématique sur la probabilité! **ENFIN**, diront certains, pressés de revenir vers la physique !  **DOMMAGE** diront les autres Que retenir de tout cela finalement ? Deux idées fondamentales :  

1. **Les fluctuations typique gaussiennes et les grandes déviations.**  :   Quand on calcule une moyenne empirique     $S_n = \frac{1}{n}\sum_i X_i,$    avec $n$ échantillons, cette estimation est en général proche de la vraie moyenne $\mu$.     Les fluctuations typiques autour de $\mu$ sont Gaussiennes (c’est le théorème de la limite centrale), et d’ordre $1/\sqrt{n}$.     En revanche, dès qu’on s’intéresse à des fluctuations beaucoup plus grandes (c’est-à-dire $O(1)$ pour $S_n$, ou bien $O(n)$ pour $\sum_i X_i$), le CLT ne suffit plus.     On entre alors dans le domaine des **grandes déviations**, où l’on a typiquement :   $\mathbb{P}(S_n \approx s) \;\asymp\; e^{-n I(s)},$     avec $I(s)$ la fonction de taux de grandes déviations.  

2. **Entropie et grandes déviations.**    L’entropie associée à une loi de probabilité est elle aussi, à un signe et une constante près, un taux de grandes déviations! Nous l'avons vu: si l’on a $M$ boîtes et que l’on lance $N$ boules de manière équiprobable, la probabilité d’obtenir (d'observer!) une fréquence empirique $(p_1, p_2, \dots, p_M)$ est :     $P(\{p\}) \;\asymp\; \exp\!\Big(N \big(H(\{p\}) - \log M\big)\Big).$     On peut aussi l’écrire sous la forme d’un taux de grandes déviations :     $\log M - H(\{p\}).$    Cela signifie que la fréquence empirique la plus probable est précisément celle qui **maximise l’entropie** avec 
$H(\{p\} = - \sum_i p_i \log p_i$. C'est ce resultat qui est a la justification probabiliste du principe d'entropie maximale!

Ces deux idées sont essentielles, et finalement, ce sont elles qu’il faut garder en tête pour la suite !