Entropie en physique statistique

Ici seront présentés les principaux concepts expliquant la nature de l'entropie en physique. Prérequis:

Physique et information

La compréhension de l'entropie par la théorie de l'information suffit à expliquer la plupart des propriétés physiques de l'entropie dans une première approche, mais laisse un flou sur quelques détails parce que la réalité est un peu différente: la compréhension exacte proviendra du cadre de la physique quantique, remplaçant l'information classique par l'information quantique. La présente introduction, exprimée en termes d'information classique, peut être critiquée pour son manque de rigueur ou même son incohérence sous une analyse minutieuse; mais l'important est que les principales idées intuitives ici fournies, reflètent assez bien la situation en physique quantique.
La physique quantique formalise toute liste de N états distincts par N vecteurs unitaires deux à deux orthogonaux dans un espace de Hilbert (vecteurs d'une base orthonormée); le sous-espace qu'ils génèrent représente tous les états «quelque part parmi eux». Ensuite, l'évolution opère dans l'espace de Hilbert comme une transformation unitaire (un concept similaire aux rotations), envoyant ces états vers une autre famille d'états avec la même propriété d'être «clairement distincts» (orthogonaux). Ainsi, tout «paquet de N états possibles», formalisé comme un espace de Hilbert à N dimensions (sous-espace d'un espace de Hilbert plus grand, où on pourrait choisir une base orthonormée pour représenter N états clairement distincts), ne peut pas «se transformer en un paquet plus petit», à savoir un sous-espace de plus petite dimension.
A la limite de la physique classique, où un système est formalisé par un espace des phases à 2N dimensions, ces «paquets de N états possibles» correspondent à des régions de l'espace des phases de volume N.hn. L'unité de volume hn est fournie par la constante de Planck (h = 2πℏ). Dans la limite classique, la préservation de la «taille des paquets» pour les systèmes isolés, correspond à la conservation des volumes dans l'espace des phases exprimée par le théorème de Liouville. Dans une certaine approximation de temps long pour les systèmes classiques, la région effective de l'espace des phases contenant des possibilités données peut s'élargir par dilution (mélange avec son extérieur), mais ne rétrécit pas.

En particulier, 2 états bien distincts A et B d'un système microscopique isolé pendant un temps donné, ne peuvent pas évoluer avec certitude en un même état A' en un même temps ultérieur : si A est déterminé à évoluer en A' alors B ne peut pas évoluer en A'. En d'autres termes, l'évolution de tous les systèmes microscopiques isolés ne peut effacer aucune information au sens de la multiplicité d'états possibles (peu importe que ce soit une information réellement définie où une seule possibilité est réalisée, ou une indétermination persistante d'un état entre plusieurs possibilités). Ainsi, les évolutions physiquement possibles des systèmes microscopiques isolés peuvent être comprises comme des opérations préservant l'information (agissant bijectivement), telles que, algorithmiquement parlant, les compressions de fichiers, et les opérations de mesure et de restauration d'état d'un système microscopique vers et depuis une information numérique (à savoir les états de mémoire de l'ordinateur, sauf que les processeurs réellement utilisés utilisent des processus physiques plus lourds et irréversibles).

Nature de l'entropie en physique

L'entropie d'un système physique, peut être comprise comme l'entropie (indétermination) de l'information de l'état microscopique exact du système. Souvent, cette information consiste principalement en celle de toutes les positions et les vitesses (et parfois les spins) des atomes contenus dans le système. Bien sûr, cette information serait généralement impossible à déterminer, à la fois parce qu'elle serait déjà très difficile à mesurer pour les systèmes d'une ou quelques molécules, et parce que des quantités habituelles d'entropie sont beaucoup plus grandes que toute quantité de données généralement considérée en informatique: quelques octets par molécule, multiplié par le nombre très grand de molécules dans un système (comme la constante d'Avogadro). Mais l'important n'est pas le caractère pratique de la mesure, mais le fait que l'entropie de cette information est ce qui définit théoriquement l'entropie en physique.

Ainsi l'entropie mesure en gros (en unités logarithmiques) la taille du principal paquet d'états élémentaires possibles où un système est susceptible d'être. Les processus physiques sont réversibles quand ils conservent les informations de ce paquet (le distinguant de son extérieur), donc quand ils préservent l'entropie. Les grands systèmes isolés peuvent créer entropie en diluant ce paquet, mélangeant les états dedans et dehors et ne sachant plus les distinguer. Ceci explique la conservation de l'entropie dans les lois fondamentales, et sa possibilité de création (mais non-élimination) dans les processus macroscopiques irréversibles. Dans les systèmes non isolés, les processus peuvent sembler rétrécir en un lieu le paquet d'états microscopiques distincts (le volume de l'espace des phases) en évacuant leur multiplicité dans l'environnement (les états finaux peuvent être identiques ici, mais distincts ailleurs).

L'entropie a été définie en théorie de l'information par la formule S = ∑i pi Si où Si= -ln pi, supposant le choix d'unité d'entropie exprimé par le logarithme naturel (où 1 bit = ln 2). En physique, la convention habituelle suppose une autre unité, liée à celle-ci par la constante de Boltzmann k. Dans cette convention, il faudrait écrire Si = -k.lnpi. Mais pour simplifier, posons k = 1 dans la présente page.

Evolution probabiliste dans les systèmes isolés

Rigoureusement parlant, en physique quantique, les systèmes isolés se comportent réversiblement (sans créer d'entropie) tandis que la création d'entropie est un processus émergent subtil, plus clairement exprimé dans le cas des systèmes non-isolés. Cependant, certains cas de création d'entropie, tout en impliquant également des systèmes non isolés, peuvent être approximativement exprimés pour un système isolé (discret), en termes d'une évolution probabiliste classique (au lieu d'une évolution déterministe). Cette évolution probabiliste est exprimée par une matrice carrée de probabilités, avec des coefficients positifs mij, représentant les états probabilistes en lesquels chaque état initial élémentaire évoluerait. Ceci transforme chaque état probabiliste (pi) en l'état probabiliste p'j = ∑i pi mij.

Ce processus a une sorte de propriété de non-rétrécissement (qui mènera à la non-diminution de l'entropie), qui ressemble à une symétrie temporelle dans la propriété des probabilités (pas une vraie symétrie):

Cela dit que le mélange des probabilités par l'évolution doit être équitable, de sorte que l'état probabiliste se rapproche de l'équiprobabilité, et ne s'en éloigne jamais.

Dans sa forme quantique (le phénomène de décohérence, ou la mesure implicite), l'idée est de mesurer l'état final selon une base d'états orthogonaux de sorte que l'effet de l'évolution de la liste initiale d'états (dont les probabilités définissaient l'état quantique) vers la liste finale, n'est pas une simple bijection: c'est une rotation plus générale avec des angles non triviaux.

Création d'entropie dans les systèmes isolés

Pour vérifier la création d'entropie, écrivons l'entropie initiale

S = ∑i,j mij (-pi ln pi).

La concavité de (-x ln x) donne pour tout j, ∑i mij (-pi ln pi) ≤ - p'j ln p'j.
On conclut S ≤ S'.
Une autre forme de création d'entropie dans les systèmes isolés vient de la façon dont les choses se comportent en pratique plutôt que comme elles sont idéalement en théorie: alors que la théorie implique logiquement des probabilités précises pour l'état final, les systèmes réels ne viennent habituellement pas avec des super-ordinateurs intégrés donnant les prédictions exactes de ces probabilités (et si on en ajoutait un, il aurait tendance à produire plus d'entropie dans ses opérations que celle qu'il visait à éviter). Sans prédictions précises, on ne peut faire que des approximations grossières des probabilités, et donc manier des probabilités effectivement accessibles avec plus d'entropie. L'idée de telles approximation correspond au concept d'entropie reçue, exprimé plus bas.

Création d'entropie par des interactions chaotiques dans un système multiple

Lorsque deux objets se rencontrent par hasard (dans un système à un grand nombre d'objets), interagissent puis se séparent, la somme de leurs entropies ne peut pas diminuer. En effet: donc S1+S2 ≤ S'1+S'2 : l'entropie d'un grand système semble semble augmenter lorsqu'elle est comptée comme la somme des entropies des sous-systèmes.
Les inégalités ci-dessus présentent cette augmentation comme composée de 2 contributions. Mais la physique quantique ne les distingue pas: la création d'entropie décrite ci-dessus pour un système isolé (S ≤ S') nécessite une sorte de mesure, donc d'interaction, pour se produire pleinement; mais une interaction est précisément la cause de l'autre contribution : le fait de considérer non l'entropie d'un système isolé fixe (le système global de 2 objets interagissant) avant et après son évolution (S = S'), mais celle de systèmes non-isolés (un objet avant et après l'interaction avec un autre), et de compter séparément et additionner les entropies individuelles S'1 + S'2, formant un plus grand total que l'entropie globale S' à cause de la corrélation. C'est la seule véritable contribution à la croissance de l'entropie de S1+S2 à S'1+S'2 mais il vaut autant que les deux contributions classiquement décrites ci-dessus parce que la physique quantique permet à la différence S'≤ S'1+S'2 une amplitude plus grande qu'avec les probabilités classiques, lui faisant jouer en quelque sorte les deux rôles.
La création d'entropie est due au fait que le défaut initial d'entropie porté par la corrélation après interaction, perd ensuite tout effet, comme les objets corrélés s'éloignent et ont trop peu de chance de se retrouver dans des conditions rendant cette corrélation observable. Au lieu de cela, les prochains objets interagissant auront tendance à être d'autres paires non corrélées, tandis que les corrélations existantes se dispersent progressivement entre des molécules de plus en plus nombreuses qui devraient être comparées toutes ensemble, ce qui est de plus en plus difficile à déchiffrer, et même impossible quand certains objets impliqués dans une corrélation échappent à l'analyse.
De plus, en physique quantique, le manque d'entropie du système global ne peut pas toujours être entièrement décrit en mesurant séparément les états des composants et en les analysant comme une information classique; seule une recombinaison physique (traitement comme information quantique non observée) le pourrait, mais cela est encore plus difficile à effectuer.

Etats probabilistes stables dans un environnement stable

Les conditions de stablilité générales pour les états probabilistes d'un objet et son environnement avec lequel il interagit, dépendent de la liste des quantités conservées pour les systèmes isolés. Une quantité conservée définie en fonction de l'état élémentaire d'un système, est dite extensive lorsque sa valeur sur un système de plusieurs objets est la somme de ses valeurs pour chaque objet; il peut alors varier dans un système non-isolé par transfert avec l'environnement.
  1. La probabilité est une fonction des quantités conservées
  2. C'est l'exponentielle d'une fonction affine des quantités extensives conservées, lorsque les autres quantités conservées sont fixées; la partie linéaire de cette fonction affine est indépendante des autres quantités conservées.
Preuve de 1. Un état probabiliste est stable (ne crée pas d'entropie) lorsque l'évolution ne mélange que les états élémentaires de même probabilité. La conservation d'une quantité (fonction d'états élémentaires) sur un système isolé, empêche son évolution de mélanger les états élémentaires ayant différentes valeurs de cette quantité, de sorte qu'ils peuvent garder des probabilités différentes de manière stable. Une fonction de probabilité définie comme fonction de quantités conservées est également stable pour un système isolé; réciproquement, si elle est stable, alors elle est elle-même une quantité conservée.

Preuve de 2. Considérons un système de 2 objets A et B, décorrélées (surtout s'ils sont loin l'un de l'autre), où une quantité conservée E prend des valeurs E1,E2 sur deux états élémentaires de A, et des valeurs E'1,E'2 sur 2 états élémentaires de B (les autres quantités conservées restant fixes) de sorte que E2−E1 = E'2−E'1. Selon 1., les deux états (1,2) et (2,1) ayant la même valeur de la quantité conservée E1+E'2= E2+E'1, ont également la même probabilité p1 p'2=p2p'1. Ainsi, p2/p1= p'2/p'1, de sorte que p2/p1 ne dépend que de E2−E1 dans tout l'environnement, indépendamment de l'objet ou des états particuliers (avec des valeurs égales d'autres quantités conservées). Ainsi, (ln p) doit être une fonction affine de quantités conservées.

Les plus célèbres quantités conservées sont l'énergie et l'impulsion, qui sont des composants d'un objet unique à 4 dimensions (une forme linéaire dans l'espace-temps relativiste). Comme ln p est une fonction affine de l'énergie-impulsion, sa direction (différentielle, ou une partie linéaire) peut être identifiée comme un vecteur de genre temps dans l'espace-temps, qui définit «référentiel de l'environnement» (sa direction moyenne, par exemple sur Terre c'est le référentiel du sol). Analysée dans ce référentiel, la probabilité devient fonction de la seule énergie, indépendante de l'impulsion (qui ne semble plus conservée comme elle peut être gratuitement échangée avec l'environnement).
D'autres quantités conservées importantes sont les nombres de noyaux atomiques de chaque type (tant qu'aucune réaction nucléaire ne se produit). Le composant de (ln p) le long de la quantité conservée «nombre de noyaux d'hydrogène» définit le pH.

Energie libre

Soit T une température fixe (à savoir, la température de l'environnement).
Supposant que chaque état élémentaire i considéré a une énergie précise Ei, définissons son énergie libre

Fi = Ei − TSi = Ei + T.ln pi

Ensuite, l'énergie libre F dans sa définition macroscopique standard, coïncide avec la moyenne de ces énergies libres sur tous les états:

F = E−TS = ∑i piFi

où E est l'énergie moyenne : E = ∑i pi Ei.

Equilibre thermique

Avec des Ei fixes et des pi variables, l'énergie libre F atteint son minimum quand tous les Fi sont égaux (donc Fi=F). L'unique état probabiliste de ce type, appelé la distribution de Boltzmann (ou l'équilibre thermique) de température T, est défini par

pi = e(F−Ei)/T where F = -T.ln ∑i e-Ei/T.

Preuve.
Comme ∑i pidFi = ∑i pi Tdpi/pi = T(∑i dpi) = 0, on obtient dF = ∑i Fidpi.
Ainsi la condition d'équilibre (dF = 0 pour toutes variations de p) est que tous les Fi sont égaux.
Quand Fi > Fj et dpi = -dpj > 0 tandis que les autres variations de p sont nulles (donc un éloignement de l'équilibre car chaque Fi est une fonction croissante de pi), on obtient dF>0, donc l'équilibre est un minimum.
Alors F = Fi = Ei + T ln pi donne pi = e(F−Ei)/T, et la valeur de F vient de ∑i pi = 1.
D'après la description ci-dessus des environnements stables (ne créant plus d'entropie), tout état probabiliste stable d'un objet ainsi que son environnement suivra la distribution de Boltzmann d'une certaine température dans un certain référentiel (pour lequel cet état est celui qui minimise l'énergie libre), à moins que la conservation d'une autre quantité est en jeu (qui peut être ignorée en regardant l'espace de configuration d'un objet pris avec une valeur fixe de cet autre quantité conservée, décrivant le cas d'un objet qui est isolé pour cette quantité).

Entropie des systèmes corrélés, encore

Les énergies des états élémentaires contribuent à l'expression de F comme une fonction affine arbitraire des probabilités (l'énergie moyenne E), en plus de la contribution de S. Donc, dire que, pour toutes données d'énergies (donc toute fonction affine ajoutée), l'équilibre est un minimum de F, signifie que F est une fonction convexe des probabilités, donc que S est une fonction concave. Nous avons déjà utilisé ce fait pour montrer l'inégalité sur l'entropie de l'information des systèmes corrélés (S ≤ SA + SB). Réexprimons l'argument en d'autres termes.
En choisissant des lois d'énergie pour A et B telles que leurs lois de probabilité (considérées séparément) sont les distributions de Boltzmann à une température donnée, la transition de l'état corrélé (d'entropie S) à une non-corrélation (d'entropie SA + SB) conserve l'énergie, mais augmente l'entropie, car elle ramène à l'équilibre thermique.

Commentaire sur le rôle de l'énergie libre

Par exemple, entre 2 états A et B avec des énergies E1 et E2 telles que E2−E1 = T.ln(2), l'état A est deux fois plus probable que B.
Mais si on a un autre état B' avec la même énergie que B, alors l'état indéterminé (B ou B' de même probabilité) sera aussi probable que l'état A. Ainsi, l'état (B ou B') où B et B' sont équiprobables, a plus d'énergie que A (la différence est T.ln (2)), mais, son entropie (quand on sait qu'il se produit) est 1 bit = ln 2, tandis que A est un seul état, dont l'entropie s'annule donc quand on sait qu'il se produit. Ainsi, (B ou B' de même probabilité) obtient la même probabilité que A quand ces alternatives sont vues dans une liste plus large, car ils ont la même énergie libre (vus séparément, mais donc aussi dans la liste). Les listes d'états élémentaires contribuant à l'énergie libre d'un état peuvent être vues comme regroupées en sous-listes, où chaque sous-liste joue le rôle d'un seul état d'énergie donnée par l'énergie libre de la sous-liste vue séparément.

Evolution dans un environnement satisfaisant à la distribution de Boltzmann

Dans une interaction comme ci-dessus, l'énergie totale (égale à la somme des énergies) est conservée (E1+E2 = E'1+E'2).
Ainsi, la somme des énergies libres pour toute température fixe T ne peut pas augmenter (F'1+F'2 ≤ F1+F2). En particulier lorsque le second objet est une partie d'environnement initialement en équilibre thermique à T, son énergie libre F2 était minimale, et ne peut donc pas diminuer davantage : F2 ≤ F'2.
On conclut F'1 ≤ F1 : l'interaction avec un environnement en équilibre thermique de température T, ne peut que diminuer l'énergie libre d'un objet, et donc le rapprocher de l'équilibre thermique à cette température. S'il y était déjà, alors l'union des deux systèmes est aussi à l'équilibre thermique: La loi de Boltzmann est la distribution de probabilité stable lorsque le système interagit avec un environnement à température T.
Exprimons l'évolution d'un objet en interaction avec son environnement, par une matrice comme ci-dessus (p'j = ∑i pi mij où encore, pour tous les i, ∑j mij = 1).
Si l'objet commence à l'équilibre thermique (pi = e(F−Ei)/T), alors il doit y rester: pour tous les j,

p'j = e(F−Ej)/T = ∑i e(F−Ei)/T mij.

On conclut ∑i mij e(Ej−Ei)/T = 1, à comparer à la formule précédente satisfaite par des matrices d'évolution des systèmes isolés (où T était absent comme si on prenait sa limite pour un T infini, mais en fait pour une autre raison: l'évolution dans un système isolé doit préserver l'énergie, de sorte que les seuls mélanges possibles étaient ceux entre états élémentaires de même énergie Ei = Ej, rendant la température superflue); une déduction directe de la nouvelle formule par application de l'ancienne à l'ensemble du système (objet + environnement), est laissée en exercice au lecteur.

Rôle physique de l'entropie reçue

Expliquons comment le concept d'«entropie reçue» que nous avons introduit en théorie de l'information, a un sens en physique, comme une forme ou interprétation possible du processus de création d'entropie.

Considérons un système dans un état probabiliste p, avec une fonction d'énergie (Ei) (a priori sans rapport: le système peut n'être dans aucun équilibre thermique), une troisième fonction p' (également sans rapport), positive de somme 1, qui peut être interprétée comme une "probabilité attendue" (peu importe si son utilisation ci-dessous vient à dessein ou par hasard dans la nature), et un environnement de température T.
Considérons une transformation adiabatique du système, modifiant les énergies des états élémentaires, tout en préservant leurs probabilités (on utilise les mêmes étiquettes de ces états à travers leur évolution) de Ei à
E'i = K− T.ln p'i
où K est une énergie constante quelconque (et inversement pour toutes les données des E'i il existe une unique fonction p' positive de somme 1 et une valeur unique de K satisfaisant ces formules qui sont identiques à la définition de la distribution de Boltzmann). Ensuite, le système se reposera dans l'environnement, et approchera l'équilibre thermique (énergie libre minimale) après un certain temps, au cas où il n'y était pas au début.
Valeur finale de l'énergie libre: F' = -T.ln ∑i exp(-E'i/T) = K
Energie mécanique moyenne réelle dépensée pour l'atteindre : W = ∑i pi(E'i −Ei) = ∑i pi(K − T.ln p'i −Ei)
Energie libre effectivement sauvée dans le processus = K − W = ∑i pi(T.ln p'i +Ei) = E − TS'
où E = ∑i pi Ei est l'énergie initiale moyenne réelle, et S' = -∑i pi ln p'i est ce que nous avons appelé l'«entropie reçue».
Ce scénario est celui qui préserverait toute l'énergie libre existante (ne créant pas d'entropie) si le système était vraiment dans l'état probabiliste p' (comme la première étape atteindrait déjà l'équilibre thermique), mais échoue autrement.
Partie suivante : Simple preuve de la loi des gaz parfaits
En anglais : Entropy in statistical physics
Sommaire des pages en francais : fondements des mathématiques et de la physique