Laboratorio tra matematici e fisici "Paolo Ruffini" - Entropia, informazion, complessità

Gianni Zanarini
Dipartimento di Fisica, Università di Bologna

Entropia, informazione, complessità

Entropia e conoscenza

La funzione di stato entropia fu introdotta da Rudolph Clausius nel 1865 con l’obiettivo di fornire una espressione quantitativa per una legge fenomenologica generale (la seconda legge della termodinamica) relativa alla degradazione, anche in una situazione conservativa, dell’energia utilizzabile a fini pratici. Infatti, mentre l’energia meccanica è interamente convertibile in calore, la conversione inversa non è completamente possibile; poiché il calore non passa mai spontaneamente da un corpo a temperatura più bassa a un corpo a temperatura più elevata, esso ha tanto più valore, ai fini pratici, quanto più elevata è la temperatura corrispondente, perché è possibile convertirne in lavoro una frazione maggiore.

L’entropia secondo Clausius è definita in funzione di variabili macroscopiche, come le quantità di calore e la temperatura, e non richiede quindi, in linea di principio, alcuna ipotesi sulla costituzione microscopica del sistema a cui si riferisce. Ma, nella misura in cui l’entropia esprime una proprietà intrinseca, diviene significativa la ricerca di una sua formulazione in termini meccanici. Su questo problema si sono scontrate alla fine dell’ottocento posizioni contrastanti e inconciliabili, quali quelle di Wilhelm Ostwald e Ludwig Boltzmann. Ma non è questa la sede per approfondire il dibattito epistemologico tra energetisti e atomisti . È opportuno piuttosto ricordare che lo stesso Clausius aveva aperto la strada dell’interpretazione meccanica dell’entropia, indicando l’opportunità di studiare il "moto chiamato calore" .

Quando James Clerk Maxwell si accinse a sviluppare, utilizzando un approccio statistico, il progetto di Clausius, la costituzione atomica della materia era una semplice ipotesi di lavoro. La distribuzione statistica delle velocità delle particelle costituenti, quindi, non poteva venire ricavata da un accumulo di osservazioni e da una analisi in frequenza, ma doveva necessariamente venire dedotta da valutazioni di probabilità a priori ricavate per mezzo di modelli meccanici idealizzati.

Maxwell dunque, costruì una teoria fisica del calore che poteva essere interpretata come una codifica rigorosa delle conoscenze dello scienziato, anziché come una descrizione del mondo in sé, e nei suoi scritti non mancano le evidenze dell’adozione esplicita da parte sua di una tale prospettiva. È particolarmente significativo, a questo proposito, il modo in cui egli affrontò il problema del mescolamento di due gas. L’aumento dell'entropia, osservò Maxwell, dipende dal fatto che i due gas che diffondono l'uno nell'altro siano differenti, oppure abbiano la stessa natura. Infatti, nel primo caso si assiste ad un processo irreversibile, al quale dunque (per la seconda legge della termodinamica) è associato un aumento entropico; nel secondo caso, invece, nulla cambia, e di conseguenza si deve concludere che si è avuto alcun aumento di entropia . La spiegazione proposta da Maxwell per questo singolare paradosso è profondamente originale: l'entropia non è una proprietà del sistema in sé, ma esprime la conoscenza del sistema stesso da parte dell’osservatore. Il significato stesso della seconda legge della termodinamica ne risulta modificato, nel senso che viene ricondotto al contesto pratico dal quale aveva avuto origine:

«L'energia dissipata è energia che non possiamo controllare e dirigere a piacere, così come l'energia di quell'agitazione confusa delle molecole che chiamiamo calore. Ora, la confusione, come il termine correlato ordine, non è una proprietà delle cose materiali in sè, ma è solo relativa alla mente che le percepisce».

L’adozione di questa prospettiva portò Maxwell a contrapporre alle possibilità di conoscenza e di controllo inevitabilmente limitate dell’uomo quelle di un ipotetico essere microscopico (un «demone», come lo definirono i suoi corrispondenti scientifici ) dotato di facoltà

«così acute da seguire ciascuna molecola nel suo corso, e capace di fare ciò che a noi è effettivamente impossibile. […] Supponiamo che un recipiente sia diviso in due porzioni, A e B, per mezzo di una parete con un piccolo foro, e che un essere in grado di vedere le singole molecole possa aprire e chiudere il foro, in modo da permettere soltanto alle molecole più veloci di passare da A a B e soltanto a quelle più lente di passare da B ad A. In questo modo, senza compiere lavoro, egli innalzerà la temperatura di B e abbasserà quella di A, in contraddizione con la seconda legge della termodinamica».

Attraverso questo celebre esperimento mentale, Maxwell confermò la sua convinzione relativa alla «certezza puramente statistica» della seconda legge della termodinamica. Più in generale, questa apparve a Maxwell come una caratteristica inevitabile della conoscenza umana. Ad esempio, in una lettera a Lewis Campbell egli scrisse:

«La vera logica per questo mondo è il calcolo delle probabilità, che tiene conto del grado di probabilità che è presente, o dovrebbe esserlo, in ogni mente umana ragionevole. Questa branca della matematica, che generalmente si pensa sia utile per giocare a carte, giocare a dadi e scommettere, e perciò è considerata altamente immorale, è l'unica "matematica per uomini pratici", come noi dovremmo essere.»

Conoscenza e incertezza

Un passaggio fondamentale nello sviluppo di uno stretto legame tra entropia e informazione è la concezione combinatoria dell’entropia proposta da Ludwig Boltzmann nel 1877, dopo lunghi e appassionati sforzi per dare dell’entropia stessa una spiegazione strettamente meccanica e deterministica. Sulla scia di Maxwell, egli sottolineò «la connessione intima tra la seconda legge e la teoria della probabilità», servendosi anche i immagini particolarmente efficaci, come quella di un’urna contenente palline bianche e nere:

«Immaginiamo un gran numero di palline bianche alle quali viene aggiunto un numero differente di palline nere, identiche alle precedenti tranne che per il colore. All’inizio, supponiamo che tutte le palline bianche siano da una parte e quelle nere dall’altra. Ma se le agitiamo, o le esponiamo a qualche influenza che alteri costantemente le loro posizioni relative, dopo qualche tempo le troveremo mescolate.»

È appunto l’adozione di questa prospettiva che portò Boltzmann al passaggio decisivo: lo stato macroscopico verso cui evolve spontaneamente un sistema è quello che corrisponde al maggior numero di stati microscopici, ed è dunque il più probabile a priori.

Boltzmann ha sviluppato così in termini quantitativi l’interpretazione probabilistica dell’entropia, e ha ricavato la famosa espressione statistica dell’entropia S = k log W (dove S indica l’entropia, k è una costante moltiplicativa e W indica il numero di configurazioni microscopiche corrispondenti allo stato macroscopico considerato), che è scolpita sulla sua tomba nel Cimitero Centrale di Vienna .

La geniale intuizione di Boltzmann è stata quella di far corrispondere l’equilibrio macroscopico alla distribuzione energetica realizzata dal massimo numero di configurazioni microscopiche, esprimendo l’entropia in funzione di tale numero. Di conseguenza, egli ha potuto interpretare quantitativamente, e non solo qualitativamente, la seconda legge della termodinamica in termini probabilistici: come una legge, cioè, che afferma la schiacciante prevalenza del passaggio spontaneo da stati meno probabili a stati più probabili (o anche da stati meno «confusi» a stati più «confusi», da stati più «ordinati» a stati più «disordinati» ), fino a raggiungere la distribuzione di equilibrio.

L’urna contenente le palline bianche e nere non è semplicemente un’immagine suggestiva, scelta per ricondurre efficacemente l’ambito invisibile e disputato del moto molecolare ad un contesto quotidiano, ad una esperienza familiare. Incontriamo qui, infatti, il rinvio ad una concezione della probabilità che si era già imposta nello studio dei giochi d’azzardo, alla quale anche Maxwell aveva fatto riferimento.

I giochi d’azzardo (az zahr significa, in arabo, i dadi) hanno lungamente interrogato la matematica classica, domandandole con insistenza risposte e indicazioni . Due sembrano essere i motivi principali per questo interesse prolungato e intenso. In primo luogo, va ricordato il disagio nei riguardi del caso, ovvero l’insopportabilità della completa assenza di una struttura causale: alla matematica si chiedeva dunque in primo luogo di individuare le leggi sottostanti l’apparente casualità, di riportare l’ordine là dove sembravano dominare i capricci della sorte . Ma, accanto a questa problematica psicologica, va tenuta presente anche una motivazione più pratica: quella di cercare i principi ispiratori di una strategia capace di rendere vittorioso il giocatore che ad essa si affidi. Gli studi «altamente immorali» (come scherzosamente li definì Maxwell) stimolati da questi interessi hanno avuto anche sviluppi applicativi del tutto inattesi: è stato proprio grazie alle ricerche matematiche sui giochi, infatti, che ha potuto svilupparsi il concetto di "contratto equo", il quale nel diciottesimo secolo ha aperto la strada alla legittimazione etica delle pratiche assicurative.

Per le considerazioni che seguiranno, è opportuno sottolineare una caratteristica di fondo della teoria matematica dei giochi d’azzardo: quella di codificare numericamente le conoscenze del giocatore per utilizzarle al meglio, fondando su di esse le scelte di strategia .

Benché tracce di ricerche sull’analisi combinatoria applicata allo studio del lancio dei dadi si possano incontrare fin dal dodicesimo secolo, questi problemi sono stati affrontati sistematicamente soltanto nel sedicesimo secolo per opera di Cardano, Pascal, Fermat, Huyghens e Bernoulli. La teoria delle probabilità, da essi fondata, è stata poi sviluppata nel secolo successivo da Laplace e da De Moivre . In particolare, Abraham De Moivre, cercando di codificare le caratteristiche complessive di un gioco d’azzardo, introdusse l’«incertezza media» del risultato , ottenuta pesando l’incertezza dei singoli risultati per mezzo della loro probabilità a priori. Per esprimere quantitativamente l’incertezza dei singoli risultati, egli utilizzò il logaritmo naturale dell’inverso della probabilità, ln (1/pi) = -ln pi. Tale funzione, infatti, è nulla quando pi = 1, ossia in condizioni di certezza, e cresce con regolarità al tendere di pi a zero.
Con questa scelta, l’incertezza media si può esprimere come

È immediata e illuminante, a questo punto, l’analogia concettuale con l’entropia di Boltzmann. Infatti, l’espressione matematica di quest’ultima corrisponde (a meno del coefficiente k, e tenendo conto del fatto che i logaritmi hanno basi diverse) al caso particolare della formula di De Moivre in cui tutti gli stati possibili sono equiprobabili.

Ma l’analogia può essere spinta ancora più avanti. Infatti, i sistemi oggetto di studio della termodinamica statistica possono venire descritti a diversi livelli di aggregazione e in presenza di accoppiamenti differenti con il mondo esterno; in molti casi, allora, non è più possibile esprimere l’entropia per mezzo della formula di Boltzmann precedentemente ricordata, perché gli stati elementari (corrispondenti al particolare livello osservativo prescelto) non possono più essere considerati equiprobabili.

Consideriamo ad esempio un gas in equilibrio termico con un termostato. In questo caso, si possono avere scambi energetici tra i due sistemi senza che la temperatura si modifichi apprezzabilmente. Il gas nel suo complesso può allora fluttuare nel tempo tra gli stati energetici accessibili: questa fluttuazione è una caratteristica intrinseca dell’equilibrio termico. Supponiamo, per semplicità, che gli stati energetici accessibili costituiscano un insieme discreto: a ciascuno dei valori di energia Ei sarà allora associata una probabilità pi. Lo studio di problemi di questo genere è stato sviluppato dallo scienziato americano Willard Gibbs. Egli ha proposto per l’entropia l’espressione

che costituisce una generalizzazione della formula di Boltzmann al caso in cui gli stati possibili non siano equiprobabili, e (a meno della costante moltiplicativa k) coincide con la formula di De Moivre. L’equilibrio, nella concezione di Gibbs, non è più uno stato, ma piuttosto una distribuzione di probabilità tra stati possibili. A sua volta, tale distribuzione di probabilità può venire ricavata, secondo la teoria di Gibbs, dalla massimizzazione della funzione entropia in presenza dei vincoli presenti .

L’entropia secondo Gibbs (al di là, forse, delle intenzioni di Gibbs stesso) misura dunque l’incertezza del "gioco" conoscitivo dello scienziato: come se lo scienziato stesso «fosse in lotta strategica con la natura, e ricevesse da essa dei messaggi analoghi alle dichiarazioni successive di una partita a poker» .

Incertezza e informazione

L’esperimento mentale proposto da Maxwell con l’invenzione del "demone" restò per molti anni un problema aperto, una sfida all’ingegnosità dei fisici nel dimostrarne la compatibilità con le teorie accreditate. Fu Leo Szilard, un fisico ungherese, a proporre nel 1929 una trattazione soddisfacente del problema in una prospettiva nuova . In un lavoro dal significativo titolo "Sulla diminuzione di entropia in un sistema termodinamico per l’intervento di esseri intelligenti", egli costruì un nuovo esperimento mentale, ancora più semplice ed elegante di quello di Maxwell, del quale si darà qui soltanto un rapido cenno.

Consideriamo un sistema costituito da un recipiente al cui interno si trova un’unica molecola di gas, mantenuto a temperatura T tramite un termostato. Nel recipiente viene in seguito inserita una parete, in modo da dividerlo in due parti di eguale volume. A questo punto, il compito dell’osservatore è quello di effettuare una misura binaria al fine di stabilire in quale delle due metà si trova la molecola. Egli può allora mettere in funzione un opportuno dispositivo meccanico che, sfruttando questa informazione e la mobilità della parete divisoria, estragga lavoro dal sistema e riporti il sistema stesso alle condizioni iniziali.

Questo procedimento potrebbe venire ripetuto senza limiti, permettendo di estrarre lavoro in quantità indefinita da una sola sorgente termica a temperatura T, e dunque contravvenendo al secondo principio della termodinamica. Se non che, osserva Szilard, le misure necessarie per far funzionare il sistema «sono necessariamente accompagnate da una produzione di entropia», e questo ristabilisce la validità della seconda legge della termodinamica.

Il lavoro di Szilard formalizzò per la prima volta lo stretto e inscindibile rapporto tra informazione ed entropia che nella provocazione di Maxwell restava implicito. Si può capire allora il motivo per cui esso fu letto e profondamente apprezzato anche da chi iniziava a riflettere, in una prospettiva interdisciplinare, sugli sviluppi teorici relativi all’informazione e alla comunicazione. Molti tra coloro che poi avrebbero ulteriormente sviluppato il tema dei rapporti tra entropia e informazione si avvicinarono indipendentemente all’opera di Szilard; tra essi John von Neumann, Norbert Wiener, Léon Brillouin.

Nel 1949, nel quadro di uno studio di teoria delle comunicazioni, Shannon e Weaver proposero una misura quantitativa dell’informazione: la forma della funzione H che codifica tale misura (significativamente definita "entropia di messaggio" o anche "entropia di informazione") , coincide con la formula dell’entropia di un sistema fisico discreto sopra riportata , e dunque anche con la formula di De Moivre per l’incertezza di un gioco.

Per comprendere meglio questa analogia, assimiliamo l’invio di un messaggio ad un "gioco" con più risultati mutuamente esclusivi {Mi}, con una distribuzione di probabilità {pi}. Il generico messaggio verrà scelto all’interno di un certo insieme di messaggi ammissibili: ad esempio, un messaggio di un "bit" verrà scelto nell’insieme {0, 1}, una lettera dell’alfabeto verrà scelta nell’insieme {a, b, ..., z}, una parola di lunghezza fissata sarà costituita di lettere scelte all’interno di un certo alfabeto.

Già sappiamo che la funzione ln (1/pi) si presta bene ad esprimere l’incertezza relativa al presentarsi dell’i-esima possibilità. Possiamo affermare allora che l’informazione convogliata da quella particolare realizzazione del messaggio che ha probabilità pi di presentarsi è numericamente uguale alla sua incertezza prima della realizzazione, in quanto l’incertezza può anche venire interpretata come potenziale sorpresa: sorpresa relativa, appunto, al realizzarsi di quella possibilità. In altre parole, il contenuto informativo (la sorpresa) del singolo messaggio sarà tanto maggiore quanto maggiore era l’ignoranza (l’incertezza) preventiva su di esso.

Con considerazioni analoghe a quelle precedenti, si può allora definire l’incertezza media, o incertezza attesa, della sorgente che invia i messaggi {Mi} con probabilità {pi}, ovvero, in altre parole, l’incertezza associata alla distribuzione di probabilità {pi}. Tale incertezza è espressa appunto dalla formula

Shannon ha dimostrato che questa funzione costituisce l’unica misura dell’incertezza capace di soddisfare a semplici ma irrinunciabili condizioni di coerenza .

Questa interessante e sorprendente analogia tra termodinamica e teoria delle comunicazioni non era soltanto una somiglianza formale: il pionieristico lavoro di Szilard indicava la strada per un approfondimento ulteriore.

Lo sforzo più sistematico per articolare tra loro entropia e informazione si deve a Léon Brillouin, uno scienziato assai brillante e versatile, che ha lasciato il segno in diversi campi della fisica, dallo stato solido alla meccanica quantistica. Poco dopo la seconda guerra mondiale, nel 1947, egli si trasferì negli Stati Uniti, forse anche perché amareggiato dalle polemiche sul suo comportamento, durante il conflitto, come direttore della radio francese . La sua profonda competenza nel campo della meccanica statistica (come allievo di Langevin e di Perrin) e il suo appassionato interesse per le telecomunicazioni gli fecero immediatamente cogliere l’importanza, per la fisica, della nascente teoria dell’informazione (e in particolare degli studi di von Neumann, Shannon e Wiener). In un libro di grande successo, Science and Information Theory, egli codificò appunto, nel 1960, il legame tra entropia e informazione, affermando che esiste una precisa relazione tra la variazione dell’entropia di un sistema e l’acquisizione di informazioni relative al sistema stesso. Poiché la formula di Shannon e la formula dell’entropia hanno la stessa espressione (a parte il coefficiente moltiplicativo), si può dunque interpretare l’entropia come mancanza di informazione sul sistema considerato.

«L’entropia è considerata in generale come espressione del disordine di un sistema fisico. Più precisamente, si può dire che l’entropia misura la mancanza di informazione sulla strutture effettiva del sistema. Questa mancanza di informazione implica la possibilità di una grande varietà di strutture microscopiche diverse che sono, in pratica, impossibili da distinguere le une dalle altre. Poiché una qualunque di queste strutture può esistere realmente a un istante dato, la mancanza di informazione corrisponde ad un disordine reale.»

«L’entropia è una misura della mancanza di informazione dettagliata relativamente a un sistema fisico: più grande è l’informazione, più piccola sarà l’entropia. L’informazione rappresenta un termine negativo nell’entropia di un sistema, sicché si può definire l’informazione come entropia negativa. »

Risulta dunque possibile diminuire l’entropia di un sistema aumentando l’informazione su di esso attraverso misure più dettagliate della sua configurazione , e l’informazione può così cambiarsi in entropia negativa (o «neg-entropia»). A sua volta però, come già aveva puntualizzato Szilard, l’informazione può ottenersi soltanto a spese dell’entropia negativa di qualche sistema fisico, ed è quindi impossibile per questa via giungere ad una violazione del secondo principio della termodinamica.

Brillouin fu certamente aiutato a cogliere il legame tra la termodinamica e la nascente teoria dell’informazione dall’epistemologia di Bridgman, a cui egli fa esplicito riferimento . È chiaro, d’altra parte, che l’interpretazione dell’entropia statistica come un modo di quantificare l’informazione (o la mancanza di informazione) sulla configurazione microscopica di un sistema risulta particolarmente convincente in un quadro epistemologico complessivo in cui tutti i concetti fisici sono codificazioni e interpretazioni di esperienze relative a grandezze misurabili.

Informazione e complessità

La formulazione di Brillouin è generalmente attenta a non sconfinare, a non proporre come universalmente validi i concetti definiti all’interno della termodinamica. A questo scopo, egli sottolinea che le affermazioni precedenti valgono per l’informazione «legata» (ossia per l’informazione relativa al contesto al quale si riferisce l’entropia, e più precisamente relativa alle configurazioni microscopiche del sistema considerato), anziché, genericamente, per ogni tipo di informazione . Nonostante questo, il contributo di Brillouin è stato talvolta interpretato in modo eccessivamente ampio, fino a far concludere a Bénoit Mandelbrot che «non vale la pena di imparare la teoria dell’informazione per potersene servire in attività interdisciplinari» .

Il passaggio delicato, nel quale le cautele di Brillouin andrebbero sempre tenute presenti, è sintetizzato molto bene da Henri Atlan:

«Non si può evitare di porsi il problema del rapporto tra entropia e informazione anche in senso inverso: avendo riconosciuto che l’entropia termodinamica è una quantità d’informazione cambiata di segno, si può affermare che ogni quantità di informazione può venire ricondotta ad una entropia termodinamica?»

Le perplessità di Mandelbrot si riferiscono appunto all’estensione del concetto di entropia al di fuori della termodinamica statistica: scienza che, come egli stesso afferma, «è appassionante nella misura in cui è incompresa». L’interpretazione dell’entropia come misura di una mancanza di informazione, dunque, non deve far dimenticare una caratteristica fondamentale dell’informazione stessa: quella di essere sempre relativa ad uno specifico quadro di riferimento.

«Il concetto di informazione deve essere definito relativamente a un corpo di evidenze. Se si prende l’evidenza termodinamica, allora il fattore quantità di informazione moltiplicato per la costante k di Boltzmann dà l’entropia. Ma in genere il corpo di evidenze che determina i valori dell’informazione non è termodinamico.»

La termodinamica studia essenzialmente situazioni di equilibrio, ossia situazioni relativamente indifferenziate, altamente probabili: basta ricordare, a questo proposito, le argomentazioni di Ludwig Boltzmann relative all’entropia all’equilibrio. È chiaro allora che l’informazione codificata dall’entropia della termodinamica di equilibrio non può quantificare la sorpresa, la novità, la non banalità dei sistemi complessi, la loro organizzazione, il loro emergere: non può cogliere, insomma, quella fenomenologia dei sistemi al di fuori dell’equilibrio termodinamico che (usando le parole di Henri Atlan) sta «tra cristallo e fumo» .

«Un ordine osservato in natura appare tale solo all’osservatore che vi proietta significati noti o supposti. Così, misurare il disordine fisico tramite l’entropia termodinamica implica che si affronti solo un aspetto molto particolare dell’ordine».

Tale aspetto, inevitabilmente, è quello legato al significato dell’entropia (o "calore non utilizzabile", secondo l’espressione dello stesso Clausius) come misura dell’utilizzo possibile del calore come fonte di lavoro.

«I nostri concetti attuali in termodinamica hanno le loro radici nella rivoluzione industriale e negli sforzi di determinare quanto lavoro meccanico sia disponibile a partire da macchine termiche. L’entropia dà una misura del lavoro che non è disponibile a causa della nostra mancanza di conoscenza sullo stato del sistema in tutti i suoi dettagli. Tutto ciò diviene coerente perché ottenere informazioni costa lavoro. Il secondo principio e la misura dell’entropia ci parlano sia dell’osservatore che del sistema. È questo che rende ragione, in parte, della difficoltà del concetto di entropia.»

Il limite dell’approccio termodinamico in relazione allo studio dei sistemi biologici è stato colto con grande acume anche da Brillouin, che in un suo scritto del 1949 afferma:

«In una certa misura, una cellula vivente si può paragonare a una fiamma: anche qui c’è materia che entra, che esce e che viene bruciata. Ma l’entropia di una fiamma non può essere definita, perché non si tratta di un sistema in equilibrio».

Le indebite estensioni del concetto di entropia hanno spinto Mandelbrot a decretare la fine delle aspettative interdisciplinari nei riguardi della teoria dell’informazione; come suggerisce Brillouin, è necessario però sottolineare anche i limiti di una teoria dell’informazione strettamente collegata al contesto termodinamico.

Quando Erwin Schroedinger afferma che gli esseri viventi possono sopravvivere soltanto «se si nutrono di entropia negativa» , traendola dall’ambiente circostante, quando vede la possibilità stessa della vita in un ordine che le leggi delle fisica preservino dalla degradazione (degradazione anche informativa, perché le molecole della vita sono portatrici, appunto, di informazione), egli si muove ancora all’interno di una prospettiva termodinamica, nel senso che l’entropia e l’informazione sono considerati come attributi oggettivi dei sistemi, piuttosto che venire associati ad un particolare livello di descrizione dei sistemi stessi.

Ma i sistemi complessi (le fiamme, i vortici, gli orologi chimici, i sistemi viventi) hanno in comune il fatto di produrre essi stessi le proprie caratteristiche spaziali e temporali, ossia di presentare livelli di auto-organizzazione che non sono riconducibili al livello dei costituenti microscopici . E l’entropia termodinamica, come si è detto, non è in grado di cogliere la novità di tali emergenze.

In questo quadro, appare poi particolarmente chiara la specificità del mondo biologico. Infatti, la complessità diviene qui un elemento strutturale essenziale, nel senso che si connette ad una organizzazione a più livelli di tipo gerarchico. Ma si tratta di livelli irriducibili l’uno all’altro, che vengono studiati con metodologie diverse, e che quindi mettono in gioco definizioni diverse dell’informazione considerata rilevante. Di conseguenza, in modo ancora più netto che nel caso dei sistemi fisici, non è possibile far riferimento ad un unico concetto di informazione, né ad un unico concetto di entropia .

A questo scopo, sembra piuttosto opportuno introdurre nuove «entropie informazionali» che sviluppano l’intuizione di Shannon in modo svincolato dal collegamento con l’entropia termodinamica: grandezze che mantengono la caratteristica di codificare l’informazione, ma recidono il legame con il contesto termodinamico di origine.

Comunque, soltanto una approfondita riflessione ulteriore, che si sviluppi intorno ai concetti di complessità e di organizzazione, potrà rendere utili e fertili le applicazioni dei concetti di informazione e di entropia ai di fuori dei contesti che storicamente ne hanno visto lo sviluppo e la connessione reciproca. Ma naturalmente, nel corso di una tale riflessione, potrà mutare (anche in modo radicale) il significato dei concetti da cui la riflessione stessa si è sviluppata.

Note

Si veda a questo proposito A.D.Wilson, "Boltzmann’s Bild Theory of Knowledge in Historical Context", Physis, 28 (1991), 784-790.

Citato in S. G.Brush, Kinetic Theory, Pergamon Press, New York, 1965, vol. I, 111 e s.

Si tratta di una anticipazione del famoso "paradosso di Gibbs", formulato per la prima volta dallo scienziato americano nel 1875, che può venire approfondito in modo soddisfacente soltanto in ambito quantistico. Si veda a questo proposito K.G.Denbigh, J.S.Denbigh, Entropy in Relation to Incomplete Knowledge, Cambridge University Press, Cambridge, 1985.

Si veda C.G.Knott, Life and Scientific Work of Peter Guthrie Tait, Cambridge University Press, Cambridge, 1911.

Citato in J.H.Jeans, Dynamical Theory of Gases, Cambridge University Press, New York, 1921, 183.

C.G. Knott, Life and Scientific Work of Peter Guthrie Tait, cit., 214.

J.C.Maxwell, Lettera a L.Campbell (Luglio,1850), in The scientific letters and papers of James Clerk Maxwell, Cambridge University Press, Cambridge, 1990, vol. 1, pp.193-198.

L. Boltzmann, Populäre Schriften, J.A.Barth, Leipzig, 1905 (trad. ingl. Theorethical Physics and Philosophical Problems, Reidel, Dordrecht, 1974, 20-21).

L. Boltzmann, Wissenschaftliche Abhandlungen, Barth, Leipzig, 1909, vol. 2, 164 e s. L’espressione dell’entropia che è scolpita sulla tomba di Boltzmann venne scritta per la prima volta da Max Planck con questi simboli, oggi universalmente adottati.

Si ricordino, a questo proposito, le affermazioni di Maxwell precedentemente citate.

Si veda in particolare R.Lestienne, Le hasard créateur, La Découverte, Paris, 1993.

Per una più approfondita riflessione psicologica sul tema del caso, si può vedere G.Zanarini, "L’inquietante ambiguità del caso", Cultura e Scuola, 133 (1995), 161-172.

Si tratta essenzialmente di conoscenze di probabilità a priori e della relativa analisi combinatoria

Per una trattazione approfondita di questi temi si veda I.Hacking, The Taming of Chance, Cambridge University Press, Cambridge, 1990 (trad. it. Il caso domato, Il Saggiatore, Milano, 1994).

Si veda a questo proposito W.Ebeling, "Entropy and Information in Processes of Self-organization: Uncertainty and Predictability", Physica A, 194 (1993), 563-575 .

Si veda a questo proposito E.T.Jaynes, "Where Do We Stand on Maximum Entropy?", in Papers on Probability, Statistics and Statistical Physics, Reidel, Dordrecht, 1983, 211-314. Si può vedere anche G.Zanarini, "L’entropia tra disordine e ignoranza: nascita e sviluppo della prospettiva informazionale in fisica", La Fisica nella Scuola, XXIX (1996), 5-18.

A.Moles, "Teoria informazionale della percezione", in R.Rossanda (a cura di), Il concetto di informazione nella scienza contemporanea, Il Mulino, Bologna, 1971, 165.

L.Szilard, "Uber die Entropieverminderung einem thermodinamischen System bei Eingriffen intelligenter Wesen", Z. Phys., 53 (1929), 840-856.

C.E.Shannon, W.Weaver, The Mathematical Theory of Communication, University of Illinois Press, Urbana, 1949.

Fu von Neumann a sottolineare l’analogia e a proporre, in questo contesto, l’uso della parola "entropia". Si veda a tale proposito W.Aspray, John von Neumann and the Origins of Modern Computing, MIT Press, Cambridge, 1990, 175. Si veda K.G.Denbigh, J.S.Denbigh, Entropy in Relation to Incomplete Knowledge, cit., 104.

Si veda a questo proposito E.T.Jaynes, "Information Theory and Statistical Mechanics", Phys. Rev. 106 (1957), 630.

O.Darrigol, "Léon Nicolas Brillouin", in Dictionary of Scientific Biographies, Suppl. 2, 1988, 104-109. Si può vedere anche A.Lui, G.Zanarini, "Entropia e informazione nell’opera di Léon Brillouin", La Fisica nella Scuola, XXIX (1996), 125-137.

L.Brillouin, Science and Information Theory, Academic Press, New York, 1960, 155-156.

L.Brillouin, Science and Information Theory, cit., 293.

L.Brillouin, Science and Information Theory, cit., 154.

L. Brillouin, Scientific Uncertainty and Information, Academic Press, New York, 1964.

L.Brillouin, Science and Information Theory, cit., 147.

B.Mandelbrot, "È «ancora» utile la teoria dell’informazione?", in R.Rossanda (a cura di), Il concetto di informazione nella scienza contemporanea, cit., 90.

H.Atlan, L’organisation biologique et la théorie de l’information, Hermann, Paris, 1972, 190.

D.M.MacKay, "Discussione", in R.Rossanda (a cura di), Il concetto di informazione nella scienza contemporanea, cit., 95.

H.Atlan, Entre le cristal et la fumée, Seuil, Paris, 1979 (trad. it. Tra il cristallo e il fumo, Hopefulmonster, Firenze, 1986).

H.Atlan, Entre le cristal et la fumée, cit., 49.

H.J.Morowitz, Energy Flow in Biology, Academic Press, New York, 1968, cap. IV.

L.Brillouin, "Life, Thermodynamics, Cybernetics", Am. Sci. 37 (1949), 554 (anche in H.S.Leff, A.F.Rex (a cura di), Maxwell’s Demon, Entropy, Information and Computing, Princeton University Press, Princeton, 1990, 99).

E.Schroedinger, What is life?, Cambridge University Press, Cambridge, 1944 (trad. it. Che cos’è la vita?, Adelphi, Milano, 1995, 123).

Si veda ad esempio G. Nicolis, I. Prigogine, Exploring Complexity. An Introduction, Piper Verlag, Munchen 1987 (trad. it. La complessità: esplorazioni nei nuovi campi della scienza, Einaudi, Torino 1991).

Si vedano a questo proposito le illuminanti osservazioni di H.Atlan nel suo L’organisation biologique et la théorie de l’information, cit.

Si vedano ad esempio A.Vulpiani, Determinismo e caos, NIS, Roma, 1993, 90 e F.T.Arecchi, "Caos e ordine nella fisica", Il Nuovo Saggiatore, 8 (1992), 29-45.