Mostrando entradas con la etiqueta distribución estadística. Mostrar todas las entradas
Mostrando entradas con la etiqueta distribución estadística. Mostrar todas las entradas

jueves, 19 de octubre de 2017

Tracy-Widom: Una nueva distribución para variables correlacionadas

En los fines lejanos de una nueva ley universal


Ha surgido una potente teoría que explica una misteriosa ley estadística que surge a lo largo de la física y las matemáticas.


Natalie Wolchover | Quanta Magazine



Olena Shmahalo / Quanta Magazine

Imagine un archipiélago en el que cada isla alberga una sola especie de tortuga y todas las islas están conectadas, digamos a través de balsas de restos. A medida que las tortugas interactúan sumergiéndose en los suministros de alimentos de los demás, sus poblaciones fluctúan.

En 1972, el biólogo Robert May ideó un modelo matemático simple que funcionó muy parecido al archipiélago. Quería averiguar si un ecosistema complejo puede ser estable o si las interacciones entre las especies inevitablemente llevan a algunos a eliminar a otros. Al indexar las interacciones aleatorias entre especies como números aleatorios en una matriz, calculó la "fuerza de interacción" crítica, una medida del número de balsas flotantes, por ejemplo, necesaria para desestabilizar el ecosistema. Por debajo de este punto crítico, todas las especies mantuvieron poblaciones estables. Por encima, las poblaciones dispararon hacia cero o hacia el infinito.

Poco sabía May, el punto de inflexión que descubrió fue uno de los primeros atisbos de una ley estadística curiosamente penetrante.


Harold Widom, a la izquierda, y Craig Tracy representaron en 2009 en el Oberwolfach Research Institute for Mathematics en Alemania.

La ley apareció en forma completa dos décadas más tarde, cuando los matemáticos Craig Tracy y Harold Widom demostraron que el punto crítico en el tipo de modelo que May utilizó fue el pico de una distribución estadística. Luego, en 1999, Jinho Baik, Percy Deift y Kurt Johansson descubrieron que la misma distribución estadística también describe variaciones en las secuencias de números enteros mezclados, una abstracción matemática completamente no relacionada. Pronto apareció la distribución en modelos del perímetro retorcedor de una colonia bacteriana y otros tipos de crecimiento aleatorio. En poco tiempo, estaba apareciendo en toda la física y las matemáticas.

"La gran pregunta fue por qué", dijo Satya Majumdar, un físico estadístico de la Universidad de París-Sud. "¿Por qué aparece en todas partes?"

Los sistemas de muchos componentes que interactúan, ya sean especies, enteros o partículas subatómicas, siguieron produciendo la misma curva estadística, que se conoció como la distribución Tracy-Widom. Esta desconcertante curva parecía ser el primo complejo de la curva de campana familiar, o distribución gaussiana, que representa la variación natural de variables aleatorias independientes como las alturas de los estudiantes en un salón de clases o los puntajes de sus exámenes. Al igual que el gaussiano, la distribución de Tracy-Widom exhibe "universalidad", un fenómeno misterioso en el que diversos efectos microscópicos dan lugar al mismo comportamiento colectivo. "La sorpresa es que es tan universal como es", dijo Tracy, profesor de la Universidad de California en Davis.

Cuando se descubren, las leyes universales como la distribución de Tracy-Widom permiten a los investigadores modelar con precisión sistemas complejos cuyo funcionamiento interno conocen poco, como los mercados financieros, las fases exóticas de la materia o Internet.

"No es obvio que podría tener una comprensión profunda de un sistema muy complicado utilizando un modelo simple con solo algunos ingredientes", dijo Grégory Schehr, un físico estadístico que trabaja con Majumdar en Paris-Sud. "La universalidad es la razón por la cual la física teórica es tan exitosa".

La universalidad es "un misterio intrigante", dijo Terence Tao, matemático de la Universidad de California en Los Ángeles, quien ganó la prestigiosa Medalla Fields en 2006. ¿Por qué ciertas leyes parecen surgir de sistemas complejos ?, preguntó, "casi independientemente de la ¿mecanismos subyacentes que impulsan esos sistemas al nivel microscópico? "

Ahora, a través de los esfuerzos de investigadores como Majumdar y Schehr, comienza a surgir una explicación sorprendente para la ubicua distribución de Tracy-Widom.

Curva torcida

La distribución de Tracy-Widom es un golpe estadístico asimétrico, más inclinado en el lado izquierdo que en el derecho. Con una escala adecuada, su cumbre se encuentra en un valor revelador: √2N, la raíz cuadrada del doble del número de variables en los sistemas que lo originan y el punto de transición exacto entre estabilidad e inestabilidad que May calculó para su ecosistema modelo.

El punto de transición correspondía a una propiedad de su modelo matricial llamado "eigenvalor más grande": el más grande en una serie de números calculados a partir de las filas y columnas de la matriz. Los investigadores ya habían descubierto que los N autovalores de una "matriz aleatoria", uno lleno de números aleatorios, tienden a separarse a lo largo de la recta numérica real de acuerdo con un patrón distinto, con el eigenvalor más grande típicamente ubicado en o cerca de 2N. Tracy y Widom determinaron cómo los eigenvalores más grandes de las matrices aleatorias fluctúan en torno a este valor promedio, acumulándose en la distribución estadística desequilibrada que lleva sus nombres.



Mientras que las variables aleatorias "no correlacionadas" como los puntajes de los exámenes se extienden a la distribución gaussiana en forma de campana, las especies interactuantes, las existencias financieras y otras variables "correlacionadas" dan lugar a una curva estadística más complicada. Más pronunciada a la izquierda que a la derecha, la curva tiene una forma que depende de N, el número de variables.

Cuando la distribución de Tracy-Widom apareció en el problema de secuencias enteras y otros contextos que nada tenían que ver con la teoría de matrices aleatorias, los investigadores comenzaron a buscar el hilo oculto que unía todas sus manifestaciones juntas, tal como los matemáticos en los siglos XVIII y XIX buscaron un Teorema que explicaría la ubicuidad de la distribución gaussiana en forma de campana.

El teorema del límite central, que finalmente se hizo riguroso hace aproximadamente un siglo, certifica que los puntajes de las pruebas y otras variables "no correlacionadas", lo que significa que cualquiera de ellas puede cambiar sin afectar el resto, formará una curva de campana. Por el contrario, la curva de Tracy-Widom parece surgir de variables que están fuertemente correlacionadas, como las especies interactuantes, los precios de las acciones y los valores propios de la matriz. El ciclo de retroalimentación de los efectos mutuos entre las variables correlacionadas hace que su comportamiento colectivo sea más complicado que el de las variables no correlacionadas, como los puntajes de las pruebas. Si bien los investigadores han probado rigurosamente ciertas clases de matrices aleatorias en las que la distribución Tracy-Widom se mantiene universalmente, tienen un manejo más flexible de sus manifestaciones en el conteo de problemas, problemas de caminata aleatoria, modelos de crecimiento y más allá.

"Nadie sabe realmente lo que necesita para obtener Tracy-Widom", dijo Herbert Spohn, un físico matemático de la Universidad Técnica de Munich en Alemania. "Lo mejor que podemos hacer", dijo, es descubrir gradualmente el alcance de su universalidad mediante ajustes de sistemas que muestren la distribución y vean si las variantes también lo generan.

Hasta ahora, los investigadores han caracterizado tres formas de la distribución de Tracy-Widom: versiones reescaladas entre sí que describen sistemas fuertemente correlacionados con diferentes tipos de aleatoriedad inherente. Pero podría haber muchos más de tres, tal vez incluso un número infinito, de las clases de universalidad de Tracy-Widom. "El gran objetivo es encontrar el alcance de la universalidad de la distribución de Tracy-Widom", dijo Baik, profesor de matemáticas en la Universidad de Michigan. "¿Cuántas distribuciones hay? ¿Qué casos dan lugar a cuáles? "

Como otros investigadores identificaron más ejemplos del pico de Tracy-Widom, Majumdar, Schehr y sus colaboradores comenzaron a buscar pistas en las colas izquierda y derecha de la curva.

Pasando por una fase

Majumdar se interesó por el problema en 2006 durante un taller en la Universidad de Cambridge en Inglaterra. Conoció a un par de físicos que usaban matrices aleatorias para modelar el espacio abstracto de la teoría de cuerdas de todos los universos posibles. Los teóricos de la secuencia razonaron que los puntos estables en este "paisaje" correspondían al subconjunto de matrices aleatorias cuyos valores propios más grandes eran negativos, muy a la izquierda del valor promedio de √2N en el pico de la curva Tracy-Widom. Se preguntaban cuán raros podrían ser estos puntos estables, las semillas de universos viables.

Para responder a la pregunta, Majumdar y David Dean, ahora de la Universidad de Burdeos en Francia, se dieron cuenta de que necesitaban derivar una ecuación que describe la cola a la extrema izquierda del pico Tracy-Widom, una región de distribución estadística que nunca sido estudiado En un año, su derivación de la "función de desviación grande" izquierda apareció en Physical Review Letters. Utilizando diferentes técnicas, Majumdar y Massimo Vergassola del Instituto Pasteur en París calcularon la función de desviación grande tres años después. A la derecha, Majumdar y Dean se sorprendieron al descubrir que la distribución se redujo a una tasa relacionada con la cantidad de valores propios, N; a la izquierda, se reducía más rápidamente, en función de N2.

En 2011, la forma de las colas izquierda y derecha dio a Majumdar, Schehr y Peter Forrester, de la Universidad de Melbourne en Australia, un destello de visión: se dieron cuenta de que la universalidad de la distribución Tracy-Widom podría estar relacionada con la universalidad de las transiciones de fase, eventos como el agua que se congela en el hielo, el grafito se convierte en diamante y los metales comunes se transforman en extraños superconductores.

Debido a que las transiciones de fase están tan generalizadas -todas las sustancias cambian las fases cuando se alimentan o carecen de suficiente energía- y toman solo un puñado de formas matemáticas, son para los físicos estadísticos "casi como una religión", dijo Majumdar.


Satya Majumdar, izquierda, y Grégory Schehr en la Universidad de Paris-Sud.

En los minúsculos márgenes de la distribución de Tracy-Widom, Majumdar, Schehr y Forrester reconocieron formas matemáticas familiares: curvas distintas que describen dos tasas de cambio diferentes en las propiedades de un sistema, inclinándose hacia abajo desde cualquier lado de un pico de transición. Estos fueron los adornos de una transición de fase.

En las ecuaciones termodinámicas que describen el agua, la curva que representa la energía del agua en función de la temperatura tiene un torcedura a 100 grados Celsius, el punto en el que el líquido se convierte en vapor. La energía del agua aumenta lentamente hasta este punto, de repente salta a un nuevo nivel y luego aumenta lentamente nuevamente a lo largo de una curva diferente, en forma de vapor. Crucialmente, donde la curva de energía tiene un retorcimiento, la "primera derivada" de la curva, otra curva que muestra cuán rápido cambia la energía en cada punto, tiene un pico.

De manera similar, los físicos se dieron cuenta de que las curvas de energía de ciertos sistemas fuertemente correlacionados tienen un torcedura en √2N. El pico asociado para estos sistemas es la distribución Tracy-Widom, que aparece en la tercera derivada de la curva de energía, es decir, la tasa de cambio de la tasa de cambio de la tasa de cambio de la energía. Esto hace que la distribución de Tracy-Widom sea una transición de fase de "tercer orden".

"El hecho de que aparece en todas partes está relacionado con el carácter universal de las transiciones de fase", dijo Schehr. "Esta transición de fase es universal en el sentido de que no depende demasiado de los detalles microscópicos de su sistema".

De acuerdo con la forma de las colas, las fases de transición de fase separadas de los sistemas cuya energía escala con N2 a la izquierda y N a la derecha. Pero Majumdar y Schehr se preguntaron qué caracterizó esta clase de universalidad de Tracy-Widom; ¿Por qué siempre aparecieron las transiciones de fase de tercer orden en sistemas de variables correlacionadas?

La respuesta estaba enterrada en un par de documentos esotéricos de 1980. Una transición de fase de tercer orden había aparecido antes, identificada ese año en una versión simplificada de la teoría que gobierna los núcleos atómicos. Los físicos teóricos David Gross, Edward Witten y (independientemente) Spenta Wadia descubrieron una transición de fase de tercer orden que separa una fase de "acoplamiento débil", en la cual la materia toma la forma de partículas nucleares y una fase de "acoplamiento fuerte" de temperatura más alta, en que la materia se funde en el plasma. Después del Big Bang, el universo probablemente pasó de una fase de acoplamiento fuerte a débil cuando se enfrió.

Después de examinar la literatura, Schehr dijo que él y Majumdar "se dieron cuenta de que había una conexión profunda entre nuestro problema de probabilidad y esta transición de fase de tercer orden que las personas habían encontrado en un contexto completamente diferente".

Débil a fuerte

Majumdar y Schehr han acumulado evidencia sustancial de que la distribución de Tracy-Widom y sus grandes colas de desviación representan una transición de fase universal entre las fases de acoplamiento débil y fuerte. En el modelo de ecosistemas de mayo, por ejemplo, el punto crítico en √2N separa una fase estable de especies débilmente acopladas, cuyas poblaciones pueden fluctuar individualmente sin afectar el resto, de una fase inestable de especies fuertemente acopladas, en las cuales las fluctuaciones se transmiten por el ecosistema y desháganse del equilibrio En general, Majumdar y Schehr creen que los sistemas en la clase de universalidad de Tracy-Widom exhiben una fase en la que todos los componentes actúan de manera concertada y otra fase en la que los componentes actúan solos.

La asimetría de la curva estadística refleja la naturaleza de las dos fases. Debido a las interacciones mutuas entre los componentes, la energía del sistema en la fase de acoplamiento fuerte a la izquierda es proporcional a N2. Mientras tanto, en la fase de acoplamiento débil de la derecha, la energía depende solo del número de componentes individuales, N.

"Cada vez que tiene una fase fuertemente acoplada y una fase débilmente acoplada, Tracy-Widom es la función de conexión cruzada entre las dos fases", dijo Majumdar.

El trabajo de Majumdar y Schehr es "una contribución muy agradable", dijo Pierre Le Doussal, físico de École Normale Supérieure en Francia, que ayudó a probar la presencia de la distribución Tracy-Widom en un modelo de crecimiento estocástico llamado la ecuación KPZ. En lugar de centrarse en el pico de la distribución de Tracy-Widom, "la transición de fase es probablemente el nivel más profundo" de la explicación, dijo Le Doussal. "Básicamente, debería hacernos pensar más sobre tratar de clasificar estas transiciones de tercer orden".

Leo Kadanoff, el físico estadístico que introdujo el término "universalidad" y ayudó a clasificar las transiciones de fase universales en la década de 1960, dijo que desde hace tiempo le queda claro que la universalidad en la teoría de matrices aleatorias debe estar conectada de algún modo con la universalidad de las transiciones de fase. Pero mientras que las ecuaciones físicas que describen las transiciones de fase parecen coincidir con la realidad, muchos de los métodos computacionales utilizados para derivarlos nunca han sido matemáticamente rigurosos.

"Los físicos, en un aprieto, se conformarán con una comparación con la naturaleza", dijo Kadanoff, "Los matemáticos quieren pruebas: una prueba de que la teoría de la transición de fases es correcta; pruebas más detalladas de que las matrices aleatorias caen en la clase de universalidad de las transiciones de fase de tercer orden; prueba de que existe tal clase ".

Para los físicos involucrados, bastará una preponderancia de evidencia. La tarea ahora es identificar y caracterizar las fases de acoplamiento fuerte y débil en más de los sistemas que exhiben la distribución de Tracy-Widom, como los modelos de crecimiento, y predecir y estudiar nuevos ejemplos de la universalidad de Tracy-Widom a lo largo de la naturaleza.

El signo revelador será la cola de las curvas estadísticas. En una reunión de expertos en Kioto, Japón, en agosto, Le Doussal se encontró con Kazumasa Takeuchi, un físico de la Universidad de Tokio que informó en 2010 que la interfaz entre dos fases de un material de cristal líquido varía según la distribución de Tracy-Widom. Hace cuatro años, Takeuchi no había reunido suficientes datos para graficar valores extremos estadísticos extremos, como picos prominentes a lo largo de la interfaz. Pero cuando Le Doussal suplicó a Takeuchi que trazara los datos nuevamente, los científicos vieron el primer vistazo de las colas izquierda y derecha. Le Doussal envió inmediatamente un correo electrónico a Majumdar con las noticias.

"Todos miran solo el pico de Tracy-Widom", dijo Majumdar. "No miran las colas porque son cosas muy, muy pequeñas".

Corrección: este artículo fue revisado el 17 de octubre de 2014, para aclarar que Satya Majumdar colaboró ​​con Massimo Vergassola para calcular la función correcta de desviación grande, y para reflejar que la idea de Forrester, Majumdar y Schehr ocurrió en 2011, no en 2009 como se dijo originalmente .