Hace 10 meses | Por Sueñolúcido a interferencia.cl
Publicado hace 10 meses por Sueñolúcido a interferencia.cl

Walter Pitts (1923-1969) fue uno de los padres de la neurociencia computacional. Pasó de las calles de la ciudad industrial de Detroit al prestigioso MIT en Boston, pero no pudo escapar de sí mismo. En este artículo se cuenta la historia de este niño maravilla que, a la edad de 12 años, envió una carta a Bertrand Russell manifestándole algunos errores del tratado Principia Mathematica. Y también de su trágico final.

Comentarios

M

Vaya pedazo de artículo. Muy interesante.

Es una historia triste, pero también se puede aprender algo: la salud mental y los traumas se deben tratar por muy listos o inteligentes que seamos.

Según se cuenta em el artículo, Pitts estaba convencido de una idea, que luego resultó ser sesgada. Pero por tener esa idea como un dogma, le afectó de sobremanera.

Científicamente y tecnológicamente se ha avanzado milenios, pero mental y emocionalmente seguimos en el neolítico. Y en mi opinión es por el excesivo afán de buscar fuera racionalmente, y no observar contemplativamente (dentro o fuera, no importa). Si pitts hubiese tenido herramientas para gestionar su estabilidad emocional...

arturios

#8 Neolítico dices... lol lol lol paleolítico inferior o quizás antes, seguimos siendo monos con muy poquito pelo recién bajados de los árboles pero con ínfulas de ángeles y así nos va.

M

#9 sí, supongo que em ciertos lugares incluso australooitecus

A

#16 Tienes razón, de hecho acabo de ver en el enlace que he puesto antes que al final hay una entrevista a la escritora y dice: "I mostly write about fundamental physics—string theory, quantum mechanics, that kind of thing—so this stuff felt a bit less arcane than I’m used to!", así que desde luego sabe mucho más que yo jaja

d

#17 #15 #10 disculpar que os pregunte, pero por qué está mal? Yo pensaba que era as

d

#21 que nadie me conteste, lo había leído mal

A

#21 Creo que los demás lo sabrán mejor, pero yo lo que entiendo intuitivamente es esto: si tú tienes una probabilidad igual para por ejemplo que salga cara o cruz en una moneda (la probabilidad de cada caso es 0.5), no tienes información sobre el resultado y la entropía es máxima. En cambio si sabes que va a salir cara porque la moneda está trucada, (la probabilidad es 1) es que tienes información sobre la moneda, y la entropía es cero. Es decir, la información es el inverso de la entropía, y eso de que a mayor probabilidad mayor entropía está estaría mal en el artículo, no tiene sentido.
En resumen: cuanto más aleatorio sea un suceso, la probabilidad de que pase algo en concreto es más baja, por tanto menos información tienes y más entropía hay.
¡Espero no haberme equivocado al explicarlo!

casius_clavius

Es una pena que en la universidad no nos explicaran todo esto para entender el origen y la importancia de las células de McCulloch-Pitts.

Acido

#3
A mi sí me contaron algo, hace más de 25 años. Sí, en la universidad (en Teleco), aunque no en asignatura obligatoria, ni siquiera como temario de una asignatura opcional sino en una práctica opcional de un laboratorio opcional... en el cual pude conseguir Matrícula de Honor (calificación 10 sobre 10 en esa asignatura) cuando las Redes Neuronales no estaban de moda y eran una rareza exótica que no tenía demasiado éxito.
Quizá por eso en aquella época no se contaba a todo el mundo: no existían las GPU y no se podía hacer lo que se hace ahora.

casius_clavius

#13 Así era. Yo también recuerdo hace unos 30 años lo mismo, que se hablaba de que en ese momento no podía implementarse una red potente porque hacía falta mucha capacidad de proceso que no alcanzaban ni los ordenadores más potentes de la época.

LuCiLu

Larguísimo e interesantísimo.

L

Interesantísimo. Gracias, #0.

C

Muy buen artículo, gracias.

D

El artículo está muy bien, pero cuidado que tiene al menos una errata (que no le resta nada de calidad, sigue siendo buenísimo).
En concreto: "...había sido Wiener quien descubrió una definición matemática precisa de información: a mayor probabilidad, mayor entropía y menor contenido informativo".
En primer lugar, la relación es mayor probabilidad => menor entropía => menor cantidad de información.
En segundo lugar, este resultado de la Teoría de la Información es de Shannon, no de Wiener.

A

#10 A mí está traducción me ha parecido bastante mala, con lo que he buscado el original en inglés, os lo dejo aquí: https://www.theopennotebook.com/2016/09/20/storygram-amanda-gefters-the-man-who-tried-to-redeem-the-world-with-logic/
Justo el punto que dices es el que me hizo dejar el artículo en castellano, pero lo que me sorprendido es... ¡que también está mal en el original!! "The higher the probability, the higher the entropy and the lower the information content."
No sé, ¿quizá la autora es buena escritora pero de estos temas no sabe mucho?

D

#15 Justo acababa de revisar el original para comprobar si tenía el mismo error.
Yo lo atribuyo a un despiste, es fácil equivocarse en expresiones así.

Acido

#10
Sí, respecto a lo primero tienes razón...

Aunque se puede hacer una puntualización.
Simplificando un poco se puede decir que en términos matemáticos la entropía se expresa como un logaritmo, del número de estados equiprobables, o del "menos logaritmo de la probabilidad". Y dado que la probabilidad es menor que 1, el logaritmo es negativo y el "-log(p)" es positivo. A mayor p, el log se acerca más a 0, es mayor y el -log(p) también se acerca más a cero pero es menor: la entropía es positiva y a mayor p menor valor de "-log(p)"... A menor p, el logaritmo log(p) es más negativo, es menor, pero la entropía, "-log(p)" es mayor.

Esto coincide con la idea intuitiva de entropía en sentido de "desorden", o de "diversidad" (ej: diversidad de especies en sistemas biológicos, a veces llamada "entropía de Shannon-Wiener").

Respecto al segundo punto sobre Shannon, como ingeniero de teleco que soy, siempre me contaron la teoría de Shannon como principal responsable de la llamada Teoría de la Información, así como la fórmula más importante de las comunicaciones. Y no recuerdo que nunca mencionaron a Wiener.
Ahora bien, buscando sobre este asunto he visto que algunas fuentes dicen que Wiener habló antes de la relación entre entropía e información a un nivel teórico matemático. Dicen que se inspiró en la obra de Erwin Schrodinger sobre la "vida". Y, por lo que he visto, Wiener publicó el libro "Cybernetics" en 1948, donde creo que trató sobre ese asunto en términos teórico-matemáticos. Por lo que he visto, la segunda impresión de la primera edición de este libro se hizo en noviembre de 1948.

El primer artículo de Shannon sobre el asunto también es de 1948, aunque publicado en el mes de julio. De todas formas, he visto que se suele decir que ambos llegaron a sus conclusiones de forma independiente.

De lo que no hay duda es de que ambos eran unos genios fuera de serie (junto con otros, por supuesto: Turing, Von Neumann, Pitts, Russell, etc). Quizá Wiener un poco más abstracto, más orientado a los seres vivos y con mayores dificultades para aterrizar sus divagaciones en resultados prácticos (algo en lo que Pitts le ayudó un poco al colaborar con él). Sin embargo, Shannon unía el rigor matemático con la aplicación práctica, más orientado a las máquinas y fue el que se llevó el gato al agua en cuanto a fama en el campo de la Teoría de la Información y sus aplicaciones prácticas... en particular en circuitos.
Aparte, Wiener habló de una "señal" en general... mientras que Shannon se refirió expresamente a codificaciones, en un sentido más orientado a comunicaciones digitales, una descripción más concreta y con detalles más cercanos a sistemas reales realizables con circuitos.

Vamos, que es posible que sea cierto que Wiener fue el primero en hablar de esa relación. Aunque también es posible que nadie sepa quien fue el primero, y ante esa duda, dado que Wiener pudo ser un candidato la escritora lo haya expresado así por el morro, para hacer un relato más sencillo y más atractivo. Hablando de "vida", de "diversidad" y de "comunicaciones", Richard Dawkins acuñó el término "meme" como una pieza de información (ej: una frase o relato) que se replica (de forma análoga a los "genes" de los seres vivos). En este sentido el relato de esta escritora, aunque hipotéticamente no sea tan riguroso, se podría decir que sería más "masticable" y más "replicable"... Tiene menos información, menos entropía... y esto hace que sea más fácil de comprender / recordar y repetir como un loro... aunque sea a costa de perder rigor, por evitar liar el asunto entrando en detalles finos. A nivel comunicativo de un artículo de divulgación se podría perdonar un poco esa falta de rigor... Algunos lo podrían defender como "un acierto comunicativo". Aunque yo prefiero que no se sacrifique el rigor y que no me cuenten "cuentos". A veces no es fácil, pero con esfuerzo y talento se puede combinar el rigor con hacer que el texto de divulgación sea agradable de leer y fácil de asimilar.

tollendo

Muy interesante. Pero el MIT no está en Boston sino al otro lado del río, en Cambridge.

Acido

#4 #11

Por cierto, el artículo original no dice "el MIT en Boston", fue cosa del traductor.

https://web.archive.org/web/20180216122645/http://nautil.us/issue/21/information/the-man-who-tried-to-redeem-the-world-with-logic

Era un poco extraño que la autora original hubiese dicho eso, ya que es una escritora especializada en física que vive en Cambridge, Massachusetts.

Por otro lado, otro punto de confusión es que Bertrand Russell estaba en la Universidad de Cambridge, en Reino Unido, e invitó a Pitts a ir para allá... Hubiese sido confuso decir que Pitts no fue a Cambridge con Russell pero que se fue al MIT en Cambridge. lol

tollendo

#11 Pues muchas gracias la información.

Ehorus

Detrás de todo gran hombre, hay una gran mujer........