Ihr Cortex enthält 17 Milliarden Computer

Neuronale Netze von neuronalen Netzen

Gutschrift: brentsview unter CC BY-NC 2.0

Gehirne erhalten Input von der Außenwelt, ihre Neuronen tun etwas mit diesem Input und erzeugen einen Output. Diese Ausgabe kann ein Gedanke sein (ich möchte Curry zum Abendessen); es kann eine Handlung sein (Curry machen); Es kann eine Stimmungsänderung sein (yay Curry!). Was auch immer die Ausgabe sein mag, dieses „Etwas“ ist eine Umwandlung einer Form von Eingabe (ein Menü) in Ausgabe („Chicken Dansak, bitte“). Wenn wir uns ein Gehirn als ein Gerät vorstellen, das Eingaben in Ausgaben umwandelt, wird der Computer unaufhaltsam zu unserer bevorzugten Analogie.

Für einige ist diese Analogie lediglich ein nützliches rhetorisches Mittel; für andere ist es eine ernste idee. Aber das Gehirn ist kein Computer. Jedes Neuron ist ein Computer. Ihr Kortex enthält 17 Milliarden Computer.

Okay, was? Schau dir das an:

Eine pyramidenförmige Zelle - in zwei Dimensionen zerquetscht. Der schwarze Fleck in der Mitte ist der Körper des Neurons. der Rest der Drähte sind seine Dendriten. Bildnachweis: Alain Dexteshe / http://cns.iaf.cnrs-gif.fr/alain_geometries.html

Dies ist ein Bild von einer Pyramidenzelle, dem Neuron, das den größten Teil Ihres Kortex ausmacht. Der Fleck in der Mitte ist der Körper des Neurons. Die Drähte, die sich oben und unten dehnen und verzweigen, sind die Dendriten, die verdrillten Kabel, die die Eingänge von anderen Neuronen in der Nähe und in der Ferne sammeln. Diese Eingaben fallen über alle Dendriten, einige direkt am Körper, andere weit außen an den Spitzen. Wohin sie fallen, ist wichtig.

Aber du würdest es nicht denken. Wenn wir darüber reden, wie Neuronen funktionieren, kommen wir normalerweise auf die Idee, Inputs und Spit-Out-Spikes zu summieren. In dieser Idee sind die Dendriten nur ein Gerät zum Sammeln von Eingaben. Wenn Sie jeden Eingang einzeln aktivieren, ändert sich die Spannung des Neurons geringfügig. Fassen Sie genug dieser kleinen Veränderungen aus allen Dendriten zusammen und das Neuron wird einen Dorn aus seinem Körper ausspucken, um ein Input für andere Neuronen zu sein.

Das Summen-und-Ausspuck-Spike-Modell eines Neurons. Wenn genug Eingaben gleichzeitig eintreffen - genug, um eine Schwelle (grauer Kreis) zu überschreiten - spuckt das Neuron einen Spike aus.

Es ist ein praktisches mentales Modell zum Nachdenken über Neuronen. Es bildet die Basis für alle künstlichen neuronalen Netze. Es ist falsch.

Diese Dendriten sind nicht nur Drahtstücke, sie haben auch ihre eigenen Geräte zur Herstellung von Stacheln. Wenn im selben kleinen Dendritenbit genügend Eingänge aktiviert sind, ist die Summe dieser gleichzeitigen Eingänge größer als die Summe aller Eingänge, die für sich allein wirken:

Die zwei farbigen Blobs sind zwei Eingänge für ein einzelnes Dendritenbit. Wenn sie einzeln aktiviert werden, erstellen sie jeweils die gezeigten Antworten, wobei der graue Pfeil die Aktivierung dieses Eingangs anzeigt (Antwort bedeutet hier „Spannungsänderung“). Bei gemeinsamer Aktivierung ist die Antwort größer (durchgezogene Linie) als die Summe der einzelnen Antworten (gepunktete Linie).

Die Beziehung zwischen der Anzahl der aktiven Eingaben und der Größe der Antwort in ein wenig Dendrite sieht folgendermaßen aus:

Größe der Antwort in einem einzelnen Zweig eines Dendriten auf eine zunehmende Anzahl aktiver Eingaben. Die lokale

Da ist die lokale Spitze: der plötzliche Sprung von fast keiner Antwort auf wenige Eingaben zu einer großen Antwort mit nur einer weiteren Eingabe. Ein bisschen Dendrit ist „supralinear“: Innerhalb eines Dendriten ist 2 + 2 = 6.

Wir kennen diese lokalen Spitzen in Dendritenstücken seit vielen Jahren. Wir haben diese lokalen Spitzen in Neuronen in Gehirnschnitten gesehen. Wir haben sie im Gehirn anästhesierter Tiere gesehen, bei denen die Pfoten gekitzelt wurden (ja, unbewusste Gehirne fühlen sich immer noch voll an; sie machen sich nur die Mühe, es niemandem zu erzählen). Wir haben sie kürzlich in den Dendriten von Neuronen bei Tieren gesehen, die sich bewegten (Moore und seine Freunde haben die Aktivität in ein paar Mikrometern Entfernung vom Gehirn einer Maus aufgezeichnet, die sich bewegte; verrückt, nicht wahr?). Die Dendriten eines pyramidenförmigen Neurons können „Stacheln“ verursachen.

Sie existieren also: Aber warum verändert diese lokale Spitze die Art und Weise, wie wir das Gehirn als Computer betrachten? Weil die Dendriten eines pyramidenförmigen Neurons viele getrennte Zweige enthalten. Und jeder kann einen Spike zusammenfassen und ausspucken. Das heißt, jeder Zweig eines Dendriten verhält sich wie ein kleines nichtlineares Ausgabegerät, das eine lokale Spitze summiert und ausgibt, wenn dieser Zweig ungefähr zur gleichen Zeit genügend Eingaben erhält:

Deja vu. Ein einzelner dendritischer Zweig fungiert als kleines Gerät zum Aufsummieren von Eingaben und zum Ausgeben einer Ausgabe, wenn gleichzeitig genügend Eingaben aktiv waren. Und die Transformation von Eingabe zu Ausgabe (der graue Kreis) ist nur das oben bereits gezeigte Diagramm, das die Größe der Antwort von der Anzahl der Eingaben angibt.

Warten. War das nicht unser Modell eines Neurons? Ja, war es. Wenn wir nun jeden kleinen Zweig des Dendriten durch eines unserer kleinen "Neuron" -Geräte ersetzen, sieht ein pyramidenförmiges Neuron ungefähr so ​​aus:

Links: Ein einzelnes Neuron hat viele dendritische Äste (über und unter seinem Körper). Richtig: Es handelt sich also um eine Sammlung von nichtlinearen Summierungselementen (gelbe Kästchen und nichtlineare Ausgaben), die alle an den Körper des Neurons (graue Kästchen) ausgegeben werden und dort summiert werden. Ähnlich aussehend?

Ja, jedes pyramidenförmige Neuron ist ein zweischichtiges neuronales Netzwerk. Alles für sich.

Schöne Arbeiten von Poirazi und Mel aus dem Jahr 2003 haben dies ausdrücklich gezeigt. Sie bauten ein komplexes Computermodell eines einzelnen Neurons auf und simulierten jedes kleine Stück Dendrit, die lokalen Spitzen in ihnen und wie sie zum Körper hinunterschwappen. Sie verglichen dann direkt die Ausgabe des Neurons mit der Ausgabe eines zweischichtigen neuronalen Netzwerks: und sie waren die gleichen.

Die außergewöhnliche Folge dieser lokalen Spitzen ist, dass jedes Neuron ein Computer ist. Das Neuron selbst kann eine Vielzahl von sogenannten nichtlinearen Funktionen berechnen. Funktionen, die ein Neuron, das nur eine Spitze aufsummiert und ausspuckt, niemals berechnen kann. Zum Beispiel können wir mit vier Eingängen (Blau, Meer, Gelb und Sonne) und zwei Zweigen, die als kleine nichtlineare Einheiten fungieren, ein pyramidenförmiges Neuron einrichten, um die Funktion „Merkmalsbindung“ zu berechnen: Wir können es bitten, zu antworten auf Blau und Meer zusammen oder auf Gelb und Sonne zusammen reagieren, aber nicht auf etwas anderes - nicht einmal auf Blau und Sonne zusammen oder auf Gelb und Meer zusammen. Natürlich erhalten Neuronen viel mehr als vier Eingaben und haben viel mehr als zwei Zweige: Der Bereich der logischen Funktionen, die sie berechnen könnten, ist also astronomisch.

In jüngerer Zeit haben Romain Caze und Freunde (ich bin einer dieser Freunde) gezeigt, dass ein einzelnes Neuron einen erstaunlichen Funktionsumfang berechnen kann, auch wenn es keine lokale, dendritische Spitze erzeugen kann. Da Dendriten naturgemäß nicht linear sind, summieren sie im Normalzustand die Eingaben tatsächlich so, dass sie kleiner sind als die einzelnen Werte. Sie sind sublinear. Für sie ist 2 + 2 = 3,5. Und mit vielen dendritischen Zweigen mit sublinearer Summierung fungiert das Neuron auch als zweischichtiges neuronales Netzwerk. Ein zweischichtiges neuronales Netzwerk, das eine andere Menge nichtlinearer Funktionen berechnen kann als Neuronen mit supralinearen Dendriten. Und so ziemlich jedes Neuron im Gehirn hat Dendriten. So könnten im Prinzip fast alle Neuronen ein zweischichtiges neuronales Netzwerk sein.

Die andere verblüffende Folge des lokalen Anstiegs ist, dass Neuronen sehr viel mehr über die Welt wissen, als sie uns sagen - oder über andere Neuronen.

Vor nicht allzu langer Zeit stellte ich eine einfache Frage: Wie unterteilt das Gehirn Informationen? Wenn wir uns die Verdrahtung zwischen Neuronen im Gehirn ansehen, können wir einen Weg von jedem Neuron zu jedem anderen verfolgen. Wie erscheinen dann Informationen, die anscheinend in einem Teil des Gehirns verfügbar sind (beispielsweise der Geruch von Curry), nicht in allen anderen Teilen des Gehirns (wie dem visuellen Kortex)?

Darauf gibt es zwei gegensätzliche Antworten. Das erste ist, dass in einigen Fällen das Gehirn nicht unterteilt ist: Informationen tauchen an seltsamen Orten auf, so wie Geräusche in Gehirnregionen, die sich mit Orten befassen. Die andere Antwort lautet: Das Gehirn ist unterteilt - durch Dendriten.

Wie wir gerade gesehen haben, ist die lokale Spitze ein nicht lineares Ereignis: Sie ist größer als die Summe ihrer Eingaben. Und der Körper des Neurons kann im Grunde nichts erkennen, was keine lokale Spitze ist. Das bedeutet, dass es die meisten seiner individuellen Eingaben ignoriert: Das Bit, das die Spitze zum Rest des Gehirns ausspuckt, ist von einem Großteil der Informationen, die das Neuron empfängt, isoliert. Das Neuron reagiert nur, wenn viele Eingaben zeitlich und räumlich zusammen aktiv sind (auf demselben Dendritenbit).

Wenn dies wahr ist, sollten wir sehen, dass Dendriten auf Dinge reagieren, auf die das Neuron nicht reagiert. Wir sehen genau das. Im visuellen Kortex wissen wir, dass viele Neuronen nur auf Dinge in der Welt reagieren, die sich in einem bestimmten Winkel bewegen (wie die meisten, aber keineswegs alle von uns, haben sie eine bevorzugte Orientierung). Einige Neuronen feuern ihre Spitzen auf Dinge bei 60 Grad ab. einige bei 90 Grad; einige bei 120 Grad. Wenn wir jedoch aufzeichnen, worauf ihre Dendriten reagieren, sehen wir Antworten auf jeden Winkel. Die Dendriten wissen verdammt viel mehr darüber, wie Objekte in der Welt angeordnet sind, als der Körper des Neurons.

Sie sehen auch verdammt viel mehr von der Welt. Neuronen im visuellen Kortex reagieren nur auf Dinge an einer bestimmten Position in der Welt. Ein Neuron reagiert möglicherweise auf Dinge oben links in Ihrer Vision. ein anderes zu den Dingen unten rechts. Kürzlich haben Sonia Hofer und ihr Team gezeigt, dass die Spitzen von Neuronen nur als Reaktion auf Objekte auftreten, die an einer bestimmten Position auftreten. Ihre Dendriten reagieren jedoch auf viele verschiedene Positionen auf der Welt, oft weit von der scheinbar bevorzugten Position des Neurons entfernt. Die Neuronen reagieren also nur auf einen kleinen Teil der Informationen, die sie erhalten, und der Rest steckt in ihren Dendriten.

Warum ist das alles wichtig? Dies bedeutet, dass jedes Neuron seine Funktion radikal ändern kann, indem es nur einige seiner Eingaben ändert. Einige werden schwächer, und plötzlich verstummt ein ganzer Dendritenzweig: Das Neuron, das früher gerne Katzen sah, reagiert für diesen Zweig nicht mehr, wenn Ihre Katze während der Arbeit über Ihre blutige Tastatur läuft - und Sie sind es eine viel ruhigere, zusammengehörigere Person infolgedessen. Ein paar Eingaben werden stärker, und plötzlich reagiert ein ganzer Zweig: Ein Neuron, das sich zuvor nicht um den Geschmack von Oliven gekümmert hat, reagiert jetzt freudig auf einen Schluck reifer grüner Oliven - nach meiner Erfahrung ist dieses Neuron erst Anfang zwanzig online . Wenn alle Eingaben zusammengefasst würden, würde das Ändern der Funktion eines Neurons bedeuten, dass die neuen Eingaben mühsam jede einzelne Eingabe um Aufmerksamkeit bekämpfen. aber lassen Sie jedes Dendritenstück unabhängig agieren, und neue Berechnungen werden ein Kinderspiel.

Dies bedeutet, dass das Gehirn viele Berechnungen durchführen kann, die über die Behandlung jedes Neurons als Maschine zum Aufsummieren von Eingaben und Ausspucken eines Spikes hinausgehen. Dies ist jedoch die Grundlage für alle Einheiten, die ein künstliches neuronales Netzwerk bilden. Es lässt vermuten, dass Deep Learning und seine KI-Brüder die Rechenleistung eines tatsächlichen Gehirns nur erahnen konnten.

Ihr Kortex enthält 17 Milliarden Neuronen. Um zu verstehen, was sie tun, machen wir oft Analogien mit Computern. Einige verwenden diese Analogien als Eckpfeiler ihrer Argumente. Einige halten sie für zutiefst irregeführt. Unsere Analogien beziehen sich oft auf künstliche neuronale Netze: Für die Berechnung neuronaler Netze bestehen sie aus neuronalen Dingen; und so sollte also das Gehirn rechnen. Aber wenn wir denken, dass das Gehirn ein Computer ist, weil es wie ein neuronales Netzwerk ist, müssen wir jetzt zugeben, dass einzelne Neuronen auch Computer sind. Alle 17 Milliarden von ihnen in Ihrem Kortex; vielleicht alle 86 Milliarden in deinem Gehirn.

Das bedeutet, dass Ihr Kortex kein neuronales Netzwerk ist. Ihr Kortex ist ein neuronales Netzwerk von neuronalen Netzwerken.

Vielen Dank an Romain Caze für die Anregungen

Mehr wollen? Folgen Sie uns bei The Spike

Twitter: @markdhumphries