Ihr Cortex enthält 17 Milliarden Computer

Neuronale Netze neuronaler Netze

Gutschrift: brentsview unter CC BY-NC 2.0

Gehirne erhalten Input von der Außenwelt, ihre Neuronen tun etwas mit diesem Input und erzeugen einen Output. Diese Ausgabe kann ein Gedanke sein (ich möchte Curry zum Abendessen); es kann eine Handlung sein (Curry machen); Es kann eine Stimmungsänderung sein (yay Curry!). Unabhängig von der Ausgabe ist dieses „Etwas“ eine Umwandlung einer Form von Eingabe (ein Menü) in Ausgabe („Chicken Dansak, bitte“). Und wenn wir uns ein Gehirn als ein Gerät vorstellen, das Eingaben in Ausgaben umwandelt, wird der Computer unaufhaltsam zu unserer bevorzugten Analogie.

Für einige ist diese Analogie lediglich ein nützliches rhetorisches Mittel; für andere ist es eine ernsthafte Idee. Aber das Gehirn ist kein Computer. Jedes Neuron ist ein Computer. Ihr Kortex enthält 17 Milliarden Computer.

Okay, was? Schau dir das an:

Eine Pyramidenzelle - in zwei Dimensionen zerquetscht. Der schwarze Fleck in der Mitte ist der Körper des Neurons; Der Rest der Drähte sind seine Dendriten. Bildnachweis: Alain Dexteshe / http://cns.iaf.cnrs-gif.fr/alain_geometries.html

Dies ist ein Bild einer Pyramidenzelle, dem Neuron, das den größten Teil Ihres Kortex ausmacht. Der Fleck in der Mitte ist der Körper des Neurons; Die Drähte, die sich oben und unten dehnen und verzweigen, sind die Dendriten, die verdrillten Kabel, die die Eingaben von anderen Neuronen in der Nähe und in der Ferne sammeln. Diese Eingaben fallen über die gesamten Dendriten, einige direkt am Körper, andere weit außen an den Spitzen. Wo sie hinfallen, ist wichtig.

Aber du würdest es nicht denken. Wenn wir darüber sprechen, wie Neuronen funktionieren, erhalten wir normalerweise die Idee, Eingaben zusammenzufassen und Spitzen auszuspucken. In dieser Idee sind die Dendriten nur ein Gerät zum Sammeln von Eingaben. Wenn Sie jeden Eingang alleine aktivieren, ändert sich die Spannung des Neurons geringfügig. Fassen Sie genug dieser kleinen Veränderungen aus allen Dendriten zusammen, und das Neuron spuckt eine Spitze aus seinem Körper und seinem Axon aus, um eine Eingabe für andere Neuronen zu sein.

Das Sum-up-and-Spit-out-Spike-Modell eines Neurons. Wenn gleichzeitig genügend Eingaben eintreffen - genug, um eine Schwelle zu überschreiten (grauer Kreis) -, spuckt das Neuron eine Spitze aus.

Es ist ein praktisches mentales Modell, um über Neuronen nachzudenken. Es bildet die Basis für alle künstlichen neuronalen Netze. Es ist falsch.

Diese Dendriten sind nicht nur Drahtstücke, sie haben auch einen eigenen Apparat zur Herstellung von Spikes. Wenn genügend Eingänge in demselben kleinen Dendritenbit aktiviert sind, ist die Summe dieser gleichzeitigen Eingänge größer als die Summe jedes Eingangs, der alleine wirkt:

Die zwei farbigen Blobs sind zwei Eingänge für ein einzelnes Bit Dendrit. Wenn sie einzeln aktiviert werden, erstellen sie jeweils die angezeigten Antworten, wobei der graue Pfeil die Aktivierung dieses Eingangs anzeigt (Antwort bedeutet hier „Spannungsänderung“). Bei gemeinsamer Aktivierung ist die Antwort größer (durchgezogene Linie) als die Summe ihrer einzelnen Antworten (gepunktete Linie).

Die Beziehung zwischen der Anzahl der aktiven Eingänge und der Größe der Antwort in ein wenig Dendrit sieht folgendermaßen aus:

Größe der Antwort in einem einzelnen Zweig eines Dendriten auf eine zunehmende Anzahl aktiver Eingaben. Die lokale „Spitze“ ist der Sprung von fast keiner Antwort zu einer großen Antwort.

Es gibt die lokale Spitze: den plötzlichen Sprung von fast keiner Antwort auf einige Eingaben zu einer großen Antwort mit nur einer weiteren Eingabe. Ein bisschen Dendrit ist „supralinear“: Innerhalb eines Dendriten ist 2 + 2 = 6.

Wir kennen diese lokalen Spitzen in Dendritenstücken seit vielen Jahren. Wir haben diese lokalen Spitzen in Neuronen in Hirnschnitten gesehen. Wir haben sie im Gehirn von anästhesierten Tieren gesehen, deren Pfoten gekitzelt wurden (ja, bewusstloses Gehirn fühlt sich immer noch so an; sie machen sich einfach nicht die Mühe, es jemandem zu erzählen). Wir haben sie kürzlich in den Dendriten von Neuronen bei Tieren gesehen, die sich bewegten (ja, Moore und Freunde haben die Aktivität in etwas aufgezeichnet, das ein paar Mikrometer gegenüber dem Gehirn einer Maus liegt, die sich bewegt; verrückt, oder?). Die Dendriten eines pyramidenförmigen Neurons können „Spitzen“ bilden.

Sie existieren also: Aber warum verändert diese lokale Spitze die Art und Weise, wie wir das Gehirn als Computer betrachten? Weil die Dendriten eines Pyramidenneurons viele getrennte Zweige enthalten. Und jeder kann einen Spike zusammenfassen und ausspucken. Dies bedeutet, dass jeder Zweig eines Dendriten wie ein kleines nichtlineares Ausgabegerät wirkt und eine lokale Spitze aufsummiert und ausgibt, wenn dieser Zweig ungefähr zur gleichen Zeit genügend Eingaben erhält:

Deja vu. Ein einzelner dendritischer Zweig dient als kleines Gerät zum Aufsummieren von Eingaben und zum Ausgeben einer Ausgabe, wenn gleichzeitig genügend Eingaben aktiv waren. Und die Transformation von Eingabe zu Ausgabe (der graue Kreis) ist nur das Diagramm, das wir oben bereits gesehen haben und das die Größe der Antwort aus der Anzahl der Eingaben angibt.

Warten. War das nicht unser Modell eines Neurons? Ja, war es. Wenn wir nun jeden kleinen Zweig des Dendriten durch eines unserer kleinen „Neuron“ -Geräte ersetzen, sieht ein pyramidenförmiges Neuron ungefähr so ​​aus:

Links: Ein einzelnes Neuron hat viele dendritische Zweige (über und unter seinem Körper). Rechts: Es handelt sich also um eine Sammlung nichtlinearer Summationsgeräte (gelbe Kästchen und nichtlineare Ausgänge), die alle an den Körper des Neurons ausgegeben werden (grauer Kasten), wo sie summiert werden. Ähnlich aussehend?

Ja, jedes Pyramidenneuron ist ein zweischichtiges neuronales Netzwerk. Alles für sich.

Schöne Arbeiten von Poirazi und Mel aus dem Jahr 2003 haben dies ausdrücklich gezeigt. Sie bauten ein komplexes Computermodell eines einzelnen Neurons auf und simulierten jedes kleine Stück Dendrit, die lokalen Spitzen in ihnen und wie sie zum Körper hinunterwischen. Sie verglichen dann direkt die Ausgabe des Neurons mit der Ausgabe eines zweischichtigen neuronalen Netzwerks: und sie waren die gleichen.

Die außergewöhnliche Implikation dieser lokalen Spitzen ist, dass jedes Neuron ein Computer ist. Das Neuron selbst kann eine Vielzahl von sogenannten nichtlinearen Funktionen berechnen. Funktionen, die ein Neuron, das nur eine Spitze zusammenfasst und ausspuckt, niemals berechnen kann. Zum Beispiel können wir mit vier Eingängen (Blau, Meer, Gelb und Sonne) und zwei Zweigen, die als kleine nichtlineare Geräte fungieren, ein pyramidenförmiges Neuron einrichten, um die Funktion „Merkmalsbindung“ zu berechnen: Wir können es bitten, zu antworten auf Blau und Meer zusammen oder auf Gelb und Sonne zusammen reagieren, aber nicht anders reagieren - nicht einmal auf Blau und Sonne zusammen oder Gelb und Meer zusammen. Natürlich erhalten Neuronen viel mehr als vier Eingaben und haben viel mehr als zwei Zweige. Der Bereich der logischen Funktionen, die sie berechnen können, ist also astronomisch.

In jüngerer Zeit haben Romain Caze und Freunde (ich bin einer dieser Freunde) gezeigt, dass ein einzelnes Neuron einen erstaunlichen Funktionsumfang berechnen kann, selbst wenn es keine lokale, dendritische Spitze erzeugen kann. Weil Dendriten natürlich nicht linear sind: Im Normalzustand summieren sie die Eingaben tatsächlich zu weniger als den einzelnen Werten. Sie sind sublinear. Für sie 2 + 2 = 3,5. Durch viele dendritische Zweige mit sublinearer Summierung kann das Neuron auch als zweischichtiges neuronales Netzwerk fungieren. Ein zweischichtiges neuronales Netzwerk, das einen anderen Satz nichtlinearer Funktionen berechnen kann als Neuronen, die von supralinearen Dendriten berechnet werden. Und so ziemlich jedes Neuron im Gehirn hat Dendriten. Fast alle Neuronen könnten also im Prinzip ein zweischichtiges neuronales Netzwerk sein.

Die andere erstaunliche Implikation der lokalen Spitze ist, dass Neuronen verdammt viel mehr über die Welt wissen, als sie uns sagen - oder andere Neuronen.

Vor nicht allzu langer Zeit habe ich eine einfache Frage gestellt: Wie unterteilt das Gehirn Informationen? Wenn wir uns die Verkabelung zwischen Neuronen im Gehirn ansehen, können wir einen Pfad von jedem Neuron zu jedem anderen verfolgen. Wie erscheinen dann Informationen, die anscheinend in einem Teil des Gehirns verfügbar sind (z. B. der Geruch von Curry), nicht in allen anderen Teilen des Gehirns (wie dem visuellen Kortex)?

Darauf gibt es zwei gegensätzliche Antworten. Das erste ist, dass das Gehirn in einigen Fällen nicht unterteilt ist: Informationen tauchen an seltsamen Orten auf, wie z. B. Geräusche in Gehirnregionen, die sich mit Orten befassen. Die andere Antwort lautet: Das Gehirn ist unterteilt - durch Dendriten.

Wie wir gerade gesehen haben, ist die lokale Spitze ein nichtlineares Ereignis: Sie ist größer als die Summe ihrer Eingaben. Und der Körper des Neurons kann im Grunde nichts erkennen, was keine lokale Spitze ist. Dies bedeutet, dass es die meisten seiner einzelnen Eingaben ignoriert: Das Bit, das die Spitze an den Rest des Gehirns ausspuckt, ist von einem Großteil der Informationen, die das Neuron empfängt, isoliert. Das Neuron reagiert nur, wenn viele der Eingaben zeitlich und räumlich zusammen aktiv sind (auf demselben Dendritenbit).

Wenn dies wahr wäre, sollten wir sehen, dass Dendriten auf Dinge reagieren, auf die das Neuron nicht reagiert. Wir sehen genau das. Im visuellen Kortex wissen wir, dass viele Neuronen nur auf Dinge auf der Welt reagieren, die sich in einem bestimmten Winkel bewegen (wie die meisten, aber keineswegs alle von uns haben sie eine bevorzugte Ausrichtung). Einige Neuronen feuern ihre Spitzen auf Dinge bei 60 Grad ab; einige bei 90 Grad; einige bei 120 Grad. Wenn wir jedoch aufzeichnen, worauf ihre Dendriten reagieren, sehen wir Reaktionen auf jeden Winkel. Die Dendriten wissen verdammt viel mehr darüber, wie Objekte auf der Welt angeordnet sind, als der Körper des Neurons.

Sie schauen sich auch verdammt viel mehr von der Welt an. Neuronen im visuellen Kortex reagieren nur auf Dinge an einer bestimmten Position in der Welt - ein Neuron kann auf Dinge oben links in Ihrer Sicht reagieren. ein anderer zu den Dingen unten rechts. Kürzlich haben Sonia Hofer und ihr Team gezeigt, dass die Spitzen von Neuronen zwar nur als Reaktion auf Objekte auftreten, die an einer bestimmten Position erscheinen, ihre Dendriten jedoch auf viele verschiedene Positionen in der Welt reagieren, oft weit entfernt von der scheinbar bevorzugten Position des Neurons. Die Neuronen reagieren also nur auf einen kleinen Teil der Informationen, die sie erhalten, während der Rest in ihren Dendriten versteckt ist.

Warum ist das alles wichtig? Dies bedeutet, dass jedes Neuron seine Funktion radikal ändern kann, indem nur einige seiner Eingaben geändert werden. Einige werden schwächer und plötzlich verstummt ein ganzer Zweig von Dendriten: Das Neuron, das sich zuvor über Katzen gefreut hat, für diesen Zweig mochte Katzen, reagiert nicht mehr, wenn Ihre Katze während der Arbeit über Ihre blutige Tastatur läuft - und Sie sind es eine viel ruhigere, zusammenere Person als Ergebnis. Einige Eingaben werden stärker, und plötzlich reagiert ein ganzer Zweig: Ein Neuron, das sich zuvor nicht um den Geschmack von Oliven gekümmert hat, reagiert jetzt freudig auf einen Schluck reifer grüner Oliven - meiner Erfahrung nach ist dieses Neuron erst Anfang zwanzig online . Wenn alle Eingaben summiert würden, würde eine Änderung der Funktion eines Neurons bedeuten, dass die neuen Eingaben mühsam gegen jede andere Eingabe um Aufmerksamkeit kämpfen. Aber lassen Sie jedes Dendritenbit unabhängig wirken, und neue Berechnungen werden zu einem Kinderspiel.

Dies bedeutet, dass das Gehirn viele Berechnungen durchführen kann, die über die Behandlung jedes Neurons als Maschine zur Zusammenfassung von Eingaben und zum Ausspucken einer Spitze hinausgehen. Dies ist jedoch die Basis für alle Einheiten, aus denen ein künstliches neuronales Netzwerk besteht. Es deutet darauf hin, dass Deep Learning und seine KI-Brüder die Rechenleistung eines tatsächlichen Gehirns nur erahnt haben.

Ihr Kortex enthält 17 Milliarden Neuronen. Um zu verstehen, was sie tun, machen wir oft Analogien mit Computern. Einige verwenden diese Analogien als Eckpfeiler ihrer Argumente. Einige halten sie für zutiefst fehlgeleitet. Unsere Analogien beziehen sich oft auf künstliche neuronale Netze: Für neuronale Netze wird berechnet, und sie bestehen aus neuronähnlichen Dingen; und so sollte daher das Gehirn rechnen. Wenn wir jedoch glauben, das Gehirn sei ein Computer, weil es wie ein neuronales Netzwerk ist, müssen wir jetzt zugeben, dass einzelne Neuronen auch Computer sind. Alle 17 Milliarden von ihnen in Ihrem Kortex; vielleicht alle 86 Milliarden in deinem Gehirn.

Das bedeutet, dass Ihr Kortex kein neuronales Netzwerk ist. Ihr Kortex ist ein neuronales Netzwerk neuronaler Netzwerke.

Vielen Dank an Romain Caze für Vorschläge

Mehr wollen? Folgen Sie uns bei The Spike

Twitter: @markdhumphries