Rufe nach Papieren

Zeit für ein weiteres Update zu den Vorbereitungen für NeurIPS 2019!

Wir haben bei der Rekrutierung von Gutachtern große Fortschritte gemacht. Wir haben jetzt über 4200 bestätigte Gutachter. Wir können nicht genug betonen, wie sehr ihr Engagement und ihr Engagement sehr geschätzt werden. NeurIPS wäre ohne sie nicht möglich. Wir sind jetzt zuversichtlich, dass wir unser Ziel von 4500 Gutachtern erreichen werden.

Der Aufruf zur Einreichung von Beiträgen

Im letzten Monat haben wir außerdem an der Fertigstellung des Call for Papers (CfP) gearbeitet, d. H. Das Dokument soll Werbung machen und weitere Einzelheiten zum Einreichungs- und Überprüfungsprozess für NeurIPS 2019 bereitstellen. Es ist jetzt auf der NeurIPS-Website hier. Wenn Sie Ihre Arbeit einreichen möchten, empfehlen wir Ihnen dringend, sie vollständig zu lesen.

Das CfP verweist unter anderem auf die 2019-Dateien, die häufig gestellten Fragen (FAQs), die basierend auf den Fragen, die wir erhalten, aktualisiert werden (Liste der Themenbereiche) und einige Themen wurden unter verschiedenen übergeordneten Themenbereichen verschoben).

Am wichtigsten ist, dass das CfP die größten Änderungen dieses Jahres aufzeigt. Nur Einsendungen mit ordnungsgemäßem Titel und Kurzzusammenfassung, die eine Woche vor (16. Mai) eingereicht wurden, werden die vollständige Einreichungsfrist für Papier (23. Mai) überprüft. Dies gibt uns als Programmvorsitzenden mehr Zeit, um das Programmkomitee an die Verteilung der Papiere 2019 anzupassen. Wir übernehmen auch die gleichen Richtlinien wie ICML 2019 für Autorenlisten, wodurch keine Änderungen an der Liste der Autoren vorgenommen werden können, die mit der vollständigen Einreichung auf Papier bereitgestellt werden. Durch die vollständige Liste der Autoren zu Beginn des Überprüfungsprozesses wird sichergestellt, dass Interessenkonflikte mit Gutachtern und Bereichsleitern vermieden werden. Um den Inhalt von NeurIPS 2019 auch für Personen zugänglich zu machen, die nicht teilnehmen können, müssen vor der Konferenz für alle akzeptierten Beiträge ein oder mehrere Begleitmaterialien (Video-Spotlight, Dias oder Poster) eingereicht werden.

Die zwei wichtigsten Änderungen für NeurIPS 2019 sind jedoch die Einführung von 1) einer obligatorischen Reproduzierbarkeitsliste für alle Einreichungen und 2) einer formalen Erwartungsbekundung bezüglich der Einreichung von Code durch eine neue Code Submission Policy.

Reproduzierbarkeits-Checkliste

Die Reproduzierbarkeit der auf NeurIPS und anderen Konferenzen veröffentlichten Forschung war in der Gemeinschaft von vielen Anlass und Besorgnis. Die Posner-Vorlesung auf der NeurIPS 2018 von Joelle Pineau (die Sie hier sehen können) gab einen Überblick über diese Anliegen und Herausforderungen. Aus diesem Grund haben wir uns zusammen mit Hanna Wallach (NeurIPS 2019 General Chair) entschieden, mit einer Initiative zu experimentieren, um dieses Problem stärker zu sensibilisieren.

Joelle Pineau wurde als Koordinator für Reproduzierbarkeit ernannt. Angesichts ihres Engagements und ihrer Führungsrolle in Bezug auf dieses Thema war Joelle eine natürliche Wahl für diese neue Rolle.

Als Teil des Einreichungsprozesses benötigen wir Antworten auf die Fragen aus der Reproducibility-Checkliste, die Joelle auf der NeurIPS 2018 eingeführt hat und seitdem perfektioniert hat. Die Antworten werden Reviewern und Bereichsleitern zur Verfügung stehen, die diese Informationen verwenden können, um die Klarheit und die möglichen Auswirkungen von Einsendungen zu beurteilen.

Reproduzierbarkeit Die Antworten auf die Checkliste werden analysiert und hoffentlich mehr Licht auf den Stand der Reproduzierbarkeit der Forschung bei NeurIPS werfen.

Code-Übermittlungsrichtlinie

Ein weiteres Thema, das in letzter Zeit heftig diskutiert wurde, ist die Frage, ob der Code eine wissenschaftliche Studie zum maschinellen Lernen begleiten soll, und falls ja, welche Mechanismen ergriffen werden müssen, um dies allgemeiner zu gestalten.

Wir glauben, dass Code oft ein Schlüsselelement des wissenschaftlichen Prozesses ist und daher eine wichtige Rolle bei der Verbreitung wissenschaftlicher Erkenntnisse in unserer Gemeinschaft spielen sollte. Aus diesem Grund haben wir eine Code Submission Policy geschrieben, die die Erwartungen von NeurIPS 2019 hinsichtlich der Einreichung von Code klarstellt. Wir empfehlen allen, es vollständig zu lesen.

Kurz gesagt, es wird erwartet, dass der Code die für die Kamera bereiten Überarbeitungen der akzeptierten Dokumente, die unter die Richtlinie fallen (am 27. Oktober fällig) ist, begleitet. Die Richtlinie beschreibt die Arten von Papieren, die mit einem Kodex einhergehen sollten, und die ausreichenden Bedingungen, damit der Kodex die Standards der Richtlinie erreichen kann. Beachten Sie, dass der Code wie in den vergangenen Jahren auch als ergänzendes Material zum Zeitpunkt der Einreichung bereitgestellt werden kann (die Identität der Autoren sollte jedoch nicht angegeben werden).

Diese Initiative ist ein Experiment, von dem wir hoffen, dass es die Politik für die kommenden Jahre beeinflusst. Daher wird die Einreichung des Codes (für die von der Richtlinie abgedeckten Dokumente) erwartet, obwohl er nicht durchgesetzt wird. Der Reproducibility Chair wird die Analyse der Auswirkungen dieser Maßnahme unterstützen.

Wir haben darüber nachgedacht, formellere Anreize für die Einreichung von Code zu schaffen. Durch Gespräche mit verschiedenen Personen in der Gemeinschaft (die bereits im letzten Herbst begannen) wurde jedoch klar, dass dieses Thema erfordert, dass wir vorsichtig vorgehen, da wir erfahren, wo sich unsere „Wohlfühlzone“ als Gemeinschaft befindet.

Wir möchten diese Gelegenheit nutzen, um Kamalika Chaudhuri, Ruslan Salakhutdinov, Yoshua Bengio, Rich Zemel, Samy Bengio, Hanna Wallach, Max Welling, Joelle Pineau und den Mitgliedern des NeurIPS-Vorstands im Allgemeinen für ihre Rückmeldungen zu unserer vorgeschlagenen Code Submission Policy zu danken.

Das ist es für diese Zeit. Wir hoffen, dass wir einige Zeit vor dem Abgabetermin ein weiteres Update erhalten. Bleib dran!

Alina Beygelzimer, Emily Fox, Florence d'Alché-Buc, Hugo LarochelleNeurIPS 2019 Programmstühle