3 Fragen an Joël Niklaus zum Internship bei (Google) X

Joël, du warst vier Monate lang in einem Internship bei (Google) X. Was genau hast du dort gemacht?

Zuerst habe ich gelernt, wie man innerhalb von Google Software entwickelt, Experimente laufen lässt und Forschung betreibt. Dies war nicht ganz einfach, da ich viele neue Tools und Software Libraries lernen musste. Dann habe ich Datensets, wie LEXTREME, MultiLegalPile und LegalBench, die ich mit Co-Autoren entwickelt habe, integriert, so dass wir diese für Experimente verwenden konnten. Letztlich konnte ich viele Experimente durchführen, um den Effekt von Pretraining und Instruction Tuning von LLMs (Large Language Models) auf rechtsspezifische Daten zu untersuchen. Dafür konnte ich die Supercomputer von Google benützen, was hunderte von Experimenten in wenigen Wochen ermöglicht hat.

Was hat dir besonders gut gefallen?

Die grosse Verfügbarkeit von unglaublich viel Rechenleistung ermöglichte die schnelle Beantwortung von vielen Fragen. Dies ist sehr motivierend für Forscher wie mich, da wir da unsere Neugier stillen können. Es ermöglicht Experimente, die nur an sehr wenigen anderen Orten möglich wären. Weiter war es sehr spannend, mit einigen von den weltweit führenden Forschern im Gebiet der grossen Sprachmodelle zu sprechen. Es war sehr inspirierend, jeden Tag von so vielen interessanten Leuten umgeben zu sein. Letztlich hatten wir unter den Praktikant*innen eine sehr entspannte und kollegiale Atmosphäre. Wir haben einige Ausflüge unternommen in der Umgebung, wie bspw. zum Sequoia Park oder ins Napa Valley.

Was nimmst du mit für deine Arbeit an der BFH?

Ich habe gelernt, mich schnell in neue technologische Umgebungen einzufinden und eine Vielzahl von Softwaretools und -bibliotheken zu meistern. Die Integration und Anwendung spezialisierter Datensätze in meiner Forschung haben meine Fähigkeiten in der Datenverarbeitung und -analyse gestärkt. Die Durchführung von Experimenten mit LLMs, insbesondere im Bereich des Pretrainings und Instruction Tuning auf rechtsspezifischen Daten, hat mir tiefe Einblicke in die Anwendung und das Potenzial dieser Technologien gegeben. Die Erfahrung, mit den Supercomputern von Google zu arbeiten, hat mir die Möglichkeiten gezeigt, die sich aus dem Zugang zu umfangreichen Rechenressourcen ergeben. Zudem habe ich von den Diskussionen mit weltweit führenden Forschern profitiert, was sowohl meine Inspiration wie auch mein berufliches Netzwerk erweitert hat. Die teamorientierte und unterstützende Atmosphäre unter den Praktikant*innen hat mir zudem die Bedeutung von Teamarbeit und einem guten Arbeitsklima verdeutlicht. All diese Erfahrungen bringen mich dazu, innovative Ansätze in meiner Forschung an der BFH zu verfolgen und meine Lehrmethoden mit praktischen Industrieeinblicken anzureichern.

(Google) X

X (bis Anfang 2016 noch «Google X») ist die Forschungsabteilung des US-amerikanischen Unternehmens Alphabet Inc. Das Forschungslabor liegt in der Nähe des zentralen Google-Campus im kalifornischen Mountain View.