Training eines Swiss Long Legal BERT Modells
Wir werden juristische Texte in deutscher, französischer und italienischer Sprache scrapen, um ein Schweizer Long Legal BERT-Modell zu trainieren, das NLP-Aufgaben in der Schweizer Rechtsdomäne besser erfüllen kann.
Steckbrief
- Beteiligte Departemente Wirtschaft
- Institut(e) Institut Public Sector Transformation (IPST)
- Forschungseinheit(en) Digital Sustainability Lab
- Förderorganisation Andere
- Laufzeit (geplant) 15.12.2021 - 31.12.2022
- Projektleitung Joël Niklaus
-
Projektmitarbeitende
Alperen Bektas
Veton Matoshi - Partner Schweizerisches Bundesgericht
Ausgangslage
Wir sehen eine klare Forschungslücke darin, dass BERT-Modelle, die lange mehrsprachige Texte verarbeiten können, derzeit noch zu wenig erforscht sind (Lücke 1). Außerdem gibt es unseres Wissens nach noch kein mehrsprachiges juristisches BERT-Modell (Lücke 2). Tay et al. 2020b stellen einen Benchmark für die Bewertung von BERT-ähnlichen Modellen vor, die lange Eingaben verarbeiten können, und kommen zu dem vorläufigen Schluss, dass BigBird Zaheer et al., 2020 die derzeit leistungsfähigste Variante ist.
Vorgehen
Wir planen daher, ein BERT-ähnliches Modell (wahrscheinlich BigBird) auf mehrsprachige Langtexte vorzutrainieren, um die erste Forschungslücke zu schließen. Um die zweite Lücke zu schließen, planen wir, dieses Modell mit mehrsprachigen Rechtstexten weiter zu trainieren Gururangan et al., 2020 .
