Sprechende Hände
Eine neue Partiturnotation für experimentelles Musiktheater durch videokontrollierte Gestenerkennung und einem innovativen System für Gebärdensprachennotation, um neue Bewegungskompositionen zu ermöglichen.
Steckbrief
-
Beteiligte Departemente
Hochschule der Künste Bern
Technik und Informatik - Institut(e) Institut Interpretation
- Forschungseinheit(en) Schnittstellen der zeitgenössischen Musik
- Förderorganisation BFH
- Laufzeit 01.01.2009 - 30.06.2010
- Projektleitung Angela Elisabeth Koerfer
-
Projektmitarbeitende
Franziska Baumann
Christian Baumberger
Claudia Brieske
David Burri
Jérôme Heimann
Werner Jenni
Fabienne Meyer
Dr. Andreas Leopold Dick - Schlüsselwörter Gestenerkennung, musikalische Performance, Gebärdensprachennotationssystem, Visualisierung
Ausgangslage
Kreation einer Schnittstelle disziplinärer Forschungen zur Handgeste und Erforschung von einzelnen Aspekten der Visualisierung der Handgeste, um weiterführende Forschung zur Notation von Gesten zu ermöglichen.
Vorgehen
Ein musikalisch-künstlerisches Team der HKB erstellte Elementargesten durch Video, die durch Informatiker der TI Burgdorf mittels Hidden Markov Model digitalisiert und erkennbar gemacht wurden. Eine neueTypografie des Hamburger Notationssystems (Gebärdensprache) wurde durch den Grafiker Jérôme Heimann kreiert. Die Knowlegde Visualization visualisierte dieselben Elementargesten und lieferte eine Motion History Extraction. Abschliessend notierte das HKB-Musikerteam das Werk Seq
Ergebnisse
Das Team TI-Burgdorf erreichte Gestenerkennung zu 100 % durch HMM. Die Komponisten entwarfen eine Partitur, in der sie komplexe Parameter durch neue Notate visualisieren und einfache Bewegungen durch traditionelle Piktogramme kombinieren.
Ausblick
Ein Interface, zur Umwandlung der digitalen Gestenerkennung durch HMM in Midi-Daten, würde es erlauben, künstlerische und psycholinguistische Gestenforschung weiterzuführen und in angewandten Projekten, (z.B.bei Gehörlosen) einzusetzen.
