Sprechende Hände
Eine neue Partiturnotation für experimentelles Musiktheater durch videokontrollierte Gestenerkennung und einem innovativen System für Gebärdensprachennotation, um neue Bewegungskompositionen zu ermöglichen.
Steckbrief
- Lead-Departement Hochschule der Künste Bern
- Weitere Departemente Technik und Informatik
- Institut Institut Interpretation
- Forschungseinheit Schnittstellen der zeitgenössischen Musik
- Förderorganisation BFH
- Laufzeit 01.01.2009 - 30.06.2010
- Projektverantwortung Angela Koerfer-Bürger
- Projektleitung Angela Koerfer-Bürger
-
Projektmitarbeitende
Franziska Baumann
Christian Baumberger
Claudia Brieske
David Burri
Wael Sami Taha Elkholy
Nehad Elsayed
Jérôme Heimann
Werner Jenni
Fabienne Meyer
Florian Volkmann
Dr. Andreas Leopold Dick - Schlüsselwörter Gestenerkennung, musikalische Performance, Gebärdensprachennotationssystem, Visualisierung
Ausgangslage
Kreation einer Schnittstelle disziplinärer Forschungen zur Handgeste und Erforschung von einzelnen Aspekten der Visualisierung der Handgeste, um weiterführende Forschung zur Notation von Gesten zu ermöglichen.
Vorgehen
Ein musikalisch-künstlerisches Team der HKB erstellte Elementargesten durch Video, die durch Informatiker der TI Burgdorf mittels Hidden Markov Model digitalisiert und erkennbar gemacht wurden. Eine neueTypografie des Hamburger Notationssystems (Gebärdensprache) wurde durch den Grafiker Jérôme Heimann kreiert. Die Knowlegde Visualization visualisierte dieselben Elementargesten und lieferte eine Motion History Extraction. Abschliessend notierte das HKB-Musikerteam das Werk Seq
Ergebnisse
Das Team TI-Burgdorf erreichte Gestenerkennung zu 100 % durch HMM. Die Komponisten entwarfen eine Partitur, in der sie komplexe Parameter durch neue Notate visualisieren und einfache Bewegungen durch traditionelle Piktogramme kombinieren.
Ausblick
Ein Interface, zur Umwandlung der digitalen Gestenerkennung durch HMM in Midi-Daten, würde es erlauben, künstlerische und psycholinguistische Gestenforschung weiterzuführen und in angewandten Projekten, (z.B.bei Gehörlosen) einzusetzen.
