Les mains en question
Une nouvelle notation en partition pour le théâtre musical experimental par reconnaissance de gestes et un système innovant de notation de language de signes pour créer de nouvelles compositions.
Fiche signalétique
- Département responsable Haute école des arts de Berne
- Autres départements Technique et informatique
- Institut Institut Interprétation
- Unité de recherche Intersections de la musique contemporaine
- Organisation d'encouragement BFH
- Durée 01.01.2009 - 30.06.2010
- Responsable du projet Angela Koerfer
- Direction du projet Angela Koerfer
-
Équipe du projet
Franziska Baumann
Christian Baumberger
Claudia Brieske
David Burri
Wael Sami Taha Elkholy
Nehad Elsayed
Jérôme Heimann
Werner Jenni
Fabienne Meyer
Florian Volkmann
Dr. Andreas Leopold Dick - Mots-clés reconnaissnce de gestes, performance musicale, notation language des signes, visualisation
Situation
Création d’une plateforme interdisciplinaire afin de permettre la recherche sur le geste et l’approfondissement d’aspects spécifiques du geste de la main pour créer de nouvelles voies de recherches sur la notation du geste.
Approche
Une équipe de compositeurs de la HKB fournissait des gestes elémentaires par vidéo aux informaticiens de la TI Burgdorf qui les digitalisaient dans le Modèle de Hidden Markov. Une nouvelle typographie de notation de language des signes a été crée par Jérôme Heimann. Fabienne Meyer a élaboré une visualisation par extraction de l’histoire du mouvement. En phase finale des projets les différentes approches ont été integrée dans une partition interdisciplinaire
Résultat
L’équipe de TI-Burgdorf a réussi la reconnaissance de gestes par HMM à 100%. Les compositeurs ont combiné des éléments complexes par visualisation avec des pictograms pour les élements de mouvement plus simples dans une partition-type.
Perspectives
La transformation en interface des dates de reconnaissance-gestes du MHM à une base de dates-midi permettrait de poursuivre la recherche artistique et psycholinguistique sur les gestes dans des projets appliqués (p.e. pour des sourd-muets)
