Les mains en question
Une nouvelle notation en partition pour le théâtre musical experimental par reconnaissance de gestes et un système innovant de notation de language de signes pour créer de nouvelles compositions.
Fiche signalétique
-
Départements participants
Haute école des arts de Berne
Technique et informatique - Institut(s) Institut Interprétation
- Unité(s) de recherche Intersections de la musique contemporaine
- Organisation d'encouragement BFH
- Durée 01.01.2009 - 30.06.2010
- Direction du projet Angela Elisabeth Koerfer
-
Équipe du projet
Franziska Baumann
Christian Baumberger
Claudia Brieske
David Burri
Jérôme Heimann
Werner Jenni
Fabienne Meyer
Dr. Andreas Leopold Dick - Mots-clés reconnaissnce de gestes, performance musicale, notation language des signes, visualisation
Situation
Création d’une plateforme interdisciplinaire afin de permettre la recherche sur le geste et l’approfondissement d’aspects spécifiques du geste de la main pour créer de nouvelles voies de recherches sur la notation du geste.
Approche
Une équipe de compositeurs de la HKB fournissait des gestes elémentaires par vidéo aux informaticiens de la TI Burgdorf qui les digitalisaient dans le Modèle de Hidden Markov. Une nouvelle typographie de notation de language des signes a été crée par Jérôme Heimann. Fabienne Meyer a élaboré une visualisation par extraction de l’histoire du mouvement. En phase finale des projets les différentes approches ont été integrée dans une partition interdisciplinaire
Résultat
L’équipe de TI-Burgdorf a réussi la reconnaissance de gestes par HMM à 100%. Les compositeurs ont combiné des éléments complexes par visualisation avec des pictograms pour les élements de mouvement plus simples dans une partition-type.
Perspectives
La transformation en interface des dates de reconnaissance-gestes du MHM à une base de dates-midi permettrait de poursuivre la recherche artistique et psycholinguistique sur les gestes dans des projets appliqués (p.e. pour des sourd-muets)
