Entwicklung einer Notation von Handgesten im experimentellen Musik-und Tanztheater

Une nouvelle notation en partition pour le théâtre musical experimental par reconnaissance de gestes et un système innovant de notation de language de signes pour créer de nouvelles compositions.

Fiche signalétique

Situation

Création d’une plateforme interdisciplinaire afin de permettre la recherche sur le geste et l’approfondissement d’aspects spécifiques du geste de la main pour créer de nouvelles voies de recherches sur la notation du geste.

Approche

Une équipe de compositeurs de la HKB fournissait des gestes elémentaires par vidéo aux informaticiens de la TI Burgdorf qui les digitalisaient dans le Modèle de Hidden Markov. Une nouvelle typographie de notation de language des signes a été crée par Jérôme Heimann. Fabienne Meyer a élaboré une visualisation par extraction de l’histoire du mouvement. En phase finale des projets les différentes approches ont été integrée dans une partition interdisciplinaire

Résultat

L’équipe de TI-Burgdorf a réussi la reconnaissance de gestes par HMM à 100%. Les compositeurs ont combiné des éléments complexes par visualisation avec des pictograms pour les élements de mouvement plus simples dans une partition-type.

Perspectives

La transformation en interface des dates de reconnaissance-gestes du MHM à une base de dates-midi permettrait de poursuivre la recherche artistique et psycholinguistique sur les gestes dans des projets appliqués (p.e. pour des sourd-muets)