Gesten Lernhilfe für Smartphones (Touchscreens)
Ein Projekt, das die Grenzen der digitalen Inklusion erweitert. Eine innovative App soll blinde und stark sehbeeinträchtigte Lehrende an die komplexen Touch- und Wischgesten von Smarphones heranführen.
Steckbrief
-
Beteiligte Departemente
Hochschule der Künste Bern
Technik und Informatik -
Institut(e)
Institute of Design Research
Institute for Patient-centered Digital Health (PCDH) - Forschungseinheit(en) Knowledge Visualization
- Strategisches Themenfeld Themenfeld Humane Digitale Transformation
- Förderorganisation BFH
- Laufzeit (geplant) 01.05.2025 - 31.12.2025
- Projektleitung Prof. Dr. Kerstin Denecke
-
Projektmitarbeitende
Martin Gaberthüel
François von Kaenel
Gabriel Hess - Partner Apfelschule
- Schlüsselwörter Wischgesten, Taktil, Smartphone, Blind, Sehbehindert, Sehbeeintächtigt, Lernen
Ausgangslage
Eine didaktische Herausforderung Der Verein Apfelschule möchte blinden und sehbehinderten Menschen über den Zugang zu neuen, smarten Technologien ein Stück Unabhängigkeit ermöglichen. Eine grosse Herausforderung dabei ist das Vermitteln von Touch- und Wischgesten. Es gibt zahlreiche Gesten, die mit einem, zwei, drei oder vier Fingern ausgeführt werden. Je nachdem, ob gewischt, getippt oder gestrichen wird, reagiert der Touchscreen unterschiedlich. Wenn Lehrende selbst sehbeeinträchtigt oder blind sind, ist es sehr schwierig, die Ausführung der Gesten zu kontrollieren und zu korrigieren. Sie können nicht sehen, was falsch gemacht wurde und warum eine Geste beim Üben nicht funktioniert bzw. nicht den gewünschten Effekt erzielt hat.
Vorgehen
Die Idee und ihre technischen Herausforderungen Im Projekt entstand die Idee, eine barrierefreie Lern-App zu entwickeln, deren Design höchsten Anforderungen an Farben, Schriften, Symbole und Kontraste für sehbeeinträchtigte Menschen entspricht. Sie soll auch das sehende Umfeld einbeziehen, um das Bewusstsein für digitale Barrieren zu stärken. Die App führt in drei Schritten an Smartphone-Gesten heran: Eine Gestenliste, anschliessend didaktische Lektionen und zuletzt ein Spiel, das Wissen mittels verschiedener Gesten abfragt. Zusätzlich unterstützt die App sehbeeinträchtigte Kursleitende dabei zu erkennen, ob Teilnehmende Gesten korrekt ausführen. Die Entwicklung bringt jedoch Herausforderungen mit sich. Als Drittanbieter müssen wir alle Touch- und Wischgesten selbst implementieren, da Hersteller keine Schnittstellen bereitstellen und viele Parameter – etwa Dauer oder Winkel einer Geste – nicht definiert sind. Dies erfordert umfangreiche Tests. Erschwerend kommt hinzu, dass Gesten nicht erkannt werden, wenn auf Geräten die Gesten-Steuerung aktiviert ist, da das Betriebssystem diese direkt verarbeitet. Für den produktiven Einsatz wären daher spezielle Schulungsgeräte nötig.
Ergebnisse
Eine Lern-App mit drei Levels «VoiceOver» ist ein Bildschirmleseprogramm, das blinden oder sehbehinderten Menschen ermöglicht, den angezeigten Inhalt mithilfe von Sprachausgabe zu erleben und das Smartphone oder Tablet mit Gesten zu bedienen. Um diese Gesten zu erlernen, wurde eine digitale Lernhilfe als Web-Applikation (Proof-of-Concept) entwickelt. Sie besteht aus drei Kernelementen, welche die Nutzer:innen progressiv an die verschiedenen Gesten heranführen: die «Liste», die «Lektion» und das «Spiel».
Ausblick
Mehrwert und das Wie-weiter Durch die angestrebte Lern-App sollen Kursleiter:innen der Apfelschule und anderen interessierten Institutionen eine bessere Kontrolle dafür bekommen, ob die Gesten korrekt ausgeführt werden. Der aktuelle Prototyp setzt noch nicht das Feedback an die Kursleitenden um. Nur mit einer solchen Feedbackfunktion können sie in Erfahrung bringen, was noch geübt und vermittelt werden soll, damit die Lernenden die Gesten korrekt ausführen. Perspektivisch geht das Projekt über das blosse Training von Touch- und Wischgesten hinaus. Ein Folgeprojekt zielt darauf ab, eine spielerische und didaktisch wertvolle Lernhilfe zu entwickeln, die sowohl blinde und sehbeeinträchtigte Menschen als auch sehenden Nutzern neue Möglichkeiten bietet, ins Spiel eintauchen und die Welt der Gesten erkunden zu können. Das Ergebnis: Eine inklusive Lern-App, die gleichzeitig ein spannendes und fesselndes Spiel für Jung und Alt wird!
