Jacob Korn – Harmony Universe.

Ein virtuelles Musikinstrument zur Vermittlung von komplexen musiktheoretischen Zusammenhängen unter Berücksichtigung von körperbetontem Lernen.

Digitale Musikinstrumente und Musikspiele sind in ihrer Spielweise in den letzten Jahren stärker in Richtung Ganzkörpersteuerung entwickelt worden. Doch geschieht das Spielen dieser Instrumente und Spiele mit alternativen Eingabemöglichkeiten oft allein. Im Rahmen meiner Diplomarbeit wurde eine musikalische Mehrbenutzerumgebung entwickelt, welche es ermöglicht, durch das Einbeziehen der gesamten Körperbewegung, ein Musikstück in der Gruppe spielen zu können. Dies geschah unter Verwendung eines Kamera-Motiontracking-Systems, welches markerlos für bis zu sieben Spieler funktioniert. Seitens der Ausgabe wurde eine AV-Echtzeitumgebung implementiert, welche durch Bodenprojektion und mittels Mehrkanal-Sound wiedergegeben wird. Das User Interface besteht aus sieben Kugeln, welche im Kreis angeordnet sind. Diese Anordnung orientiert sich am „Harmony Pad“ des Fraunhofer IDMT. So ist es möglich, Beziehungen zwischen Intervallen, Akkorden und Tonarten zu visualisieren, was eine Erleichterung beim Verdeutlichen musiktheoretischer Grundlagen mit sich bringt.

Auf jeder dieser Spielfelder hat ein Kind/Erwachsener die Möglichkeit, durch seine Bewegung einen Ton zu erzeugen. Es wurde hierbei ein einfaches Mapping-Schema mittels „one-to-one-Mappings“ verwendet. Durch die Bewegungsaktivität wird die Lautstärke des Klangs gesteuert, wobei die Tonhöhe der Noten durch die sieben verschiedenen Felder bestimmt wird. Diese Aktion wird durch ein visuelles Aufblitzen begleitet. Seitens des Spiels gilt es Noten zu „fangen“, welche grafisch auf den Boden projiziert werden. Geschieht das zum richtigen Augenblick, so werden Punkte vergeben, und es kann ein Gewinner ermittelt werden.

Es gibt zwei Spielmodi. „Musikstück begleiten“ beinhaltet kurze Noten bei Spielbeginn und bei steigender Schwierigkeit verschiedene Tonlängen. Das Spiel beginnt monophon, also jedes Kind ist nacheinander an der Reihe, danach wird ein mehrstimmiges Musikstück nachgespielt. „Freie Improvisation“ beschreibt den Ansatz ohne visuelle Noten und Punktezähler. Die Kinder können hier zeigen, was sie beim ersten Modus gelernt haben oder einfach ihrer Kreativität freien Lauf lassen.

Technisch wurde das System durch eine Infrarot-Kamera realisiert, welche an dem Projektor mindestens 5m über der Tanzfläche befestigt wird. Ein Computer verarbeitet hierbei das Kamerabild und berechnet die Projektion und den Ton in Echtzeit.

Weiterhin wurde der Prototyp mit 30 Kindern einer 6. Klasse bezüglich der Usability getestet. Die Evaluation zeigte eine intuitive Steuerung des Spiels und eine gute Akzeptanz bezüglich des berührungslosen Eingabekonzepts.

Jacob Korn: Software-Entwicklung, Game- und Klang-Design

Beteiligte: Frieder Weiss (Kamera-Tracking), Marko Ritter (VVVV-Unterstützung)

Credits: In Kooperation mit dem Fraunhofer Institut (IDMT), Professor Karlheinz Brandenburg und der Trans-Media-Akademie Hellerau.

www.t-m-a.de