Gestengesteuertes Musik-Komponieren

Aus toolbox_interaktion
Wechseln zu: Navigation, Suche



Einleitung

Dieses Interaktionssystem dient dazu, dass durch Gestensteuerung Musik komponiert und abgespielt werden kann

Idee System.jpg

Systemaufbau

Systemaufbau.jpeg

Klaviertasten

Die Klaviertasten sind dazu da, um zu zeigen in welchem Bereich welcher Ton erklingen wird und somit die Bedienung benutzerfreundlich zu machen.

Kamera

Als Kamera wurde die Logitech Pro 9000, die über USB mit dem Computer verbunden ist, benutzt.

Eyesweb

Die verwendete Eyesweb Version ist 5.2.1

Lautsprecher

Zur Audioausgabe wurden die internen Lautsprecher des Laptops genutzt.

Verarbeitung mit Eyesweb

Farberkennung

Die Gestensteuerung beginnt durch die Erkennung einer Farbe. Dazu wird zuerst ein Snapshot gemacht und mit Hilfe von Click Select kann der Benutzer dann die zu verwendende Farbe auswählen. Siehe Farbsegmentierung

Farberkennung.jpg

Region of Interest

Der Anwendungsbereich wurde in 10 horizontale Regionen aufgeteilt. Je nachdem in welcher Region eine Geste erkannt wird, wird ein anderer Ton bzw Sound abgespielt. In der ROI wird die Summe der Pixel (Fläche) berechnet. Wenn dieser Wert einen bestimmten Schwellwert überschreitet, wird ein Bool Wert auf TRUE gesetzt und eine MIDI message gesendet.

ROI.jpg

MIDI Ausgabe

Jeder Region of Interest ist ein anderer Ton zugewiesen. Diese Information wird mit einer MIDI message an einen MIDI Port gesendet und dort ausgegeben.

MIDI.jpg

MIDI message Parametrierungen

First Byte: Tonhöhe / Soundart

Second Byte: Anschlagstärke / Lautstärke

Drums

Channel 10

First Byte:

          35 für Base Drum2
          40 für Snare Drum
Piano

Channel 1

First Byte:

          69 für den Ton A4
          71 für den Ton B4
          72 für den Ton C5
          74 für den Ton D5
          75 für den Ton E5
          77 für den Ton F5
          79 für den Ton G5
          81 für den Ton A5

Probleme

Eines der Probleme war die Verwendung vom Eyesweb Audio BufferBlock. Diese führte zu einer verzögerten Ausgabe, einem weckerähnlichem Sound und das System reagierte nicht sofort wenn die Geste erkannt wurde. Dies wurde durch die Verwendung einer MIDI Ausgabe gelöst.

Anfangs war es schwierig ein farbiges Objekt, das erkannt werden sollte, zu finden, welches weder reflektiert, Schatten wirft und eine homogene Farbe hat.

Auch wurde ein einfarbiger Hintergrund verwendet, damit kein anderes Objekt im Hintergrund einen Ton auslösen kann.


GestengesteuertesMusik-Komponieren_Projekt

GestengesteuertesMusik-Komponieren_Projekt