InteractiveLoops

Aus toolbox_interaktion
Wechseln zu: Navigation, Suche

Idee

Die Grundidee des Projektes war es auf irgend eine Art Interaktion mit Musik zu verbinden. Nach einiger Überlegung und ein paar fixen Ideen, wie man dieses Ziel erreichen könnte, kam die Idee auf, die dem Projekt seinen Namen gab: Interactive Loops

Der Benutzer soll den Lautstärke Pegel verschiedener Musiksequenzen (Loops) interaktiv durch Gesten steuern

Projektidee - Präsentation

Dazu benötigt man:

  • Eine Methode Gesten zu erkennen
  • Einen Pattern Sequencer (zum Abspielen der Loops)
  • Ein passendes Kommunikationsprotokoll

In den folgenden Wochen hat sich das Team, das sich um die Idee gebildet hat Gedanken zur Umsetzung gemacht und recherchiert, welche Tools für die obigen Anforderungen eingesetzt werden könnten.

Umsetzung

Anfangs war geplant eine Gestenerkennung mit Microsofts Kinect oder Nintendos Wii zu realisieren, doch dann sind wir aus Gründen der Portabilität und der einfacheren Umsetzung auf eine Bildverarbeitung mit EyesWeb umgestiegen. Dabei soll EyesWeb die Hand des Benutzers erkennen und ein MIDI Signal an den Sequencer schicken, wenn die Hand sich in einem bestimmten Bereich im Bild befindet (ROI).

Verwendete Software

  • Bilderverarbeitung: EyesWeb 5.2.1 (Freeware)
  • Pattern Sequencer: Ableton Live 7 (als Demo erhältlich)
  • Sound Library: NativeInstruments Absynth 5 (als Demo erhältlich)
  • Virtueller MIDI Port: LoopBe1 - Internal MIDI Port (Freeware)

Bildverarbeitung

Patch.PNG

Um die Erkennung der menschlichen Hand bzw. des Körpers und das triggern und senden der MIDI Signale kümmert sich EyesWeb. Unser EyesWeb Patch macht im Grunde folgendes um den Benutzer zu identifizieren:

  • Bild durch die interne Laptop Kamera aufnehmen
  • Hintergrundsubtraktion und Binarisierung
  • Filterung

Nun wird das Bild in verschiedene Teilbereiche (ROIs) aufgeteilt. Wenn sich in einer ROI mehr Punkte als ein definierter Schwellwert befinden, dann wird ein booleanTrigger erzeugt und je nach ROI ein codiertes MIDI Signal an einen MIDI Port geschickt.

Pattern Sequencer

Als Sequencer verwenden wir die digitale Audio Workstation Ableton Live 7, da sie von Haus aus MIDI versteht und einer der Projektmitglieder schon Erfahrung im Umgang mit dem Tool hat. Die einzelnen Loops waren demnach schnell mit Hilfe eines MIDI Keyboards eingespielt und es konnten erste Tests gemacht werden.

Download Ableton Projekt

Demovideo

Während Tests der MIDI Kommunikation zwischen dem Sequencer und einem MIDI Keyboard zum steuern der Lautstärkepegel der einzelnen Loops entstand ein schönes Video, das ich an dieser Stelle nicht vorenthalten möchte. Fall sich bisher immer noch jemand fragt was ein Pattern Sequencer oder ein Loop ist, der wird hier aufgeklärt. Vielen Dank an dieser Stelle an die Bildbauerei mit deren Zusammenarbeit das Video zu Demonstrationszwecken entstanden ist.

Virtueller MIDI Port

Damit die MIDI Nachrichten aus EyesWeb auch im Sequencer ankommen benötigen wir noch einen virtuellen MIDI Port. Dieser muss in EyesWeb als Standard MIDI out und in Ableton als MIDI in Port eingestellt werden, damit die Kommunikation funktioniert.

Fazit

Insgesamt hat das Projekt InteractiveLoops viel Spaß gemacht - vor allem da das Thema komplett frei wählbar war. Letztendlich funktioniert die ganze Sache besser, als zuerst erwartet und kann einen schon mal 30 Minuten vor dem Bildschirm halten. Vorausgesetzt ist eine kleine Affinität für Minimal Techno Musik, denn in diesem Stil sind die einzelnen Loops gehalten. Es wäre natürlich kein Problem in Zukunft andere Ableton Projekte mit anderen Sounds mit unserem Patch zu steuern. Übrigens hat Micorosoft vor kurzem ein MIDI Patent für gestengesteuerte Musik angemeldet. In Zukunft kommt da bestimmt noch mehr.