MeshProjektion

Aus toolbox_interaktion
Wechseln zu: Navigation, Suche


Mesh: Interaktive Projektionsfläche

In unserem Projekt "Mesh" geht es um eine interaktive Rauminstallation. Der Betrachter sieht vor sich seinen eigenen Schatten projiziert. Dieser erweckt den Anschein, dass er seine eigene Gravitation hat, da er von einem Netz umgeben ist, das sich auf die Bewegungen des Betrachters anpasst - wenn sich der Betrachter bewegt, verformt sich das projizierte Netz. Die Bewegung im Netz wirkt, durch eine fehlende Verzögerung und das Nachziehen des Netzes, besonders flüssig. Eine Tiefenwirkung entsteht.

Real netz.png

Geräte und Aufbau:

Hardware - IR-Kamera (+Stativ) - IR-Scheinwerfer - Ultra-Kurzdistanz-Beamer - Computer

Software - Visual Studio - openframeworks (VS17) - opencv

Realisierung

Bild bearbeitungMesh.png


Bildverarbeitung Das aufgenommene Infrarotbild wird hier zu einem Graubild konvertiert. Dabei wird das Bild mit Hilfe eines Schwellwerts vom Hintergrund abgezogen (Hintergrund-Subtraktion). Der Umriss des „Schattens“ wird dann durch Bildsubtraktionen generiert, welcher dann auf den Hintergrund addiert wird. Zusätzlich eroded, dilated (sog. Opening) und blurred man das Bild zur Verbesserung.

Mesh pic.png

Netz mit ofMesh: Vertexpunkte (vertices) werden in einem grid[][] mit dazugehörigen x, y Koordinaten und Helligkeitswerten gespeichert und dann gesetzt. Verbindungsindizes (indeces) werden überall gesetzt, den Rändern ausgenommen.

Schatten: Es wird ein array[] mit den Helligkeitswerten von links oben nach rechts unten angelegt. Die Helligkeit der Pixel, auf denen ein Vertex oder Index liegt, werden um den korrespondierenden Wert subtrahiert.

Gravitation: Betroffene Vertices (Helligkeit != 1) und die, auf ihnen liegenden, Indices werden verschoben. Alle unbetroffenen Vertices bleiben unverändert.

Probleme

Da wir mit dem Standard-Beamer eine Überlagerung der Projektion durch den „echten“ Schatten des Betrachters hatten, haben wir uns für einen Ultra-Kurzdistanz-Beamer entschieden. Das schwierigste war zum Ende hin die richtige Ausrichtung von Kamera und Infrarot-Strahler. Ein „echter“ Infrarot-Schattenwurf, welchen man in der Projektion gesehen hätte, sollte vermieden werden. Die passende Ausrichtung war auch entscheidend für die Übereinstimmung von projizierten Schatten und Betrachter.

Mögliche Erweiterungen

Musikalische Bewegungen: Denkbar wäre es Sounds auf den einzelnen Netzlinien zu implementieren, welche bei Bewegung abgespielt werden. Das Netz kann passend zu einem Takt oder Rhythmus der Musik von der Mitte aus pulsieren.

Unser Traum wäre jedoch eine größere Projektionsfläche, ein ganzer Raum, in welchem alle Wände in unterschiedlichen Farben projiziert werden. Also ein riesiger farbiger Spielplatz.

Link

Programmcode