AV: Unterschied zwischen den Versionen

Aus toolbox_interaktion
Wechseln zu: Navigation, Suche
(Anhang)
(Anhang)
 
Zeile 165: Zeile 165:
 
     </p>
 
     </p>
 
</div>
 
</div>
 +
 +
 +
[[Category:Anwendungen]]

Aktuelle Version vom 7. Juli 2021, 16:48 Uhr

AV oder auch Audiovisualisierung bezeichnet die dynamische Darstellung von Grafiken und Animationen auf der Basis von Audiodaten, wie Musik, Sprache oder Geräuschen. Das Ziel ist einerseits die Verbildlichung von bestimmten Informationen im Material, um sie technisch beurteilbar zu machen und andererseits entwickelt sich die Visualisierung auch zu einer Kunstform, indem Musik optisch untermalt wird.

Preview.PNG Vorschau des "Reactive Shapes" Projekts

Projekt Ideen

Das Projekt befasst sich mit der Analyse von digitalen Audiosignalen. Diese werden mit Hilfe einer FFT eingelsen und hiernach weiterverarbeitet. Hieraus entstanden zwei projekt Ideen, die auf den selben Grundgedanken hatten. Bei dem einen Projekt wird eine Musik Datei analysiert, und in realtime zur Musik ein aufgezeichnetes Objekt zum rythm animiert. Bei dem anderen Projekt wird ein live input einer Gitarre durch ein ASIO audio-interface eingenommen und analysiert welcher ton momentan gespielt wird.

Methoden

Sampling

Um eine Schwingung mit digitalen Geräten verarbeiten zu können, wird das kontinuierliche Signal der Schwingung in eine Folge von Samples (zeitdiskretes Signal) umgewandelt. Je höher die Anzahl der Samples pro Sekunde ist, desto genauer wird das Signal dargestellt werden können. Nyquist theorem besagt, um ein Signal akurat darstellen zu können, muss die Abtastfrequenz mindestens zwei mal die der höchsten Frequenz des Signals sein. Da das hörbare Spektrum zwischen 20 und 20kHz liegt muss eine Abtastfrequenz von mindestens 40kHz eingestellt werden. Aus diesem grund sieht man in Audio-Dateien oft eine Samplerate von 44100 oder 48000 samples per second (sps).

Sampling-wave-2.png

Sampled-wave.png

Recreated-wave.png

FFT

Die schnelle Fourier-Transformation (englisch fast Fourier transform, daher meist FFT abgekürzt) ist ein Algorithmus zur effizienten Berechnung der diskreten Fourier-Transformation (DFT). Mit ihr kann ein zeitdiskretes Signal in seine Frequenzanteile zerlegt und dadurch analysiert werden.

Wave-gen.png Generieren einer Schwingung mit einer Grundfreuenz (Bin 1 auf 100%) und einer Oberfrequenz (Bin 8 auf 50%)

Specto.png Bildliche Darstellung der FFT. Die Peaks repräsentieren die Frequenzen, die durch die FFT hervorgehoben wurden. Links ist die Grundfrequenz und rechts die 8-fache Grundfrequenz verdeutlicht dargestellt.

Um die FFT durchführen zu können, müssen eine Bestimmte Anzahl von Samples des zeitdiskreten Signals in einem temporären Buffer der länge BL gespeichert werden. Die theoretisch maximal analysierbare Frequenz ist die hälfte der Abtastfrequenz aus dem Sampling-Prozess (fn = fs / 2) (Nyquist Theorem). Die Auflösung der FFT hängt ab von der Sample-rate und der Buffer Größe. (df = fs / BL)

44100sps-256B.PNG Spektrumanalyse nach anschlag der E2-Saite einer elektrischen Gitarre mit fs = 44100sps und BL = 256.

44100sps-8192B.PNG Spektrumanalyse nach anschlag der E2-Saite einer elektrischen Gitarre mit fs = 44100sps und BL = 8192.

Projekt Ausführung

Reactive Shapes

Reactive shapes ist eine Anwendung, die graphische Visualisierungen auf Tonimpulse ausgewählter Frequenzbänder reagieren lässt. Dabei können die parameter der zu visualisierenden Objekte individuell in der Benutzeroberfläche angepasst werden.

Reactive shapes.png

Noten Erkennung

Für das Erkennen der einzelnen Töne wird ein bestimmter Frequenzbereich am unteren ende des Spektrums betrachtet. Hier wird eine hohe Auflösung benötigt um nebenliegende Töne voneinander zu unterscheiden. Dies erbrachte dann Probleme, da die FFT Auflösung aus OpenFrameworks nicht ausreichend war, um tiefere Töne zu unterscheiden.

Hi-e.png Hohe E-Saite

Hi-f.png Hohe F-Saite

Lo-e.png Tiefe E-Saite

Lo-f.png Tiefe F-Saite

BEIx Clan

Haworth, Paul
Jäger, Philip
Kasembej, Alda
Mesbah, Younes
Reichmann, Isabell
Rico Birner, Julian
Schweigert, Isabelle

Anhang

Intern Project Download
Music used