AR.Drone mit Sprachsteuerung

Aus toolbox_interaktion
Wechseln zu: Navigation, Suche

Einleitung

Unsere Idee war eine AR.Drone der Firma Parrot über ein Mikrofon mit Sprachbefehlen im Raum navigieren zu können ohne speziell mit den Händen zu steuern. Das Vorgehen des Projektes wird im Folgenden dargelegt.

Aufbau

Für das Projekt wurden folgende Komponenten verwendet:

  • Hardware:
- Parrot AR.Drone ("Ausgabe")
- Mikrofon ("Eingabe")
- Notebook (als Schnittstelle)
  • Software:
- Windows 7
- Windows Speech Recognition/Windows Spracherkennung
- Windows Speech Recognition Macros (Erweiterung der normalen Spracherkennung)
- CodeBlocks (mit MinGW!)
- OpenFrameworks Bibliothek

Ablauf

Nach anfänglichen Schwierigkeiten mit der Organisation konnten wir mit einem funktionstüchtigen Notebook, einem Mikrofon und einer AR.Drone durchstarten.

Zuerst wurde das Projekt in die Teile AR.Drone Steuerung per Tastendruck und Spracherkennung von Windows 7 aufgegliedert.

  • AR.Drone Steuerung per Tastendruck

Hier fand sich schon ein funktionierendes Programm als Open Source Version im Internet.

Dabei wurde die Drone vom Programm per Wifi angesteuert und sendete kontinuierlich Daten welche das Flugverhalten der Drone beeinflussten. Diese Daten wurden dann geändert, falls ein Tastendruck registriert und verarbeitet wurde.

  • Spracherkennung von Windows 7

Da wir unter Windows 7 gearbeitet haben, bot es sich an die Windows interne Spracherkennung zu testen und zu verwenden. Um aber Sprachbefehle in für uns benötigte Tastendrücke umwandeln zu können musst wir die Programmerweiterung "Windows Spracherkennung Makros" verwenden. Dies gibt es kostenlos von Microsoft downloadbar.

Schließlich sollten die beiden Abschnitte noch zusammengeführt werden um die AR.Drone direkt über Sprachbefehle zu steuern.

Abschluss

  • Gelöste Probleme:
- Sprachsteuerung trainiert auf die Stimme von Benutzern
- Sprachbefehle werden in Tastendrücke umgewandelt (z.B. "Start up" --> "t")
- Programm zur Dronensteuerung problemlos
- Starten und Landen über Sprachsteuerung
  • Ungelöstes Problem:

Steuerung der Drone per Sprachbefehle war noch nicht möglich, da das Programm auf Taste drücken und Taste loslassen reagiert. Dies wird aber durch die Sprachsteuerung und das System so schnell bearbeitet und realisiert, dass das Programm die Änderung zwar vornimmt, aber durch den schnellen Wechsel zwischen Taste drücken und Taste loslassen bei dem nächsten Update an die Drone diese Änderung gar nicht erst auftaucht. Man darf den Update aber nicht hinauszögern, da sonst die Drone keine Befehle mehr erhält und im schlimmsten Falle abstürzen kann.

Autoren: Julian Andre de la Torre Altena & Alexander Muth

Links

- Open Source Programm zur Dronensteuerung
- Windows Spracherkennung Makros