Mein ambitioniertes Projekt im Zuge meiner Master Arbeit zur Gedankensteuerung meines off-the-shelf electric skateboard hat inzwischen Abgabestatus erreicht und erste Proof-Videos sind online. Wird Zeit für nen neuen Blogeintrag!
Ich beginne mit dem Video wo das Konzept am klarsten heraus kommt und auch der aktuelle Projektstatus gut zur Geltung kommt (Upload Jänner 2017):
Genutzt wird folgende Hardware:
- EMOTIV Insight Brainwear (Low Budget EEG Gerät)
- iPod Touch (gekauft 2016)
- Yuneec E-GO Skateboard (erhältlich inzwischen sogar bei Saturn)
Die Interpretation meiner Gedanken passiert indem die Brainwear Sensor Daten mittels Bluetooth an den iPod Touch übermittelt werden und dort mittels eigenem tensorflow Machine Learning Model (iPhone wäre auch leicht möglich) in meiner App interpretiert. Es läuft die offizielle E-GO App im Vordergrund jedoch wird diese durch meine eigene im Hintergrund laufende Thoughtboard App gesteuert.
Meine App die im Hintergrund läuft prüft die ganze Zeit die aktuell von der Emotiv Insight Brainwear kommenden Daten und das eigens trainierte Neuronale Netz Model erkennt anhand der gemessenen Gehirnströme an der Schädeldecke (EEG) und erkennt den Vorwärts-Gedanken. Wird dieser Gedanke erkannt fährt das Board (Geräusch und Anzeige auf iPod Touch). Dies funktioniert trotz Handbewegungen beim selber Filmen und Augenbewegungen.
Hier ein weiteres Video zu einem späteren Zeitpunkt. Die Trainingsdaten wurden gleich belassen jedoch nach mehreren Trainingsversuchen das beste Model genommen. Nach Aufzeichnung der Trainingsdaten (also aufgenommene EEG Daten Messwerte) vergingen inzwischen Monate in denen ich die Master Arbeit vervollständigt habe. Funktioniert weiterhin. Video Upload April 2017.
Hier der Vollständigkeit halber einer der frühen Versuche das Board zu steuern mittels PC ganz ohne Brainwear. Die aktuelle Version benötigt keinen PC.
Hier noch ein historisches Video. Meine ersten Schritte mit der EMOTIV Insight brainwear.
Ich bin inzwischen auch schon damit gefahren, sofern man das so bezeichnen kann. Es funktioniert, jedoch ist es fast anstrengend den Gedanken zu halten und es ist (noch) nicht wirklich praxistauglich. Ja und Bremsen kann ich derzeit auch nicht, was bei der eingestellten Geschwindigkeit aber auch unspektakulär wäre.
Ein ähnliches Projekt gab es bereits 2012 genannt „Board of Imagination“. Das Projekt war zum Zeitpunkt des Hochladens state of the art aber ein Windows Tablet ist deutlich ungeeigneter als ein iPod touch, das Skateboard ist sichtlich eine ältere Generation und auch die Brainwear die ich nutze ist neuer, günstiger und hat einige Vorteile wie etwa Trockensensoren. Die beliebte Google Tensorflow Machine Learning Library nutzten sie garantiert auch nicht, weil das erst Ende 2015 öffentlich zugänglich gemacht wurde. Mein Thoughtboard Projekt hat also nicht nur einen besseren Namen sondern ist technologisch auch paar Schritte weiter (habe Kontakt zu den Erfindern gesucht und keine Reaktion bekommen. Open Source wie versprochen ist es auch nicht, also gemein sein ist angebracht). Wie gesagt die Bremse fehlt bei mir noch sonst kann ich gut mithalten.
Für einen ersten Wurf auf jeden Fall viel besser als ich es mir erträumt hätte, besonders weil dies mein erstes Projekt im Bereich Machine Learning ist und neben einer Taschenrechner App auch das erste iOS App Projekt. Bisschen C++ war auch notwendig wovon ich bisher auch Abstand gehalten hatte. Ich bin Ursprünglich reiner Windows Benutzer, aus damals technologischen Einschränkungen bin ich zu einer Linux VM gewechselt und letztendlich hab ich mir einen Mac gekauft aus deployment und Komfort Gründen. Sogar im Bereich Hardware habe ich dazu gelernt, wenngleich ich die Ideen verworfen habe, weil ich eine bessere Software-Hack Lösung gefunden habe.
Schreibe einen Kommentar