Roboter spielt "Schere, Stein, Papier" - Teil 1/3
Gestenerkennung mit intelligenter Kamera
Sebastian Trella ist technik- und robotikbegeistert. In seinem eigenen Blog stellt er sich immer wieder neuen Aufgaben. Mit Bildverarbeitung hat er bisher aber kaum gearbeitet. Der LEGO® MINDSTORMS® Roboter eines Kollegen, der mit mehreren verschiedenen Sensoren die Gesten einer Hand erkennen kann, brachte ihn jedoch auf eine Idee: "Der Roboter soll "sehen" können." Denn bisher musste die jeweilige Geste an einer ganz bestimmten Stelle vor dem Roboter erfolgen, um zuverlässig erkannt zu werden. Mehrere Sensoren waren dafür nötig. Das machte das System unflexibel und dämpfte die Spielfreude. Kann Bildverarbeitung diese Aufgabe "eleganter" lösen?
Von der Idee zur Umsetzung
Auf der Suche nach der dafür geeigneten Kamera stieß er auf IDS NXT - ein Komplettsystem für den Einsatz von intelligenter Bildverarbeitung. Es erfüllte alle Anforderungen und dank künstlicher Intelligenz neben der reinen Gestenerkennung noch weit mehr. Das weckte Trellas Interesse. Denn die Auswertung der Aufnahmen sowie die Kommunikation der Ergebnisse erfolgten direkt auf der bzw. durch die Kamera - ohne zusätzlichen PC. Das IDS NXT Experience Kit brachte außerdem bereits alle Komponenten mit, um sofort mit der Anwendung starten zu können - ohne KI-Vorkenntnisse.
Trella spann den Gedanken weiter und begann einen Roboter zu entwicklen, der künftig das Spiel "Schere, Stein, Papier" spielen soll - mit einem ähnlichen Ablauf wie im klassischen Sinn: Der (menschliche) Spieler wird aufgefordert, eine der bekannten Gesten (Schere, Stein, Papier) vor der Kamera auszuführen. Der virtuelle Gegner hat zu diesem Zeitpunkt seine Geste schon zufällig bestimmt. Der Spielzug wird in Echtzeit ausgewertet und der Gewinner angezeigt.
Der erste Schritt: Gestenerkennung mittels Bildverarbeitung
Doch bis dahin waren einige Zwischenschritte nötig. Trella begann mit der Umsetzung der Gestenerkennung mittels Bildverarbeitung - Neuland für den Robotik-Fan. Mit Hilfe von IDS lighthouse - einem cloudbasierten AI-Vision-Studio - ließ sich das jedoch einfacher realisieren als erwartet. Denn hier entstehen aus Ideen vollständige Anwendungen. Dazu werden neuronale Netze durch Anwendungsbilder mit dem notwendigen Produktwissen - wie in diesem Fall die einzelnen Gesten aus unterschiedlichen Perspektiven - trainiert und in einen passenden Anwendungsablauf verpackt.
"Der Trainingsprozess war super einfach und ich habe nur den Schritt-für-Schritt-Assistenten von IDS Lighthouse verwendet, nachdem ich mehrere hundert Bilder meiner Hände mit Stein-, Schere- oder Papier-Gesten aus verschiedenen Winkeln vor verschiedenen Hintergründen gemacht hatte. Die erste trainierte KI konnte die Gesten direkt zuverlässig erkennen", erklärt Sebastian Trella. Das funktioniert sowohl für Links- als auch Rechtshänder mit einer Erkennungsrate von ca 95%. Dabei werden Wahrscheinlichkeiten für die Label “Rock”, “Paper”, “Scissor” oder “Nichts” zurückgegeben. Ein zufriedenstellendes Ergebnis. Doch was passiert nun mit den gewonnenen Daten?
Weiterverarbeitung
Die Weiterverarbeitung der erkannten Gesten könnte mittels eigens erstellter Vision App erfolgen. Dafür muss das aufgenommene Bild der jeweiligen Geste - nach Auswertung durch die KI - an die App weitergegeben werden. Diese "kennt" die Spielregeln und kann so entscheiden, welche Geste eine andere schlägt. Anschließend ermittelt sie den Gewinner. In der ersten Ausbaustufe soll die App außerdem den Gegner simulieren. All dies ist gerade im Entstehen und wird im nächsten Schritt zum "Schere, Stein, Papier"-spielenden Roboter umgesetzt werden.
Vom Spiel zum Alltagsnutzen
Zunächst ist das Projekt eher eine Spielerei. Doch was könnte daraus entstehen? Ein Spielautomat? Oder vielleicht sogar ein KI basierter Übersetzer für Gebärdensprache?
Fortsetzung folgt...