Roboter spielt "Schere, Stein, Papier" - Teil 3/3

Finaler Aufbau: Wenn aus Komponenten ein System wird

Bei interaktiven Systemen wie diesem liegt die größte Herausforderung selten in den einzelnen Komponenten – sondern fast immer im Zusammenspiel. Auch in diesem Fall funktionierten Kamera, Logik und Roboterarm jeweils für sich zuverlässig: Die IDS NXT Kamera erkannte präzise die Handzeichen, die Entscheidungslogik reagierte regelkonform, und der Roboter setzte die entsprechende Bewegung um. Doch erst das Zusammenführen all dieser Bausteine war anspruchsvoll – insbesondere, wenn es um präzises Timing, Signalweitergabe und Synchronisation ging. „Was in der Theorie gut klingt, sieht in der Praxis oft anders aus“, erkannte Sebastian Trella dabei schnell. „Dank der offenen Architektur und guten Integration der IDS NXT Plattform ließ sich diese Herausforderung jedoch bewältigen. Durch gezieltes Testen und iteratives Verfeinern wurde aus dem Prototyp ein funktionierendes Spiel.“

Feinjustierung: Die Gestenkennung wird robust

Wie zuverlässig eine Gestenerkennung funktioniert, hängt maßgeblich von den Trainingsdaten und den Umgebungsbedingungen ab – eine Erfahrung, die Sebastian Trella schon in der Anfangsphase machte: „Anfänglich hatte ich die Modelle nur mit meinen eigenen Händen trainiert. Dabei hatte ich den Fall ‚keine Hand im Bild‘ zunächst nicht berücksichtigt. Das führte natürlich zu fehlerhaften Auswertungen.“ Mithilfe der IDS lighthouse Trainingsplattform, ließ sich das Modell jedoch problemlos erweitern. Neue Bilder wurden hinzugefügt, darunter Hände anderer Personen vor verschiedenen Hintergründen und unter wechselnden Lichtverhältnissen. Auch Details wie unterschiedliche Hauttöne oder das Tragen von Ringen flossen in das Training ein. Durch diese gezielte Diversifizierung der Trainingsdaten verbesserte sich die Erkennungsleistung deutlich – die KI reagierte nun stabil und zuverlässig, unabhängig davon, wer spielte oder in welcher Umgebung. Gleichzeitig wuchs mit jedem Schritt auch Trellas Verständnis für den generellen Umgang mit neuronalen Netzen und deren praktische Anforderungen beim Training.

Umsetzung: Wie spielt der Roboter?

Der Entscheidungen des Roboters sind zufällig – er blufft nicht und er lernt nicht aus vorherigen Spielen. Doch genau das macht den Charme des Spiels aus: Mensch gegen Maschine, auf Augenhöhe. Die Spielrunde läuft in fünf Phasen ab:

1. Erfassung der menschlichen Hand durch die Kamera
2. KI-basierte Bildauswertung der Geste (Schere, Stein, Papier)
3. Roboterkommunikation und -bewegung
4. Ermittlung des Ergebnisses (Roboter gewinnt, Mensch gewinnt, Unentschieden)
5. Roboterkommunikation und -bewegung

Die gesamte Steuerung des Spiels erfolgt direkt über eine Vision App auf der intelligenten IDS NXT Kamera – ganz ohne zusätzlichen PC. Sie erkennt die gezeigte Geste des Spielers, wertet sie mithilfe künstlicher Intelligenz aus und sendet daraufhin ein digitales IO-Signal an den Roboter, um dessen Reaktion auszulösen. Damit das Spiel fair bleibt, wird die Geste des Roboters nicht durch die Spieleraktion beeinflusst, sondern neutral und zufällig bestimmt. Während die Kamera die Spielergeste analysiert, wartet der Roboter auf sein Startsignal. Erst dann zeigt auch er seine Geste. Anschließend wertet die Kamera das Spielergebnis aus und sendet die finale Entscheidung, die der Roboter wiederum anzeigt.

Die Abstimmung von Wartezeiten und Signalübertragungen war dabei eine zentrale Herausforderung. Zwar kann die Vision App die Spielergeste innerhalb von Sekundenbruchteilen analysieren, doch der Roboter kann nicht in gleicher Geschwindigkeit reagieren. Eine gleichzeitige Anzeige und Auswertung der Gesten ließ sich daher auf diese Weise nicht realisieren. Durch gezielte Optimierung der Abläufe konnte die Reaktionszeit dennoch deutlich reduziert werden. „Das Spiel fühlt sich jetzt dynamischer und flüssiger an. Die KI erkennt im Kamerabild die Hand des Spielers und wertet die gezeigte Geste direkt aus. Dies funktioniert so zuverlässig, dass die erneute Darstellung auf einem Monitor überflüssig wurde. Der Roboter übernimmt nun vollständig die Anzeige der Spielinformationen – das beschleunigt den gesamten Spielfluss erheblich“, erklärt Trella.

Ausblick: Was bleibt offen und was kommt als Nächstes?

Die hohe Zuverlässigkeit der Gestenkennung eröffnet spannende Perspektiven. „Eine denkbare Weiterentwicklung wäre die berührungslose Steuerung von Maschinen, etwa durch einfache Handzeichen im industriellen Umfeld“, überlegt Sebastian Trella und ergänzt: „Natürlich bleiben auch nach Projektabschluss offene Fragen. Etwa: Wie lässt sich die Kommunikation zwischen Roboter und Kamera noch ‚eleganter‘ gestalten – vielleicht über eine Art Dialog mit Schnittstellen wie RS-232, REST oder OPC-UA? Wäre eine bewegliche Roboterhand nicht der logische nächste Schritt für ein noch realistischeres Spielgefühl?“

Auch wenn sich das Projekt „Schere, Stein, Papier“ nun seinem Ende nähert, sind neue Ideen zur Mensch-Maschine-Interaktion mit KI-Unterstützung bei Sebastian Trella bereits in Planung. Denn: Wenn ein Roboter schon heute (durch KI) mit einem Menschen spielen kann – was kann er noch?