Das Tablet greift über WLAN auf den Webserver mit der Online Bar zu.
Der Webserver ist auf dem gleichen Raspberry Pi gehostet an dem auch die Webcam angeschlossen ist.
Nach Drücken des Startknopfs auf der Webseite, ruft der Webserver lokal ein Pythonskript auf, das über WLAN die Nachricht zum Starten des Roboters an den IP-zu-RS232 Gateways schickt.
Der Gateway gibt die Nachricht über RS232 weiter an die KRC1 Robotersteuerung.
Die KRC1 startet den Roboter zum Öffnen der Kühlschranktür und bestätigt dem Pythonscript anschließend, dass der Roboter vor dem geöffneten Kühlschrank steht.
Das Pythonscript startet die Objekterkennung über Matching mit Hilfe von OpenCV, entscheidet welche Flasche zu greifen ist, speichert das analysierte Bild und die berechnete Position in zwei Dateien ab.
Nach Beendigung des Pythonscripts zeigt die Webseite mit Hilfe der AJAX Technologie das analysierte Bild an und startet ein zweites Pythonskript das eine Nachricht an den Roboter schickt, um die Flasche von der gelesenen Position zu holen und zu öffnen.