Primate | Robotern mit Ihren Händen etwas beibringen

Produkt

Der Mitarbeiter trägt ihn. Der Roboter übernimmt.

Während der Schicht erfasst der Greifer, was die Kameras sehen, wohin sich die Hand bewegt und wann sich die Finger öffnen und schließen. Dann rastet derselbe Greifer am Roboterarm ein und führt die Aufgabe aus.

Links eine menschliche Hand mit dem Greifer, rechts derselbe Greifer an einem Roboterarm

Tragbarer Greifer

Tragen Sie ihn, um den Roboter zu trainieren.

Drücken Sie eine Taste am Greifer, um aufzunehmen:

Position und Orientierung
Was die beiden Kameras sehen
Wann sich die Finger öffnen und schließen

Robotergreifer

Befestigen Sie ihn am Roboter, um die Aufgabe zu erledigen.

Dasselbe Gerät, das der Mitarbeiter trug
Führt die erlernte Aufgabe aus
Funktioniert mit jedem Roboter

So funktioniert's

Vom menschlichen Können zur Roboterfähigkeit.

Der Greifer zeichnet die normalen Aufgaben der Mitarbeiter auf, und der Roboter lernt aus diesen Daten.

Aufnehmen

Ein Klick in der Plattform startet die Aufnahme. Jeder Frame erfasst, was die Kameras sehen, die Position und Orientierung des Greifers sowie den Öffnungsgrad der Finger. Sehen Sie, was aufgezeichnet wird ↓

Bewerten

Der Mitarbeiter sieht sich die Aufnahmen in der Plattform an und bewertet sie wie im gewohnten Arbeitsalltag. Er markiert Fehler, benennt jeden Schritt und bewertet, wie gut die Aufgabe ausgeführt wurde. Keine KI-Expertise nötig. Nur das Urteilsvermögen, das er im Alltag einsetzt. Sehen Sie den Bewertungsbildschirm ↓

Trainieren

Der Mitarbeiter klickt in der Plattform und trainiert den Roboter auf unserer Cloud-Infrastruktur. Der Kunde braucht dafür keine teure Hardware. Etwa 500 Aufnahmen genügen für eine Aufgabe. Sehen Sie den Beweis ↓

Einsetzen

Der Mitarbeiter klickt in der Plattform auf Start. Der Roboter führt die erlernte Aufgabe am Kundenstandort an einem Standard-Roboterarm aus (ABB, KUKA, UR etc.). Wir bringen den KI-Rechner mit, und bei Bedarf auch den Roboterarm.

Verbessern

Der Roboter führt die Aufgabe aus. Wenn er gelegentlich einen Fehler macht, markiert der Mitarbeiter den Fehler in der Plattform und klickt, um den Roboter erneut zu trainieren. Mit jeder Runde wird der Roboter zuverlässiger und schneller.

Aufnahme in Aktion

Linke GreiferkameraiSicht der linken Greiferkamera.

Rechte GreiferkameraiSicht der rechten Greiferkamera.

AußenansichtiDer Mitarbeiter bei der Aufgabe, von außen betrachtet.

3D-PositioniPosition und Orientierung des Greifers in 3D, live.

Linke Greiferkamerai

Sicht der linken Greiferkamera.

Rechte Greiferkamerai

Sicht der rechten Greiferkamera.

Außenansichti

Der Mitarbeiter bei der Aufgabe, von außen betrachtet.

3D-Positioni

Position und Orientierung des Greifers in 3D, live.

Bewertungsbildschirm

QualitätsbewertungiBewerten Sie jede Aufnahme, wie im gewohnten Arbeitsalltag.

LabelsiKennzeichnen Sie jede Aktion, damit der Roboter die Abfolge lernt.

SchrittleisteiMarkieren Sie Start und Ende jedes Schritts, damit der Roboter die Abfolge lernt.

FehlerleisteiMarkieren Sie, wo die Aufgabe schiefgelaufen ist.

Qualitätsbewertungi

Bewerten Sie jede Aufnahme, wie im gewohnten Arbeitsalltag.

Labelsi

Kennzeichnen Sie jede Aktion, damit der Roboter die Abfolge lernt.

Schrittleistei

Markieren Sie Start und Ende jedes Schritts, damit der Roboter die Abfolge lernt.

Fehlerleistei

Markieren Sie, wo die Aufgabe schiefgelaufen ist.

Ein Ort für Aufnahme, Bewertung, Training, Einsatz und Verbesserung.

Warum Primate

Vier Wege, einem Roboter etwas beizubringen. Drei scheitern in der Praxis.

Manche Methoden trainieren den Roboter in einer vereinfachten Nachbildung der Welt, nicht auf der Fabriketage. Andere trainieren ihn an einer menschlichen Hand, nicht an seinem eigenen Greifer. So oder so lernt er die Aufgabe an einem fremden Ort und in einem fremden Körper.

Methode	So funktioniert's	Praxistest
Simulation	Der Roboter wird in einem Physik-Simulator trainiert, der Objekte, Materialien, Kontakte und Dynamik approximiert.	Verformbare Materialien wie Stoff, Schaum, Lebensmittel, Flüssigkeiten und Phänomene wie Bruch sind teuer oder unmöglich genau zu simulieren. Für jedes Element in der Simulation muss der Benutzer exakte Parameter wie Reibung, Steifigkeit und Masse festlegen. Diese Parameter unterscheiden sich höchstwahrscheinlich von der Realität.
Teleoperation	Eine Person steuert den Roboterarm mit einem Joystick und führt damit eine Aufgabe aus.	Weil der Bediener einen Joystick statt seines eigenen Arms verwendet, ist die Bewegung unnatürlich und der Bediener hat nicht die volle Kontrolle. Er bewegt den Roboter daher langsam und vorsichtig, um Schäden zu vermeiden, und der Roboter übernimmt diese Vorsicht. Weil der Bediener den Roboter direkt steuern muss, braucht jeder Roboter einen Bediener, solange Daten erfasst werden.
Lernen aus Videos	Der Roboter wird mit Videos menschlicher Hände aus öffentlichem Material oder einer am Körper befestigten Kamera trainiert.	Die menschliche Hand ist weitaus komplexer als jede Roboterhand, daher gibt es selbst bei fünffingerigen Roboterhänden eine Embodiment-Lücke. Objekte verdecken die Finger zudem während der Manipulation, sodass die Bestimmung der Fingerpositionen schwierig ist. Außerdem liefern Videos niemals Kraft- oder taktile Daten – das ist ein Modalitätsproblem. Sehen Sie, wie es passiert ↓
Primate Gripper	Ein Mitarbeiter trägt den eigenen Greifer und die Sensoren des Roboters, während er die tatsächliche Aufgabe erledigt.	Es gibt keine Embodiment-Lücke, weil die Trainingsdaten vom Greifer des Roboters selbst und von denselben Sensoren stammen, die der Roboter verwenden wird. Die Arbeit ist die reale Aufgabe des Kunden während der echten Produktion – keine Attrappe, kein Ersatz und keine Simulation.

Roadmap

Über den Greifer hinaus.

Der Greifer bewältigt bereits Aufgaben wie Pick-and-Place und Montage. Der Handschuh ist der nächste Schritt: Er gibt dem Roboter eine Geschicklichkeit, die näher an der menschlichen Hand ist, und erschließt neue Aufgaben ohne Verzögerungen. Der Mitarbeiter trägt einen Handschuh, der Roboter seinen Zwilling. Beide nutzen dieselbe Kinematik, Sensoren und Kameras, sodass Fähigkeiten direkt von der menschlichen Hand auf die Roboterhand übergehen.

Sobald die Hände geschickt genug sind, muss der Roboter sich auch in der Anlage bewegen können. Einige unauffällige Sensoren lassen sich an der normalen Kleidung des Mitarbeiters anbringen und bilden einen Sensoranzug, der keine spezielle Ausrüstung benötigt. Der Anzug zeichnet die Ganzkörperbewegung während normaler Aufgaben auf. Er erfasst, wie der Mitarbeiter Bewegung und Manipulation von Objekten koordiniert, ohne die Arbeit zu verlangsamen oder die Routine zu ändern. Humanoide Roboter brauchen diese Daten, um zu laufen, das Gleichgewicht zu halten, Objekte zu handhaben und in menschlichen Räumen zu arbeiten.

Ein Mitarbeiter in einem Sensoranzug geht, während ein humanoider Roboter dieselbe Bewegung spiegelt

Sensorhandschuh-Prototyp mit blauen Rückenplatten und Handgelenkmodul

Team

Entwickelt von Robotikern.

Luigi Campanaro

Mitgründer & CEO

PhD, Robotik & KI · University of Oxford.
Postdoktorand · EPFL.
Entwickelte einen der ersten drei Lokomotions-Controller mit Reinforcement Learning für Laufroboter im Vereinigten Königreich.
Entwickelte die KI, die das Einsetzen von Telefonen in Ladegeräte für eine Produktionslinie mit hohem Stückvolumen automatisierte. Der Roboter absolvierte 550 aufeinanderfolgende Zyklen fehlerfrei. Video ansehen ↓

Lokomotions-Controller · RL-Demo ↗

Axel Praplan

Mitgründer & CTO

MSc in Robotik · EPFL.
Forschungsingenieur für Robotik · EPFL.
Baute einen kompletten seilgetriebenen humanoiden Roboter von Grund auf: mechanische Konstruktion, Aktuierung, Steuerung, Integration.
Umfassende Expertise: Hardware-Entwicklung, Mechatronik, Rapid Prototyping.

Seilgetriebener Humanoid · von Grund auf gebaut ↗

Berater

Prof. Daniele De Martini

Professor für Robotik

University of Oxford

Leitet die Mobile Robotics Group in Oxford gemeinsam mit Prof. Paul Newman (Gründer und CEO von Oxa). Seine Forschung zu robotischer Wahrnehmung und Autonomie ermöglicht es Robotern, die Welt auch unter den anspruchsvollsten Bedingungen zu navigieren und zu interpretieren.

Prof. Perla Maiolino

Professorin für Robotik

University of Oxford

Stellvertretende Direktorin des Oxford Robotics Institute. Sie entwickelte CySkin, eine der wenigen existierenden großflächigen robotischen Hautflächen. Sie verleiht Robotern den Tastsinn, der sichere, intelligente Manipulation ermöglicht.

Alf Müller

Unternehmer im digitalen Handel

Mitinhaber, Purecrea GmbH / Bastelgarage.ch

Schweizer Unternehmer und Maker, Mitinhaber der Firma hinter Bastelgarage.ch, einem der größten Schweizer Online-Shops für DIY-Elektronik, Robotik und Maker-Produkte. Er verbindet E-Commerce mit praktischer Ingenieursarbeit, Rapid Prototyping sowie Robotik, Elektronik und KI.

Tragbare Datenerfassung für Ihre Prozessautomatisierung

Der Mitarbeiter trägt ihn. Der Roboter übernimmt.

Vom menschlichen Können zur Roboterfähigkeit.

Der Roboter folgt dem Greifer in Echtzeit.

Vier Wege, einem Roboter etwas beizubringen. Drei scheitern in der Praxis.

Ernsthafte Arbeit. Einfacher Greifer.

Über den Greifer hinaus.

Entwickelt von Robotikern.

Wandeln Sie Ihre Arbeit in Roboterfähigkeiten um.

Tragbare Datenerfassung für Ihre Prozessautomatisierung

Der Mitarbeiter trägt ihn. Der Roboter übernimmt.

Vom menschlichen Können zur Roboterfähigkeit.

550 Durchläufe hintereinander, null Fehler.

Der Roboter kann nur das tun, was die Kamera sieht.

Der Roboter folgt dem Greifer in Echtzeit.

Vier Wege, einem Roboter etwas beizubringen. Drei scheitern in der Praxis.

Ernsthafte Arbeit. Einfacher Greifer.

Über den Greifer hinaus.

Entwickelt von Robotikern.

Wandeln Sie Ihre Arbeit in Roboterfähigkeiten um.