Onderzoekers hebben een nieuw paradigma ontwikkeld waarmee robots in een vloot hun eigen uitvoeringservaringen delen om de betrouwbaarheid van hun taken te verhogen, zonder dat er voortdurende menselijke correcties nodig zijn.
Het verbeteren van de betrouwbaarheid van robotica-beleid (policies) gebeurt traditioneel vaak via menselijke interventies. Hierbij moeten teleoperators de uitvoering van een robot nauwgezet monitoren en ingrijpen zodra een fout optreedt. Naarmate robotvloten echter groeien in omvang, wordt deze afhankelijkheid van menselijke supervisie een onoverkomelijke barrière. Om dit probleem op te lossen, is een nieuwe methode geïntroduceerd die bekendstaat als Collective Experience Learning (CEL).
Volgens een wetenschappelijk rapport op arxiv.org stelt CEL robots in staat om ervaringen die tijdens de feitelijke inzet worden opgedaan, te delen om een gemeenschappelijk beleid te optimaliseren. In plaats van te vertrouwen op externe experts, leren de robots van hun eigen succesvolle en mislukte pogingen binnen de vloot.
De techniek achter collectief leren
De praktische uitvoering van CEL wordt gerealiseerd via een proces dat Failure-guided Experience Retrieval Fine-tuning (FERT) wordt genoemd. Deze techniek analyseert de context van een mislukte uitvoering. Wanneer een robot een fout maakt, zoekt het systeem in de gedeelde database van de vloot naar relevante trajectsegmenten die in het verleden wel tot succes hebben geleid.
De acties uit deze succesvolle trajecten dienen vervolgens als supervisie voor het bijwerken van het beleid. Een cruciaal aspect van deze benadering is dat er geen extra demonstraties door experts of correctieve acties van mensen nodig zijn om het systeem te verbeteren. De robots gebruiken simpelweg de reeds aanwezige, succesvolle data van hun "collega's" om hun eigen fouten te corrigeren.
Om dit proces technisch mogelijk te maken, is er gebruikgemaakt van een Fault-tolerant Asynchronous Training System (FATS). Dit systeem coördineert de verzameling van ervaringen, de optimalisatie van het beleid en de distributie van de updates over de vloot, zelfs wanneer er lokale onderbrekingen optreden binnen de robotgroep.
Resultaten in de praktijk
De effectiviteit van deze methode is getest op vijf verschillende manipulatietaken in de echte wereld. De resultaten, zoals beschreven in de publicatie op , tonen succespercentages aan die variëren tussen de 93,3% en 99,2%. Om de validiteit van deze cijfers te waarborgen, werden de evaluaties uitgevoerd over 120 pogingen per taak op robots die expliciet waren uitgesloten van de initiële dataverzameling voor de training.
Een specifiek voorbeeld is het inpakken van telefoons in meerdere fasen. Bij deze complexe taak steeg het succespercentage van 79,2% naar 98,3% toen er gebruik werd gemaakt van een vloot van 96 robots. De onderzoekers stellen vast dat, mits de verzameltijd per robot gelijk blijft, grotere vloten simpelweg meer ervaring genereren, wat over het algemeen leidt tot hogere succespercentages via de FERT-methode.
Implicaties voor schaalbaarheid
De bevindingen suggereren dat collectieve ervaring een praktische basis vormt voor het schaalbaar maken van robotica. Door de noodzaak voor menselijke teleoperators weg te nemen, kunnen robotvloten autonoom evolueren en hun betrouwbaarheid verhogen tijdens de dagelijkse inzet.
De volledige details van het onderzoek, inclusief de bijdragen van de uitgebreide groep auteurs, zijn beschikbaar via de . Hoewel andere bronnen zoals open.edu in de context werden genoemd, bevatten deze geen aanvullende feitelijke informatie over de specifieke resultaten van dit onderzoek.