Voor mensen is het vinden van een verloren portemonnee begraven onder een stapel items vrij eenvoudig -- we verwijderen gewoon dingen van de stapel totdat we de portemonnee vinden. Maar voor een robot houdt deze taak complexe redeneringen in over de stapel en objecten erin, wat een steile uitdaging vormt.
MIT-onderzoekers hebben eerder een robotarm gedemonstreerd die visuele informatie en radiofrequentiesignalen (RF) combineert om verborgen objecten te vinden die waren getagd met RFID-tags (die signalen reflecteren die door een antenne worden verzonden). Voortbouwend op dat werk hebben ze nu een nieuw systeem ontwikkeld dat elk object dat op een stapel is begraven, efficiënt kan ophalen. Zolang sommige items in de stapel RFID-tags hebben, hoeft het doelitem niet te worden getagd om het systeem te laten herstellen.
De algoritmen achter het systeem, bekend als FuseBot, redeneren over de waarschijnlijke locatie en oriëntatie van objecten onder de stapel. Dan vindt FuseBot de meest efficiënte manier om obstakels te verwijderen en het doelitem eruit te halen. Deze redenering stelde FuseBot in staat om in de helft van de tijd meer verborgen items te vinden dan een ultramodern robotsysteem.
Deze snelheid kan vooral handig zijn in een e-commerce magazijn. Een robot die is belast met het verwerken van retouren, zou items in een ongesorteerde stapel efficiënter kunnen vinden met het FuseBot-systeem, zegt senior auteur Fadel Adib, universitair hoofddocent bij de afdeling Elektrotechniek en Computerwetenschappen en directeur van de Signal Kinetics-groep in het Media Lab.
"Wat dit document voor het eerst laat zien, is dat de loutere aanwezigheid van een RFID-gelabeld item in de omgeving het voor u veel gemakkelijker maakt om andere taken op een efficiëntere manier uit te voeren. We waren in staat om dit te doen omdat we multimodaal redeneren naar het systeem -- FuseBot kan zowel over visie als over RF redeneren om een stapel items te begrijpen", voegt Adib toe.
Adib op het papier wordt vergezeld door onderzoeksassistenten Tara Boroushaki, de hoofdauteur; Laura Dodds; en nazistische Naeem. Het onderzoek zal worden gepresenteerd op de conferentie Robotics: Science and Systems.
Targetingtags
Een recent marktrapport geeft aan dat meer dan 90 procent van de Amerikaanse retailers nu RFID-tags gebruikt, maar de technologie is niet universeel, wat leidt tot situaties waarin slechts enkele objecten binnen stapels worden getagd.
Dit probleem inspireerde het onderzoek van de groep.
Met FuseBot gebruikt een robotarm een aangesloten videocamera en RF-antenne om een niet-gelabeld doelitem van een gemengde stapel te halen. Het systeem scant de stapel met zijn camera om een 3D-model van de omgeving te maken. Tegelijkertijd stuurt het signalen van zijn antenne om RFID-tags te lokaliseren. Deze radiogolven kunnen door de meeste vaste oppervlakken gaan, zodat de robot diep in de stapel kan "kijken". Omdat het doelitem niet is getagd, weet FuseBot dat het item niet op exact dezelfde plek als een RFID-tag kan worden geplaatst.
Algoritmen fuseren deze informatie om het 3D-model van de omgeving bij te werken en potentiële locaties van het doelitem te markeren; de robot kent zijn grootte en vorm. Vervolgens redeneert het systeem over de objecten in de stapel en de locaties van RFID-tags om te bepalen welk item moet worden verwijderd, met als doel het doelitem met de minste bewegingen te vinden.
Het was een uitdaging om deze redenering in het systeem te verwerken, zegt Boroushaki.
De robot weet niet zeker hoe objecten onder de stapel zijn georiënteerd, of hoe een zacht voorwerp kan worden vervormd door zwaardere voorwerpen erop te drukken. Het overwint deze uitdaging met probabilistisch redeneren, met behulp van wat het weet over de grootte en vorm van een object en de locatie van de RFID-tag om de 3D-ruimte te modelleren die dat object waarschijnlijk zal innemen.
Omdat het items verwijdert, gebruikt het ook redeneringen om te beslissen welk item het "beste" is om vervolgens te verwijderen.
"Als ik een mens een stapel items geef om te doorzoeken, zullen ze hoogstwaarschijnlijk eerst het grootste item verwijderen om te zien wat eronder zit. Wat de robot doet is vergelijkbaar, maar het bevat ook RFID-informatie om een beter geïnformeerde beslissing te nemen. vraagt: 'Hoeveel meer zal het van deze stapel begrijpen als het dit item van het oppervlak verwijdert?'", zegt Boroushaki.
Nadat hij een object heeft verwijderd, scant de robot de stapel opnieuw en gebruikt nieuwe informatie om zijn strategie te optimaliseren.
Resultaten ophalen
Deze redenering, evenals het gebruik van RF-signalen, gaf FuseBot een voorsprong op een ultramodern systeem dat alleen zicht gebruikte. Het team voerde meer dan 180 experimentele proeven uit met echte robotarmen en stapels met huishoudelijke artikelen, zoals kantoorbenodigdheden, knuffelbeesten en kleding. Ze varieerden de grootte van stapels en het aantal RFID-gelabelde items in elke stapel.
FuseBot heeft het doelitem 95 procent van de tijd met succes geëxtraheerd, vergeleken met 84 procent voor het andere robotsysteem. Het bereikte dit met 40 procent minder bewegingen en was in staat om gerichte items meer dan twee keer zo snel te lokaliseren en terug te halen.
"We zien een grote verbetering in het slagingspercentage door deze RF-informatie op te nemen. Het was ook opwindend om te zien dat we de prestaties van ons vorige systeem konden evenaren en deze konden overtreffen in scenario's waarin het doelitem geen RFID had. tag', zegt Dodds.
FuseBot kan in verschillende omgevingen worden toegepast, omdat de software die de complexe redenering uitvoert, op elke computer kan worden geïmplementeerd -- die alleen hoeft te communiceren met een robotarm met een camera en antenne, voegt Boroushaki eraan toe.
In de nabije toekomst zijn de onderzoekers van plan om complexere modellen in FuseBot op te nemen, zodat deze beter presteert op vervormbare objecten. Daarnaast zijn ze geïnteresseerd in het verkennen van verschillende manipulaties, zoals een robotarm die items uit de weg duwt. Toekomstige iteraties van het systeem kunnen ook worden gebruikt met een mobiele robot die meerdere stapels doorzoekt naar verloren voorwerpen.
Dit werk werd gedeeltelijk gefinancierd door de National Science Foundation, een Sloan Research Fellowship, NTT DATA, Toppan, Toppan Forms en het MIT Media Lab.