Vandaag heeft NVIDIA Corp. tijdens GTC Taipei en Computex verschillende open- fysieke AI-vaardigheden en -hulpmiddelen onthuld om ontwikkelaars van robotica, autonome voertuigen, visuele AI en industriële digitale tweelingen te helpen. Het bedrijf beweerde dat ze de kosten, tijd en complexiteit van het op grote schaal bouwen van fysieke AI-workflows kunnen helpen verminderen.
Beschikbaar als onderdeel van deNVIDIA Agent-toolkitMet de nieuwe vaardigheden zullen AI-agenten de datageneratie, simulatie, training, evaluatie en implementatiepijplijnen achter robots, autonome voertuigen (AV's), fabrieken en laboratoria kunnen versnellen, aldus het bedrijf.
“AI-agenten zorgen voor een revolutie in de softwareontwikkeling, en die verschuiving komt nu naar de fysieke AI, en breidt zich uit naar de systemen die transport, productie, gezondheidszorg en robotica zullen transformeren”, zegt Jensen Huang, oprichter en CEO van NVIDIA, bij GTC Taipei. "Wanneer agenten rechtstreeks NVIDIA-bibliotheken, -modellen en -frameworks kunnen gebruiken, zal de fysieke AI-ontwikkeling sneller verlopen, waardoor ontwikkelaars in een ongelooflijk tempo de robots, autonome voertuigen en industriële systemen van de toekomst kunnen bouwen."
"Fysieke AI vereist enorme hoeveelheden trainingsgegevens in diverse omgevingen", zegt ds. Lebaredian, vice-president voor fysieke AI-simulatie bij NVIDIA. "Teleoperatie, simulatie en gegevens op internet-schaal leiden tot mondiale basismodellen voor een oneindige diversiteit aan gebruiksscenario's."
NVIDIA maakt fysieke AI-stackagent-klaar
NVIDIA zegt dat het zijn gehele fysieke AI-stack voor agenten optimaliseert door bibliotheken, modellen en raamwerken om te zetten in door agenten-oproepbare tools. Dit omvat:
NVIDIA-kosmos3 wereldbasismodellen voor het redeneren en genereren van de fysieke wereld
NVIDIA Omniversumbibliotheken voor simulatie en digitale tweelingen
NVIDIA Isaacvoor robotica-simulatie en robotleren
NVIDIA-metropoolvoor vision-AI
NVIDIA Alpamayovoorautonoom rijden
NVIDIA Jetsonplatform voor edge AI-ontwikkeling
"Cosmos 3 is het grensverleggende basismodel voor fysieke AI", zei Lebaredian. "Het begrijpt video's en tekst en kan markeren wat belangrijk is. Cosmos is een fysiek nauwkeurige simulatie en kan voorspellen wat er vervolgens gebeurt en acties genereren."
Om deze tools te helpen toepassen, lanceert NVIDIAnieuwe vaardighedenom fysieke AI-ontwikkelingsprocessen om te zetten in herhaalbare instructies die codeeragenten kunnen volgen. Dit omvat onder meer welke tools moeten worden aangeroepen, welke outputs moeten worden geproduceerd en hoe ontwikkelaars resultaten kunnen valideren.
Ontwikkelaars kunnen met behulp van deze vaardigheden ook veilig autonome agenten bouwen en inzetten met deNVIDIA NemoClawblauwdruk en deNVIDIA OpenShellruntime, dat op beleid-gebaseerde beveiliging en privacybeheer biedt op lokale of cloudhardware. De agents zullen in Jetson op de edge draaien en hebben al verbeteringen in uptime aangetoond, aldus Lebaredian.
NVIDIA zei dat haar fysieke AI-vaardigheden en -tools de ontwikkeling van agenten versnellen op het gebied van:
Robotica en edge-AI:Robotontwikkelaars kunnen vaardigheden gebruiken om de hele ontwikkelingspijplijn voor robotica te versnellen, van het genereren van perceptie- en mobiliteitstrainingsgegevens tot simulatie, het automatiseren van navigatietraining, het bevorderen van robotleren en het afstemmen van Jetson-gebaseerde edge-systemen voor implementatie.
Autonome voertuigen:Voor AV-ontwikkelaars kunnen vaardigheden agenten de opdracht geven om door wagenparken vastgelegde gegevens te reconstrueren in simulatieomgevingen, fotorealistische rijscenario's op schaal te genereren en closed{0}}loop-versterkingsonderwijs uit te voeren om de training en evaluatiedekking uit te breiden.
Real- AI-agenten met visie:Voor geautomatiseerde inspectie en video-intelligentie zegt NVIDIA dat de vaardigheden van agenten teams kunnen helpen synthetische trainingsgegevens te genereren, modellen te verfijnen, labels te automatiseren en video-AI-agents te bouwen die live of opgenomen video zoeken, samenvatten en analyseren.
Industriële AI:Industriële softwareontwikkelaars kunnen deze vaardigheden gebruiken om technische gegevens om te zetten in CAD-middelen (computer{0}}aided design (CAD) voor digital twin-simulatie, waardoor grote OpenUSD-scènes worden geoptimaliseerd met minder handmatige instellingen.
Gezondheidszorg:Voordat ze automatisering in klinische omgevingen inzetten, kunnen zorgteams agenten begeleiden bij het creëren van digitale tweelingen van ziekenhuisomgevingen, het sim-naar- genereren van echte gegevens en het-software-in-loop-beleidstests.
Volgens NVIDIA kunnen de vaardigheden worden gecombineerd en geïntegreerd in grotere agentische systemen. Hierdoor kunnen ontwikkelaars complexe workflows orkestreren en automatiseren, zoals het genereren van gegevens, simulatie, optimalisatie, afstemming van gevolgtrekkingen, continue evaluatie en meer.
Robotica-ontwikkelaars pakken de fysieke AI-stack op
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI en Universal Robots behoren tot de roboticabedrijven die al gebruik maken van NVIDIA's agent-ready fysieke AI-stack.
"Met stapelupdates in NVIDIA Isaac GR00T kunnen nieuwe end-tot-workflows in uren in plaats van weken worden opgezet", zegt Lebaredian. "'Omni-modaal' betekent dat het werkt met verschillende modi - video, sensoren, tekst en geluid voor actie-invoer en -uitvoer."
Daarnaast gebruiken Foxconn en Compal NVIDIA Isaac for Healthcare om ziekenhuisrobotica te versnellen. Compal bevordert het ontwikkelingsproces van zijn PolyMedX-robot in de richting van een ziekenhuis-breed orkestratieplatform, waarin simulatie, AI en operaties- in de echte wereld worden geïntegreerd.
Foxconn breidt Nurabot uit naar verschillende ziekenhuizen en omgevingen voor langdurige zorg, waarbij AI--aangedreven robotica naar de patiëntenzorg wordt gebracht, en de nieuwe Scrub Nurse Collaborative Robot wordt geïntroduceerd om de workflows in de operatiekamers te helpen optimaliseren.
Marktleiders bouwen met NVIDIA-technologieën
NVIDIA-partners en klanten uit de productie-, transport-, gezondheidszorg- en industriële software gebruiken hun fysieke AI-bibliotheken om de ontwikkeling van autonome systemen en industriële AI te bevorderen.
Naarmate deze bibliotheken klaar zijn voor agenten-, kunnen ontwikkelaars NVIDIA-vaardigheden gebruiken om agenten te helpen bij het automatiseren van de installatie, uitvoering en iteratie van complexe fysieke AI-workflows.
Op het gebied van de elektronicaproductie zijn TSMC en Pegatron bezig met het verfijnen-van visuele inspectiemodellen. Pegatron heeft naar verluidt de modeltraining en implementatietijd met 67% verminderd met behulp van synthetische gegevens die zijn gegenereerd met de vaardigheid Defect Image Generation.
Delta Electronics genereerde gegevens over synthetische defecten en gebruikte deze vaardigheid om overtollig soldeer op metalen rails op te vangen, waardoor het detectiepercentage met 17% werd verbeterd. Inventec ontwikkelde zijn visuele inspectiepijplijn voor Observation Agents door de Defect Image Generation-vaardigheid te integreren, waardoor de inspanningen voor het verzamelen van defectgegevens voor de productie van laptopchassis met 30% werden verminderd.
Foxconn gebruikte deze vaardigheid in samenwerking met DeepHow om de productie-efficiëntie te verbeteren door fouten vroegtijdig op te sporen, waardoor het first-pass-rendement met ongeveer 3% steeg.
Op het gebied van industriële AI gebruiken Cadence, Dassault Systèmes, Siemens en Synopsys NVIDIA Omniverse-bibliotheken en -vaardigheden voor technische gegevensinspectie, simulatie en interactieve digitale tweelingen. PTC, MetAI en Lightwheel maken gebruik van het NVIDIA Isaac Sim-framework en op OpenUSD-gebaseerde workflows om CAD-gegevens om te zetten in-simulatiemiddelen en -omgevingen.
Als onderdeel van zijn ‘Autonomous Fab 2030’-roadmap implementeert SK hynix digitale tweelingen voor halfgeleiderfabrieken met behulp van NVIDIA Omniverse. De chipmaker werkt ook samen met NVIDIA en SK Telecom om de NVIDIA Agent Toolkit te valideren voor de productie van-specifieke fysieke AI.
Zelfrijdende ontwikkelaars Li Auto, Afari en DeepRoute.ai gebruiken NVIDIA Omniverse NuRec-modellen voor de reconstructie en weergave van neurale scènes. Ze hebben meer dan 1.000 reconstructies en meer dan 300.000 renders en simulaties per dag gegenereerd.
Bovendien gebruiken de AV-bedrijven de nieuwe opslagplaats voor agentenvaardigheden om hun ontwikkeling van veiligere, capabelere autonome rijsystemen te versnellen en te verbeteren. Foxconn, VinFast, Uber en HUMAIN hebben zich aangesloten bij het NVIDIA DRIVE Hyperion-ecosysteem om SAE Level 4-robotaxis te ontwikkelen en in te zetten.
Alpamayo 2 Super is al meer dan 500.000 keer gedownload en werd bij Computex uitgeroepen tot "Beste Technologie", zegt Spencer Huang, productdirecteur voor robotica bij NVIDIA.
Fysieke AI-agenttools zijn nu beschikbaar
NVIDIA zei dat zijn fysieke AI-agenttools en -vaardigheden beschikbaar zijn viaGitHubEnvaardigheden.shvoor gebruik met elk codeermiddel.
Vaardigheden en hulpmiddelen voor agenten voor het genereren van synthetische gegevens -Neurale reconstructie, Videovergroting, Defecte beeldgeneratie- zijn ook beschikbaar op NVIDIA Brev asFysieke AI-launchables, vooraf geconfigureerde omgevingen die de vaardigheden en tools van agenten bundelen voor snellere generatie en evaluatie van synthetische gegevens.
Microsoft,KernWeef, EnNebiusintegreren deze vaardigheden en tools van agenten met hun clouddiensten om ontwikkelaars in staat te stellen het genereren en implementeren van synthetische gegevens te stroomlijnen en te schalen.
Unitree humanoïde de referentie voor NVIDIA Isaac GR00T
NVIDIA heeft ook de NVIDIA Isaac GR00T Reference Humanoid Robot aangekondigd, een open humanoïde robotreferentieontwerp gebouwd op NVIDIA Jetson Thor en het NVIDIA Isaac GR00T-ontwikkelplatform. Het bedrijf zei dat dit de toegang tot geavanceerde hardware en software zal helpen democratiseren zonder dat er dure, eigen platforms voor nodig zijnmensachtigen voor algemene- doeleindenneemt toe.
NVIDIA combineerde een robotlichaam van volledige-grootte met behendige manipulatie, detectie, controle en ingebouwde AI-computertechnologie:
Unitree H2 humanoïde chassis,Hij is bijna 1,8 m lang en weegt 68 kg, met 31 vrijheidsgraden voor testen op menselijke- schaal.
DubbelSharpa-golftactiele vijf-vingerhanden,maakt behendige manipulatie mogelijk met 22 vrijheidsgraden en brengt de robot tot 75 vrijheidsgraden over het lichaam en de handen.
Multi-detectie,inclusief een op het hoofd-gemonteerde stereocamera met een breed gezichtsveld (140 graden horizontaal, 102 graden verticaal), polscamera's voor manipulatie op korte- afstand en een traagheidsmeeteenheid voor het volgen van bewegingen.
Controle over het hele-lichaam,met een armkoppel van maximaal 120 Newton-meter, een beenkoppel van maximaal 360 Newton-meter, een nominaal laadvermogen van de arm van 7 kg (15,4 lb.) en een pieklaadvermogen van 15 kg (33 lb.), wat een groter hefvermogen en bereik mogelijk maakt.
NVIDIA Jetson AGX Thor T5000 ingebouwde computer,met een NVIDIA Blackwell GPU met 2.070 FP4 teraflops aan AI-prestaties, een 14-core Arm CPU, 128 GB verenigd geheugen en een configureerbaar vermogensbereik van 40 tot 130 watt voor realtime sensorverwerking en robotinferentie.
Connectiviteitvia Ethernet, Wi-Fi 6, Bluetooth 5.2, USB en een reeks microfoons en luidsprekers voor spraakinteractie.
Batterij voor langdurig gebruik,met een capaciteit van 15 Ah, 0,972 kWh en een levensduur van ongeveer drie uur.
Op-noodstop op afstandfunctie voor het snel en veilig uitschakelen van de robot.
Het Isaac GR00T-platform omvat:
NVIDIA Isaac Teleopom robotdemonstratiegegevens van hoge-kwaliteit vast te leggen voor training en beleidsontwikkeling.
NVIDIA Isaac GR00T open foundation-modellenter ondersteuning van humanoïde redeneren, leren en multitaskgedrag.
NVIDIA Isaac Sim EnIsaac Labom robotbeleid te simuleren, trainen, testen en evalueren vóór implementatie in de echte-wereld.
Versnelde NVIDIA Isaac ROS-middlewareom getraind beleid naar robots te verplaatsen.
NVIDIA Jetson Thorom real-time uit te voeren, op-robotinferentie en -controle.
Het systeem is modulair ontworpen, zodat roboticateams het volledige platform kunnen gebruiken of geselecteerde mogelijkheden kunnen integreren in bestaande ontwikkelingspijplijnen, waardoor ze de humanoïde ontwikkeling kunnen opschalen zonder voor elke robot of taak dezelfde infrastructuur opnieuw op te bouwen.
Toonaangevende onderzoeksinstellingen, waaronder Ai2, ETH Zurich, Stanford Robotics Center en het Advanced Robotics and Controls Laboratory van UC San Diego, zijn van plan dit referentieontwerp te gebruiken om onderzoek naar humanoïde robotica te bevorderen.
"Om vooruitgang te boeken in de richting van robots voor algemene- doeleinden, hebben onderzoekers platforms nodig die zowel capabel als breed toegankelijk zijn", zegt Deepak Pathak, mede-oprichter en CEO van Skild AI. "Een referentieontwerp zorgt ervoor dat meer onderzoekers kunnen deelnemen aan grensverleggend humanoïde onderzoek en sneller van ideeën naar experimenten kunnen gaan. Dit helpt het hele ecosysteem voor robotica-onderzoek vooruit te helpen."