NVIDIA anuncia Isaac GR00T N1, primeiro modelo de base para robôs humanoides

Agora disponível, o modelo de base totalmente personalizável traz habilidades e raciocínio generalizados para robôs humanoides; NVIDIA, Google DeepMind e Disney Research colaboram para desenvolver o motor de física Newton de próxima geração de código aberto; novo Omniverse Blueprint para geração de dados sintéticos e aceleração de conjunto de dados de código aberto inicia o ciclo de dados de IA Física

A NVIDIA anuncia um portfólio de tecnologias para turbinar o desenvolvimento de robôs humanoides, incluindo o NVIDIA Isaac GR00T N1, o primeiro modelo de base aberto e totalmente personalizável do mundo para raciocínio e habilidades humanoides generalizadas. 

As outras tecnologias incluem frameworks de simulação e blueprints, como o NVIDIA Isaac GR00T Blueprint, para gerar dados sintéticos, bem como o Newton, um mecanismo de física de código aberto, em desenvolvimento com o Google DeepMind e a Disney Research, criado especificamente para o desenvolvimento de robôs.

Disponível agora, o GR00T N1 é o primeiro de uma família de modelos totalmente personalizáveis que a NVIDIA pré-treinará e lançará para desenvolvedores de robótica em todo o mundo, acelerando a transformação dos setores desafiados pela escassez global de mão de obra estimada em mais de 50 milhões de pessoas. 

GR00T N1 promove a comunidade de desenvolvedores humanoides

O modelo de base GR00T N1 possui uma arquitetura de sistema duplo, inspirada em princípios de cognição humana. O “Sistema 1” é um modelo de ação de pensamento rápido, que espelha os reflexos ou a intuição humana. O “Sistema 2” é um modelo de pensamento lento para a tomada de decisões deliberada e metódica. 

Impulsionado por um modelo de linguagem visual, o Sistema 2 faz o raciocínio sobre seu ambiente e as instruções que recebeu para planejar ações. O Sistema 1 então traduz esses planos em movimentos contínuos e precisos do robô. O Sistema 1 é treinado com dados de demonstração humana e uma enorme quantidade de dados sintéticos gerados pela plataforma NVIDIA Omniverse.

O GR00T N1 pode generalizar com facilidade tarefas comuns, como segurar, mover objetos com um ou ambos os braços e transferir itens de um braço para outro, ou ainda executar tarefas em várias etapas que exigem um longo contexto e combinações de habilidades gerais. Esses recursos podem ser aplicados em casos de uso, como manuseio, embalagem e inspeção de materiais.

Os desenvolvedores e pesquisadores podem pós-treinar o GR00T N1 com dados reais ou sintéticos para seus robôs humanoides ou tarefas específicas. 

Em sua palestra do GTC, Huang demonstra que o robô humanoide da 1X executa tarefas de limpeza doméstica de forma autônoma usando uma política pós-treinada criada no GR00T N1.  Os recursos autônomos do robô são o resultado de uma colaboração de treinamento de IA entre a 1X e a NVIDIA. 

Entre os principais desenvolvedores adicionais de humanoides do mundo com acesso antecipado ao GR00T N1 estão a Agility Robotics, a Boston Dynamics, a Mentee Robotics e a NEURA Robotics. 

NVIDIA, Google DeepMind e Disney Research com foco na física

A NVIDIA anuncia uma colaboração com o Google DeepMind e a Disney Research para desenvolver o Newton, um novo mecanismo de física de código aberto que permite que os robôs aprendam a lidar com tarefas complexas com maior precisão.

Criado com base no framework NVIDIA Warp, o Newton será otimizado para a aprendizagem de robôs e será compatível com frameworks de simulação, como o MuJoCo do Google DeepMind e o NVIDIA Isaac Lab. Além disso, as três empresas planejam permitir que o Newton aproveite o mecanismo de física da Disney.

O Google DeepMind e a NVIDIA estão colaborando para desenvolver o MuJoCo-Warp, que deverá acelerar as workloads de machine learning de robótica em mais de 70 vezes e estará disponível para os desenvolvedores por meio da biblioteca de código aberto MJX do Google DeepMind e do Newton. 

A Disney Research será uma das primeiras a usar o Newton para promover sua plataforma de personagens robóticos que impulsiona os robôs de entretenimento de última geração, como os expressivos droides BDX inspirados em Star Wars® que se juntaram a Huang no palco em sua palestra na GTC.

A NVIDIA e a Disney Research, juntamente com a Intrinsic, anunciaram uma colaboração adicional para criar os pipelines do OpenUSD e as práticas recomendadas para workflows de dados de robótica.

Mais dados para promover o pós-treinamento em robótica

Os conjuntos de dados grandes, diversos e de alta qualidade são essenciais para o desenvolvimento de robôs, mas cuja captura é muito dispendiosa. Para humanoides, os dados de demonstração humana do mundo real são limitados pelas 24 horas do dia de uma pessoa. 

O NVIDIA Isaac GR00T Blueprint para geração de movimento de manipulação sintética ajuda a enfrentar esse desafio. Criado com base nos modelos fundacionais de mundo do Omniverse e do NVIDIA Cosmos Transfer, o blueprint permite que os desenvolvedores gerem quantidades exponencialmente grandes de dados de movimento sintético para tarefas de manipulação a partir de um pequeno número de demonstrações humanas.

Usando os primeiros componentes disponíveis para o blueprint, a NVIDIA foi capaz de gerar 780.000 trajetórias sintéticas, o equivalente a 6500 horas ou nove meses contínuos de dados de demonstração humana, em apenas 11 horas.  Em seguida, combinando os dados sintéticos com dados reais, a NVIDIA melhorou o desempenho do GR00T N1 em 40%, em comparação com o uso apenas de dados reais.

Para equipar ainda mais a comunidade de desenvolvedores com dados de treinamento valiosos, a NVIDIA está lançando o conjunto de dados GR00T N1 como parte de um conjunto de dados de IA física de código aberto maior — também anunciado na GTC e agora disponível no Hugging Face .

Disponibilidade

Os dados de treinamento e cenários de avaliação de tarefas do NVIDIA GR00T N1 agora estão disponíveis para download no Hugging Face e no GitHub . O NVIDIA Isaac GR00T Blueprint para geração de movimento de manipulação sintética também está disponível como uma demonstração interativa em build.nvidia.com ou para download no GitHub .

O supercomputador de IA pessoal NVIDIA DGX Spark, também anunciado hoje na GTC, fornece aos desenvolvedores um sistema pronto para uso para expandir os recursos do GR00T N1 para novos robôs, tarefas e ambientes sem necessidade de programação personalizada extensa.

Espera-se que o mecanismo de física Newton esteja disponível ainda este ano.

Saiba mais assistindo à palestra principal do NVIDIA GTC e registre-se para participar das principais sessões do Humanoid Developer Day , incluindo:

• “Uma introdução à construção de robôs humanoides” para um mergulho profundo no NVIDIA Isaac GR00T;
• “Insights Into Disney’s Robotic Character Platform” para aprender como a Disney Research redefine a robótica de entretenimento com droides BDX; e
• “Anunciando Mujoco-Warp e Newton: como o Google DeepMind e a NVIDIA estão potencializando o desenvolvimento da robótica” para uma análise mais aprofundada dessas novas tecnologias e como o Google implementa modelos de IA para treinar humanoides com tecnologia de IA para tarefas do mundo real.