NVIDIA revoluciona a IA física com novos modelos Cosmos!

A NVIDIA acaba de anunciar um grande avanço com o lançamento dos modelos Cosmos World Foundation (WFMs) e novas ferramentas para geração de dados sintéticos massivos e controláveis. Essas inovações prometem transformar o desenvolvimento de robôs e veículos autônomos, permitindo previsão, geração de mundo controlável e raciocínio avançado.

Principais Novidades

Cosmos Transfer – Geração de Dados Sintéticos

Permite a criação de vídeos fotorrealistas controláveis a partir de entradas estruturadas como mapas de segmentação, profundidade e estimativa de pose.

Aplicações:

• Treinamento de IA de percepção em larga escala
• Conversão de simulações 3D do NVIDIA Omniverse em vídeos realistas
• Empresas como Agility Robotics, Foretellix e Parallel Domain já utilizam para aprimorar dados sensoriais de IA

Cosmos Predict – Geração Inteligente de Mundos

Anunciado na CES 2024, o Cosmos Predict gera estados de mundo virtual a partir de texto, imagens e vídeos, podendo prever movimentos e trajetórias intermediárias.

Aplicações:

• Treinamento de IA pós-modelo
• Simulação de ações futuras a partir de imagens de início e fim
• Empresas como 1X, Nexar e Oxa estão aplicando para robôs e direção autônoma

Cosmos Reason – Raciocínio Multimodal para IA Física

Com consciência espaço-temporal, o Cosmos Reason usa raciocínio de cadeia de pensamento para compreender dados de vídeo e prever interações, permitindo respostas inteligentes em linguagem natural.

Aplicações:

• Melhorar anotação e curadoria de dados de IA física
• Criar planejadores avançados para robôs e agentes visuais
• Empresas como Linker Vision, Milestone Systems e Virtual Incision já utilizam para treinar LLMs e robôs cirúrgicos

Aceleração de Pós-Treinamento e Curadoria de Dados

• Suporte ao PyTorch e NVIDIA NeMo para pós-treinamento
• NeMo Curator no NVIDIA DGX Cloud para processamento acelerado
• Uber e Waabi exploram essas tecnologias para veículos autônomos

Transparência e IA Responsável

A NVIDIA reforça seu compromisso com a segurança e autenticidade das saídas de IA:

• Guardrails abertos para todos os modelos
• Integração do SynthID do Google DeepMind para marcação de IA

Disponibilidade

• Os Cosmos WFMs já podem ser testados no catálogo de APIs da NVIDIA e estão disponíveis no Google Cloud Vertex AI Model Garden, Hugging Face e GitHub.
• O Cosmos Reason está disponível para acesso antecipado.

Saiba mais assistindo à palestra do NVIDIA GTC e participe das sessões especiais sobre os modelos Cosmos com especialistas da NVIDIA!