NeMo Retriever Llama 3.2: Innovadora Integración en Microservicios NVIDIA en Amazon SageMaker JumpStart

Hoy se ha anunciado con gran entusiasmo la disponibilidad del NeMo Retriever Llama 3.2 Text Embedding y Reranking como parte de los microservicios de NVIDIA NIM en Amazon SageMaker JumpStart. Esta actualización representa un avance significativo para los desarrolladores interesados en implementar modelos optimizados de re-ranking y embeddings proporcionados por NVIDIA, facilitando la creación, prueba y expansión responsable de ideas en el ámbito de la inteligencia artificial generativa, dentro del entorno de Amazon Web Services (AWS).

Los microservicios de NVIDIA NIM están diseñados para ofrecer una integración fluida con los servicios gestionados de AWS, tales como Amazon Elastic Compute Cloud (EC2), Amazon Elastic Kubernetes Service (EKS) y Amazon SageMaker. Este conjunto de herramientas fácil de usar simplifica el despliegue de modelos de inteligencia artificial generativa a escala, soportando una gama diversa de modelos, que incluye desde aquellos de código abierto hasta los modelos base desarrollados por NVIDIA. Al utilizar APIs estándar de la industria, los desarrolladores pueden incorporar estas herramientas en sus aplicaciones de inteligencia artificial generativa con solo unas pocas líneas de código o a través de la interfaz de la consola de SageMaker JumpStart.

Uno de los elementos principales de estos microservicios es el NeMo Retriever para los embeddings de texto, que ha sido optimizado para la recuperación de preguntas y respuestas en múltiples idiomas y contextos lingüísticos, así como para la gestión de documentos extensos, de hasta 8,192 tokens. Este modelo ha probado su eficacia evaluando 26 idiomas, entre ellos inglés, español, árabe y chino, mejorando así la eficiencia en la recuperación de información y reduciendo significativamente la huella de almacenamiento de datos.

Simultáneamente, el NeMo Retriever text reranking está diseñado para gestionar documentos de gran extensión, proporcionando puntuaciones logit que reflejan la relevancia de un documento en relación con una consulta específica. Gracias a su enfoque multilingüe y su capacidad para integrar documentos largos, estos modelos se posicionan como herramientas invaluables para sistemas de búsqueda empresariales y aplicaciones de atención al cliente que requieren respuestas precisas y rápidas.

SageMaker JumpStart proporciona un servicio completamente gestionado que permite a los usuarios emplear modelos de lenguaje avanzados para una amplia variedad de aplicaciones, como la generación de contenido, la creación de código y la respuesta a preguntas. Además, facilita la implementación ágil de modelos pre-entrenados y ofrece funcionalidades como Amazon SageMaker Pipelines y Debugger, que optimizan el rendimiento y facilitan el control en las operaciones de aprendizaje automático.

Adicionalmente, los microservicios NeMo Retriever pueden ser descubiertos y desplegados programáticamente a través del SDK de Python de Amazon SageMaker, lo que permite a los usuarios aprovechar sofisticadas características de MLOps y establecer controles sobre el rendimiento de los modelos en un entorno seguro. Los datos se gestionan dentro de una VPC (nube privada virtual), lo que refuerza los protocolos de seguridad para satisfacer las exigencias empresariales.

Con esta iniciativa, NVIDIA y AWS se consolidan como líderes en proveer soluciones que permiten a las empresas desplegar capacidades avanzadas de búsqueda sin comprometer la eficiencia ni la diversidad lingüística, permitiendo la creación de aplicaciones que pueden servir a usuarios de todo el mundo de manera eficiente y precisa.