Mejora De La Precisión En La Llamada De Funciones De Amazon Bedrock Mediante Destilación De Modelos

Amazon ha lanzado Amazon Bedrock Model Distillation, una innovadora solución diseñada para hacer frente al desafío de implementar inteligencia artificial generativa con alto rendimiento, pero reduciendo costos y latencia. Esta técnica revolucionaria habilita la transferencia de conocimiento desde modelos base más grandes y complejos, conocidos como «maestros», hacia modelos más pequeños y eficientes, denominados «estudiantes». De esta manera, se crean modelos especializados que sobresalen en tareas específicas, incorporando técnicas avanzadas de aumento de datos y mejoras de rendimiento con el uso de la familia de modelos Llama de Meta.

Una de las características clave de esta herramienta es su capacidad para realizar llamadas a funciones, lo que permite a los modelos interactuar con herramientas externas, bases de datos y APIs, determinando con precisión cuándo y cómo deben invocar funciones específicas. Tradicionalmente, los modelos más grandes han sido más efectivos en esta tarea, pero con costos y tiempos de respuesta elevados. Amazon Bedrock Model Distillation permite ahora que los modelos más pequeños igualen a los más grandes en precisión de llamadas a funciones, ofreciendo al mismo tiempo respuestas más rápidas y menores costos operativos.

La propuesta de valor de esta tecnología es impresionante: las organizaciones pueden desplegar agentes de IA que mantienen alta precisión en la selección de herramientas y construcción de parámetros, todo mientras se benefician de un menor tamaño y mayor rendimiento. Esto amplía la accesibilidad económica en arquitecturas complejas para una variedad de aplicaciones.

Para utilizar Amazon Bedrock Model Distillation, se requiere una cuenta activa de AWS, los modelos de maestro y estudiante adecuados, un bucket de S3 para almacenamiento de datos y artefactos, además de los permisos de IAM necesarios. La preparación de datos es crucial para el éxito de la destilación de funciones, con opciones de preparación que incluyen subir archivos JSONL a Amazon S3 o utilizar registros de invocación históricos. Las especificaciones de herramientas deben estar adecuadamente formateadas para garantizar una destilación exitosa.

Entre las mejoras que presenta esta nueva herramienta se incluyen un mayor soporte de modelos y tecnología avanzada de síntesis de datos, que elabora ejemplos de entrenamiento adicionales para potenciar la capacidad del modelo. Además, la transparencia del proceso de entrenamiento ha mejorado, permitiendo a los usuarios ver cómo se entrenó su modelo y recibir informes detallados sobre los prompts aceptados y rechazados.

Las evaluaciones han demostrado que los modelos destilados para llamadas a funciones pueden lograr una precisión comparable a modelos sustancialmente más grandes, con tiempos de inferencia más rápidos y costos operativos reducidos, permitiendo así una implementación escalable de agentes de IA. Esto representa un paso significativo para los desarrolladores que buscan maximizar el potencial de la inteligencia generativa en sus aplicaciones empresariales, equilibrando precisión, velocidad y eficiencia de costos.