Enrutamiento por grupos: reduzca el costo de su API de LLM

Respuesta corta: en un gateway, el mismo modelo tiene precios distintos según el grupo que use su clave, y elegir el grupo adecuado a menudo ahorra más que cambiar a un modelo más barato. Los grupos de HopBase equilibran calidad de servicio y precio y suelen pertenecer a tres tipos (los nombres reales de los grupos en la consola varían): el tipo estable ofrece redundancia de múltiples fuentes y conmutación automática por error a nivel de solicitud con la tarifa estándar, el tipo rápido prioriza la latencia del primer token con una tarifa algo más alta y el tipo económico tiene la tarifa más baja, pero puede formar colas en horas pico. Dos grupos que sirven el mismo modelo no pueden compartir una clave, así que mantenga cada nivel en claves separadas y cambie de nivel cambiando de clave o editando los grupos de una clave en la consola, sin cambios de código. Un desarrollador independiente puede usar un grupo de tipo estable para programar y uno de tipo económico para pruebas y scripts por lotes; un equipo puede asignar el tipo estable a producción y el económico a CI; los trabajos de contenido masivo pueden ejecutarse en el tipo económico fuera de horas pico. Optimice en este orden: primero aproveche el ahorro de la caché de prompts, después elija el grupo adecuado y solo entonces plantéese cambiar de modelo.

Al optimizar los costos de una API de LLM, el primer instinto de la mayoría es "elegir un modelo más barato". Pero en las facturas reales que vemos, el mayor ahorro suele venir de "el mismo modelo, por otra ruta". Este artículo explica cómo funciona el enrutamiento por grupos y cómo ajustar una configuración de ahorro que se adapte a su patrón de uso.

¿Qué son los grupos?

Un gateway organiza el acceso a los modelos en grupos según "calidad de servicio × precio". El mismo modelo cuesta distinto según el grupo de la clave que utilice. La tabla muestra tres tipos de grupo habituales; los nombres reales de los grupos en la consola varían:

Una clave puede incluir uno o varios grupos, pero dos grupos que sirven el mismo modelo no pueden compartir una clave, así que los niveles de un mismo modelo se asignan a claves separadas. Cambiar de nivel no requiere cambios de código: basta con cambiar la clave que utiliza o modificar los grupos de la clave en la consola.

¿Qué significa la conmutación automática por error?

Los grupos de tipo estable funcionan sobre rutas redundantes. Si una ruta sufre limitación de tasa o se vuelve inestable, el gateway cambia automáticamente a nivel de solicitud: quien hace la llamada solo percibe que "esa tardó un poco más", no un error 5xx. No necesita escribir usted mismo lógica de reintentos, circuit breakers ni adaptadores para varios proveedores: ese es precisamente el sentido de un gateway.

Configuraciones recomendadas para tres perfiles

1. Desarrollador independiente: una clave en un grupo de tipo estable para programar y una segunda clave en uno de tipo económico para ejecuciones de prueba y scripts por lotes. Dos claves, vistas de facturación separadas y un desglose de costos totalmente claro.
2. Equipo pequeño: distribuya claves por función (frontend, CI, producción). Producción usa el tipo estable y CI el económico. CI aprovecha al máximo los descuentos de caché, y a menudo su factura resulta insignificante.
3. Procesamiento masivo de contenido o datos: envíe todo por el tipo económico y programe las ejecuciones por lotes en horas valle. Cualquier validación final con requisitos de tiempo va al tipo estable.

Orden de la optimización de costos

Primero, aproveche los descuentos de caché (reescritura del prompt, costo cero). Segundo, elija el grupo adecuado (decisión de arquitectura, se configura una vez). Tercero, plantéese cambiar de modelo (compromiso de calidad, proceda con cuidado). Siga ese orden y la mayoría de las facturas bajan de forma notable sin sacrificar calidad: su página de uso nunca miente.