Saltar al contenido
Blog

Haiku primero, Sonnet solo si propone una categoría nueva

Daniel Esteves · · 5 min de lectura

$4,89por cada 1.000 trabajos en segundo plano, todo Sonnet$1,35por cada 1.000 trabajos en segundo plano, Haiku primero

Después de que #578 pasó a Sonnet las sugerencias de categoría que recibes mientras escribes, el gasto en IA se multiplicó por cinco, más o menos. Casi todo venía de category_suggest.

#622 fue el arreglo rápido: las sugerencias al escribir vuelven a Haiku. Corrí el flujo real de sugerencias con 85 nombres de comercios de libros de EE. UU., VE y MX. Sonnet acertó 182 de 194 categorías y Haiku 181, sin dominios de logo equivocados en ninguno. Haiku respondió en la mitad del tiempo, aproximadamente.

Quedaba la cola de enriquecimiento en segundo plano, que seguía haciendo cada llamada de sugerencia en Sonnet. Un trabajo en Sonnet cuesta unas 15 veces lo que uno en Haiku. #623 arregla eso.

Ningún lugar decidía el modelo

Cada llamada de IA escogía su modelo a mano, con claudeModelId, claudeFastModelId o claudeGroundedModelId. No había un solo sitio que decidiera Haiku o Sonnet, y nada registraba por qué.

#623 agrega un paquete pequeño, @outlayr/model-router. Es una función pura que va de una solicitud (una función y un presupuesto de gasto) a una ruta: modelo, esfuerzo, tope de tokens, si es grounded y la razón.

export function route({ feature }: RouteRequest): Route {
    return { ...DEFAULTS[feature], feature, reason: "feature_default" };
}

Ahora cada llamada del backend recibe una ruta: sugerencias, sugerencias en segundo plano, búsqueda grounded, recibos, cuotas, voz, lectura de notificaciones, CSV y PDF. Los IDs de modelo siguen saliendo de las configs existentes. Las rutas en primer plano son la línea base de antes, sin cambios. Los eventos $ai_generation ahora llevan route_model, route_effort y route_reason, así que una factura se puede rastrear hasta una decisión.

Haiku primero, Sonnet si hay categoría nueva

En la cola de segundo plano, la llamada de sugerencia corre en Haiku. Si Haiku propone una categoría que todavía no tienes, el trabajo se reintenta una vez en Sonnet. Si ese reintento falla, el trabajo se queda con la respuesta de Haiku.

export function escalation(request: RouteRequest, answer: { readonly isNewCategory: boolean }): Route | null {
    if (request.feature !== "background_suggest" || request.budget === "exhausted" || !answer.isNewCategory) {
        return null;
    }
    return { ...route(request), model: "standard", reason: "new_category" };
}

Una categoría nueva es el caso donde menos confío en Haiku, porque está inventando un nombre en vez de escoger uno del libro.

También hay una guarda de presupuesto. La cola lee groundedBudgetMicros antes de la llamada a Haiku, y si en ese momento no hay margen, el trabajo nunca llega a Sonnet. Eso hace que GROUNDED_BUDGET_MICROS=0 también corte el gasto en Sonnet. La lectura no reserva nada, así que un trabajo que empezó con margen todavía puede reintentar en Sonnet si otro trabajo lo gastó mientras tanto. El rate limiter lanza un error, en vez de rechazar, cuando un solo cobro es más grande que la capacidad de un shard. La cola revisa eso primero, porque si no, un presupuesto en cero haría fallar todos los trabajos.

Qué dijo la evaluación

La evaluación es modelRoute.live.test.ts, opcional con RUN_LIVE_MODEL_TESTS=1. Esta corrida fueron 1.064 llamadas y costó $1,60.

Política de sugerencias en segundo planoPrecisión de categoríaCasos establesCosto por 1k trabajos
Todo Haiku91,9%113/133$0,33
Todo Sonnet (antes)91,2%122/133$4,89
Enrutado92,3%120/133$1,35

El enrutado cuesta 27,6% de todo Sonnet, que es el recorte de 72%. La precisión es 92,3% contra 91,2%, así que no empeoró.

Dos corridas anteriores, puntuadas offline, coinciden: enrutado 93,4% contra 92,6% de todo Sonnet, con 23,4% del costo.

Por conjunto, en el orden todo Haiku, todo Sonnet, enrutado:

  • Comercios cotidianos: 100%, 99,1%, 100%.
  • Libro anidado en español: 84,5%, 87,5%, 86,3%.
  • P2P, códigos de procesador, idiomas mezclados y marcas de VE: 85,2%, 81,9%, 85,2%.

La columna de casos estables es donde gana Sonnet: 122 contra 120 del enrutado. No digo que el enrutado le gane a Sonnet en todo. Es más barato y no es peor en precisión de categoría, y eso es lo único que dicen los números.

Lo que los datos no respaldaron

Varias ideas parecían razonables y las dejé fuera porque la evaluación no las sostuvo:

  • Mandar los nombres de transferencias o P2P directo a Sonnet. Haiku fue igual de estable en ellos y dio menos dominios equivocados.
  • Haiku con esfuerzo medio. Ganó 1,4 puntos en categoría, pero los dominios equivocados, es decir logos equivocados, subieron de 0,7% a 2,6%.
  • Enrutar por la forma del nombre, el plan del usuario o el tamaño del recibo. Ninguno predijo dónde Haiku rinde peor.
  • Un tope de tokens para las sugerencias. La respuesta más larga fue de 1.026 tokens.

El chip que guardaba demasiado pronto

#622 también arregla algo que no tiene que ver con el costo. Al tocar un chip de nombre en la pantalla de nueva transacción, la entrada se guardaba de inmediato, sin categoría y sin logo. El enriquecimiento solo ocurría si abrías la entrada después y tocabas el botón de búsqueda.

El pie de la pantalla contaba como respondido un nombre que podía poner en cola, así que la pulsación del chip guardaba antes de que corriera la búsqueda. Ahora el manejador del toque del chip pone el nombre, corre la búsqueda sin el debounce, espera hasta 3 segundos por el logo y entonces pulsa el pie, leyendo los valores del formulario en ese momento. Un toque más nuevo, un cambio de paso o cerrar el formulario descarta la pulsación pendiente.

Lo probé en el simulador de iOS: un toque en el chip guardó una sola vez, con la categoría y el logo, y un doble toque rápido agregó exactamente una fila. Revisé las guardas de cambio de paso y de cierre, pero no las ejercité en el simulador.

Lo que falta

Los cambios de modelo de los dos PR salieron con el despliegue del backend del 18 de noviembre. El arreglo del chip está en la app, así que llega a los celulares con la próxima actualización. El 72% sigue siendo un número de la evaluación. La factura dirá si el tráfico real coincide.

Ninguno de los dos PR cambia el proveedor ni los datos que se envían. Sigue siendo Claude de Anthropic, y los eventos de traza solo ganan metadatos de la ruta.

Salió en

Sigue leyendoLa página de inicio es la app de verdad, dibujada como código