La entrada por voz se sentía como un mensaje de voz. Hablabas, parabas y esperabas a que el clip se subiera, se transcribiera y lo leyera Claude antes de que apareciera algo.
Llenar mientras hablas
#519 manda el audio en streaming. La app lo envía a ElevenLabs Scribe Realtime a través de un worker de Cloudflare nuevo (apps/voice-relay, en voice.tryoutlayr.com), así que ElevenLabs solo ve nuestros servidores, como dice la política de privacidad.
A medida que llegan las palabras, un parser local llena la frase con la transcripción parcial: monto, moneda, cuenta, categoría, fecha, transferencia y repetición. Las palabras que solo adivinó van subrayadas con guiones.
Cuando paras, speakText le envía la transcripción a Claude, nunca el audio. Claude confirma las palabras (subrayado sólido) o las corrige, y un valor corregido se ve con el anterior tachado. Si dices "No, fueron 25" después de "Gasté $20,00", ves $20,00 tachado junto a $25,00.
El backend entrega un token de Scribe de un solo uso con openStream. Cuenta como una captura, con las mismas validaciones de antes, y speakText gasta el crédito que dejó ese token.
Lo probé en un simulador de iOS, metiendo clips de voz en español en el callback de audio del grabador. El stream, el relay y ElevenLabs eran reales. Solo se saltó el micrófono. A través del relay, el texto confirmado llega unos 120 ms después del último fragmento de audio.
Lo que no verifiqué: un micrófono real, Android y cerrar y reabrir en menos de unos 5 segundos, que solo pude revisar en el código. Además, el gasto en tiempo real todavía no se mide por token. Una captura se cuenta al abrir el stream, como antes, pero los segundos de Scribe no.
Cerrar la pantalla a mitad de un turno
A las pocas horas de salir #519, PostHog mostró un par de errores, "Message not found" y "Stream not found". Cerrar la pantalla de voz mientras un turno todavía se estaba procesando borraba el hilo del agente por debajo. Cuando se disparaba el aborto de 10 segundos del análisis, @convex-dev/agent intentaba cerrar un mensaje y abortar un stream que ya no existían.
Nadie lo veía, porque ya se habían ido. Pero era ruido que crecería con el uso de la voz.
#524 hace que endThread ya no borre de inmediato. Programa el barrido expireThread que ya existía para 25 segundos después: 10 para transcribir, 10 para analizar y 5 para que el agente termine. Si un turno llega después de cerrar la pantalla, el barrido se corre más allá, y luego borra el hilo y sus créditos de stream.
La prueba guarda un turno 15 segundos después de endThread, comprueba que el hilo sobrevive al barrido y que se borra después. Falla con el código anterior. Los hilos se siguen borrando al cerrar la pantalla, ahora unos 25 segundos más tarde, o más si todavía estaba llegando un turno.
Ori en la pantalla de voz
El botón de terminar era una esfera abstracta. #525 la cambia por Ori, la mascota, que actúa cada estado:
- Escuchando: está parada ante un micrófono de escritorio y se inclina hacia él según el nivel de tu voz.
- Pensando: el micrófono desaparece y un bombillo tenue parpadea sobre su cabeza.
- Listo: el bombillo se enciende, da un salto y se encoge de 150 a 84 pt sobre la frase que entendió.
- Falló: cara de preocupación y un bombillo apagado con un hilo de humo.
Se dibuja desde un atlas de sprites prerenderizado (renders de Blender, unos 720 KB para los dos temas) con Skia. Un callback de cuadros en el hilo de la UI elige la celda, así que el nivel del micrófono a 60 Hz nunca vuelve a renderizar React, y el canvas solo se repinta cuando cambia la celda. Con Reducir movimiento activado, cada estado es un cuadro fijo. No hay dependencias nuevas, así que salió por OTA.
La revisé en el simulador de iOS en claro y oscuro con un arnés temporal y un nivel de micrófono falso. No revisé una grabación real ni Android.
Cualquier idioma de la app, sin importar en cuál esté
Alguien con la app en inglés intentó dictar una entrada en español y no salió nada. La entrada por voz fijaba la transcripción al idioma de la app, y la vista previa en vivo leía las palabras con la lista de pistas de ese idioma.
#601 pasa la transcripción en tiempo real a Scribe v3 Live. El idioma de la app sigue siendo el language_code principal, y los otros idiomas de la app van como secondary_languages, así que la detección sigue a quien habla:
for (const other of SCRIBE_LANGUAGES) {
if (other !== language) {
query.append("secondary_languages", other);
}
}
Ahora la vista previa elige la lista de pistas que coincide con más palabras de lo que dijiste, y si hay empate vuelve al idioma de la app.
Había un detalle. Con la app en español, v3 a veces soltaba "dollars" del inglés, y el monto se habría guardado en la moneda del libro. Por eso va una lista fija de palabras de moneda como keyterms: dollars, dólares, bucks, euros, pounds, Pfund, reais, reales, bolívares, bolivars y pesos.
El relay reenvía secondary_languages y keyterms repetidos, y se desplegó antes del cambio de la app. Una app vieja no envía ninguno y funciona como antes.
Costo y privacidad
Los keyterms suman $0,08 por hora de audio, encima de los $0,22 por hora.
De ti, ElevenLabs sigue recibiendo solo el audio y tu idioma. El resto de la solicitud es configuración: los otros idiomas de la app como idiomas secundarios, y una lista fija de keyterms, igual para todos. Así que #601 no necesitó aviso de política.
Probé #601 enviando frases de dinero generadas en español e inglés, limpias y con ruido, más de 80 corridas, a ElevenLabs directo y a través del relay desplegado. La sesión devuelve los 4 idiomas secundarios y los 11 keyterms, y las transcripciones entre idiomas conservan sus montos y monedas. No lo probé con una voz real.