Gentleman Programming | KV cache | Qué es el KV cache y por qué la IA se pone lenta: capítulo 2 del curso gratis de inteligencia artificial, de tokens a agentes. Sin lo que vemos hoy no existirían Claude Code, Cursor ni ningún agente que trabaje media hora seguida sobre tu código.
Arrancamos con un repaso completo de la atención con la analogía de la biblioteca (Query, Key y Value, el bibliotecario que pone puntaje, y varios bibliotecarios a la vez que son las cabezas), y de ahí vamos al problema: para generar cada palabra el modelo rehace toda la biblioteca entera, y eso crece al cuadrado. Mil palabras son medio millón de lomos fabricados y tirados a la basura. Demo en vivo: sin caché versus con caché, 50x, 500x y 5.000x de ahorro.
Después la condición que casi nadie explica bien: el pasado no se puede cambiar, porque el modelo solo mira hacia atrás y si pudiera ver el futuro el entrenamiento sería una farsa. Esa causalidad es lo que permite guardar los lomos, y guardarlos se llama KV cache. Con eso entendés la imprenta y el calígrafo, por qué la salida cuesta 5 veces más que la entrada, y por qué tus sesiones largas se ponen lentas: no es que el modelo se cansó, es física.
Y la segunda mitad es la que aplicás mañana: caché de prefijo, “el caché se corta en el primer carácter que cambia”, la demo del timestamp al principio versus al final del system prompt (99% del prompt a precio de lectura solo por mover un texto de lugar), la regla “lo fijo adelante, lo variable atrás”, la cuenta de $4.500 por mes, y tres síntomas de lentitud con su diagnóstico real. Tarea de 5 minutos al final.
📖 El libro gratis (todo el curso sale de ahí):
⏱️ TIMESTAMPS:
0:00 Arranca la claseña número dos
0:51 Sin esto no existirían Claude Code ni Cursor
1:32 Para los que caen hoy: repaso completo
2:19 La biblioteca: Query, Key y Value
3:36 El bibliotecario compara y pone puntaje
4:47 La fórmula de atención leída a nivel humano
6:46 Multi-head: varios bibliotecarios a la vez
8:03 El problema: rehacer la biblioteca en cada palabra
9:49 La cuenta: medio millón de lomos para 1.000 palabras
10:30 Demo 1: sin caché vs con caché (50x, 500x, 5.000x)
13:03 La parte más ofensiva: el mismo lomo millones de veces
14:36 La condición: el pasado no se puede cambiar
15:31 Causalidad: el modelo no puede ver el futuro
16:13 Si pudiera ver el futuro, el entrenamiento sería una farsa
17:47 La consecuencia: el lomo queda congelado para siempre
18:36 Sin esto los agentes serían inviables
19:10 La solución: guardar y agregar solo lo nuevo
19:55 El mozo que te repite la comanda entera
20:53 La imprenta y el calígrafo
22:07 Por qué la salida cuesta 5 veces más
22:52 El caché no es gratis: memoria y sesiones lentas
24:06 Demo 2: TTFT con prompt corto vs 51.000 tokens
26:02 Segunda mitad: esto lo tenés que tocar vos
26:44 Caché de prefijo
27:24 El caché se corta en el primer carácter que cambia
27:57 Pusiste la fecha en el system prompt y mataste el caché
28:51 Demo 3: timestamp al principio vs al final
32:02 Cache read vs cache creation: 99% a precio de lectura
33:04 La regla: lo fijo adelante, lo variable atrás
33:47 La cuenta: $150 por día, $4.500 por mes
34:20 Esto es ingeniería de agentes, no prolijidad
35:34 Tres síntomas con diagnóstico
36:36 Síntoma 2: cambié una cosita y explotó el costo
36:56 Síntoma 3: en local vuela, en producción es un desastre
37:44 Qué te llevás de la clase de hoy
38:31 Tarea: mirá las 3 primeras líneas de tu system prompt
39:17 Reflexión final: usuario o ingeniero
40:21 La próxima: contexto como presupuesto
▬ LINKS DE INTERÉS ▬
🤑 DESCUENTOS
══════════════════════
CodeCrafters:
Linsoul:
📺 STREAM
══════════════════════
Twitch: 🎮
YouTube:
VODS en canal secundario 🥵:
Kick:
📺 REDES Y COSITAS 🫦
══════════════════════
💰 Collab 🤑
══════════════════════
gentleman@ohmybitz.com
💻 Mi configuración de LazyVim
══════════════════════
🎬 EDITOR
══════════════════════
Email: Cris081812@gmail.com
Discord: Cristian1812
#KVCache #PromptCaching #InteligenciaArtificial #CursoDeIA #DesarrolloDeSoftware
source
📖 Todo el curso sale del libro gratis, si querés ir más profundo: https://the-amazing-gentleman-programming-book.vercel.app
📝 TAREA DE 5 MINUTOS: abrí el system prompt de tu agente y mirá las 3 primeras líneas. Si hay una fecha, una hora, un ID de sesión o cualquier cosa que cambie entre pedido y pedido, mandalo al final. Corré el before y el after, mirá el campo de tokens cacheados, y traeme el número acá abajo 👇
Quiero ver quién baja más la factura esta semana.
La próxima clase: el contexto como presupuesto, y por qué memoria y contexto NO son lo mismo.
Maravilloso!! Y muy interesado en lo que comentas de uso de suscripción mediante terminal. Todo sea por aprender. Eres un genio, es donde hay que poner el foco ahora, en las bases!! Abuelaaaa!!😍😍😍
te sigo desde neuquen, hace ya unos 4 meses implemente un asistente por whatsapp y n8n. Con tu curso de este video me abriste los ojos con un simple detalle. Mi system prompt estaba configurado con todas las variables al inicio. Ahora las pase al final. Como tengo todo montado en vertex, configure el panel para ver como impacta este kv cache que acabo de descubrir que en la medicion estaba en CERO!!!. Que pequeno gran detalle @gentlemanprogramming. Gracias, estoy aprendiendo mucho con esta nueva iniciativa tuya, era lo que necesitaba
Al menos de habla hispana, creo q sos el único q explica estás cosas. Genio
@gentlemanprogramming Alan, quería compartirte algo que hoy me hizo muchísima ilusión. Estuve como asistente en la DragonJAR Security Conference 2026 acá en Medellín, Colombia, conociendo proyectos, escuchando experiencias y aprendiendo un montón de cosas alrededor de ciberseguridad.
Y en una de las charlas, cuando empezaron a hablar de Engram y de conceptos y herramientas que ya venía conociendo gracias a todo lo que compartes, fue inevitable pensar: “esto ya lo conozco” 😂.
Por momentos incluso sentí que iba un paso adelante en algunos de los temas que estaban explicando, no porque sepa más, sino porque llevo tiempo aprendiendo de todo lo que tú transmites, de tus proyectos y de la comunidad que has construido alrededor de Gentle AI.
Eso me hizo dimensionar todavía más el impacto de lo que haces. No es solamente código, herramientas o contenido técnico. Se nota muchísimo tu vocación por enseñar, compartir y hacer crecer a la comunidad, y sobre todo el amor y la dedicación con la que impulsas a otros a aprender, experimentar y construir.
De verdad da mucho orgullo ver que todo ese trabajo termina llegando a escenarios profesionales como una conferencia de ciberseguridad. A mí, como alguien que ha aprendido muchísimo siguiéndote, me emocionó bastante verlo.
Gracias a ti, Alan, y a toda la comunidad por esa maravilla de shell de GentlePi. Me encanta; ya ni sé cómo estaba trabajando sin él jajajaja. 😂🔥
Mira el link donde hablan de ti y de Engram, justo en el minuto 1:09:50: Link: https://www.youtube.com/watch?v=VMpwzQiDXiM&t=2548s
WoW Gracias Alan!!!
Gracias gentle!!! locuritaaa!! 😀 , sobre todo gracias por poner el foco en los puntos y temas que tocas, como ingeniero se agradece muchisimo porque de esto hay poco, uno tiene que ir descubriendo estas cosas, lo que no digo que este mal, pero esta cambiando tan rapido que muchos detalles se pasan de largo. Definitivamente me voy a echar todo tu curso, aporta muchisimo locurita 😀 y encima con ese tan buen rollo que tiras a lo largo de todos tus videos. Gracias, enriqueces muchisimo a la comunidad, un fuerte abrazo Gentle!!!
me encanto, lo vi como 2 veces para terminar de entender
aunq estaba buscando el momento donde explicabas como modificar el system prompt, actualmente uso opencode, uso ponytail y vi q abajo no lo recomendabas. yo quiero aprender todo lo q pueda de forma agnostica sin besarle los pies a uno solo, de momento sigo con OC pero tengo pensado darle una oportunidad a tu configuracion, soss un genio explicando y sabes retener la atencion, asiq si puedo aprender lo que enseñas en otras plataformas joya, aun asi me gusto y entendi completamente tu clase, estare esperando la prox
Gente. Se me ocurrio que el cache de la IA funciona igual al cache de las imagenes de docket. ¿Me falta algo o de verdad funcionarian igual las invalidaciones?
Wow clase numero 2 , gracias !
ohhh woman no cry
5:41 ?? 🗿🗿🗿🥶
Hypear el vídeo 🗣️🗣️
Abuelaaaaa, el gentleman esta dando catedra.
a gentle-ai se le puede poner el plugin de ponnytail?
Muy bueno!!
Podes hacer un videito con la config que tenes para vincular una suscripción y no consumirla por API?
❤❤❤🎉🎉🎉🎉
Dale abuelaaaaaa que salió la 2da parte del curso