Sparsity: ni quienes la usan terminan de saber por qué funciona

John Schulman lideró el trabajo de RLHF que llevó a ChatGPT. Cofundó OpenAI. Hoy es chief scientist en Thinking Machines.

El 11 de septiembre de 2026 habló con Dwarkesh Patel, junto a Beren Millidge (CTO de Zyphra) y Charlie O’Neill (head of model training en Baseten), sobre “sparsity”: cuántos parámetros de un modelo se activan en cada pasada, no todos a la vez. La entrevista completa está en dwarkesh.com/p/john-beren-charlie.

Dijo, en mi traducción: “También creo que no entendemos tan bien la sparsity.”

Después agregó: “No creo que tengamos una teoría de las leyes de escalado lo bastante buena como para entender de verdad por qué la sparsity está ayudando, cuánto va a ayudar, y si eso se va a estancar en algún punto, en cierto nivel de sparsity.”

Uso a diario herramientas construidas sobre estas técnicas, y no tenía dimensionado que la incertidumbre llegara hasta el mecanismo, no solo hasta el resultado.

¿A alguien más le sorprendió que quien lideró el RLHF de ChatGPT lo diga así de directo, o es más habitual de lo que pienso que quien construye no termine de explicar por qué funciona lo que ya está en producción?

Fuente: Dwarkesh Patel × John Schulman, Beren Millidge y Charlie O’Neill, Dwarkesh Podcast, 11 de septiembre de 2026 — https://www.dwarkesh.com/p/john-beren-charlie (las traducciones de las citas son propias).