Contexto de 1M de tokens: por qué el RAG sigue vivo

Generar de forma masiva tokens con ventanas de contexto extendido no sustituye al RAG en la empresa española: el coste por consulta se dispara entre 20 y 26 veces frente a una arquitectura de recuperación optimizada, y la latencia pasa de 1 segundo a 30-60 segundos cuando el corpus supera los 128.000 tokens.

Imagina un despacho laboralista en Bilbao: tres socios, cuarenta clientes recurrentes y un aluvión semanal de dudas sobre convenios y plazos. El director, deslumbrado por el millón de tokens de los modelos actuales, descarta el RAG que le presupuestaron meses atrás. Seis semanas después, la factura de la API se ha triplicado y el chatbot interno tarda un minuto en responder. Es una escena hipotética, pero refleja el error que observamos con frecuencia: confundir una demo deslumbrante con una arquitectura de producción solvente. Si firmas los presupuestos de IA en tu empresa, deja de buscar bandos entre RAG y contexto largo; lo que necesitas es saber qué preguntar antes de que empiece a correr el contador.

¿Qué ha publicado Google realmente y qué sigue sin confirmarse?

Aquí conviene separar el hecho de la interpretación, porque es donde más se está vendiendo humo estos días.

El hecho verificable: la documentación técnica oficial de Google (ai.google.dev) describe ventanas de contexto de entrada multimodal de entre 1 y 2 millones de tokens dentro de la familia Gemini 1.5 y 2.0. Eso es real, está publicado y cualquier especialista puede verificarlo hoy mismo.

Lo que no está confirmado: la idea de que existe un "Gemini 4" que genera un millón de tokens de salida de una sentada y que esto elimina por completo la necesidad de RAG. Aunque Google anunció Gemini 4 Argon el 30 de septiembre de 2026 destacando un techo de salida de 1 millón de tokens, todavía no está disponible en la API ni elimina la necesidad de RAG en entornos con control de accesos y latencia crítica. Y los análisis técnicos más recientes de 2026 van en dirección contraria a la narrativa de "la muerte del RAG": el contexto largo no resuelve el control de accesos por documento, ni la latencia de 30-60 segundos por consulta, ni el coste recurrente a escala, según recoge el análisis de Tian Pan Tech Blog.

Hay una perspectiva de mercado que conviene tener presente antes de dejarte llevar por un titular: existe una narrativa interesada por parte de los proveedores de modelos fundacionales para empujar el consumo directo de tokens, porque cada consulta sin recuperación vectorial es una consulta que se factura entera contra su API. El mercado de integración B2B, mientras tanto, está convergiendo hacia patrones híbridos y agentes enrutadores, no hacia desechar la capa de indexación documental.

La decisión de contratación que cambia aquí es sencilla: si un proveedor te vende la eliminación total del RAG apoyándose en un lanzamiento de modelo que ni siquiera está documentado oficialmente, pide la ficha técnica exacta del modelo y la fecha de publicación antes de firmar nada.

RAG vs contexto largo: ¿cuánto cuesta realmente cada consulta?

Aquí es donde el debate deja de ser filosófico y se convierte en una línea del presupuesto de tu empresa. Según la evaluación técnica de septiembre de 2026 de Intuition Labs Research, el coste de inferencia por consulta en modelos de contexto largo masivo resulta entre 20 y 26 veces más elevado que en arquitecturas basadas en RAG al escalar el volumen de consultas. No es una diferencia marginal: es la diferencia entre que tu chatbot de atención a clientes sea rentable o entre que se coma el margen de todo el departamento.

A eso se suma un problema de fiabilidad que muchas pymes descubren tarde: los sistemas de contexto largo sufren degradación en precisión o alucinaciones cuando los volúmenes superan los 128.000 tokens en modelos abiertos, y carecen de trazabilidad nativa de fuentes frente a la cita granular que ofrece un sistema RAG bien construido, según el mismo informe de Intuition Labs y el árbol de decisión de ingeniería de Tian Pan Tech Blog.

EXPERTUNO · COMPARATIVA

RAG vs contexto largo: ¿cuánto cuesta realmente cada consulta?

Variable comparada	RAG optimizado	Contexto largo (1M+ tokens)	Fuente
Coste por consulta a escala	Base de referencia (1x)	Entre 20x y 26x más caro	Intuition Labs Research
Latencia por inferencia	~1 segundo	30-60 segundos en ventanas saturadas	AlphaCorp AI Technical Review
Umbral de fiabilidad	Estable con corpus grande	Degradación a partir de ~128.000 tokens	Intuition Labs Research
Trazabilidad de fuentes	Cita granular por fragmento	Sin atribución nativa	Tian Pan Tech Blog

Si gestionas el presupuesto de tokens de un agente de IA que atiende consultas repetitivas de empleados o clientes, esta tabla es la que deberías pedirle a tu proveedor actualizada con tus propios volúmenes reales, no con cifras genéricas de una demo. Si todavía no sabes cómo desglosar esa factura, conviene empezar por entender cómo calcular API y tokens en 2026 antes de comprometerte con cualquier arquitectura.

¿Cuándo falla el contexto masivo en producción?

La demo siempre sale bien. El problema aparece cuando diez empleados preguntan a la vez a mediodía y el sistema tarda casi un minuto en responder. Según la comparativa técnica de AlphaCorp AI Technical Review, un pipeline RAG bien construido responde en torno a 1 segundo, mientras que una ventana de 1M de tokens saturada puede tardar entre 30 y 60 segundos por inferencia. Eso es perfectamente asumible si estás haciendo un análisis puntual tú solo, sentado delante de la pantalla. Es inasumible si tienes un chatbot interno o una línea de atención al cliente en producción, donde la gente espera una respuesta en segundos, no en minutos.

A la latencia se suma el problema del "lost-in-the-middle": cuando metes cientos de miles de tokens en un único prompt, el modelo tiende a perder precisión sobre la información que queda en el centro del documento, no al principio ni al final. Y hay un tercer problema que muchas pymes ni siquiera plantean en la fase de contratación: la ausencia de ACL (listas de control de acceso) por documento. Un sistema de contexto largo no sabe, por diseño, que el informe de nóminas de un empleado no debería ser visible para otro que hace la misma consulta desde otro departamento. Un RAG bien diseñado sí puede filtrar por permisos antes de recuperar el fragmento.

Dicho esto, hay un escenario donde el contexto largo gana con claridad: la tarea de una sola pasada. Si tu despacho necesita auditar un dossier único de 200 páginas para una due diligence puntual, montar una base de datos vectorial, indexar, trocear en chunks y mantener esa infraestructura es sobreingeniería. Ahí, una llamada directa con contexto extendido resuelve el expediente más rápido y más barato. La implicación práctica para quien firma el contrato: no aceptes presupuestos de consultoras que te cobren el desarrollo completo de una arquitectura RAG para auditar un documento aislado que no se va a repetir ni a crecer.

¿Qué exige el RGPD y el AI Act cuando metes documentos sensibles en el prompt?

Aquí es donde el debate técnico se convierte en un problema legal. El análisis de Tian Pan Tech Blog señala algo que debería preocupar a cualquier responsable de cumplimiento en España: el contexto largo "falla en silencio". No genera citas nativas verificables, así que cuando el modelo se equivoca o mezcla información de dos documentos distintos, nadie lo detecta hasta que ya es tarde.

En sectores regulados —banca, salud, asesoría laboral, cualquier actividad sujeta a supervisión— la exigencia no es solo que la respuesta sea correcta, sino que puedas demostrar de dónde sale cada afirmación. Volcar contratos, historiales clínicos o expedientes de empleados de forma masiva en un prompt, sin control de permisos por rol, expone a tu empresa a una brecha de seguridad y a una posible sanción bajo el marco europeo de IA. No es una cuestión de preferencia técnica: es una cuestión de qué puedes enseñarle a un inspector si te lo pide. Un sistema RAG, por el contrario, te permite citar el fragmento exacto, el documento origen y, si está bien construido, el permiso del usuario que hizo la consulta. Esa trazabilidad documental es justo lo que el AI Act y el RGPD empiezan a exigir de forma explícita a las empresas que automatizan decisiones con datos personales.

¿Existe un punto intermedio? Arquitecturas híbridas y enrutamiento adaptativo

No hace falta elegir un bando. Según Intuition Labs Research, las arquitecturas de enrutamiento adaptativo —esquemas conocidos como Self-Route y variantes híbridas— reducen costes de cómputo en dobles dígitos combinando RAG y ventanas extensas según el caso de uso concreto. La lógica es sencilla: un agente enrutador decide, consulta a consulta, si conviene recuperar un fragmento vía vector store o si merece la pena abrir una ventana larga para un análisis de una sola pasada. AlphaCorp AI Technical Review confirma la misma tendencia desde la óptica de la matriz de permisos y latencia.

Esto es exactamente lo que debería evaluar un especialista en MLOps o en estrategia antes de que comprometas presupuesto: el tradeoff entre latencia, coste de API y fiabilidad del razonamiento no se resuelve con una respuesta genérica, se resuelve midiendo tu volumen real de consultas, tu tipo de documentación y tu exigencia de cumplimiento. Pide a cualquier proveedor que te presente métricas de coste total de propiedad (TCO) a 12 meses, desglosando cuánto vas a pagar en llamadas a la API frente a cuánto vas a invertir en infraestructura de recuperación vectorial. Si no te las puede dar con números, no está evaluando tu caso: está vendiendo la arquitectura que mejor le viene a él.

Qué significa para tu empresa

La decisión depende de tu tipo de negocio, no de la última noticia que hayas leído.

• Pyme con base de conocimiento dinámica y muchos empleados consultando a la vez (atención al cliente, soporte interno, retail con catálogo cambiante): exige RAG o una arquitectura híbrida. El coste recurrente de abrir ventanas largas en cada consulta te va a arruinar el margen a los pocos meses, y necesitas control de permisos por rol desde el primer día.
• Despacho, consultora o departamento que analiza un dossier único y puntual (due diligence, auditoría de un contrato, revisión de una memoria anual): un contexto largo directo, sin montar un vector store, es más rápido y más barato. No dejes que te vendan una arquitectura RAG completa para un documento que no se va a volver a consultar.

Antes de firmar, pregunta por escrito a cualquier proveedor: ¿cuál es el coste recurrente estimado a 12 meses, desglosado entre API y base vectorial? ¿El sistema ofrece atribución de fuentes con enlace al fragmento exacto? ¿Existe control de acceso por rol o departamento? Si el proveedor no sabe explicarte por qué el umbral de 128.000 tokens importa para tu caso, o no te puede dar cifras de TCO, es una señal de alerta: está improvisando sobre tu presupuesto.

Si tu proyecto de RAG o arquitectura híbrida va a necesitar financiación, merece la pena revisar primero qué ayudas puedes solicitar: desde el bono empresarial de IA hasta los Agentes Digitalizadores de Red.es, que pueden cubrir parte del desarrollo de estos flujos autónomos antes de que comprometas tesorería propia. Y para comparar quién puede construirte esta arquitectura con criterio, no con narrativa de titular, revisa el listado de especialistas en rag verificados en el directorio; si tu duda es más estratégica que técnica —qué arquitectura te conviene antes de escribir una sola línea de código—, filtra también por especialistas en estrategia dentro del mismo directorio.

La opinión de Expertuno

La narrativa de que el RAG ha muerto nos parece una simplificación interesada, impulsada por quienes facturan al peso y se benefician cuando el sistema omite el filtro de recuperación. Nuestros análisis muestran que el contexto largo brilla en el análisis puntual de documentos únicos, pero resulta incapaz de gestionar el volumen, los permisos por rol o la trazabilidad necesaria en un entorno profesional. Nuestra recomendación es clara: consulta a un especialista en MLOps antes de comprometer el presupuesto y apuesta por arquitecturas híbridas con enrutamiento adaptativo. No tiene sentido pagar un RAG complejo para auditar un dossier único, igual que es temerario abandonar tu base de conocimiento vectorial en sectores regulados solo por seguir una moda. Antes de firmar, compara especialistas verificados en el directorio: un error de arquitectura hoy se traduce en miles de euros de sobrecoste anual en facturas de API.

Metodología y fuentes

Para este artículo hemos triangulado datos de tres fuentes técnicas independientes —Intuition Labs Research, Tian Pan Tech Blog y AlphaCorp AI Technical Review— contrastando cada cifra de coste y latencia en al menos dos de ellas antes de incluirla, y hemos verificado contra la documentación oficial de Google qué capacidades de contexto largo están realmente publicadas frente a lo que circula como rumor de producto.

• Intuition Labs Research
• Tian Pan Tech Blog
• AlphaCorp AI Technical Review
• Google AI for Developers Documentation