5 oct 2026 · ggml-org/llama.cpp · canal auto-build

llama.cpp b11405

Novedades opcionaleshardwarerendimiento

Qué hacer: Funciones nuevas; actualiza cuando te venga bien.

Esta actualización incluye optimizaciones críticas en los kernels de CUDA y ROCm (Lightning indexer), mejorando significativamente la velocidad en GPUs AMD y optimizando el uso de registros en CUDA.

Qué ha cambiado

Optimización del indexador Lightning para CUDA con soporte de precisión flotante para evitar desbordamientos.
“the half2 products overflow once a single q * k exceeds the f16 range. The queries stay in float in shared memory and each half2 of keys is widened once for both tokens, so every product and sum is computed in float.” — fuente
Mejora masiva de rendimiento en GPUs AMD (ROCm) al evitar el desbordamiento de registros.
“makes the kernel 36x faster on an R9700 and slightly faster on CUDA.” — fuente
Optimización de memoria y velocidad mediante el uso de un solo barrier para todas las cabezas.
“The tile kernel stages the queries and weights of every head at once, so each key element is widened from half once and feeds all heads, with a single barrier.” — fuente

Fuentes

ggml-org/llama.cpp b11405 consultada 2026-10-13

Cómo se decidió

Todas las citas verificadas · triage por LLM (gemma4).

Las reglas no vieron señales relevantes (performance).
El modelo decidió publicar · 3 citas comprobadas

Procedencia técnica

reglas: drop (performance)
llm: publish; 3 citas verificadas, 0 rechazadas
sha256 d2f53523eac830a8… · https://github.com/ggml-org/llama.cpp/releases/tag/b11405