ExLlamaV3 v1.6.0
Actualiza — Introduce soporte preliminar para ROCm y optimizaciones significativas en la gestión de CPU y memoria, mejorando el rendimiento en hardware específico.
ExLlama
Proyecto · web oficial ·rss · 3 eventos publicados
Software (3)
ExLlamaV3 v1.5.0
Novedades opcionales — Esta actualización introduce mejoras significativas de rendimiento en prefill y decode, especialmente para modelos MoE y arquitecturas específicas, además de un nuevo modo experimental de zero-copy para CPU offload en Linux.
ExLlamaV3 v1.4.9
Novedades opcionales — Introduce soporte para nuevos modelos (DeepseekV4, LFM2.5, Spark2.5) y optimizaciones críticas en el offloading a CPU y tiempos de importación.