1 · Mismas pruebas para todos
Hay 7 suites (escritura, código, frontend, agentic, reasoning, instruction, roleplay) con ~30 tests entre todas. Cada prueba lleva su prompt y su rúbrica de evaluación. Cualquier modelo nuevo se enfrenta al mismo set.
Lab · Local LLM Arena
¿Qué modelo local va mejor en qué?
Mismas pruebas, mismos prompts, juez local. Cada modelo de Ollama pasa por 7 categorías (escritura, código, frontend, agente, razonamiento, instrucciones, roleplay) y se puntúa de 1 a 10. Resultados reproducibles, sin nube.
Mismo banco para todos los modelos
Dónde se ejecutan los benchmarks
- CPU AMD Ryzen AI Max+ 395 16 núcleos · 32 hilos · hasta 5,19 GHz · Zen 5
- iGPU AMD Radeon 8060S RDNA 3.5 · 40 CUs · integrada (Strix Halo)
- VRAM 96 GB memoria unificada asignada a la iGPU
- RAM sistema 32 GB LPDDR5X · resto compartido con la iGPU
- Disco NVMe 2 TB PCIe Gen4 · modelos cacheados localmente
- Software Ollama 0.23 · Ubuntu 24.04 kernel 6.17 · driver amdgpu · ROCm runtime
Es un GMK (local) fanless con SoC AMD Strix Halo: CPU e iGPU comparten un pool de 128 GB de memoria unificada (96 GB reservados para la iGPU). Eso permite cargar modelos de 30 B+ en cuantización Q4 enteramente en VRAM, sin partir entre RAM y GPU. Todos los modelos del ranking corren en exactamente esta misma máquina.
Catálogo de pruebas
Ver las 160 pruebas en detalle →Cómo funciona
2 · Auto-checks + juez local
Lo que se puede verificar a máquina (sintaxis Python, JSON parseable, HTML válido, contiene función X) se ejecuta como chequeo automático. El resto lo puntúa otro modelo local que actúa de juez con la rúbrica delante.
3 · 100% local, reproducible
Modelos en Ollama. Juez en Ollama. Sin APIs cloud. Cada ejecución guarda el prompt exacto, la respuesta del modelo, los tokens/s y el veredicto del juez. Re-ejecutable.
4 · Cuando sale un modelo nuevo
Un solo comando lo enfrenta a toda la suite y publica los resultados aquí. Los modelos antiguos siguen comparables.