GPTQ
quantization technique
Método de cuantización post-entrenamiento para LLMs
Ventajas y Desventajas
Ventajas
- + Alta compresión con baja pérdida de calidad
- + Inferencia rápida
- + Ampliamente soportado
Desventajas
- - Proceso de cuantización lento
- - Requiere calibración
Casos de Uso
- Despliegue de LLMs
- Inferencia en GPU limitada
- Modelos comprimidos