bitsandbytes
quantization library
Librería de cuantización para entrenar e inferir modelos en precisión reducida
Lenguajes soportados
Ventajas y Desventajas
Ventajas
- + Reduce uso de memoria significativamente
- + Permite entrenar modelos grandes
- + Integración con HuggingFace
- + Fácil de usar
Desventajas
- - Solo GPUs NVIDIA
- - Puede afectar precisión
Casos de Uso
- QLoRA fine-tuning
- Inferencia en memoria limitada
- Entrenamiento de modelos grandes