TorchServe
ml-serving server
Framework de serving de modelos PyTorch desarrollado por AWS y Meta
Ventajas y Desventajas
Ventajas
- + Nativo para PyTorch
- + Fácil de usar
- + API RESTful y gRPC
- + Gestión de modelos incluida
Desventajas
- - Solo PyTorch
- - Menos optimizado que Triton
Casos de Uso
- Serving de modelos PyTorch
- APIs de inferencia
- Despliegue en producción