Docker Model Runner

它可以让你把机器学习模型（特别是大语言模型）打包成容器，快速启动并通过 HTTP/REST 或 WebSocket 接口调用，而无需关心环境依赖和复杂的部署流程。它主要解决模型运行环境一致性和部署便捷性的问题，同时支持多模型管理和并发推理。