本实验是学习使用 LMDeploy 部署模型,并通过 Web 界面方式向外提供服务。
相关资源:
- LMDeploy: LMDeploy is a toolkit for compressing, deploying, and serving LLMs.
- internlm2-chat-1-8b: 书生·浦语-1.8B (InternLM2-1.8B) 是第二代浦语模型系列的18亿参数版本
- 课程链接: LMDeploy 量化部署 LLM & VLM 实践
- 学习笔记: LMDeploy 量化部署 LLM & VLM 实践