0 课程信息

• LMDeploy 的量化和部署
• 文档：https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md
• 视频：https://www.bilibili.com/video/BV1iW4y1A77P/
• 笔记5:https://github.com/InternLM/tutorial/discussions/419
• 作业5:https://github.com/InternLM/tutorial/discussions/423

1 作业

1.1 基础作业：

• 使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）

1.1.1 TurboMind 推理+命令行本地对话

1.1.2 TurboMind推理+API服务

1.1.3 网页 Demo 演示

• TurboMind 服务作为后端

• TurboMind 推理作为后端

1.2 进阶作业（可选做）