- [For Public] LLM Model Hub 介绍
- 1. 基本介绍
- 训练：
- 模型部署：
- 整体流程：
- 系统架构：
- 2. 平台定位
- 3. 适用场景
- 4. 使用示例合集（训练）
- 5. 使用示例合集（推理部署）
- 2. API使用说明
- 2.1 使用boto3调用SageMaker endpoint 代码示例
- 3. 微调后的模型导入到Bedrock Imported Models
- 4. Metrics 看板配置
- 4.1 Wandb
- 6.2 Swanlab
- 5. 注意事项及FAQ：
- 5.1 如何进行Spot训练
- 5.2 启动训练任务很快出现Error，没有其他日志输出怎么回事？
- 5.3 LLaMA Factory里支持的上百种模型是否都可以在model hub支持？
- 5.4 自定义数据怎么准备？
- 5.5 是否支持SageMaker HyperPod？
- 5.6 Playground 测试发现模型输出很奇怪，如重复，特殊标签等？
- 5.7 如何登陆Modelhub部署的EC2服务器？
- 5.8 SageMaker部署失败问题排查
- 错误类型1: 部署多模态模型报错
- 5.9 推理多模态模型出现报错 {"object":"error","message":"At most 1 image(s) may be provided in one request."
- 5.10 中国区部署模型速度慢怎么办？
- 5.11 部署模型时如何调整max model length？
- 6. 有用链接
[For Public] LLM Model Hub 介绍
[For Public] LLM Model Hub 介绍
5月19日修改
1.
基本介绍
LLM Model Hub 是基于LLaMA-Factory和AWS SageMaker Training Job提供一站式的模型微调，部署，调试的无代码可视化平台，可以帮助我们快速微调各类开源模型，高效地同时进行大量的实验和和验证，提升模型微调工作的工程效率。
更新记录：
日期 | 说明 | 版本 |
05/03/2025 | 1. 升级EasyR1 支持Qwen3 2. 升级LLaMaFactory优化Qwen3微调 3. 修复 dataset 参数bug | 1.1.2a |
04/29/2025 | 1. 支持Qwen 3系列模型 部署时选择vLLM和sglang引擎均可部署，但如果用vllm需要自己设置max context length，推荐使用sglang自动设置。 部署机型建议如下： 2. 新集成EasyR1训练框架，支持GRPO强化学习 训练配置建议： | 1.1.2 |