- [For Public] LLM Model Hub 介绍
- 1. 基本介绍
- 训练：
- 模型部署：
- 整体流程：
- 系统架构：
- 2. 平台定位
- 3. 适用场景
- 4. 使用示例合集（训练）
- 5. 使用示例合集（推理部署）
- 2. API使用说明
- 2.1 使用boto3调用SageMaker endpoint 代码示例
- 3. 微调后的模型导入到Bedrock Imported Models
- 4. Metrics 看板配置
- 4.1 Wandb
- 6.2 Swanlab
- 5. 注意事项及FAQ：
- 5.1 如何进行Spot训练
- 5.2 启动训练任务很快出现Error，没有其他日志输出怎么回事？
- 5.3 LLaMA Factory里支持的上百种模型是否都可以在model hub支持？
- 5.4 自定义数据怎么准备？
- 5.5 是否支持SageMaker HyperPod？
- 5.6 Playground 测试发现模型输出很奇怪，如重复，特殊标签等？
- 5.7 如何登陆Modelhub部署的EC2服务器？
- 5.8 SageMaker部署失败问题排查
- 错误类型1: 部署多模态模型报错
- 5.9 推理多模态模型出现报错 {"object":"error","message":"At most 1 image(s) may be provided in one request."
- 5.10 中国区部署模型速度慢怎么办？
- 5.11 部署模型时如何调整max model length？
- 6. 有用链接
[For Public] LLM Model Hub 介绍
[For Public] LLM Model Hub 介绍
8月13日修改
1.
基本介绍
LLM Model Hub 是基于LLaMA-Factory和AWS SageMaker Training Job提供一站式的模型微调，部署，调试的无代码可视化平台，可以帮助我们快速微调各类开源模型，高效地同时进行大量的实验和和验证，提升模型微调工作的工程效率。
亚马逊云科技官方博客介绍：
New Blog 1：
Blog 2：
更新记录：
日期 | 说明 | 版本 |
1. 升级sglang至0.5.0rc0支持gptoss模型推理部署，其最低可在g5机型部署, 各模型版本最低要求如下：  加载失败， 2. 升级vllm至v0.10.0( 中国区暂不支持gptoss) 3. 升级LLamafactory最新版本支持gptoss模型微调 | ||