跳到正文
AWS Machine Learning Blog· Sunita Koppar·· 11 天前AI 评分51

使用 Ray Train DLCs 和 EFA 在 EKS 上进行分布式训练

Distributed training with Ray Train DLCs and EFA on EKS

AI 导读

AWS 提供了 Ray Train Deep Learning Container (DLC),该容器预装了从 CUDA 到 EFA 的完整测试栈,解决了 PyTorch 训练扩展到集群时容器依赖复杂的问题。该示例展示了如何使用 KubeRay 在 Amazon EKS 上,利用 DLC 配合 FSDP 对 Qwen2.5-1.5B 进行微调,所有配置均在外部设置而非重建镜像。

来源:AWS Machine Learning Blog · aws.amazon.com