各位,
我正在开发一款采用自定义PyTorch管道(物体计数)的iOS应用,需要一个AI推断的后端,因为我无法使用远程API进行推断。
需求:
- 自定义PyTorch管道
- 需要GPU(约10GB显存)
- 即时/无服务器(无过时成本)
- 适合生产环境(不仅仅是开发环境)
- 理想情况下每月免费赠送信用额度
当前关注的服务商:
- Modal
- RunPod(无服务器)
- Vast.ai(http://Vast.ai)
问题:
- 为生产环境 Modal 能够可靠(延迟、冷启动、伸缩性)吗?
- 是否有任何实际提供免费GPU信用额度的平台?
- 对于短时间推断(200-500ms范围),具备最高成本效率的选项是那里?
- 我应该提防哪些陷阱?
感谢您提供实际经验。
评论 (0)