各位,

我正在开发一款采用自定义PyTorch管道(物体计数)的iOS应用,需要一个AI推断的后端,因为我无法使用远程API进行推断。

需求:

  • 自定义PyTorch管道
  • 需要GPU(约10GB显存)
  • 即时/无服务器(无过时成本)
  • 适合生产环境(不仅仅是开发环境)
  • 理想情况下每月免费赠送信用额度

当前关注的服务商:

  • Modal
  • RunPod(无服务器)
  • Vast.ai(http://Vast.ai)

问题:

  1. 为生产环境 Modal 能够可靠(延迟、冷启动、伸缩性)吗?
  2. 是否有任何实际提供免费GPU信用额度的平台?
  3. 对于短时间推断(200-500ms范围),具备最高成本效率的选项是那里?
  4. 我应该提防哪些陷阱?

感谢您提供实际经验。