SkyPilot推出代码沙箱服务:在自有服务器安全运行AI代码,成本最高降九成
SkyPilot推出代码沙箱服务:在自有服务器安全运行AI代码,成本最高降九成
开源 AI 资源管理器 SkyPilot 推出代码运行沙箱服务 SkyPilot Sandboxes,支持企业在自己已有的云服务器集群(Kubernetes)上安全运行 AI 生成的代码。服务允许企业自主掌控计算资源,无需将包含敏感 prompts(提示词)和机密数据的代码发送给第三方沙箱托管商,且单个集群可同时运行超过 50000 个隔离的沙箱环境。
相比第三方托管沙箱,SkyPilot Sandboxes 将指令执行的就绪延迟缩短了约 20%。通过预先保持容器处于待命状态的「暖池」机制,创建沙箱并运行首条指令的时间在常见情况下仅需 1.0 秒,优于竞品 Modal 的 1.2 秒。由于服务直接运行在企业本地的云网络中,亚太等地区的用户可以彻底避免跨太平洋的数据传输延迟,将响应速度提升至本地级别。
在运行成本上,由于无需支付第三方服务商的溢价,SkyPilot Sandboxes 比托管模式便宜 4 至 10 倍。在同时运行 50000 个沙箱的大规模场景下,第三方托管服务每小时收费约 16610 至 19030 美元;如果使用 SkyPilot 将沙箱部署在企业自有的通用云服务器上,每小时成本将降至 4650 美元(费用降低 75%);若进一步部署在 AWS t4g.medium 等适合间歇性任务的廉价服务器上,每小时费用可降至 1680 美元,相比托管服务便宜近九成。此外,沙箱支持对接 SkyPilot 密钥管理器,运行时所需的凭证可直接注入,避免硬编码泄露风险。
当企业在训练能够编写代码的 AI 模型时(例如强化学习训练),需要在极短时间内运行成千上万个由 AI 刚刚写出的、未经验证的代码以进行打分。将沙箱集群直接部署在靠近 GPU 显卡的物理服务器上,能有效缩减数据传输时间,大幅缩短模型训练周期并降低网络带宽成本。目前服务已开启早期限量测试申请,项目官方仓库也提供了对应的完整训练样例。
信源:https://blog.skypilot.co/sandboxes/
SkyPilot Blog
SkyPilot Sandboxes: Run Agent Code on Your Own Kubernetes, at ScaleSkyPilot runs untrusted, LLM-generated code in sandboxes on the Kubernetes clusters you already own. A single cluster sustains 50,000+ sandboxes, with multi-cluster support to go further. Individual launches in less than a second. All at up to one-tenth the…
