Replicate
解决什么问题?
- 你没有好的GPU来运行你的机器学习模型
- 你只想用一条命令将机器学习模型部署到云端
- 你希望比Colab Pro或AWS/GCP/Azure的费用更便宜
此处方案
Replicate 是一个能够通过一键操作将你的机器学习模型部署到云端的平台
Introduction
- 在云端大规模运行模型
- Replicate 可以在最小的代码编写下运行机器学习模型, 无需对机器学习有深入的理解
curl -s -X POST \
-d '{"version": "db21e45d3f7023abc2a46ee38a23973f6dce16bb082a930b0c49861f96d1e5bf", \
"input": { "prompt": "an astronaut riding on a horse" } }' \
-H "Authorization: Token $REPLICATE_API_TOKEN" \
-H 'Content-Type: application/json' \
https://api.replicate.com/v1/predictions - 数千个ML模型供君翻牌
- Push: 轻松打包
- Cog 是 Replicate 的开源工具, 将机器学习模型打包成可直接投入生产环境的容器
- 只需4步即可部署模型
- 环境定义文件
cog.yaml
build:
gpu: true
system_packages:
- "libgl1-mesa-glx"
- "libglib2.0-0"
python_version: "3.10"
python_packages:
- "torch==1.13.1"
predict: "predict.py:Predictor" - 定义如何对你的模型进行预测:
predict.py
from cog import BasePredictor, Input, Path
import torch
class Predictor(BasePredictor):
def setup(self):
"""Load the model into memory to make running multiple predictions efficient"""
self.model = torch.load("./weights.pth")
# The arguments and types the model takes as input
def predict(self,
image: Path = Input(description="Grayscale input image")
) -> Path:
"""Run a single prediction on the model"""
processed_image = preprocess(image)
output = self.model(processed_image)
return postprocess(output) - 本地运行
cog predict -i @input.jpg
- 一行命令部署到云端
cog push
- 环境定义文件
- 规模化:大规模部署机器学习模型
- 你的规模你做主
- 自动扩展
- API控制扩展
- 按秒计费
投资信息
注意
请注意,此处的内容并不构成投资指导或建议。所展示的资料仅用于信息传递, 不应被理解为,也不应依赖于作为投资或财务决策的推荐。 读者需对自己做出的任何投资决策承担全部责任, 建议在需要的情况下寻求独立的财务建议。
2023-May-26
注意
请注意,此处的内容并不构成投资指导或建议。所展示的资料仅用于信息传递, 不应被理解为,也不应依 赖于作为投资或财务决策的推荐。 读者需对自己做出的任何投资决策承担全部责任, 建议在需要的情况下寻求独立的财务建议。