跳到主要内容

Replicate

解决什么问题?
  1. 你没有好的GPU来运行你的机器学习模型
  2. 你只想用一条命令将机器学习模型部署到云端
  3. 你希望比Colab Pro或AWS/GCP/Azure的费用更便宜
此处方案

Replicate 是一个能够通过一键操作将你的机器学习模型部署到云端的平台

Introduction

  1. 在云端大规模运行模型
  • Replicate 可以在最小的代码编写下运行机器学习模型, 无需对机器学习有深入的理解
    curl -s -X POST \
    -d '{"version": "db21e45d3f7023abc2a46ee38a23973f6dce16bb082a930b0c49861f96d1e5bf", \
    "input": { "prompt": "an astronaut riding on a horse" } }' \
    -H "Authorization: Token $REPLICATE_API_TOKEN" \
    -H 'Content-Type: application/json' \
    https://api.replicate.com/v1/predictions
  • 数千个ML模型供君翻牌
  1. Push: 轻松打包
  • Cog 是 Replicate 的开源工具, 将机器学习模型打包成可直接投入生产环境的容器
  • 只需4步即可部署模型
    1. 环境定义文件 cog.yaml
      build:
      gpu: true
      system_packages:
      - "libgl1-mesa-glx"
      - "libglib2.0-0"
      python_version: "3.10"
      python_packages:
      - "torch==1.13.1"
      predict: "predict.py:Predictor"
    2. 定义如何对你的模型进行预测: predict.py
      from cog import BasePredictor, Input, Path
      import torch

      class Predictor(BasePredictor):
      def setup(self):
      """Load the model into memory to make running multiple predictions efficient"""
      self.model = torch.load("./weights.pth")

      # The arguments and types the model takes as input
      def predict(self,
      image: Path = Input(description="Grayscale input image")
      ) -> Path:
      """Run a single prediction on the model"""
      processed_image = preprocess(image)
      output = self.model(processed_image)
      return postprocess(output)
    3. 本地运行
      cog predict -i @input.jpg                
    4. 一行命令部署到云端
      cog push
  1. 规模化:大规模部署机器学习模型
  • 你的规模你做主
    • 自动扩展
    • API控制扩展
  • 按秒计费

投资信息

注意

请注意,此处的内容并不构成投资指导或建议。所展示的资料仅用于信息传递, 不应被理解为,也不应依赖于作为投资或财务决策的推荐。 读者需对自己做出的任何投资决策承担全部责任, 建议在需要的情况下寻求独立的财务建议。

2023-May-26

注意

请注意,此处的内容并不构成投资指导或建议。所展示的资料仅用于信息传递, 不应被理解为,也不应依赖于作为投资或财务决策的推荐。 读者需对自己做出的任何投资决策承担全部责任, 建议在需要的情况下寻求独立的财务建议。