NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 - 3D道路快速建模

ChatGPT 的诞生预示着人工智能和机器学习领域的新时代。 日新月异，Hugging Face 不断推出突破性的语言模型，重新定义人机交互的界限。欢迎来到未来！

当然，有很多选项可以对它们进行推断。在本文中，我将告诉大家如何使用Replicat来做到这一点。

因此，Replicate 为任何人提供了一种在云中运行生成式 AI 模型的简单、快速的方法。 有数千种模型可供使用。

不仅如此，你还可以将机器学习模型打包到标准的生产就绪容器中，并轻松大规模部署机器学习模型。

有关更多见解，请参阅Replicate官网。事不宜迟，让我们深入探讨核心话题。对于初学者，你需要使用 github 登录。我在 google colab 中执行了这些步骤。

1、安装Replicate依赖

在google colab中使用如下命令安装Replicate客户端依赖：

下一步是安全地输入 REPLICATE_API_TOKEN，然后使用以下 python 脚本将其设置为环境变量。

以下是该代码的功能细分：

  • getpass()：是一个提示用户输入密码而不将其回显到控制台的函数。
  • import os：这会导入“os”模块，该模块提供了一种与底层操作系统交互的方法。
  • REPLICATE_API_TOKEN = getpass()：这会提示用户输入一个值（在本例中为 API 令牌），而不回显它。 输入的值随后存储在 REPLICATE_API_TOKEN 变量中。
  • os.environ["REPLICATE_API_TOKEN"] = REPLICATE_API_TOKEN：这会将 REPLICATE_API_TOKEN 环境变量设置为刚刚输入的值。 这允许程序的其他部分或检查环境变量的任何其他程序访问该值。

2、在后台运行模型并获取 webhook

我们将遵循 Replicate 的“在后台运行模型并接收 Webhook”方法。 但是，在继续之前，你应该了解一些先决条件。

我在 Replicate 上使用“a16z-infra/llama-2–7b-chat”模型。 请注意，你可以从 Replicate 中选择任何适合你要求的模型

在模型的描述页面上，API 部分概述了三种方法，演示了如何使用 Webhook 执行模型。 我将使用 python。

在页面的下方，你还可以找到版本号，我们将在以下代码片段中使用该版本号。

以下是代码的说明：

  • replicate.models.get("a16z-infra/llama-2-7b-chat")：引用 llama-2-7b-chat 模型
  • model.versions.get("4f0b260b...")：对于给定的模型，我们根据唯一的哈希（或版本标识符）获取特定版本。 结果存储在版本变量中。
  • replicate.predictions.create(...)：这是我们创建预测请求的地方：
  • version=version：我们指定用于预测的模型版本。
  • input={"prompt":"how do you make a Ratatouille?"}：这里我们为模型提供输入。 在本例中，这是一个简单的文本提示，询问如何制作蔬菜什锦。
  • webhook="https://example.com/your-webhook"：指定 Webhook URL。 一旦预测完成或发生指定事件时，Replicate服务将向此 URL 发送请求。
  • webhook_events_filter=["completed"]：指定应触发 webhook 的事件。 在这种情况下，仅适用于预测完成时的“已完成”事件。

好吧！ 一旦我们完成了这一点，让我们进入下一阶段：从本地设置的模型中获取推理结果。

为此，我们将使用 ngrok。 请参阅这个链接以查阅ngrok设置指南。

设置完成后，转到命令行并通过运行以下命令启动 ngrok。

你会看到这样的东西：

ngrok 将显示一个 URL，你的本地主机应用程序将在该 URL 中暴露给互联网（复制此 URL 以与你托管的 Webhook 一起使用）。

要在通过浏览器访问端点 URL 时提供提供的响应，你需要创建一个 Flask Web 服务器来定义指定的端点并将响应返回为 JSON。

设置方法如下：

  • 安装Flask： pip install Flask
  • 运行Flask脚本。 这将启动 Flask 服务器，通常在 http://127.0.0.1:3000 上监听访问请求。
  • 打开浏览器并访问 http://127.0.0.1:3000/your-webhook。 应该看到 json 响应。

这提供了一个可以根据 HTTP 请求类型接收和显示数据的单一端点。

3、结束语

在本文中，我们探讨了 Replicate 从大型语言模型获取推理的动态功能。 通过与 Flask 和 ngrok 等工具无缝集成，我们揭开了有效模型推理之路的神秘面纱。 随着模型的不断发展和复杂性的增加，拥有此类简化的方法可以确保我们始终处于人工智能创新的前沿。

原文链接：Using replicate to get inference on Large language models

BimAnt翻译整理，转载请标明出处