BimAnt

Tabby：Copilot平替

admin -

Tabby是一个自托管 AI 编码助手。 GitHub Copilot 的开源/本地替代方案。

1、主要特性

  • 自包含，不需要 DBMS 或云服务
  • 用于可视化、配置模型和 MLOps 的 Web UI。
  • OpenAPI 接口，易于与现有基础架构（例如 Cloud IDE）集成。
  • 消费级 GPU 支持（具有各种优化的 FP-16 权重加载）。

2、Tabby演示

3、Docker安装Tabby

# Create data dir and grant owner to 1000 (Tabby run as uid 1000 in container)
mkdir -p data/hf_cache && chown -R 1000 data

docker run \
  -it --rm \
  -v ./data:/data \
  -v ./data/hf_cache:/home/app/.cache/huggingface \
  -p 5000:5000 \
  -e MODEL_NAME=TabbyML/J-350M \
  tabbyml/tabby

要使用 GPU 后端 (triton) 获得更快的推理速度：

docker run \
  --gpus all \
  -it --rm \
  -v ./data:/data \
  -v ./data/hf_cache:/home/app/.cache/huggingface \
  -p 5000:5000 \
  -e MODEL_NAME=TabbyML/J-350M \
  -e MODEL_BACKEND=triton \
  tabbyml/tabby

注意：要使用 GPU，你需要安装 NVIDIA Container Toolkit。 我们还建议使用带有 CUDA 11.8 或更高版本的 NVIDIA 驱动程序。

然后，可以使用 /v1/completions 端点查询服务器：

curl -X POST http://localhost:5000/v1/completions -H 'Content-Type: application/json' --data '{
    "prompt": "def binarySearch(arr, left, right, x):\n    mid = (left +"
}'

我们还在管理面板 localhost:5000/_admin 中提供了一个交互式练习环境：

原文链接：Tabby - Github

BimAnt翻译整理，转载请标明出处