Ollama运行Mistral 7B
Mistral AI 目前提供两种类型的大型语言模型访问方式:
- 提供按使用量付费访问最新模型的 API,
- 开源模型可在 Apache 2.0 许可证下使用,可在 Hugging Face 上或直接从文档中获取。
在本指南中,我们概述了 Mistral 7B LLM 以及如何提示它。此外还包括与 Mistral 7B 和微调模型相关的提示、应用、限制、论文和其他阅读材料。
1、Mistral-7B简介
Mistral 7B 是 Mistral AI 发布的 70 亿参数语言模型。 Mistral 7B 是一种精心设计的语言模型,可提供高效和高性能以支持实际应用程序。 由于效率的提高,该模型适用于需要快速响应的实时应用。 发布时,Mistral 7B 在所有评估基准中均优于最佳开源 13B 模型 (Llama 2)。
能力:Mistral 7B 在各种基准测试中都表现出了卓越的性能,甚至优于参数数量较多的模型。 它在数学、代码生成和推理等领域表现出色。 以下是数学推理、世界知识和常识推理等多项任务的结果
代码生成:Mistral 7B 实现了 Code Llama 7B代码生成性能,同时不牺牲非代码基准测试的性能。 让我们看一个简单的示例来演示 Mistral 7B 代码生成功能。
我们将使用 Fireworks.ai 推理平台来获取 Mistral 7B 提示示例。 我们使用默认设置并将 max_length 更改为 250。
Mistral 7B 专为轻松微调各种任务而设计。 Mistral 7B Instruct 模型快速演示了基本模型可以轻松微调以实现引人注目的性能。 该版本的模型针对对话和问题回答进行了微调。
与许多其他LLM一样,Mistral 7B 可能会产生幻觉,并且容易出现提示注入等常见问题。 虽然 Mistral 7B 在许多领域表现出了令人印象深刻的性能,但其有限的参数数量也限制了它可以存储的知识量,特别是与较大的模型相比。
2、Ollama 本地运行Mistral 7B
Ollama 是你在 macOS 或 Linux 上本地运行大型语言模型的简单方法。 只需下载 Ollama 并在 CLI 中运行以下命令之一即可。
对于默认的 Instruct 模型:
ollama run mistral
对于文本补全模型:
ollama run mistral:text
注意: 至少需要 8GB RAM。 你可以在 Ollama Mistral 库文档中找到更多详细信息。
3、结束语
Mistral 7B 是一个 7.3B 参数模型:
- 在所有基准测试中均优于 Llama 2 13B
- 在许多基准测试中均优于 Llama 1 34B
- 接近 CodeLlama 7B 的代码性能,同时保持良好的英语任务表现
- 使用分组查询注意力 (GQA) 进行更快的推理
- 使用滑动窗口注意 (SWA) 以较小的成本处理较长的序列
Mistral AI在 Apache 2.0 许可证下发布 Mistral 7B,它可以不受限制地使用。
- 下载并通过官方参考实现在任何地方(包括本地)使用它,
- 使用 vLLM 推理服务器和 skypilot 将其部署在任何云 (AWS/GCP/Azure) 上
- 在 HuggingFace 上使用它。
Mistral 7B 可以轻松地针对任何任务进行微调。 作为演示,官方提供了一个针对聊天进行微调的模型,其性能优于 Llama 2 13B chat模型。
原文链接:Mistral 7B LLM: Run Locally with Ollama
BimAnt翻译整理,转载请标明出处