垂直LLM的护城河

B2B人工智能初创企业的一个伟大策略是打造“垂直人工智能”产品：成为特定行业的人工智能助手，比如律师、金融服务、医生。听起来很简单：你可以利用LLM的超能力，并将其应用于宠物行业的特定数据和用例。这就是我们在Explain所做的事情：Explain是公共部门（基础设施、公用事业、房地产、建筑等）专业人士的人工智能助手，帮助他们在超级无聊的公开招标中挖掘关键信息，总结正式报告或撰写建筑许可证草稿。

但问题在于：如果你和每个人都获得相同的LLM，你如何建立护城河，即可防御的竞争优势？你如何才能不依赖你的 LLM 提供商并确保创造的价值归你所有？根据我们的经验，我们找到了三种有效的方法。

1、无聊的工作流程自动化胜过聪明的洞察力生成

标准 B2B 策略：如果你嵌入用户的流程和工作流程中，你就锁定了他们。这对于AI产品仍然适用，对我们来说，这意味着专注于流程自动化而不是洞察生成。

我们团队的座右铭是“无聊的阅读和写作是机器的事”：我们有时会担心人工智能霸主即将崛起，但截至目前，大多数人工智能仍然是自动执行人类很容易完成的无聊、重复性任务一次，但不可能做数千次。 LLM所做的主要是扩大自动化的范围。我们的一位客户希望跟踪其行业中每次公开招标的获胜者和失败者；对于每个招标，地方当局都会发布一份小报告，客户团队必须提取 3 条信息；但每年有 100,000 份招标报告，信息以半结构化格式编写，必须以另一种格式输入客户的 CRM 中。非常无聊，可以通过人工智能实现自动化，而且在工作流程中非常重要！

对我们来说，这些用例比复杂的评分、趋势分析或出色的数据可视化效果更好，后者虽然很耀眼，但并不持久。

2、你需要一些自己的数据（LangChain还不够）

LLM让我们所有人都兴奋不已，但如果没有你自己的一些数据，LLM就没有意义。它可以是你公开获取并构建到数据库中的数据（新闻、官方文件、法律、财务报告），也可以是你的用户的数据（他们的内部备忘录档案或之前对公开招标的回复），但你需要对包含用户相关信息的数据的特权访问。这就是为什么，在Explain，我们的第一步是建立我们独特的公共文档数据库，我们抓取了数以万计的网站，然后进行清理、分类和结构化。然后是LLM。

要将 LLM 应用于你的数据，可能会使用某些版本的 LangChain 软件包，它允许你通过将数据作为提示的一部分提供给 LLM 来处理自己的数据，而不是简单地与 GPT 对话并让它处理你自己的数据。根据其参数的权重回答。因此，你的技术栈将如下所示：根据你的数据库，你将提取数据的相关部分（检索阶段）；然后，你将在提示中将这些部分提供给LLM并表述任务（提示工程阶段）。最近许多基于 LLM 的工具都使用这种类型的体系结构（例如本文中描述的）：新的 Bing 或工具允许你在浏览器、pdf 或操作系统中使用 LLM。

这是一个非常强大的技术栈，它避免了 LLM 因自己的设备而陷入的许多幻觉和错误。它也非常灵活，在我们的团队中它已经成为许多传统 NLP 任务（情感分析、实体识别、摘要等）的默认响应。顺便说一句：如果你当前的 NLP 堆栈是围绕许多专门的、非 LLM 的算法构建的，那么你就背负了 NLP 债务，并且可能不再具有竞争优势。

但这里的关键点是，虽然超级功能来自LLM组件，但护城河来自数据库组件。所以如果你没有先建立一个独特的数据库，LangChain 是不够的。

3、微调 LLM 胜过提示工程以实现可扩展性

前两个护城河都不是来自LLM本身。这个可以。

前面描述的检索 + LLM 架构的一个限制是它存在不可扩展的风险。当然，编写精心设计的提示并调用 GPT-4 API 确实有效，但成本可能非常高：使用 GPT-4，我们花费了 3 美元来建立一个地区最有利于风电的 50 位地方官员名单。我们不可能把它交给用户。

根据Explain 首席技术官 Guillaume Barrois 进行的研究，适合我们的技术栈如下。

我们没有使用最新、最昂贵的 LLM (GPT-4)，而是使用更小的模型（到目前为止，我们使用了 Hugging Face 库中的开源模型）。成本降低 10 至 100 倍。
然后，为了提高性能，我们根据我们的文档对其用例进行微调：我们向其提供有关新基础设施项目的民选官员声明的训练集或一页官方决策的 3 行摘要。
神奇之处在于：用于微调的训练集非常大（高达 100 000 个样本），但我们不是手动构建训练集：我们使用 GPT-4 代替。当前LLM的一项不为人知的成就是，他们在许多中低复杂度的任务上实现了人类水平的表现：正如一位大学水平的老师向我报告的那样，GPT-4 在总结方面比 80% 的人更好。本科生。因此，对于此类任务，你可以使用 GPT-4 来构建训练集，而不是人工标记器，然后将其提供给开源 LLM 进行微调。你可以构建最先进的自动化技术栈，专门用于微调任何LLM。
因此，你最终会得到一个更便宜、更小、更快的 LLM，它可以满足你 75% 的任务，而上一代旗舰 LLM 则只需要 1% 的资源。

斯坦福Alpaca论文中很好地描述了这一策略，根据我们的测试，它似乎适合我们。工具不断涌现，可以帮助你更轻松地完成工作。当然，它可能不适用于高复杂性或高方差的任务，但我们相信这是 B2B 用例的最佳选择，在这些用例中，用户倾向于在大量实例中重复有限数量的任务。

我们还相信，这种策略比根据数据从头开始培训自己的LLM的“硬核”路线具有更好的性价比，例如彭博社最近报道的那样。我不清楚这项工作的哪一部分是关于效率与研发展示他们的LLM技能，但我们把钱花在微调路线上。来自谷歌内部的泄密事件也证实了这一点。

这个微调栈与成本优化无关：它提供了完全不同的用户体验，因为它允许你为所有核心任务释放 LLM 的力量，并大大加快推理性能。这种优势是有道理的，因为它基于你的数据和你对用例的了解。

该技术栈将限制你对某个特定 LLM 提供商的依赖：栈的核心是微调组件，它可以插入许多不同的通用 LLM 上。

在Explain，我们非常相信SaaS 公司的垂直人工智能战略。我们使用产品驱动和技术驱动的策略来建立强大的进入壁垒：充分了解你的客户并融入他们的工作流程；投资拥有一个独特的数据库；构建一个可扩展的 LLM 栈，针对你的数据和用例进行微调。

原文链接：If you’re plugged to the same LLM as everyone, how do you build a competitive advantage?

BimAnt翻译整理，转载请标明出处