NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 - 3D道路快速建模

成功扩大 LLM 支持的应用程序的采用取决于两个方面（或更多）：

1️⃣ 第一个方面是开发框架。 传统的聊天机器人框架做得很好，它为对话设计者和开发者创建了一个生态系统，让他们可以轻松协作并从设计过渡到开发。 在将对话设计转换为代码或功能时没有任何损失。

2️⃣ 第二个方面是用户体验（UX）。 用户并不关心底层技术，他们正在寻找卓越的体验。 因此，为访问 LLM 功能所做的投资需要转化为一流的用户体验。

1、LLM应用开发框架

尽管 LLM 是基于深度学习系统的，在互联网规模的数据集上训练，但它已经成为主流。 特别是考虑使用无代码自然语言输入方式生成系统。

随着生成式系统成为越来越多应用程序的基石，LLM 的预测能力似乎确实被忽视了。

原因包括：

  • 在大多数情况下，预测需要更多数据，并涉及一定程度的训练数据准备。
  • 预测过程涉及代码部分。
  • 对于商业 NLU 相关应用程序，传统 NLU 系统对经过专门训练的数据的预测能力非常高效且具有成本效益。

随着大型语言模型 (LLM) 应用程序的出现，考虑使用 LangChain 和 Dust在 LLM 之上构建应用程序。

功能可以组合（级联在一起）以创建对 LLM 的增强和“智能”API 调用。

大型语言模型应用程序是为了完成特定任务而对模型或外部服务（例如 API 或数据源）进行的一个或多个提示调用链。 ~ Dust

考虑下图，是创建 LLM 应用程序的六个组件。

一些基本的想法：

  • ️随着 API 成为常态，LLM 应用程序浮出水面，会话界面利用多个基于应用程序/LLM 的 API。
  • 在 LLM 应用程序中，可以将对 LLM 的多个调用链接在一起以实现一定级别的编排。
  • 然而，LLM 应用程序中的块链将无法促进多轮对话。 这些 LLM Apps 旨在完成某项任务，或用作小型聊天实用程序。
  • 对于更大的实施，将需要更强大和更全面的框架。
  • LLM 应用程序很好地指示了 LLM 交互如何自动化以及如何将复杂性添加到生成任务中。
  • 令我惊讶的是，传统的对话式 AI 框架（至今）还没有采用这种方法。

2、提示词的模板化

使用模板进行提示工程一直是不可避免的，也是必须发生的。 生成提示的模板允许提示、存储和重用的可编程性。

Dust 使用 Tera 模板，它充当文本文件，但插入了变量和表达式的占位符。

占位符在运行时被替换为值。 以下是来自 Dust 示例应用程序之一的婚礼感谢模板示例：

Jack and Diane just had their wedding in Puerto Rico and it is time to write thank you cards. For each guest, write a thoughtful, sincere, and personalized thank you note using the information provided below.

Guest Information: ${EXAMPLES.guest}
First, let's think step by step: ${EXAMPLES.step}
Next, let's draft the letter:${EXAMPLES.note}

Guest Information: Name:${INPUT.name},Relationship: ${INPUT.relationship}, Gift:${INPUT.gift}, Hometown: ${INPUT.hometown}
First, let's think step by step:"

3、功能块

在 Dust 中，功能块可以按顺序或并行执行，在下图中可以看到封装在块中的基本功能。

在 Dust 工作区中添加块时，会显示八种块类型的列表以供选择。

可以在下面看到 Dust 中应用程序的不同模型提供者，以及可用的服务。

4、最终用户应用程序

下图显示了基于 LLM 的最终用户应用程序的典型技术堆栈。 两个关键方面是用户体验，图形界面将图形转化为用户对应用程序的感受和体验。

以及构成“秘密武器”的专有软件，封装了公司的竞争优势。

此类最终用户应用程序的示例是：

Filechat 允许你上传文档，并且通过词嵌入，可以以对话的方式浏览文档。

PromptLayer 将自己描述为第一个为提示工程师构建的平台。 该应用程序编译提示和 OpenAI API 请求的日志。 你可以跟踪、调试和重播旧的完成。

还有其他一些专注于提示词的公司，如 Humanloop、Promptable 等等。

5、结束语

基于 Prompt Engineering 的应用程序（字面上）每天都在增长……但我特别感兴趣的是像 LangChain & Dust 这样的框架（在下一篇文章中，我将对此进行更详细的介绍），这是首次出现的基于 LLM 的对话式开发框架 .

这些框架实现的基本原则让我着迷，它将成为未来对话式 AI 框架的起源。

原文链接：The Anatomy Of Large Language Model (LLM) Powered Conversational Applications

BimAnt翻译整理，转载请标明出处