BimAnt

LLM App的未来

admin -

本文重点介绍了 Streamlit 报告：2023 年 LLM 应用状况，深入了解了 2023 年在 Streamlit 社区云上部署的所有 LLM 应用程序的统计数据。

Streamlit 是一个开源框架，旨在方便部署数据科学和机器学习应用程序。LLM 的最新发展使 Streamlit 成为开发人员有吸引力的部署工具/UI。

该报告包含约 18,000 名开发人员构建的约 30,000 个 LLM 应用程序的数据，这些应用程序托管在 streamlit 社区云上。

LLM 领域的关键定义包括：

  • 大型语言模型 (LLM)：一种可以理解和生成自然语言文本的模型。常见的 LLM 包括 OpenAI 的 GPT、Google 的 Gemini、Meta 的 Llama、Claude、Cohere 等。阅读本文以了解有关 LLM 的更多信息：大型语言模型：开源与专有
  • LLM 编排器：一个连贯的框架，用于通过 LLM 应用程序增强各种组件，以改进推理、减少偏差并将各种其他数据和工具与 LLM 集成。常见的 LLM 编排器是 Langchain 和 LLamaIndex。
  • 向量检索：一种用于将数据（通常是非结构化的）分类为权重向量以检索相似数据块的方法。适用于使用外部数据源构建 LLM 应用程序。向量搜索方法包括 Faiss 和 ElasticSearch。向量数据库包括 Pinecone、ChromaDB、Weaviate 等。

1、关键要点

从 Streamlit 的《2023 年 LLM 应用状况》报告中，我们可以得出以下见解：

  • OpenAI 的 GPT 模型以 73% 的份额垄断了所使用的 LLM：
  • 55% 的 LLM 应用都是多部件的。他们使用 LLM编排。
  • 仅有 18% 的程序在其应用程序中使用 Vector Retrieval。Pinecone 和 Faiss 在计数榜上名列前茅。
  • 69% 的应用程序是单一文本输入/输出。31% 是会话式聊天机器人。过去一年中，聊天机器人的使用趋势日益增加。
  • 为用户构建有效的 LLM 应用程序面临各种挑战/担忧
  • 不同 LLM 工具的使用百分比前景如下：

其中 OpenAI 和 Langchain 领先

2、未来影响

AI 具有颠覆或促进人类社会发展的巨大潜力。聊天机器人、检索增强生成和其他自然语言处理任务中越来越多地采用 LLM 的多组件功能，这标志着各个行业向更多样化应用的转变。然而，要广泛采用 LLM 应用程序，需要解决几个挑战和问题。

  • 解决用户问题：在准确性、隐私、偏见和数据安全方面与用户建立信任至关重要。用户需要确信 LLM 应用程序生成的数据可以负责任和合乎道德地使用。随着 LLM 应用程序变得越来越普遍，解决这些问题将至关重要。
  • 技术进步：设备、计算、LLM、LLM 编排器和向量检索方法的持续进步将推动 LLM 应用程序的发展。这些技术和框架的改进将带来更准确、更高效和更强大的应用程序。
  • 技能开发：随着对 LLM 应用程序的需求增长，对能够构建和维护这些应用程序的熟练开发人员的需求也将增长。投资教育和培训计划以培养这些技能对于 LLM 应用程序的未来至关重要。
  • 成本考虑：开发和维护 LLM 应用程序的成本可能很高。寻找降低成本同时保持质量和效率的方法将成为开发人员和组织面临的主要挑战。
  • 开源贡献：开源社区在 LLM 应用程序的开发中起着至关重要的作用。社区的持续合作和贡献将推动创新并加速新 LLM 架构和应用程序的开发。
  • 了解不同的背景和行业：LLM 应用程序正在广泛的行业和环境中部署，每个行业和环境都有自己独特的挑战和要求。了解这些不同的背景和行业对于开发量身定制、技术精湛、有效且有影响力的 LLM 应用程序至关重要。

3、结束语

人工智能具有颠覆或促进人类社会发展的惊人潜力。我非常期待看到 LLM 及其潜在应用在未来几年的发展。在实现这一目标之前，我们需要解决用户对构建 LLM 应用程序的信任、隐私、成本和技能方面的担忧。解决报告中概述的挑战和担忧对于实现这一潜力并确保 LLM 应用程序对整个社会有益至关重要。

原文链接：Streamlit, and the Future of LLM applications

BimAnt翻译整理，转载请标明出处