No-Code生成式AI
最近，我看到许多渴望“利用生成式 AI 做点什么”的公司寻求帮助。当这种需求变得具体时，他们通常会寻找内部专家或自由职业者。令我惊讶的是，这些公司中的许多公司都在寻找数据科学家和 ML 工程师，认为这是有效利用生成式 AI 的关键。
从我为中型和大型企业提供十几个生成式 AI 项目的经验来看，很明显许多公司对成功采用 AI 需要什么和需要谁缺乏全面的了解。他们经常误解所需的角色，专注于聘请专家，而不考虑这些角色是否符合他们的目标。这种方法可能导致效率低下和过度复杂化，最终阻碍进展。
在本文中，我将深入探讨这些挑战并提供对不同方法的见解。我不会过度依赖数据科学家，而是探索无代码 AI 解决方案如何使企业能够更快、更有效地进行创新。通过利用无代码平台，公司可以绕过许多传统瓶颈，并采取更简化的途径实现生成式 AI 的成功。
1、AI 项目中的人员分工
在深入讨论生成式 AI 之前，让我们先讨论一下传统 AI 项目以及参与人员。对于传统 AI 项目，我指的是必须从头开始开发用例的整个端到端流程的项目，包括所有模型构建、数据整理和应用程序构建。
通常，这些项目看起来像这样：
传统的 AI 项目需要多个角色才能将想法从概念转化为生产。我使用的角色可能有不同的头衔。但是，我在这里使用的角色描述侧重于目的，即使它们在不同的组织中有不同的头衔。
第一阶段是问题和目标的定义。主题专家 (SME) 在这里至关重要。他们是问题定义的起源，具有领域特定知识，是导致技术要求的业务需求的来源。作为用例所有者的主题专家非常擅长验证任何实施解决方案的输出。然而，在大多数情况下，他们不是 AI 专家，他们缺乏创建端到端解决方案设计所需的流程驱动的思维模式。
因此，主题专家与数据科学家密切合作，以确定需要什么数据以及项目应该提供什么结果。数据科学家在将从 SME 收集的业务需求转化为可操作的技术要求方面发挥着重要作用。他们的工作不仅仅是建立模型；它涉及确保他们完全理解问题领域，提取相关见解，并从中小企业那里获得正确的意见。
他们领导下一个阶段，即创建解决方案。数据科学家构建和验证机器学习模型，重点是特征工程和选择算法。他们的主要任务是进行实验并确保模型能够有效解决已发现的问题。他们还与数据工程师和机器学习工程师一起工作，以确保解决方案可行且可扩展。
接下来是产品化阶段，应用工程师发挥着关键作用。我将应用工程师称为“传统”工程师，他们没有任何特定的 AI 技能，可以实现前端、后端以及两者之间的所有编排（数据访问、DevOps 等）。
他们从数据科学家那里获得构建的模型，并将其集成到端到端应用程序中以进行生产。他们构建用户界面并将 AI 模型集成到最终用户可以与之交互的工作解决方案中。每个角色在成功的项目中都发挥着至关重要的作用，但复杂性和对专业人才的依赖可能会导致成本增加和时间延长。这正是无代码人工智能可以提供有效替代方案的地方。
2、数据科学家的误解
当我与那些声称他们需要数据科学家，因为他们想开始涉足人工智能领域的人交谈时，我发现了两个常见的误解：1) 他们认为数据科学家做什么与数据科学家实际上做什么；2) 他们认为生成式人工智能项目需要什么与生成式人工智能项目实际上需要什么。
让我们来看看 1)。以下两个饼图非常准确地显示了这个问题。
第一个饼图显示了人们认为数据科学家在生成式AI项目中做什么。许多人认为数据科学家将大部分时间花在模型方面：设计AI模型、实施它们并将它们与一些数据转换工作一起测试。然而，现实情况是，数据科学家的大部分工作涉及数据整理和了解业务需求等活动，这需要与主题专家 (SME) 和其他利益相关者进行广泛的合作。
第二个饼图显示了数据科学家实际上做什么。不到 25% 的时间花在模型构建和验证上。超过 30% 的时间花在问题理解和利益相关者协调上——其他工作角色（包括数据科学家）的描述中也包括这个方面。大部分时间都花在数据收集和模型维护上。
当我们看 2) 时，请继续学习数据科学家在他们的时间里实际上做了什么——生成式 AI 项目实际上需要什么。
3、LLM 范式转变：预训练模型
大型语言模型 (LLM) 是在从互联网上抓取的大量信息数据集上进行训练的。在大多数情况下，这些数据对所有人都是公开的。
当公司谈到使用生成式AI时，在 95% 的情况下，他们不会在内部训练自己的模型。相反，他们利用其他拥有大量计算资源的组织构建的预训练模型。预训练模型（例如 OpenAI 的 GPT-4）旨在理解和生成类似人类的反应，并且可以编排到更大的应用程序中，而无需进行大量额外训练。它们旨在成为通过 API 使用它们的专用应用程序开发的基础。
使用预训练模型大大降低了进入生成式AI的门槛。企业不需要从头开始构建自定义模型，这通常需要一支专业的数据科学家团队、大量数据和计算能力。相反，他们可以利用已准备好部署的现有模型。这使得他们能够专注于应用人工智能来解决业务问题，而不是专注于模型创建本身。最重要的是，建立自己的模型非常昂贵。
使用预先训练的模型提供了关键的好处，包括缩短上市时间和节省成本。公司可以快速集成这些模型，避免冗长的数据收集和训练过程。此外，他们还受益于 OpenAI 和 Google 等组织不断改进这些模型的进步。使用预先训练的模型，企业可以专注于将这些人工智能功能编排到他们现有的工作流程中，从而无需在数据科学专业知识上投入大量资金即可创造价值。
考虑到这一点，让我们来看看你实际需要执行哪些任务才能实施生成式AI项目。
生成式 AI 项目中的大量时间都花在构建模型编排和快速工程上，然后是问题理解和需求分析以及构建数据管道。 生成式 AI 模型的编排不需要与从头开始构建生成式 AI 模型相同的技能。 当今广泛使用的大多数模型都可以通过 API 获得 - 任何应用程序开发人员通常都可以与之交互的接口。
因此，当我们将数据科学家放在生成式 AI 项目上时，只会使用数据科学家所拥有的一小部分技能。然而，其他技能——不属于传统数据科学角色——是需要的。这包括提示工程和迭代开发。但我也不主张用提示工程师取代数据科学家——这个术语在不同语境中的使用甚至比数据科学家更为宽泛。
需要端到端实施生成式 AI 应用程序的人实际上需要能够做到以下几点：
- 流程驱动思维
- 与利益相关者快速迭代并调整解决方案
- 构建正确的 LLM 编排
- 集成数据源
- 将新构建的 AI 应用程序集成到现有系统中。
这个描述更接近于传统软件开发人员，而不是数据科学家。还值得注意的是，对于实施生成式 AI 应用程序时所执行的大多数任务，数据科学家所拥有的所有基础深度知识都是不需要的。
构建生成式 AI 应用程序更多的是以最有效的方式集成和编排现有模型，而不是构建（甚至理解）幕后细节。
因此，我宁愿让接受过一些生成式 AI 额外培训的应用工程师参与生成式 AI 项目，而不是数据科学家。这样更有利于降低成本、提高效率和加快速度。
4、编排是关键：让 AI 为你的业务服务
AI 中的编排（orchestration）是指创建多步骤的思路链提示，以可管理的步骤将数据、模型和逻辑整合在一起。它涉及构建工作流，其中集成不同的组件（例如数据源、AI 模型和应用程序逻辑）以实现期望的结果。通过将复杂的任务分解为更小、可处理的单元，编排工具可使 AI 系统更高效、更有效地运行。
你可以将编排看作是“将不同的布料缝在一起”，而不是“编织所有布料、进行裁剪和缝纫”——这是从头开始构建模型的隐喻。
编排的好处是它抽象了管理不同 AI 组件的复杂性。它能够以简化的方式集成预先训练的模型和数据服务，使团队能够专注于提供价值，而不是每个模型的技术细节。这在生成 AI 项目中尤其重要，因为连接模型、应用逻辑和快速迭代工作流对于成功实施至关重要。
编排部分涵盖的主题包括：
- 模型选择
- 流程构建
- 检索增强生成 (RAG)
- 提示工程
- 模板化
- 参数化
- 测试和验证
- （在某些情况下）模型微调
生成式 AI 编排集成到现有系统中，以端到端的方式对业务产生影响。应用工程师通过提高技能，可以完成所有这些任务。
5、无代码 AI：赋能数据科学家以外的团队
通过让应用工程师代替数据科学家进行编码，我们节省了成本，减少了开发过程中的摩擦并提高了速度。但我们可以更快。
还记得编排总是具有相同的组件，而你只是“拼凑在一起”吗？这种情况是无代码或低代码平台的完美用例。
在 entAIngine，我们构建了一个标准平台，你可以在其中连接数据和现有治理结构并定义编排。我们将此编排视为流程模板，因为它们是一系列获取不同输入的步骤。
例如，我们希望创建一个编排，该编排接受电子邮件项目查询，为该项目找到合适的人员并创建查询的答案。在第一步中，我们使用 LLM 从电子邮件中提取查询的要求。然后，我们通过在公司中搜索符合查询要求的合适人员来执行检索增强生成 (RAG)。我们通过在矢量数据库上使用语义搜索来实现这一点。在最后的步骤中，我们获取检索到的信息并使用 LLM 创建回复电子邮件。
我非常喜欢像处理一系列支持 AI 的业务流程一样处理任何 AI 应用程序。我们构建“蓝图”（流程模板），其中包含随情况而变化的变量（在电子邮件示例中，这将是电子邮件文本）。每当我们有新案例（即收到新电子邮件）时，我们都必须用案例特定的数据填充变量并执行该流程模板。
任何能够以流程思考的人都可以应用这一原则。了解如何将知识库与 RAG 结合使用、如何获得高质量和可重复的结果以及如何优化模型成本是一个学习曲线，但在我看来，不需要数据科学家的技能。
使用无代码方法，你可以完成构建生成式 AI 应用程序所需的许多任务，但不是全部。集成现有系统或定制等特定任务仍需要应用程序工程师。但在大多数情况下，构建生成式 AI 应用程序的关键部分可以通过无代码平台（如 entAIngine）来完成，这些平台由精通技术、注重流程的人员负责——无论他们的头衔或背景如何。
6、在未来，AI属于每个人
生成式人工智能具有巨大的潜力，但实现它的方法可能会带来巨大的差异。通过减少对数据科学家的依赖并采用无代码平台，公司可以以经济高效的方式释放人工智能的力量。传统的人工智能项目通常需要专门的角色，从而导致更长的开发时间和更高的成本。然而，当采用无代码解决方案并专注于编排时，生成式人工智能可以简化和普及。
关键在于利用预先训练的模型，构建精简的编排，并专注于业务驱动的结果。通过提升现有团队成员的技能并利用 entAIngine 等工具，企业可以实现其人工智能目标，而无需陡峭的学习曲线或与内部模型培训相关的高成本。无代码人工智能是一个改变游戏规则的技术，它使更广泛的创新者能够使用先进的人工智能技术，并使团队能够快速有效地采取行动。
人工智能的未来是每个人，无论技术背景如何，都可以参与并受益。通过采用无代码 AI 解决方案，企业不仅可以减少障碍，还可以确保创新可以来自组织内任何地方的任何人。这种转变使 AI 变得民主化，并为跨行业更具包容性和更广泛的采用铺平了道路。
原文链接：No-Code Generative AI: How Companies Can Build Without Data Scientists
BimAnt翻译整理，转载请标明出处