BimAnt

BIM/GIS集成的六种模式

admin -

在 2019 年 Esri 国际用户大会的工程峰会上，我受邀发表全体演讲。 鉴于我知道我们将从 GHD、HNTB 等团队中看到高水平的演讲者和演示，这是一个艰巨的挑战。 毕竟，BIM 和 CAD 与 GIS 集成的专家是我们的用户和合作伙伴。 我们的开发工作和业务活动（例如与 Autodesk 的合作）直接响应用户需求、客户兴趣、市场趋势，甚至世界各地的立法需求。

预计未来 50 年将发生的大量全球建设正在促使几乎每个国家都在思考如何在满足社会需求的同时有效、可持续地积极改变世界。 大多数支持城市化、人类居住要求、交通和减缓气候变化的建设将由建筑信息模型 (BIM) 流程驱动。 我们看到越来越多的立法需求要求在设计和建设项目中强制使用环境和现有资产环境。 我们的用户和他们创建的数据将提供有关所有这些新建筑的影响和预期结果的重要信息和分析。 只有将 GIS 的现实环境与 BIM 设计和施工数据应用到评估影响和预测结果的新流程中，才能满足我们的社会需求。

1、BIM/GIS集成的驱动因素

从我早期的软件开发人员职业生涯到现在担任产品经理，我一直深入参与设计和施工领域与后台之间信息交换的工作。 在这些项目中，整合 BIM 和 GIS 数据的基本驱动因素几乎总是相同的：

  • 为设计和施工团队提供背景地理空间信息，帮助他们了解初始条件，帮助更高效、更快速地实现可靠的结果
  • 在地理空间工作流程中使用设计和施工数据，以实现更准确、更高效的规划、运营、性能评估、维护和应急响应
  • 项目或资产系统内的态势感知，以在设计、施工或运营的任何阶段实现对状态的共同理解和沟通

2、数据交换模式

GIS 和 BIM 世界之间的数据交换模式随着时间的推移不断发展，但保留了更多由业务流程和需求驱动的基本特征，而不是由技术驱动。 所有集成模式都有其价值，但没有一个是完美的。 业务需求的复杂性加上技术的剧烈持续变化意味着没有一种数据集成模式或技术能够永远明显地克服所有其他模式或技术。

我们看到的基本模式可以总结如下：

  • 提取-转换-加载 (ETL)
  • BIM 作为 3D 图形
  • Web 到 Web 客户端集成
  • 提取-加载-翻译 (ELT) – 无缝重用
  • 基于标准的 ETL
  • 基于标准的通用数据环境 (CDE)

在本文中，我将详细讨论前四个，并简要介绍基于标准的 ETL 和 CDE 模式，这些内容留到以后的文章中。

3、提取-转换-加载 (ETL)

ETL 是世界各地使用的经典集成模式。 在 ETL 中，特定数据从一种已知模式或格式映射到另一种已知模式或格式。 该过程从“提取”开始，其中应用程序或系统查询源数据库或数据，找到所需的特定内容，并将其存储在源外部，通常存储在同一系统上，也可能存储在某些中间系统上。

提取后，数据通常会被“翻译”（一些数据，包括 Safe Software 和 Pragmatic Institute 称“转换”，因为它通常不仅仅是字典更改）到其他一些模式，可能涉及删除丢失的数据、转换变量格式，甚至将信息转换为不同的编码。 最后，数据被“加载”到目标系统中。

早期转换示例：休斯顿乔治布什洲际机场的 3D 对象场景图层（由休斯顿机场提供）
  • 优点

开发人员和配置人员可以使用 ETL 实施，他们可以应用实际问题解决、数据架构和编程技能来连接不同的格式并生成有价值的报告和分析。 ETL 解决方案非常灵活，可以根据具体情况进行定制，以解决特定的数据类型和领域问题。

  • 缺点/挑战

随着业务需求和文件格式的变化，ETL 实施可能需要持续维护，从而产生技术债务，这对业务来说成本高昂且难以扩展。 ETL 需要将数据从一种状态更改为另一种状态，并且通常会导致数据丢失。 ETL 系统可能难以维持双向关系，尤其是在一个系统与另一个系统之间的数据分辨率显著不同的情况下。

  • Esri 如何通过 ETL 支持 BIM-GIS 工作流程

许多 Esri 客户使用 Safe Software 的 FME 或 ArcGIS Data Interoperability Extension 等工具来在不同格式和规范之间建立桥梁。 BIM-GIS 对话中的一种常见应用是在buildingSmart International 的工业基础类 (IFC) 和 GIS 中的资产数据之间交换数据。 未来几年将需要 ETL 流程，ETL 模式是相关市场和技术（例如数据科学应用程序）的关键推动者。 随着 BIM 市场的发展，ETL 可能会随着时间的推移变得更加普遍，而不是更少。

4、BIM 作为 3D 图形

许多 GIS 相关领域的客户越来越期望高端 3D 视觉效果，并且当将 GIS 与建筑或土木工程项目合并时，这种需求变得更加迫切。 多年来，建筑师已经能够生成高质量的项目 3D 渲染图，早在结构出现在现实世界之前就生成了越来越逼真的结构渲染图。 在当今的市场中，游戏引擎技术开辟了虚拟现实（VR）作为一种用户体验，可以通过建筑物和结构的真实数字表示来实现身临其境的审查、批准，甚至调试和培训工作流程。 无论是为了真实性还是为了信息，这些项目中的许多通常需要将地理空间上下文用作可视化的一部分。

有助于将 3D BIM 内容与 GIS 结合在一起的常见新兴工作流程需要将 BIM 模型转换为在 Trimble SketchUp、ArcGIS Pro 和 Unreal Engine 等应用程序中使用的常见 3D 图形文件格式。 这些项目带来了引人注目的视觉体验，帮助利益相关者了解结构如何与周围环境相互作用。

在虚幻引擎中渲染的 CityEngine 项目
  • 优点

在许多情况下，将 BIM 表示为 3D 图形是一种快速、有效的技术，可以为演示和利益相关者审查生成高质量的可视化效果。 随着使用游戏引擎和 VR 的工作流程变得越来越普遍，越来越需要在可用于创建用户友好体验的工具中聚合 3D 内容。 我们还看到共享简单 3D 模型的新兴标准（例如 glTF）在软件工具中变得更加标准。

  • 缺点/挑战

几乎无一例外，将信息丰富的资产从 BIM 或 GIS 转换为用于游戏引擎和图形工具的 3D 模型格式将导致属性和元数据丢失。 因此，一些客户会觉得 3D 图形转换工作流程是定向的且价值有限。 对于通常不支持坐标系或地理空间坐标的这些资产格式，地理配准信息存储在模型外部，并且可能在格式转换过程中丢失。

有时，我们发现在 BIM 应用程序中作为单独部分创建的模型将被融合成一个整体的单一 3D 模型，该模型在 GIS 中显示时表现不佳。 如今，许多 GIS 工具也很难显示具有反映源内容的纹理或材质的资产，尽管随着包括 Esri 在内的 GIS 供应商提高其应用程序输出的视觉质量，这个问题正在逐渐减少。

最后，使用 BIM 作为通用 3D 模型的方法的关键问题之一是，对于许多最终用户来说，“眼见为实”。将模型引入 GIS 并使其看起来不错并不意味着使用相同的途径很容易带来资产元数据和属性。

  • Esri 如何支持 BIM 作为 3D 图形方法

尽管这种方法存在一些局限性，Esri 仍然能够将 BIM 数据用作 3D 图形，特别是帮助客户在涉及游戏引擎、XR 体验和其他更注重视觉而非分析的应用程序的新兴工作流程中使用数据。 Esri CityEngine 团队是最早提供 Datasmith 工作流程以将 3D 图形内容简化到虚幻引擎中的非 Epic Games 团队之一。 CityEngine 团队使用它来支持 UE4 Marketplace 上提供的 VR 模板项目。

Esri 3D 团队也一直在密切关注 glTF。 现在，ArcGIS 桌面和 Web 应用程序中直接支持 glTF 作为标记符号，并且我们即将推出的一些材质规范基于 glTF 和通用场景描述材质实现。

除了这些早期阶段的功能之外，我们还在探索与 Unity 和 Unreal Engine 等流行引擎更直接的游戏引擎集成。

5、Web 到 Web 客户端集成

我们遇到的价值最高但难度最大的集成模式之一是跨多个系统组合 Web 界面的概念，为与现实世界资产相关的空间、设计和性能数据提供通用门户或仪表板。 从根本上讲，这种模式有望将 GIS 作为通信工具的力量与设计和施工数据相结合，为项目通信、智慧城市运营和资产管理提供信息。

我在 20 世纪 90 年代末开始将地图放在互联网上，资产管理和设计数据中的地图视图成为我从事的项目和产品工作中的常见主题。 我们看到许多客户和合作伙伴使用 Esri Web 工具（包括故事地图、Web AppBuilder 和自定义 JavaScript 应用程序）链接到 Autodesk BIM 360 等系统，并在单一体验中向最终用户展示其项目或资产数据和 GIS 数据。 客户反复询问我们是否有一款产品能够实现此工作流程。

Esri 和 MG 为迪拜创建的集成 ArcGIS 和 BIM 360 的原型 BIM 提交项目

复杂性在于这种类型的集成为最终用户提供的工作流程的每个版本都有独特的价值。 BIM 项目经理、设施经理和城市运营经理可能都需要将设计数据与 GIS 集成，但他们的基本业务驱动因素不同。 没有一种界面可以满足所有人的需求。 也就是说，我们与合作伙伴合作构建了此集成的多个版本，并且我们正在努力提供一组工具，以允许任何人使用 ArcGIS 和我们的合作伙伴 Web 集成工具和功能构建他们所需的体验。

  • 优点

基于 Web 的集成体验最吸引人的方面之一是它通常是在设计时考虑到最终用户的。 每种体验都实施定制的工作流程来显示不同的信息，例如项目成本和进度状态、实时资产绩效指标或工人订单状态。 用户体验旨在允许用户在需要时通过 Web 浏览器访问所需的信息。

我们的行业已经发展了通用技术和工具，使非 BIM 或 GIS 专家的 Web 开发人员也可以构建基于 Web 的集成。 使用标准的开发经验，开发人员只需要知道数据在哪里、如何将其链接在一起以及如何在不同系统中进行身份验证。

也许最重要的是，Web 到 Web 客户端集成模式尊重“记录系统”内容源。 用户可能正在探索 ArcGIS Online 提供的地图，并且在单击资产并调查属性数据后，可以直接链接到 BIM 存储库（例如 BIM 360）中的信息。

  • 缺点/挑战

尽管在网络上整合 GIS 和 BIM 看起来很简单，但仍然存在一些常见的障碍，甚至可能会困扰经验丰富的开发人员。 当今市场上，没有通用的索引方案或标准接口允许 GIS 自动索引到 BIM 信息，需要按所有者-运营商或按项目建立索引模式。

由于托管和提供大量数据的内容管理工具的费用较高，商业开发的内容存储库在当今市场上很常见，通常不是由多个供应商共同开发的。 不同的供应商将实现不同的身份验证模式和接口技术。

在域级别，数据所有权、更新和维护的模式会导致不一致，从而需要复杂的数据同步和提取模式。 BIM 设计数据在项目启动和施工期间会定期更改。 从具有预定法律依赖性的记录保存应用程序链接到不断变化的数据可能会出现问题。 很多时候，解决特定问题所需的数据不会出现在 BIM 或 GIS 中，而是必须来自另一个具有自身特性的应用系统。

几乎任何人都可以创建一个显示项目信息的网页，但使该网页有用或可持续可能非常复杂。

  • Esri 如何支持更轻松的 Web 到 Web 客户端集成

几十年来，ArcGIS 一直提供构建自定义 Web 应用程序的工具，包括行业标准集成工具。 ArcGIS API for JavaScript 支持对 2D 和 3D Web 体验进行广泛的自定义。 Web AppBuilder 和新的 ArcGIS Experience Builder（目前处于 Beta 版）等工具使用户能够通过配置创建定制的 Web 工作流程。

Esri 还通过包含数据类型（图层）、分析（地理处理）和内容管理功能的 GeoREST 服务，提供对 ArcGIS Online 和 ArcGIS Enterprise 中管理的内容的广泛开放访问。 新的 I3S 建筑场景图层是我们如何在 ArcGIS 中专门用于通过网络共享 BIM 内容的新图层和功能的一个很好的示例。

我们还创建了多个版本的自定义 Web 应用程序，将 BIM 和 GIS 结合在一起。 目前，这些都是定制的，尚未产品化。 我们提供了示例代码来帮助一些合作伙伴创建自己的集成应用程序，我们正在探索如何创建一个解决方案或产品来封装客户的各种需求，同时保持灵活性和可配置性。

新西兰基督城的图朗加图书馆在 Web 应用程序中显示为 I3S 建筑场景图层

6、提取-加载-翻译 (ELT) – 无缝重用

在过去几年中，我们看到另一种整合模式开始出现。 存储的普遍存在以及通过标准 API 读取越来越多内容的能力的快速提高，使得一些应用程序能够打开并读取源内容，然后等待转换该数据以用作目标应用程序中的本机内容。 数据可以直接从源文件或服务的本机位置读取，也可以复制数据，然后加载和翻译（translate）。 总的来说，这些“提取-加载-翻译”模式正在将集成从永久数据丢失转变为机会性数据重用。

ELT 模式的示例之一是 ArcGIS Pro 中的 CAD 和 Revit 文件读取功能。 文件可以保留在源文件共享中，也可以复制到新位置并由 Pro 直接读取。 Pro 读取源数据并动态解释它，就好像它是 GIS 要素服务的集合，而无需更改源文件。 在该状态下，用户可以选择将数据转换为另一种格式，例如用于通过网络进行动态流传输的 I3S 建筑场景层。

在更复杂的层面上，ELT 模式是数据湖的关键组成部分。 如果可以对数据进行快照（提取），然后将其移动到新的策划位置（加载），则可以随时以目标软件系统的最佳能力读取数据（翻译）。 随着时间的推移，人们期望数据量将会增长，数据质量将会提高，并且为新目的读取和使用数据的能力将会提高。

ArcGIS for AutoCAD 允许直接读取 GIS 数据
  • 优点

ELT 工作流程非常受最终用户欢迎，因为它们通常隐藏架构转换，并且几乎神奇地允许在新应用程序或系统中访问和使用数据。 内容可能看起来是目标的本地内容，例如 Revit 文件在 ArcGIS Pro 中显示为 GIS 要素图层。 ELT 能够随着时间的推移逐步改进源信息的使用。 随着 ArcGIS Pro 改进为读取 Revit 内容，最终用户可以越来越多地利用源数据，而只需最少的额外工作（如果有）。

根据实施情况，ELT 有可能尊重源内容记录系统，或者至少保留与源内容记录系统的关系。 ELT 还通过保存元数据和数据语义来促进双向工作流程。

  • 缺点/挑战

不良数据不容易被克服，这对于使用 ELT 技术的用户来说可能会非常痛苦，因为用户体验可能看起来是自动的，直到事实并非如此。 元数据缺失、几何形状错误以及内容陈旧或不标准可能会导致 ELT 工作流程失败或表现不佳。 Revit 内容的一个突出例子是普遍缺乏测量点信息，如果没有测量点信息，几乎不可能自动对项目进行地理定位。

ELT 需要广泛访问源内容，而专有数据源可能无法实现这一点。 ELT 还需要对源领域有广泛的了解，并且可能会导致错误地认为目标应用程序可以对内容以及创建内容的本机应用程序进行操作。 但情况并非总是如此，特别是在必须在目标软件工具中具体化或冻结大量参数或动态导出的几何图形或计算属性的情况下。 ELT 的创建成本能力最高，部分原因是它提供了最佳的最终用户体验。

当结合 BIM 和 GIS 数据时，ELT 需要程序级 BIM 规范，以便能够在 GIS 等应用程序中一致地重用 BIM 内容。 GIS 无法神奇地添加 BIM 模型可能需要的正确级别信息或资产 ID，以便在施工后对资产管理最有用。 市场上许多组织的 AEC 和 BIM 内容的多样性使得 Esri 不太可能支持每个供应商软件或开放格式的 ELT 工作流程。 我们将不得不选择具有扎实实施的市场主导格式，并依靠其他集成工作流程来满足某些格式和规范的需求。

  • Esri计划如何支持 ELT 工作流程

多年来，Esri 一直在 ELT 工作流程方面处于领先地位。 自 2007 年起，ArcGIS for AutoCAD 就支持将 GIS 内容直接读取到 Autodesk AutoCAD 中。Autodesk Connectors for ArcGIS 将类似的 GIS 直接读取工作流程引入 Autodesk Infraworks 和 Autodesk Civil 3D。

ArcGIS Pro 在 2018 年引入了 Autodesk Revit 的直接读取功能，从那时起，我们就看到了 GIS 工作流程中使用 BIM 的出色示例，当我们在 2019 年引入建筑场景图层时，这些工作流程得到了加速。这些功能是结合集成工作流程以实现 全新的工作流程。

未来，我们计划实现直接读取其他数据类型，例如 Autodesk Civil 3D 和 IFC。 除此之外，我们还致力于与内容管理系统（例如 Autodesk 的 BIM 360）直接连接。我们将根据未来 API 或 SDK 的可用性来检查对其他供应商和行业格式的支持，以方便访问。

7、基于标准的 ETL

我们看到行业中正在发展其他集成模式。 其中之一是所有信息交换都应通过标准进行的概念。 这包括开放地理空间联盟的 CityGML 和 IFC 等规范。 当标准是为不同的行业和工作流程创建并且后来才尝试粘合在一起时，这可能具有挑战性。 将数据从一种标准转换为另一种标准与传统的 ETL 工作流程存在类似的问题，导致由于缺少域或学科信息以及图形复杂性不匹配而导致数据丢失。 当从一种供应商格式转换为多种开放标准格式，然后转换为另一种供应商格式时，数据丢失可能会更大。

鉴于需要快速发展软件和标准以满足不断变化的市场期望和技术能力，很难看出这种模式能够以持续最小化 BIM 和 GIS 跨行业应用的数据丢失的方式稳定下来。 一体化。 Esri 通常通过使用第三方库和工具来读取开放标准数据来支持这些模式。 只要有可能，我们希望通过查看 ELT 工作流程和工具来简化数据转换的跳数，例如将来直接将 IFC 读入 ArcGIS。

8、基于标准的通用数据环境 (CDE)

我们看到的另一个趋势是尝试根据一个行业的规范或开放标准创建单一的通用数据环境（CDE）。 我个人参与数据集中化和联合项目的历史可以追溯到 90 年代末。 集中式数据库方法似乎总是与数据所有权、满足组织变更要求的能力以及法律约束等问题作斗争。 例如，正如我在之前的博客中指出的那样，地理数据库不太可能存放经过盖章和认证的工程图。

Mott MacDonald 副总裁 Cory Dippold 和业内其他人喜欢将 CDE 一词重新表述为“互联数据环境”，其中联合数据仍受组织中相应域所有者的控制，并通过标准公开 集成和跨域访问的服务。 我强烈支持这一概念和实施形式，将其作为集成来自我们大客户的多个领域、机构和工作流程的数据的最实用的方法。

许多人天真地将纽约、伦敦或旧金山等城市视为单一的等级实体，将所有责任归结为一名官员或民选官员。 大城市和大都市实际上非常复杂，有多个部门和依赖关系，其中一些可能不完全属于城市的管辖范围。 纽约和新泽西港务局是此类组织的一个很好的例子。 作为一个州际机构，它不属于纽约市的直接管辖范围，但港务局对纽约市的基础设施、流动性和生活质量的影响是巨大的。 将港务局与城市数据相结合的唯一方法是通过多个机构和部门联合提供安全、受控的服务，并将其提供给适当的工作人员和服务提供商，以实现积极的变化并对城市及其周边地区的事件做出快速响应 。

我们确实了解，一些客户将继续构建单一的 CDE，以实现城市规模的项目交付和资产管理。 ArcGIS 工具在这两种情况下都适用，我们可能会在后面的博客文章中讨论这一点。

9、结束语

随着时间的推移，BIM 和 GIS 数据集成模式的多样性不断增加，而不是减少。 较新的集成模式（例如 ELT）可能会改善用户体验并保持数据完整性，但需要对不同领域（例如 GIS、建筑设计、施工文档和资产管理）有更深入的了解。 软件供应商专注于构建使客户能够完成工作的工具，并且通常不是工作本身的广泛专家。 我们不断努力改进工具和工作流程，使我们的客户能够更快、更经济地完成更多工作。 这需要迭代工具开发，并提供持续反馈，并了解界面上的新按钮无法解决复杂性。

我们也正在经历人类各个技术领域都发生巨大变化的时代。 不断增加的数据量、向更复杂的现实建模和模拟的过渡，以及机器学习和人工智能正在比以往更快地改变我们的工作流程，甚至我们的工作质量。 这意味着我们访问数据的工具和能力必须更快地改变。 虽然我不期望我们能够提供单一的神奇技术或数据格式来立即公开组织所需的所有数据，但更好地理解数据使用和集成的模式将帮助我们更快地响应 改变，甚至更积极地促成改变。

原文链接：Common Patterns for BIM and GIS Integration

BimAnt翻译整理，转载请标明出处