宣布 AWS IoT FleetWise 对 Amazon S3 的对象存储支持

关键要点

今天，我们欣然宣布 AWS IoT FleetWise 现在支持在 Amazon Simple Storage Service (Amazon S3) 中进行对象存储。这项新功能使得汽车客户能够轻松且经济地创建和管理来自其车辆的数据管道。客户可以根据特定的车辆数据使用案例选择将车辆数据持久化到云中的位置。AWS IoT FleetWise 允许客户收集、转换并将车辆数据传输到云中，并利用这些数据提升车辆质量、电动化和自主性。

汽车公司正在寻找更高效的方法来简化车辆的数据收集。AWS IoT FleetWise 对 Amazon S3 的支持有助于优化数据存储成本，并提供额外的机制以在高效的 数据湖 中使用车辆数据，集中数据存储、数据处理管道、可视化仪表盘以及为下游数据服务提供的其他改进。Amazon S3 提供高度性能和耐久性的数据管理能力，有助于为车队解锁新的收入机会、建立机器学习数据集，并创建预测性维护模型，以实时检测和解决问题。汽车公司可以利用这些新功能获得关于驾驶行为、信息娱乐互动以及电动汽车 (EV) 车队的长期维护需求的洞察。

将数据从车辆发送到 Amazon S3 将使汽车数据工程师和数据科学家能够以分析和丰富所需的数据格式访问存储的车辆数据。AWS IoT FleetWise 的 Amazon S3 对象存储支持两种工业标准的大数据格式：Apache Parquet 和 JavaScript 对象表示法 (JSON)。对于需要在有效负载中维持关系数据的情况，客户可以使用 JSON 格式，尽管实现该格式会有轻微的存储和计算开销。大多数数据工程师会使用 Apache Parquet 格式进行车辆遥测数据的管理，因为它是开放源代码的、灵活的且可扩展的格式，能提供高效的数据存储与检索。该格式适用于在多种常见编程语言中使用的数据压缩和编码方案。

AWS IoT FleetWise 在 2022 年 9 月发布 时，提供了作为数据持久化机制的 Amazon Timestream，主要用于演示和分析数据随时间变化的情况，使用户能够识别近实时的趋势和模式。Amazon Timestream 提供了近实时用例，能使例如车队运营商通过 AWS IoT FleetWise 部署的活动全面查看其遥测数据。现在，通过 Amazon S3，客户可以通过批量数据分析解锁在线分析处理 (OLAP) 能力，支持多维数据点。这种能力从流数据分析切换到更批量的数据处理系统有助于在近实时中识别和解决问题，并通过从多个车辆车队中获得的历史数据持续改进，以为实施预测性维护的运营商创造差异化。

数据工程师现在可以使用其常用的数据处理工具集从多个不同的数据来源提取、转换和加载数据到汽车数据湖中，为数据科学家提供集中式 OLAP 存储。这种灵活性使数据工程师能够将车辆数据直接引入其他 AWS 服务，如 Amazon Athena 和 AWS Glue，并提供丰富的机会来增强和丰富遥测数据。使用 Amazon Athena 和 AWS Glue 等服务，也使得能够将这些数据格式化，以供机器学习模型使用。例如，客户可以根据存储在 Amazon S3 中的电池监测系统 (BMS) 数据，持续改进其预测性维护模型、范围估计或基于能量的电动汽车电池路线规划。

现代化特性由现代化汽车制造商助力

现代汽车集团 (HMG) 是一家全球车辆制造商，向消费者提供技术丰富的汽车、运动型多用途汽车和电动化车辆。“在现代，我们专注于利用从车辆收集的数据来推进创新的信息娱乐功能，”现代汽车集团信息娱乐开发小组副总裁 Youngwoo Park 说。“通过为 AWS IoT FleetWise 提供更多数据管理选项以及 Amazon S3 的可用性，我们现在能够处理批量数据，以及流数据，这使我们能够以更多方式理解和释放车辆数据的全部价值。”

国家仪器公司提升电动汽车电池监测

作为 AWS 合作伙伴，国家仪器公司 将结合 AWS IoT FleetWise 和 Amazon S3，提升他们在 AWS 上的 OptimalPlus 解决方案，通过构建针对电动汽车电池的持续改进数据管道。该解决方案使 NI 的数据科学家能够利用通过 AWS IoT FleetWise 从车辆内的 BMS 聚合的电池数据，以持续改善电动汽车的预测性维护模型。这些模型随后可以部署到车辆上，使汽车制造商动态调整 BMS 中的设置，以延长电池的剩余有效使用寿命。“建立电池监测系统的数据摄取和数据管道工作流，利用 AWS IoT FleetWise 为我们提供了近实时访问电动汽车数据的能力。现在，借助 AWS IoT FleetWise 对 Amazon S3 的支持，我们的数据工程师将以扩展性、灵活性和成本效益的方式获取批量数据，然后将这些数据引入我们的推理模型中，”国家仪器公司首席技术官、平台和分析研发负责人 Thomas Benjamin 说道。

解决方案概述

让我们以预测性维护用例为例，带您了解创建和部署 AWS IoT FleetWise 活动，该活动将数据存储在 Amazon S3 中的过程。假设您是一家拥有数千辆送货卡车的车队运营商的数据科学家。您的目标是降低刹车系统维修的成本并最大化车辆的正常使用时间。为此，您构建了一种机器学习模型，能够预测刹车片的磨损时间。该模型要求您从多个来源收集全面的数据集，例如车辆维护历史和所使用的刹车片类型。然而，您缺少用于提高预测准确性的历史急刹车事件的数据。通过支持 Amazon S3 的数据存储，AWS IoT FleetWise 现在可以帮助您解决这个问题。您将创建一个基于条件的活动，指示 AWS IoT FleetWise 的 Edge Agent 捕捉急刹车事件前 4 秒和后 1 秒的数据，并将其以压缩的 Parquet 格式存储到 S3 桶中。

前置条件

在开始之前，您需要：

操作步骤

步骤 1：创建并部署基于条件的活动，将一组广播 CAN 信号上传到目标 S3 桶中

11 登录 AWS IoT FleetWise 控制台，选择 活动 (Campaigns) 左侧面板，然后选择 创建 (Create)。

12 配置活动：将活动名称设置为 fwdemoeventbaseds3parquetgzip。

13 选择 定义数据收集方案 (Define data collection scheme)，选择 基于条件 (Conditionbased) 选项，并输入您的单独 活动持续时间。在逻辑表达式中输入 variableVehicleABSDemoBrakePedalPressure gt 7000，其余可选设置保持不变。

在 高级方案选项 (Advanced scheme options) 部分，设置 后触发收集持续时间 (Post trigger collection duration) 为 1000 毫秒。

在 要收集的信号 (Signals to collect) 部分，指定信号为“VehicleECMDemoEngineTorque”和“VehicleABSDemoBrakePedalPressure”。模拟器以 50 毫秒的频率生成包含刹车踏板位置信号的 CAN 消息。最大采样数 (Max sample count) 设置为 100，最小采样间隔 (Min sampling interval) 设置为 0，指示您的 Edge Agent 收集 5000 毫秒的数据，包括 4000 毫秒的事件前数据和 1000 毫秒的事件后数据。

14 定义存储目标：选择 Amazon S3。

确保以下存储桶策略已应用于您的 S3 存储桶将 bucketName 替换为您 S3 存储桶的名称。

json{ Version 20121017 Statement [ { Effect Allow Principal { Service [ iotfleetwiseamazonawscom ] } Action [ s3ListBucket ] Resource arnawss3bucketName } { Effect Allow Principal { Service [ iotfleetwiseamazonawscom ] } Action [ s3GetObject s3PutObject ] Resource arnawss3bucketName/ } ]}

选择 Parquet 作为输出格式，并使用默认的 GZIP 压缩。

15 添加车辆：步骤 1 中的模拟车辆将显示为 fwdemo。

16 审核并创建：审核设置后，单击 创建 (Create)。在状态更改后，单击 部署 (Deploy)，将您的活动推送到运行在模拟车辆上的 Edge Agent。

17 检查数据：导航到您的 S3 桶，查看每 12 到 15 分钟，AWS IoT FleetWise 完成批写入过程后，您的压缩 Parquet 文件落入该存储桶。

步骤 2：检查收集的数据

为了获得商业见解，您可以使用 AWS Glue 和 Amazon Athena 查询您的压缩 Parquet 数据，并使用 Amazon QuickSight 可视化硬刹车事件中的模式。

我们的车辆在 11 小时的模拟中生成了总计 771K 的事件。在这里，我们创建了一个简单可视化，显示通过刹车踏板压力的急剧上升和发动机扭矩的下降来指示急刹车情境。随着时间的推移，这些数据将提供有价值的历史数据，您可以与其他数据集如车辆维护历史、刹车片类型和车辆重量相结合，以提高机器学习模型的准确性。

现在，您已经验证了您的活动，您可以将其扩展到数千辆货车中，以收集更多数据并优化刹车维护计划。为了进一步提高模型的准确性，您还可以收集额外的信号，例如速度、剧烈加速或急转弯。

清理资源

请确保从您的 AWS 账户中删除以下资源，以避免意外费用。

结论

在本文中，我们展示了 AWS IoT FleetWise 如何通过新引入的将车辆数据发送到 Amazon S3 的能力，拓展了我们汽车客户的数据驱动用例的范围。除了由 Amazon Timestream 提供的近实时监控和分析外，Amazon S3 的集成还支持强大的 OLAP 用例，例如大数据分析和机器学习模型训练。我们随后使用一个示例预测性维护用例，带您了解创建基于条件的活动的过程，该活动收集硬刹车事件数据并将其发送到 Amazon S3。

要了解更多信息，请访问 AWS IoT FleetWise 网站或 登录控制台 开始使用。我们期待您的反馈和问题。

Andrew Givens

Andrew 是亚马逊网络服务 (AWS) 的物联网专家。总部位于亚特兰大，他帮助全球汽车客户在 AWS IoT 上构建其连接车辆解决方案。凭借在汽车行业的深厚经验，他对 AWS 上的可扩展、灵活的车辆通信平台特别感兴趣。

Jay Chung

Jay 是 AWS 专业服务 IoT 全球专项实践的物联网架构师。Jay 喜欢与客户互动，构建有助于解决客户商业挑战的 IoT 解决方案。在加入 AWS 之前，Jay 在汽车测试工具行业担任过多个角色，包括软件开发和产品管理，长达十年以上。