中车基在IoTDB构建城市轨道交通车辆智能运维系统 www.6300.net 2022-07-13中国工程机械信息网

城市轨道交通（以下简称“城轨”）作为年夜中城市公共交通的自动脉，天天客流量高达几百万人次，且客流量还在不竭上升，这对各城市的轨道交通公司的运维能力提出了较高的要求：一方面，要保障的线路平安靠得住运行，避免产生平安变乱；另外一方面，要优化维修打算，将“打算修”改变为“状况修”，从而削减车辆维修时候，下降维修本钱。是以，需要采取一种智能化的城轨车辆运维方案，实现对城轨列车要害系统和部件运行状况的及时监测，并依托年夜数据、人工智能等手艺，连系车辆运行和检验数据进行阐发发掘，诊断并猜测装备的健康状况，从而保障的车辆平安性和靠得住性，即成立城轨车辆智能运维系统。

中国中车股分有限公司（英语：CRRC Corporation Limited，缩写：CRRC），简称中国中车，是中国一家从事铁路机车、铁路车辆、动车组、地铁和其零部件的研发、制造、厂修和 IGBT、公车等周边财产的年夜型中心企业，是全球最年夜的轨道交通装备制造商息争决方案供给商。

基在IoTDB时序数据库的特点和优势和其在城轨车辆智能运维系统构建中的合用性，中国中车选择 IoTDB 作为城轨车辆智能运维系统的焦点部门，设计了一种轻量化的系统架构，有用提高了存储空间操纵率和数据检索效力。

1.营业需求痛点

城轨车辆智能运维系统需要实现从数据收集、数据存储到数据阐发、数据展现的全流程、全功能的笼盖。流转在系统内的数据具有变量多、周期短、转变小、时效性强等特点，是以对系统中各功能模块的机能提出了较高要求。

1.1 毫秒级及时数据领受

城轨车辆上安装的数据收集和发送装配可及时收集和发送车辆的运行状况数据和故障数据。城轨车辆智能运维系统可及时获得列车信息。系统需在一个周期（通常是毫秒级）内完成对所有车辆发送确当前周期内数据的校验和存储操作。

1.2 TB级数据存储

城轨车辆智能运维系统所需数据存储空间年夜。一条城轨线路的列车数目一般在20列以上，每列列车上各子系统的传感器数目可达上万个，需回传至地面系统的变量通常是3000～5000个摆布，每一个变量最少需14字节（标识符占4字节，时候戳占6字节，值占4字节）。依照500ms的发送周期，和最小的列车数目、变量数、字节数计较，城轨车辆智能运维系统笼盖一条线路时一年所需的存储空间为52980480000000字节，约为48.19TB。当笼盖的线路增多时，数据量将会呈线性增加。

1.3 及时监控

城轨车辆智能运维系统需实现城轨列车运行状况的及时监控，这就要求系统必需在一个数据领受周期内将所有变量当前的最新值更新至显示前端。同时，系统还应供给对汗青数据的查询和展现功能，行将一段时候规模内的数据以美不雅、易理解的图表情势向用户展现出来，并在用户可接管的时候内返回成果。

1.4 便捷计较统计

城轨车辆智能运维系统所领受的数据中，有些需要进步前辈行计较、换算或统计，然后再进行展现，并但愿无需编写复杂的 SQL 语句就可以实现计较功能。例如：经由过程电流值和电压值计较功率值、换算载荷值的单元，统计牵引能耗在某小时、某天、某月内的最年夜值、最小值、平均值、累计值等。

2.数据库选型

今朝，城轨车辆智能运维系统年夜多以关系型或非关系型数据库作为其数据存储的焦点架构。这类数据库固然实现了时序数据的存储需求，但写入和查询机能较差，且在数据紧缩、数据展现等方面功能不敷完美。为解决需求痛点，中车利用时序数据库 IoTDB 作为城轨车辆智能运维系统的焦点部门，利用在对城轨车辆及时数据的收集、存储和展现。城轨车辆智能运维系统之所以以 IoTDB 时序数据库为焦点进行构建，缘由为下述几个 IoTDB 的手艺、机能和功能优势。

2.1  IoTDB利用架构系统

IoTDB 由多个组件组成，涵盖数据搜集、数据写入、数据存储、数据查询、数据阐发、数据可视化等多个功能。IoTDB利用架构以下图所示。IoTDB 经由过程 JDBC（Java 数据库毗连）驱动，普遍地撑持多种异构数据源的接入，包罗装备数据、系统状况数据、动静队列数据、利用数据和其他数据库中的数据等。用户经由过程号令行客户端交互东西可以或许对数据库进行写入和查询操作，也能够经由过程 Grafana 监控东西以图形化体例查看数据转变趋向。TsFile 是一种专门为时候序列数据而设计的存储格局，撑持高效的紧缩和查询能力，是 IoTDB 的焦点构成部门。对写入 TsFile 文件中的数据，可以经由过程 TsFileSync 同步东西将文件同步至 HDFS（Hadoop散布式文件系统）中，进而实此刻 Hadoop 或 Spark 等开源平台长进行时序数据的处置和阐发。

2.2 手艺优势

2.2.1 高效存储数据布局

对及时数据和汗青数据存储是时序数据库最根本、最焦点的功能。下图展现了 IoTDB 的路径层级示例。经由过程“路径+时候规模”的组合，可以独一肯定 IoTDB 中的时序数据。另外，采取路径的层级设计，可以实现经由过程路径划分分歧的存储空间，属在统一路径层级的数据可以或许存储在持续的磁盘空间上，避免了频仍的I/O(输入/输出)切换，而且隔离了分歧的时序数据。

2.2.2 一写多读按照数据量矫捷扩大

IoTDB撑持“一写多读”的摆设模式，即一个系统内可以摆设多套 IoTDB。经由过程写入节点负责写入、查询负载，多个查询节点负责汗青数据的查询负载，IoTDB 有用平衡了写入和查询工作量，避免两种操尴尬刁难磁盘、收集的彼此影响。跟着数据量的不竭增添，只需扩大查询节点的硬件装备，无需中止系统的正常运行。另外，IoTDB 基在 Raft 和谈实现了一种散布式框架，将数据按时候序列组进行分区，以多副本的体例实现数据的靠得住华体会体育app存储，并经由过程共鸣和谈包管数据的强一致性。

2.3 机能优势

2.3.1 高频数据写入和查询

IoTDB对时序数据的处置具有自然的优势，可以或许实现每秒数百万数据点写入和查询的能力。中国中车经由过程摹拟城轨车辆运行状况数据，对 IoTDB-v0.11.2进行了写入和查询机能测试，测试成果汇总在表1和表2中。按照测试成果可以看出，IoTDB 可以或许有用支持线网级城轨车辆智能运维系统的写入和查询机能需求。

2.3.2 多种汗青数据紧缩体例节流本钱

操纵 IoTDB 的汗青数据紧缩能力可以有用削减城轨车辆智能运维系统汗青数据的数据量，节流存储介质本钱。汗青数据紧缩是操纵各类算法缩小汗青数据的冗余部门，同时尽可能削减或避免数据掉真。汗青数据的紧缩体例一般分为有损紧缩、无损紧缩和二级紧缩三种。有损紧缩可以或许实现较高的紧缩比，但会致使数据精度降落；无损紧缩不会下降原数据的精度，但要在紧缩率、紧缩速度息争压速度三者之间进行衡量；二级紧缩则是连系了上述两种紧缩体例的长处，即先对数据进行第一级有损紧缩，再利用无损紧缩算法进行第二级紧缩。另外，紧缩算法的结果还依靠在数据自己，数据转变越小、精度要求越低，则紧缩结果越好。

2.4 功能优势

2.4.1 撑持异常数据处置场景

因为收集延迟、软件机能、装备故障等缘由不成避免地会呈现数据无序达到、发生毛病数据和反复数据等异常环境。IoTDB 可以或许撑持数据异常环境下的工业利用场景，包罗时候序列数据的乱序写入、时候序列数据的批量更新，和对无效、无用时候序列数据的清算删除。

2.4.2 数据降采样晋升查询响应速度

数据降采样是指数据库对查询到的成果集依照必然法则进行从头挑选，使挑选后的数据量小在原始数据量，且又不影响数据查询者的利用需求。IoTDB 经由过程聚合操作实现数据的降采样功能，既能包管图表的正确性，也能有用削减数据传输量，提高响应速度，不呈现如数据点过在密集致使影响整体展现结果。

2.4.3 多种操作晋升预处置结果

城轨车辆上的子系统、装备、传感器种类繁多，各自具有分歧的采样频率，在进行数据阐发之前，需要对时序数据进行预处置。IoTDB 撑持多种基在时候序列维度的数据操作，如依照时候戳进行数据对齐、按时候戳进行时序数据朋分等，有用削减了数据预处置的难度和复杂度。

2.4.4 可自界说计较体例和保留计较成果

比拟在关系型数据库，IoTDB 时序数据库可以或许供给更加壮大的计较能力。经由过程 IoTDB 内置的统计阐发计较函数，可以按照时序数据的时候戳进行基在时候断面的计较、基在年代日的统计计较等。连系各类函数和自界说的计较公式，可以或许实现对原始数据进行复杂计较，计较成果可保留在 IoTDB 中，也可用在再次计较。

2.4.5 兼容年夜数据阐发东西

基在年夜数据手艺和Hadoop生态软件进行城轨列车运维数据阐发是当前的一个热点课题。IoTDB 可以或许完善对接Hadoop生态中的各类软件，共同 Ha-doop 供给的散布式计较、存储机制，可提高城轨车辆智能运维系统在年夜数据治理和阐发方面的运行效力和处置能力。另外，IoTDB 还可以对接 Spark 及时计较引擎，供给一种轻量级的数据阐发解决方案，下降硬件资本摆设量。

2.4.6 供给可视化东西展现数据

存入 IoTDB 的时序数据可经由过程可视化东西进行展现，便在城轨车辆智能运维系统的用户对进入系统的原始数据进行不雅察和阐发。Grafana 是一款开源的怀抱阐发和可视化东西，具稀有据监控、数据统计和告警等功能。经由过程开辟 IoTDB-Grafana 适配器，用户可操纵 Grafana 的 Web 页面以可视化图表的体例直接查看IoTDB中的数据并进行阐发，也能够在 Grafana 长进行一些数据摸索工作。

3.解决方案架构

城轨车辆智能运维系统以保障城轨车辆运行平安、提高车辆检验质量、晋升运营治理整体效能为方针，连系物联网、云计较、年夜数据等手艺，实现对列车运行进程的全息感知和及时监控，有用辅助治理人员进行科学决议计划。

基在IoTDB时序数据库构建城轨车辆智能运维系统，其整体架构如上图所示，共分为3层，包罗数据源层、数据存储层和数据利用层。该设计以 IoTDB 时序数据库取代了传统的关系型数据库和 NoSQL 数据库，显著提高了对城轨列车时序数据的写入和查询效力，且可以或许知足数据量延续增加的需求。

3.1数据源层

数据源层笼盖所有城轨列车，列车上分歧子系统、分歧装备上的传感器发生的数据。这些数据依照特定发送周期，经由过程无线传输模块以 TCP、MQTT 等和谈发送至城轨运营公司的数据中间。

3.2 数据存储层

数据存储层首要由IoTDB时序数据库和Kafka动静队列构成。数据源层发来的时序数据起首进入Kafka动静队列进行缓存，依照必然的法则或算法进入分歧的 Topic 和 Partition。如许既能分管写入使命的负载，也能经由过程Kafka的副本机制，确保领受到的数据不会丢掉。IoTDB－JDBC接口从 Kafka 的消费者端领受列车的及时数据，并存入写入节点的及时数据 TsFile 文件中。

跟着数据量的不竭扩年夜，当单个 IoTDB 节点的存储能力没法支持数据存储时，可采取横向扩大的体例再摆设一个或多个 IoTDB 查询节点，并设置为只读模式。在“一写多读”体例下，为避免单点故障，实现高可用，将写入节点设置装备摆设为主备模式，经由过程 IoTDB 本身的同步机制实现数据同步。

IoTDB 处置过的及时数据为监督节制类利用供给支持，汗青数据为数据阐发和发掘类利用供给练习和测试样本。因为采取了数据紧缩手艺，汗青数据所占用的存储空间可以或许获得有用节制。

3.3 数据利用层

数据利用层是系统对外输出能力的揭示，供给如车辆运行状况监控、故障报警、装备健康治理、维修信息治理、报表生成等多种利用。城轨运营公司基在这些利用，可实现智能化治理，削减人力本钱，晋升城轨交通办事程度。

4.总结

在 IoTDB 的助力下，城轨车辆智能运维系统可以充实阐扬其处置城轨列车时序数据的自然优势，同时又可以无缝对接年夜数据治理阐发平台，具有高机能、高靠得住性和高易用性等特点。将来，本案例给出的轻量化系统架构设计，可为城轨车辆智能运维系统的后续开辟供给参考和鉴戒。IoTDB 会继续撑持中国中车对时序数据的处置和阐发需求，以加倍丰硕的功能帮忙城轨车辆智能运维系统实现优化。

本文清算自：IoTDB 物联网数据库在城市轨道交通车辆智能运维系统中的利用, 城市轨道交通研究,2021原论文作者：姜仕军;徐晓晨;徐燕芬;杜广林