CN112347125B - 一种设备数据处理的方法及物联网数据处理方法 - Google Patents

Abstract

本发明提供一种设备数据处理的方法及物联网数据处理方法，包括：将设备特定格式的数据中无法满足1范式的数据列视为不定长的字符串或二进制数据格式的列，作为满足1范式的结构化数据列进行处理；为无法满足1范式的数据列附加一个模式属性，从而扩展编译器可以理解这些无法满足1范式的数据列的具体格式，对数据进行处理。本发明提供的方案具有以下有益效果：解决SQL语言扩展能力不足、性能低下、对使用人员要求较高、系统不够稳定、数据处理过程难以进行交互辅助设计的问题，极大提高了数据处理的性能，具有极大的扩展能力及系统稳定性，提升了性能价格比。

Description

一种设备数据处理的方法及物联网数据处理方法

技术领域

本发明涉及信息技术领域，特别涉及一种设备数据处理的方法、物联网数据处理方法及装置。

背景技术

随着物联网的大量应用，出现各种物联网相关的数据处理系统，这些系统的共同特点是需要对数据进行采集、格式转换、过滤、统计分析、联动、发送、展示或存储，其中的关键是格式转换、过滤、统计分析、联动。一般的应用系统主要采用程序固化的规则实现这些数据处理过程，也有部分采用脚本语言来实现。现有技术要么采用程序固化的规则来实现数据的处理，这样会限制其只能连接少数几种当初书写程序规则时考虑到的那些设备，没有扩展能力。或者采用脚本语言来处理，由于脚本语言处理性能低下导致处理同等的数据需要更高昂的硬件；而且脚本语言处理程序需要专门的技能才能编写，一般的数据工程师不会使用；而且脚本语言容易出错导致系统稳定性不佳；脚本语言的随意性较大，不利于通过交互界面来辅助生成。

相关术语解释：

物联网设备：如各种传感器、报警装置等，通过各种联网协议和其它设备互联。

1范式(1NF)：对数据类型的规定。要求数据分为固定数目的列，列的数据类型是简单而确定的，只能是数值类型、字符串(string)类型、日期时间类型、二进制字节组(binary)类型等有限几种。

结构化数据：也叫关系数据。必须满足1范式的规定。

半结构化数据：数据可以有任意多列，列除了可以是上述简单数据类型之外还能是其它数据的组合比如数组(Array，多个数据的有序组合)或对象(Object，多个属性数据的无序组合)。数组和对象里面的数据还可以继续是半结构化数据。

结构化查询语言(SQL)：是结构化数据库查询语言的国际标准。

JSON：Javascript Object Notation(网页编程语言Javascript的对象表示格式)，是应用系统特别是互联网应用系统间结构化和半结构化数据传递的最常用的格式。

编译：将一种计算语言翻译成另一种计算机语言。

脚本语言：解释执行的轻量级计算机编程语言的统称。

命令：物联网设备接收的特殊的数据，这些数据指示设备发生特定的动作。比如门禁设备收到“开门”的命令就会将其管理的门锁打开。

目前已有的处理方法存在以下方面的不足：

物联网设备种类众多，每种设备都会有自己特有的数据/命令格式和通信协议，这些数据/命令一般都是半结构化数据。

存在的问题：

1)没有标准化的简单易行的高效的方式过滤、转换一种设备的数据/命令格式到另外一种设备的数据/命令格式，需要特别书写程序；没有标准化的简单易行的高效的方式描述数据的过滤、转换、统计分析等处理过程，需要特别书写程序。现有技术数据转换、处理程序复杂、需要耗费巨大的人力、物力、财力实现。

2)现有技术只能连接少数几种当初书写程序规则时考虑到的那些设备，没有扩展能力。

研制具有能够识别、处理不同种类设备数据的，通用的、便捷的、成本低的方法或系统，成为亟待解决的技术问题。

发明内容

本发明的主要目的在于克服上述现有技术的缺陷，提供了一种SQL语言扩展方法及一种物联网数据处理装置、系统，以解决现技术不能简单易行的连接不同种类的物联网设备，采集它们的数据，对数据进行分析统计的技术问题。

本发明的目的在于提供一种设备数据处理的方法，将设备特定格式的数据中无法满足1范式的数据列视为不定长的字符串或二进制数据格式的列，作为满足1范式的结构化数据列进行处理；为无法满足1范式的数据列附加一个模式属性，从而扩展编译器可以理解这些无法满足1范式的数据列的具体格式，对数据进行处理。

更优的，所述扩展编译器根据无法满足1范式的数据列附加的模式属性生成数据格式转换程序代码。

更优的，所述数据格式转换程序代码被扩展SQL执行器和/或数据格式解码组件和/或数据格式编码组件调用。

更优的，所述特定格式的数据包括：xml、CSV、JSON、protobuf、thrift、avro、BSON、messagepack、rpcxdr格式中的一种或多种。

更优的，所述扩展编译器可以支持xml、CSV、JSON、protobuf、thrift、avro、BSON、messagepack、rpcxdr格式中的一种或多种。

更优的，扩展SQL的语法包括在创建表格语句后面附加设备类型、设备通信地址、以及特定于设备的各种选项，用以引用所述附加的设备不断产生特定格式的数据流。

更优的，在创建表格语句的字符串或二进制类型的列后面附加数据格式和模式信息，所述模式信息指明了数据列内部的结构信息。

更优的，所述扩展编译器利用所述模式信息将设备数据流映射成JSON数据结构。

更优的，在JSON_EXISTS和/或JSON_VALUE和/或JSON_QUERY和/或JSON_TABLE输入JSON格式的函数的format子句中增加数据格式和模式信息的format扩展，用以处理多种格式的数据列。

更优的，在JSON_OBJECT和/或JSON_ARRAY和/或JSON_OBJECTAGG和/或JSON_ARRAYTAG输出JSON格式的函数的format子句中增加数据格式和模式信息的format扩展，用以输出多种格式数据列。

本发明还包括一种物联网数据处理方法，扩展SQL编译器接收扩展SQL指令，根据扩展SQL指令中的表名和format子句提取数据列的模式信息，把模式信息传递给解码组件和/或编码组件，根据模式信息生成执行器需要的数据处理程序代码。

更优的，还包括组件管理器，记录各个数据格式解码组件和数据格式编码组件支持哪种通信协议类型和/或哪种数据格式，根据通信协议类型和/或数据格式信息匹配相应的解码组件或编码组件。

更优的，所述解码组件根据扩展编译器传来的输入数据的模式信息，将设备特定格式的数据转换成统一的满足1范式的结构化数据，交给编译后的执行器来处理。

更优的，编译后的所述执行器，依据扩展SQL编译器生成的数据处理程序代码来对满足1范式的结构化数据进行处理，并将处理完成的结果数据交由编码组件处理。

更优的，所述编码组件，根据扩展编译器传来的输入数据的模式信息将统一的满足1范式的结构化数据编码成设备特定格式的数据，交由设备数据输出组件来处理。

本发明还包括一种物联网数据处理装置，包括：扩展SQL编译器，用于接收扩展SQL指令，根据扩展SQL指令中的表名和format子句提取数据列的模式信息，把模式信息传递给解码组件或编码组件，根据模式信息生成执行器需要的数据处理程序代码。

更优的，还包括组件管理器，用于记录各个数据格式解码组件和数据格式编码组件支持哪种通信协议类型和/或哪种数据格式，根据通信协议类型和/或数据格式信息匹配相应的解码组件或编码组件。

更优的，所述解码组件，用于根据扩展编译器传来的输入数据的模式信息，将设备特定格式的数据转换成统一的满足1范式的结构化数据，交给编译后的执行器来处理。

更优的，编译后的所述执行器，用于依据扩展SQL编译器生成的数据处理程序代码来对满足1范式的结构化数据进行处理，并将处理完成的结果数据交由编码组件处理。

更优的，所述编码组件，用于根据扩展编译器传来的输入数据的模式信息将统一的满足1范式的结构化数据编码成设备特定格式的数据，交由设备数据输出组件来处理。

本发明还包括一种物联网数据处理系统，包括：上述任一项所述的物联网数据处理装置。

本发明还包括一种用于物联网数据处理的计算机程序产品，包括程序代码装置，被适配在计算机上，运行时执行上述任一项所述的用于设备数据处理的SQL语言扩展方法。

本发明还包括一种计算机可读存储介质，所述计算机可读存储介质存储有权利要求1-15任一项所述的计算机程序，所述上述方法中任一项所述的计算机程序可被一个或多个处理器执行，以实现将设备特定格式的数据中无法满足1范式的数据列视为不定长的字符串或二进制数据格式的列，作为满足1范式的结构化数据列进行处理的方法。

本发明的方案有益效果如下：

1)本发明中的SQL语言扩展方法，使用语法扩展列的格式以及描述列的模式信息，以便使用统一的标准化的方式来处理(包括转换、过滤、清洗、统计分析)任意格式的结构化和半结构化数据。

2)将SQL语言进行编译用来高效处理实时采集的数据的方法，数据无需存储入库而是采集到内存中后即可直接利用经过编译后的SQL语句来处理，处理后的数据也在内存中，可以被直接发送给下一个数据处理单元。

3)扩展广泛使用的SQL以作为基本的数据处理语言，可以应用到任意结构化和半结构化数据格式的转换、过滤、清洗、统计分析、联动处理中；进一步采用编译技术能大大提升数据处理的性能，同等的计算能力将能处理更多的数据。

4)本发明通过对国际标准SQL-2016语言的JSON数据处理部分进一步扩展到支持任意格式的数据处理来支持众多结构化和半结构化数据，并将扩展后的SQL指令编译为机器语言来提升数据处理的性能。

5)使用本发明的技术方案可以处理任意设备的任意格式的结构化和半结构化数据，具有极大的数据处理能及扩展能力。

6)本发明的技术方案对使用人员的技能要求大大降低，降低了基于此技术的数据处理系统的运行维护成本。

7)扩展SQL指令会被编译成高效执行的机器指令，极大提高了数据处理的性能。基于此技术的数据处理系统在同样的硬件能力下能处理更多的数据，提升了性能价格比。

8)本发明的技术方案增加了系统的稳定性。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1一种物联网数据处理装置示意图；

图2扩展SQL编译器处理扩展SQL指令示意图；

图3扩展SQL执行器、数据格式解码组件、数据格式编码组件按照处理数据示意图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅是本申请的一些示例或实施例，各个实施例的技术特征之间可以相互组合，构成实现发明目的的实际方案，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

实施例一：

一种设备数据处理的方法，将设备特定格式的数据中无法满足1范式的数据列视为不定长的字符串或二进制数据格式的列，作为满足1范式的结构化数据列进行处理；为无法满足1范式的数据列附加一个模式属性，从而扩展编译器可以理解这些无法满足1范式的数据列的具体格式，对数据进行处理。

本发明将千差万别的设备特定格式的数据中无法满足1范式(1NF)的那些数据，包括半结构化数据列统统都视为不定长的字符串(string)类型或者二进制字节组数据(binary)类型的列，这样它们都可以作为满足1范式的结构化数据列输入到系统中进行处理。这样就可以将连续的同种格式的设备数据流视为SQL的表。为了让扩展SQL编译器以及各种数据格式解码和编码组件理解这些列的具体格式，本发明扩展了SQL的Create Table的语法，要求那些内含半结构化数据的string列和binary列附加一个模式(schema)属性，示例如下：

Create Table GateDevice

for gate device

at‘http://192.168.1.1:2010/gate’

options‘<其它设备选项>’

(

gate_id integer,

gate_status binary format xml‘<XML-DTD-schema>’encoding utf8

)

上述SQL指令中从for开始到左小括弧的三个子句for、at和options是本发明对SQL2016的扩展，for子句指明该表实际上是gate门禁设备，at子句指明通过http协议地址可以访问该门禁设备，options指明通过通信协议连接该设备时的其它特定于设备的选项。上述指令中，列gate_status是XML格式的列，其具体格式由其后的‘<XML-DTD-schema>’模式指定。从format开始的语法部分也是本发明扩展的部分(不包括XML-DTD-schema，那是XML标准规定的)，用来提供列的模式信息。

一旦扩展SQL编译器有了这个模式信息，它就能针对相应的列编译生成高效的数据格式转换程序代码。编译这里特指将SQL语言编译成机器语言。以便使用统一的标准化的方式来处理(包括转换、过滤、清洗、统计分析)任意格式的结构化和半结构化数据。大大提升数据处理的性能，同等的计算能力将能处理更多的数据。降低了基于此技术的数据处理系统的运行维护成本。

如果同样基于SQL进行扩展，包括但不限于修改这里所列的语法关键字、改变SQL语言语法子句的顺序和格式等，而对信息结构不做大的改变，则也可以完成同样的功能。都属于本发明的保护范围。

实施例二：

一种设备数据处理的方法，在实施例一的基础上，

进一步的，所述扩展编译器根据无法满足1范式的数据列附加的模式属性生成数据格式转换程序代码。

进一步的，所述数据格式转换程序代码被扩展SQL执行器和/或数据格式解码组件和/或数据格式编码组件调用。

进一步的，所述特定格式的数据包括，且不限于：xml、CSV、JSON、protobuf、thrift、avro、BSON、messagepack、rpcxdr等格式中的一种或多种。

通过不同的数据格式解码和编码组件来分析这些模式信息，扩展SQL编译器可以支持各种各样的数据格式及其模式。在具体应用中，格式可以是xml、CSV、JSON、protobuf、thrift、avro、BSON、messagepack、rpcxdr等等。

进一步的，所述扩展编译器可以支持包括，且不限于xml、CSV、JSON、protobuf、thrift、avro、BSON、messagepack、rpcxdr等格式中的一种或多种。

进一步的，扩展SQL的语法包括在创建表格语句后面附加设备类型、设备通信地址、以及特定于设备的各种选项，用以引用所述附加的设备不断产生特定格式的数据流。

这里的表格意指设备会不断产生的特定格式的半结构化数据流，将连续的同种格式的设备数据流视为SQL的表进行处理。

扩展SQL的语法具体包括当创建新的数据表时，数据表后面附加设备类型、设备通信地址、以及特定于设备的各种选项，格式为：for<设备类型>at<设备通信地址>options<特定于设备的各种选项>；及为每个扩展数据列附加数据格式和模式信息，格式为:format<格式名称><模式信息>，所述模式信息为数据列内部的结构信息。不限于这个格式，其它格式的，只要是将设备特定格式的数据中无法满足1范式的数据列视为不定长的字符串或二进制数据格式的列，作为满足1范式的结构化数据列进行处理，都可以实现本发明的目的。以上各个数据格式同理。

此为本发明对SQL-2016标准的扩展，这里的表实际上被解释为设备会不断产生的特定格式的半结构化数据流，而不是指代传统数据库的表。

在Create Table语句的string或binary类型的列的后面附加format子句，格式为:format<格式名称如xml等><模式信息>。不同格式的模式信息应该符合该格式的相关标准。为了与SQL-2016兼容，这个扩展子句是可选的，如果没有这个扩展子句，则它就是一个普通的列。

进一步的，在创建表格语句的字符串或二进制类型的列后面附加数据格式和模式信息，所述模式信息指明了数据列内部的结构信息。

进一步的，所述扩展编译器利用所述模式信息将相关数据列映射成JSON数据结构。

模式信息同时指明了那些半结构化数据列内部的结构信息，在此基础上，扩展SQL编译器可以将其映射成JSON结构。本发明同时扩展了SQL2016对JSON格式数据的存取语法，使得用户可以通过SQL2016标准的JSON格式语法来存取这些内含的数据。比如：

上述SQL指令过滤门禁设备的xml格式的实时通行记录，一旦发现有凌晨1:00到5:00有人通行就将信息编码成thrift格式传递给警报显示设备来显示。指令中的format子句部分是本发明扩展的,用来指明输出数据列的模式信息。

进一步的，在JSON_EXISTS和/或JSON_VALUE和/或JSON_QUERY和/或JSON_TABLE输入JSON格式的函数的format子句中增加数据格式和模式信息的format扩展，用以处理多种格式的数据列。格式为:format<格式名称><模式信息>。

以便不仅仅用于处理JSON格式的数据，也能用来处理任意格式的半结构化数据列。

进一步的，在JSON_OBJECT和/或JSON_ARRAY和/或JSON_OBJECTAGG和/或JSON_ARRAYTAG输出JSON格式的函数的format子句中增加数据格式和模式信息的format扩展，用以输出多种格式数据列。

在JSON_OBJECT/JSON_ARRAY/JSON_OBJECTAGG/JSON_ARRAYTAG等输出JSON格式的函数的format子句中也增加数据格式和模式信息的format扩展，格式为:format<格式名称><模式信息>。

以便不仅仅用于输出JSON格式的数据，也能用来输出任意半结构化的数据列。

实施例二中的技术方案之间可以相互组合，也可以分别或组合后与实施例一中的技术方案相互组合。

将SQL语言进行编译用来高效处理实时采集的数据的方法，数据无需存储入库而是采集到内存中后即可直接利用经过编译后的SQL语句来处理，处理后的数据也在内存中，可以被直接发送给下一个数据处理单元。

扩展广泛使用的SQL以作为基本的数据处理语言，可以应用到任意结构化和半结构化数据格式的转换、过滤、清洗、统计分析、联动处理中；进一步采用编译技术能大大提升数据处理的性能，同等的计算能力将能处理更多的数据。

实施例三：

一种物联网数据处理方法，如图1所示，扩展SQL编译器接收扩展SQL指令，根据扩展SQL指令中的表名和format子句提取数据列的模式信息，把模式信息传递给解码组件和/或编码组件，根据模式信息生成执行器需要的数据处理程序代码。

扩展SQL编译器，接收用户按照扩展后的SQL语法输入数据处理的扩展SQL指令，编译后，交给编译后的扩展SQL执行器和数据格式解码组件或数据格式编码器组件对数据进行处理。

如图2所示，扩展SQL编译器接收到扩展SQL指令，按照下述流程进行编译：

(1)分析扩展的SQL指令，从中提取相应的表名，即输入设备或输出设备的数据流的名称，以及format扩展子句；

(2)根据表名和/或format扩展子句提取相应数据列的模式信息；

(3)根据模式信息查找相应的数据格式解码组件或编码组件；

(4)将模式信息传递给数据格式解码或编码组件；

(5)根据模式信息以及SQL指令的其余部分(模式信息以外的标准sql部分)生成扩展SQL执行器需要的程序代码。

上述编译、代码生成流程只在用户输入SQL指令后执行一次，生成的高效数据处理代码被扩展SQL执行器、数据格式解码组件和数据格式编码组件在处理输入数据时反复调用。进一步采用编译技术能大大提升数据处理的性能，同等的计算能力将能处理更多的数据。

利用所述扩展后的SQL语法输入数据处理的扩展SQL指令,将设备特定格式的数据中无法满足1范式的数据列视为不定长字符串或二进制数据的列，作为满足1范式的结构化数据列进行处理。

进一步的，还包括组件管理器，记录各个数据格式解码组件和数据格式编码组件支持哪种通信协议类型和/或哪种数据格式，根据通信协议类型和/或数据格式信息匹配相应的解码组件或编码组件。

进一步的，所述解码组件根据扩展编译器传来的输入数据的模式信息，将设备特定格式的数据转换成统一的满足1范式的结构化数据，交给编译后的执行器来处理。

进一步的，编译后的所述执行器，依据扩展SQL编译器生成的数据处理程序代码来对满足1范式的结构化数据进行处理，并将处理完成的结果数据交由编码组件处理。

进一步的，所述编码组件，根据扩展编译器传来的输入数据的模式信息将统一的满足1范式的结构化数据编码成设备特定格式的数据，交由设备数据输出组件来处理。

本发明的技术方案包括如下各个组件一个或几个的组合，如图1所示：设备数据接入组件、数据格式解码组件、扩展SQL编译器、编译后的扩展SQL执行器、数据格式编码组件、设备数据输出组件、组件管理器。

用户按照扩展后的SQL语法输入数据转换、过滤、清洗、统计分析的扩展SQL指令，这些扩展SQL指令被扩展SQL编译器编译后交给编译后的扩展SQL执行器和各种数据格式解码或编码器组件使用。

所有的组件，即各个数据格式解码组件和/或数据格式编码组件都要向组件管理器注册说明它们支持哪种通信协议或那哪种数据格式，这样系统运行时才能根据协议类型或数据格式信息找到相应的处理组件。

设备数据接入组件有多种，每种组件负责不同的设备通信协议。设备数据接入组件解析通信协议后拿到输入设备的特定格式的数据(一般是半结构化数据)，交由数据格式解码组件处理。

数据格式解码组件有多种，每种组件负责解码不同的数据格式。数据格式解码组件根据用户输入的扩展SQL的要求解码设备特定格式，将其转换成统一的满足1范式的结构化数据，交给编译后的扩展SQL执行器来处理。

编译后的扩展SQL执行器会依据SQL的语义来对满足1范式的结构化数据进行转换、过滤、清洗以及统计分析，并将处理完成的结果数据交由各种数据格式编码组件来处理。

数据格式编码组件有多种，每种组件负责编码不同的数据格式。数据格式编码组件根据用户输入的扩展SQL的要求将统一的满足1范式的结构化数据编码成设备特定格式的数据(一般是半结构化数据)，交由设备数据输出组件来处理。

设备数据输出组件有多种，每种组件负责不同的设备通信协议。设备数据输出组件将设备特定格式的数据按照指定的通信协议发给输出设备。

输出设备拿到这些数据后，根据通信协议的要求，可能会存储起来也可能会执行某种动作(如“开门”、“播放一段语音”等)。

如图3所示，当有输入数据产生后，扩展SQL执行器、数据格式解码组件、数据格式编码组件按照下述流程来执行：

(1)数据格式解码器接收到设备输入组件来的一条条数据记录，对每条记录循环；

(2)数据格式解码器按照扩展SQL编译器传递来的输入数据的模式信息对数据解码，生成便于扩展SQL执行器处理的满足1范式的统一格式的结构化数据；

(3)扩展SQL执行器按照SQL的处理语义来对前面生成的数据进行过滤、清洗、统计分析等，生成多条满足1范式的结构化数据；

(4)数据格式编码器对扩展SQL执行器产生的满足1范式的多条结构化数据记录进行循环；

(5)数据格式编码器按照扩展SQL编译器传递来的输出数据的模式信息对每条生成的结构化记录进行编码然后发送到数据输出组件；

(6)如果还有输出数据转(4)；

(7)如果还有输入数据转(1)。

使用本发明的技术方案可以处理任意设备的任意格式的结构化和半结构化数据，具有极大的扩展能力。本发明的技术方案对使用人员的技能要求大大降低，降低了基于此技术的数据处理系统的运行维护成本。扩展SQL指令会被编译成高效执行的机器指令，极大提高了数据处理的性能。基于此技术的数据处理系统在同样的硬件能力下能处理更多的数据，提升了性能价格比。本发明的技术方案增加了系统的稳定性。

实施例四：

一种物联网数据处理装置，如图1所示，与实施例三一一对应，在此不赘述。包括：扩展SQL编译器，用于接收扩展SQL指令，根据扩展SQL指令中的表名和format子句提取数据列的模式信息，把模式信息传递给解码组件或编码组件，根据模式信息生成执行器需要的数据处理程序代码。

还包括组件管理器，用于记录各个数据格式解码组件和数据格式编码组件支持哪种通信协议类型和/或哪种数据格式，根据通信协议类型和/或数据格式信息匹配相应的解码组件或编码组件。

所述解码组件，用于根据扩展编译器传来的输入数据的模式信息，将设备特定格式的数据转换成统一的满足1范式的结构化数据，交给编译后的执行器来处理。

编译后的所述执行器，用于依据扩展SQL编译器生成的数据处理程序代码来对满足1范式的结构化数据进行处理，并将处理完成的结果数据交由编码组件处理。

所述编码组件，用于根据扩展编译器传来的输入数据的模式信息将统一的满足1范式的结构化数据编码成设备特定格式的数据，交由设备数据输出组件来处理。

实施例五：

一种物联网数据处理系统，一种物联网数据处理系统，包括实施例三的方法或实施例四所述的物联网数据处理装置。

具体说明见实施例三、四。

实施例六：

一种用于物联网数据处理的计算机程序产品，包括程序代码装置，被适配在计算机上，运行时执行实施例一、实施例二、实施例三任一项所述的用于设备数据处理的SQL语言扩展方法。

实施例七：

一种计算机可读存储介质，所述计算机可读存储介质存储有权利要求实实施例一、实施例二、实施例三所述的任一项或多项计算机程序，所述的任一项所述的计算机程序可被一个或多个处理器执行，以实现将设备特定格式的数据中无法满足1范式的数据列视为不定长的字符串或二进制数据格式的列，作为满足1范式的结构化数据列进行处理的方法。

随着物联网的大量应用，出现各种物联网相关的数据处理系统，包括但不限于联动报警系统(持续采集设备的数据，当判定某些设备的数据有异常时向另外一些设备发出命令如“响起警铃”)、数据存储系统(将设备产生的数据按照一定的规则进行过滤和转换后存储下来)、数据接入转换清洗系统(采集设备的数据并对设其进行格式转换、整理后发送到其它系统)、数据统计分析展示系统(对设备的数据进行分析得到各种统计数据并加以展示)。这些系统的共同特点是需要对数据进行采集、格式转换、过滤、统计分析、联动、发送、展示或存储，其中的关键是格式转换、过滤、统计分析、联动。

本发明针对现有技术的扩展能力不足、性能低下、对使用人员要求较高、系统不够稳定、数据处理过程难以进行交互辅助设计的问题。将半结构化数据处理分解为数据输入、格式解码、结构化数据处理、格式编码、数据输出这五个部分，并为数据输入输出、格式解码编码制定统一的接口标准，以便按照组件化的方式接入各种通信协议的设备，并在各种格式的半结构化数据和结构化数据之间进行互相转换；扩展SQL语言标准，加入一些语法用来扩展列的格式以及描述列的模式信息，以便使用统一的标准化的方式来处理(包括转换、过滤、清洗、统计分析)任意格式的结构化和半结构化数据。

将SQL语言进行编译用来高效处理实时采集的数据，使用这种方法，数据无需存储入库而是采集到内存中后即可直接利用经过编译后的SQL语句来处理，处理后的数据也在内存中，可以被直接发送给下一个数据处理单元。

扩展广泛使用的SQL以作为基本的数据处理语言，将其应用到任意结构化和半结构化数据格式的转换、过滤、清洗、统计分析、联动处理中；进一步采用编译技术能大大提升数据处理的性能，同等的计算能力将能处理更多的数据。

本发明通过对国际标准SQL-2016语言的JSON数据处理部分进一步扩展到支持任意格式的数据处理来支持众多结构化和半结构化数据，并将扩展后的SQL指令编译为机器语言来提升数据处理的性能。

本申请实施例可能带来的有益效果包括但不限于：

基于本发明，数据工程师就可以通过他们基本都会的SQL数据处理语言来操作来自任意设备的任意格式的结构化和半结构化数据，具有极大的扩展能力。

对使用人员的技能要求大大降低。无需编写复杂的脚本程序代码，数据工程师只要了解了不同数据的格式基于扩展的可优化编译的SQL就能轻易地书写完成数据格式转换、过滤、清洗、统计分析、报警等功能的SQL指令，工作简便。这势必降低了基于此技术的数据处理系统的运行维护成本。

这些SQL指令会被编译成高效执行的机器指令，极大提高了数据处理的性能。基于此技术的数据处理系统在同样的硬件能力下能处理更多的数据，提升了性能价格比。

SQL语言是一种几乎不会出错的语言，数据工程师难以写出让系统出错的处理指令，增加了系统的稳定性。

因为SQL语言已经被广泛使用数十年，也已经有了众多交互辅助式SQL创作工具帮助几乎不会编程的人完成数据处理工作。这进一步降低了对使用人员的要求，增加了基于此技术的数据处理系统的应用范围。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“装置”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。“和/或”包括“和”及“或”两种技术方案。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

计算机程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (19)

1.一种设备数据处理的方法，其特征在于，将设备特定格式的数据中无法满足1范式的数据列视为不定长的字符串或二进制数据格式的列，作为满足1范式的结构化数据列进行处理；为无法满足1范式的数据列附加一个模式属性，从而扩展编译器可以理解这些无法满足1范式的数据列的具体格式，对数据进行处理；

所述扩展编译器根据无法满足1范式的数据列附加的模式属性生成数据格式转换程序代码；所述数据格式转换程序代码被扩展SQL执行器和/或数据格式解码组件和/或数据格式编码组件调用；扩展SQL的语法包括在创建表格语句后面附加设备类型、设备通信地址、以及特定于设备的各种选项，设备不断产生特定格式的数据流；在创建表格语句的字符串或二进制类型的列后面附加数据格式和模式信息，所述模式信息指明了数据列内部的结构信息。

2.根据权利要求1所述的方法，其特征在于，所述特定格式的数据包括：xml、CSV、JSON、protobuf、thrift、avro、BSON、messagepack、rpcxdr格式中的一种或多种。

3.根据权利要求1所述的方法，其特征在于，所述扩展编译器支持xml、CSV、JSON、protobuf、thrift、avro、BSON、messagepack、rpcxdr格式中的一种或多种。

4.根据权利要求1所述的方法，其特征在于，所述扩展编译器利用所述模式信息将数据列映射成JSON数据结构。

5.根据权利要求2所述的方法，其特征在于，在JSON_EXISTS和/或JSON_VALUE和/或JSON_QUERY和/或JSON_TABLE输入JSON格式的函数的format子句中增加数据格式和模式信息的format扩展，用以处理多种格式的数据列。

6.根据权利要求2所述的方法，其特征在于，在JSON_OBJECT和/或JSON_ARRAY和/或JSON_OBJECTAGG和/或JSON_ARRAYTAG输出JSON格式的函数的format子句中增加数据格式和模式信息的format扩展，用以输出多种格式数据列。

7.一种物联网数据处理方法，其特征在于，扩展SQL编译器接收扩展SQL指令，根据扩展SQL指令中的表名和format子句提取数据列的模式信息，把模式信息传递给解码组件和/或编码组件，根据模式信息生成执行器需要的数据处理程序代码；所述扩展SQL编译器根据无法满足1范式的数据列附加的模式属性生成数据格式转换程序代码，及为每个扩展数据列附加数据格式和模式信息，所述模式信息为数据列内部的结构信息，利用扩展后的SQL语法输入数据处理的扩展SQL指令,将设备特定格式的数据中无法满足1范式的数据列视为不定长字符串或二进制数据的列，作为满足1范式的结构化数据列进行处理。

8.根据权利要求7所述的方法，其特征在于，还包括组件管理器，记录各个数据格式解码组件和数据格式编码组件支持哪种通信协议类型和/或哪种数据格式，根据通信协议类型和/或数据格式信息匹配相应的解码组件或编码组件。

9.根据权利要求7所述的方法，其特征在于，所述解码组件根据扩展SQL编译器传来的输入数据的模式信息，将设备特定格式的数据转换成统一的满足1范式的结构化数据，交给编译后的执行器来处理。

10.根据权利要求7或9所述的方法，其特征在于，编译后的所述执行器，依据扩展SQL编译器生成的数据处理程序代码来对满足1范式的结构化数据进行处理，并将处理完成的结果数据交由编码组件处理。

11.根据权利要求7所述的方法，其特征在于，所述编码组件，根据扩展SQL编译器传来的输入数据的模式信息将统一的满足1范式的结构化数据编码成设备特定格式的数据，交由设备数据输出组件来处理。

12.一种物联网数据处理装置，其特征在于，包括：扩展SQL编译器，用于接收扩展SQL指令，根据扩展SQL指令中的表名和format子句提取数据列的模式信息，把模式信息传递给解码组件或编码组件，根据模式信息生成执行器需要的数据处理程序代码；所述扩展SQL编译器根据无法满足1范式的数据列附加的模式属性生成数据格式转换程序代码，及为每个扩展数据列附加数据格式和模式信息，所述模式信息为数据列内部的结构信息，利用扩展后的SQL语法输入数据处理的扩展SQL指令,将设备特定格式的数据中无法满足1范式的数据列视为不定长字符串或二进制数据的列，作为满足1范式的结构化数据列进行处理。

13.根据权利要求12所述的装置，其特征在于，还包括组件管理器，用于记录各个数据格式解码组件和数据格式编码组件支持哪种通信协议类型和/或哪种数据格式，根据通信协议类型和/或数据格式信息匹配相应的解码组件或编码组件。

14.根据权利要求12所述的装置，其特征在于，所述解码组件，用于根据扩展SQL编译器传来的输入数据的模式信息，将设备特定格式的数据转换成统一的满足1范式的结构化数据，交给编译后的执行器来处理。

15.根据权利要求12或14所述的装置，其特征在于，编译后的所述执行器，用于依据扩展SQL编译器生成的数据处理程序代码来对满足1范式的结构化数据进行处理，并将处理完成的结果数据交由编码组件处理。

16.根据权利要求12所述的装置，其特征在于，所述编码组件，用于根据扩展SQL编译器传来的输入数据的模式信息将统一的满足1范式的结构化数据编码成设备特定格式的数据，交由设备数据输出组件来处理。

17.一种物联网数据处理系统，其特征在于，包括：权利要求12-16任一项所述的物联网数据处理装置。

18.一种用于物联网数据处理的计算机程序产品，其特征在于，包括程序代码装置，被适配在计算机上，运行时执行权利要求1-6任一项所述的设备数据处理的方法。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被一个或多个处理器执行，以实现权利要求1-11任一项将设备特定格式的数据中无法满足1范式的数据列视为不定长的字符串或二进制数据格式的列，作为满足1范式的结构化数据列进行处理的方法。