数据中心

数据源管理

1. 数据源

   1. 数据源包含属性：唯一标识、名称、来源类型、数据源配置、描述、发布状态
   2. 来源类型：api导入、数据库、文件(csv格式)、设备(TDengine)
   3. 数据源配置
      1. api导入配置
         • url：api地址
         • method：get|post|put
         • requestParams：请求参数，支持参数分组，每组对应请求一次数据
           • type：参数类型，header|body|param
           • key：参数标识
           • name：参数名称
           • value：参数值
         • cronExpression：任务表达式
      2. 数据库配置
         • type：支持mysql、mssql
         • host：主机地址
         • port：端口号
         • user：用户名
         • passwd：密码
         • dbName：库名称
         • queryType：查询方式，支持sql查询、按表名查询
         • tableName：根据queryType设置sql语句或表名称
         • pk：主键字段
         • num：查询数量
         • cronExpression：任务表达式
      3. 文件配置(暂未支持)
      4. 设备配置
         • 产品标识：TDengine的超级表名称
         • 设备标识：TDengine的设备表名称

2. 数据节点

   1. 数据节点包含属性：数据源ID、唯一标识、名称、数据类型、节点提取值、是否主键、规则配置
   2. 规则配置，主要用作提取字段的内容过滤，包含正则表达式、需要替换的内容
   3. 数据类型：int|long|float|double|boolean|string|date
   4. 是否主键：主键保持该记录唯一，非主键则追加记录
   5. 其他：设备类型的节点，对应该产品物模型的属性
   6. 取值项：如果是设备，会跟据设备的物模型列出属性列表，进行选择。如果是api数据源，会列出json树，进行节点选择。如果是数据库源，会列出数据表字段或sql查询字段，进行节点选择

3. 动态生成数据表结构(支持api导入类型、数据库类型)

   • 数据源首次发布，会根据数据节点动态生成数据表结构，同时将表名存储在数据源表对应的记录中
   • 数据表名格式：data_source_<sourceId>

4. 定时任务

   • api数据源发布后，会启动定时任务，根据配置的任务表达式，将采集的数据存储在动态生成的数据表中
   • api数据源停用，会暂停定时任务
   • api数据源删除，会删除定时任务

5. 其他

   • 数据表结构生成后，可以追加、删除节点字段
   • 数据表结构生成后，删除数据源，会同时清空数据记录、删除数据表

数据建模管理

1. 数据模型

   1. 聚合一个或多个数据源数据的模型
   2. 数据模型包含属性：唯一标识、名称、描述、发布状态、定时任务表达式
   3. 聚合数据，由定时任务触发完成
   4. 如果数据模型聚合多个数据源，在发布时需设置关联内容：主数据源、关联节点

2. 模型节点

   1. 数据节点包含属性：数据模型ID、唯一标识、名称、数据类型、默认值、描述、字段生成方式、数据源ID、源数据节点ID、是否主键、是否排序、排序方式
   2. 字段生成方式：关联数据源的节点、自定义字段
   3. 数据类型：int|long|float|double|boolean|string|date

3. 动态生成数据表结构

   • 数据模型首次发布，系统会根据节点动态生成数据表结构，同时将表名存储在数据模型表对应的记录中
   • 数据表名格式：data_template_<tid>

4. 定时任务

   • 数据模型发布后，会自动启动定时任务，根据配置的任务表达式，将采集的数据存储在动态生成的数据表中
   • 数据模型停用，会自动暂停定时任务
   • 数据模型删除，会删除定时任务

5. 其他

   • 数据表结构生成后，可以追加、删除节点字段
   • 数据表结构生成后，删除数据模型，会同时清空数据记录、删除数据表