influxdb

influxdb简介

  • InfluxDB是基于Golang编写的一个用于存储和分析时间序列数据的开源数据库。
  • 安装简单，无外部依赖，底层采用TSM存储并且读写数据很高效;
  • 内置HTTP接口，使用方便
  • 数据可以打标记，让查询可以很灵活
  • 类SQL的查询语句
  • 能够实时查询，数据在写入时被索引后就能够被立即查出

    • 基本概念介绍

  • timestamp:每一条数据都需要指定一个时间戳，这个时间戳以RFC3339格式展示了与特定数据相关联的UTC日期和时间(当然也是可以修改的)。在 TSM 存储引擎中会特殊对待，以为了优化后续的查询操作。
  • database: 数据库名，在InfluxDB 中可以创建多个数据库，不同数据库中的数据文件是隔离存放的，存放在磁盘上的不同目录。
  • retention Policy:存储策略

    • 用于设置数据保留的时间，每个数据库刚开始会自动创建一个默认的存储策略 autogen，数据保留时间为永久，
    autogen中的数据永不删除且备份数replication为1（只有一份数据，在集群中起作用）。
    可以自己设置存储策略，例如保留最近2小时的数据。
    插入和查询数据时如果不指定存储策略，则使用默认存储策略，且默认存储策略可以修改。InfluxDB会定期清除过期的数据。

  • measurement:是一个容器，包含了列(timestamp,filed,tag set)。类似传统数据库的表，例如cpu_usage_table 表示 cpu 的使用率。
  • tag set:不同的每组tag key和tag value的集合，如图location = 1, scientist = langstroth.
  • tags 在 InfluxDB 中会被建立索引，且放在内存中。
  • 如果某种数据经常用来被作为查询条件，可以考虑设为Tag。（为了解决海量数据查询，建索引）
  • series: series是共同retention, policy，measurement和tag set的集合。
  • field: 记录值，是查询的主要对象，例如value值等
  • point: 代表一条记录，point是具有相同timestamp、相同series（measurement，rp，tag set相同）的field。这个点在此时刻是唯一存在的。
  • line protocol：写入InfluxDB时的数据点的文本格式。如：cpu,host=serverA,region=us_west
  • continuous query（CQ）:

    • InfluxDB SQL语法

    database和measurements相关SQL 

    create databases <db_name>;
show databases;
use <db_name>;
show measurements;
insert <measurement_name>,host=127.0.0.1,monitor_name=test count=1
         //host=127.0.0.1,monitor_name=test --> tag
         //count=1                          -->field
select + from <measurement_name> order by time desc limit 10;  //查询升序的10条数据
drop measurement <measurement_name>
show tag keys;              //查看一个measurement中所有的tag key
show field keys;            //查看一个measurement中所有的field key
show retention policies;    //查看一个measurement中所有的保存策略(可以有多个,一个标识为default)

    保存策略和连续查询
    

    //数据库保存策略的CURD:提供数据保存策略指定数据保留时间,超过指定时间自动删除.
show retention policies on <db_name>  //查看当前数据库Retention Policies
create retention policy <rp_name> on <db_name> duration 3w replication 1 default
         //rp_name:策略名;
         //3w:保存3周,3周之前的数据将被删除,influxdb具有各种事件参数,比如:h,d,w
         //replication 1:副本个数,一般为1就可以了;
         //default:设置为默认策略
alter retention policy <rp_name> on <db_name> duration 30d default
drop retention policy <rp_name>
//连续查询Continuous Queries:(数据统计采样)
show continuous queries;
create continuous querie <cq_name> on <db_name> begin select sum(count) into <new_ms_name> from <ms_name> group by time(30m) end
      //间隔30分钟计算一次count的和,保存至新的ms. 其中:sum(count):计算总和,30m:时间间隔为30分钟;  
drop cotinuous query <cq_name> on <db_name>

    show users #显示用户
create user "username" with password 'password' #创建用户
create user "username" with password 'password' with all privileges #创建管理员权限用户
drop user "username"  #删除用户

    CURD交互
    

    curl -G 'http://localhost:8086/query?pretty=true' --data-urlencode "db=testDb" --data-urlencode "q=select + from test order by time desc"
curl -i -XPOST 'http://127.0.0.1:8086/write?db=testDb' --data-binary 'test,host=127.0.0.1,monitor_name=test count=1'

  • count()函数返回一个（field）字段中的非空值的数量。SELECT COUNT(field) FROM measurements
    • 

  • DISTINCT()函数返回一个字段（field）的唯一值。
    • 

  • MEAN() 函数返回一个字段（field）中的值的算术平均值（平均值）。字段类型必须是长整型或float64。
    • 

  • MEDIAN()函数从单个字段（field）中的排序值返回中间值（中位数）。字段值的类型必须是长整型或float64格式。
    • 

  • SPREAD()函数返回字段的最小值和最大值之间的差值。数据的类型必须是长整型或float64。
    • 

  • SUM()函数返回一个字段中的所有值的和。字段的类型必须是长整型或float64。
    • 

  • BOTTOM()函数作用：返回一个字段中最小的N个值。字段类型必须是长整型或float64类型。
    • 

  • FIRST()函数作用：返回一个字段中最老的取值。
    • 

  • LAST()函数作用：返回一个字段中最新的取值。
    • 

  • MAX()函数作用：返回一个字段中的最大值。该字段类型必须是长整型，float64，或布尔类型。
    • 

  • MIN()函数作用：返回一个字段中的最小值。该字段类型必须是长整型，float64，或布尔类型。
    • 

  • PERCENTILE()函数作用：返回排序值排位为N的百分值。字段的类型必须是长整型或float64。百分值是介于100到0之间的整数或浮点数，包括100。
    • 

  • DERIVATIVE()函数作用：返回一个字段在一个series中的变化率。InfluxDB会计算按照时间进行排序的字段值之间的差异，并将这些结果转化为单位变化率。其中，单位可以指定，默认为1s。
    • 

  • DIFFERENCE()函数作用：返回一个字段中连续的时间值之间的差异。字段类型必须是长整型或float64。
    • 

  • ELAPSED()函数作用：返回一个字段在连续的时间间隔间的差异，间隔单位可选，默认为1纳秒。
    • 

  • MOVING_AVERAGE()函数作用：返回一个连续字段值的移动平均值，字段类型必须是长整形或者float64类型。
    • 

  • NON_NEGATIVE_DERIVATIVE()函数作用：返回在一个series中的一个字段中值的变化的非负速率。
    • 

  • STDDEV()函数作用：返回一个字段中的值的标准偏差。值的类型必须是长整型或float64类型。
    • 

    influxdb1.1源码目录解析
    

    目录解析说明
    

  • cmd InfluxDB相关程序所在目录。其中：
    • 

  • influxd目录为InfluxDB主程序代码；
    • 

  • influx为InfluxDB自带的控制台管理工具源码；
    • 

  • influx_inspect为InfluxDB数据查看工具源码；
    • 

  • influx_stress为InfluxDB压力测试工具源码；
    • 

  • influx_tsm为数据库转换工具（将数据库从b1或bz1格式转换为tsm1格式）源码
    • 

  • coordinator 协调器，负责数据的写入和一些创建语句的执行。
    • 

  • 在InfluxDB的ChangeLog中显示在v1.0.0中使用coordinator替换cluster，感觉自建集群功能可以通过此模块实现。
    • 

  • etc 存放默认配置
    • 

  • importer 版本向后兼容相关代码，在ReadMe中已经提到：Version 0.8.9 of InfluxDB adds support to export your data to a format that can be imported into 0.9.3 and later.
    • 

  • influxql 实现了InfluxDB查询语言的解析器
    • 

  • internal 主要实现了MetaClient接口
    • 

  • man 帮助手册
    • 

  • models 基础数据类型定义
    • 

  • monitor InfluxDB系统监控
    • 

    pkg目录是一些通用包的集合
    

  • deep里面主要实现了deepValueEqual方法，用于深层次比较两个值是否相等；
    • 

  • escape里面主要实现了byte和string两种数据类型转义字符的相关操作；
    • 

  • limiter里面主要是一个基于channel实现的简单并发限制器Fixed；
    • 

  • pool里面主要实现了Bytes和Generic两种类型的Pool，在Pool中的对象不使用时不会被垃圾回收自动清理掉；
    • 

  • slices 里面主要实现了一些string数组的操作；
    • 

  • scripts目录存放的是一些关于InfluxDB的脚本。
    • 

  • services目录存放的是一些关于InfluxDB的服务。
    • 

  • admin 为InfluxDB内置的管理服务；
    • 

  • collectd 为collectd（https://collectd.org）对接服务，可以接收通过UDP发送过来的collectd格式数据；
    • 

  • continuous_querier 为InfluxDB的CQ服务；
    • 

  • graphite 为InfluxDB的graphite服务；
    • 

  • httpd 为InfluxDB的http服务，可以通过该接口进行数据库数据的写入和查询等操作；
    • 

  • meta 为InfluxDB的元数据服务，用于管理数据库的元数据相关内容；
    • 

  • opentsdb 为InfluxDB的opentsdb服务，可用于替换opentsdb；
    • 

  • precreator 为InfluxDB的Shard预创建服务；
    • 

  • retention 为InfluxDB的数据保留策略的强制执行服务，主要用于定时删除文件；
    • 

  • snapshotter 为InfluxDB的快照服务；
    • 

  • subscriber 为InfluxDB的订阅服务；
    • 

  • udp 为InfluxDB的udp服务，可以通过该接口进行数据库的写入和查询等操作；
    • 

  • stress该目录存放的是压力测试相关内容。
    • 

  • tcp网络连接的多路复用。
    •