No.5時序數據庫隨筆 - NaN的支持
原創開篇引題
上一篇我們提到了Apache IoTDB如何支持Nullable的問題，IoTDB用NaN來代表沒有值，查詢之后我們發現NaN代表來當前數據類型的默認值。如：FLOAT 的默認值就是 0.0.
那么這個結果是在v.0.11.2 版本的行為，但從NaN的設計來說，這是一個錯誤的行為，或者說這是一個bug，在IoTDB-1158里面的討論區，我們也提到了這一點，目前在master已經修復了。
那么今天我們聊一下，有了NaN我們目前還需要對Apache IoTDB增加Nallable的語法支持嗎？
Nallable的本質
任何功能的支持我們可能需要考慮兩個維度，一是業務需求，客觀業務場景需要的功能一定是我們需要解決的，二是領域標準，做時序數據庫我們要考慮傳統數據庫標準，我們要考慮時序領域的標準。
在業務角度，業務期望的是當由于某種原因，無法提供當前時刻某個傳感器的值的時候，需要在查詢的是被業務感知的。那么IoTDB里面提供了NaN的策略來支持如 Float、Double等數值的不存在的情況，NaN（Not a number）。
在領域標準方面，傳統數據庫是有如 NOT NULL 的語法支持的，也就是說字段類型聲明時候如果沒有聲明NOT NULL默認用戶在整行插入時候是可以不攜帶該字段的值的，而顯示聲明了NOT NULL 那么每次insert 語句就必須攜帶當前的值。
今天我們文末就以Apache IoTDB Master代碼再看看對NaN的支持情況，基于Commit: b986cd1e5f
同類(InfluxDB)行為
我們有時候在買東西時候經常貨比三家，不管這物品是好是壞，是貴還是便宜，我們看看其他商家是什么品質，是什么價格，就能輔助我們做判斷。那么學習Apache IoTDB的小伙伴，我也建議對InfluxDB有一定的了解. 目前InFluxDB穩定版本是1.8.4，我們就以1.8.4為例體驗一下InfluxDB對null的支持方式。
二進制安裝
我們今天在macOS下進行操作，首先確保你已經安裝了brew工具。然后我們可以一條命令安裝InfluxDB v1.8.4.
brew update
brew install influxdb
啟動InfluxDB服務
influxd
客戶端連接并創建測試數據庫
jincheng:~ jincheng.sunjc$ influx -precision rfc3339
Connected to http://localhost:8086 version 1.8.4
InfluxDB shell version: 1.8.4
CREATE DATABASE "lemming";
use lemming;
INSERT cpu,host=LemmingServer,region=zh_hz value=1.68
SELECT * FROM cpu;
Nullable的支持情況
- 單值插入Null（參考InfluxDB的歷史信息）
- https://github.com/influxdata/influxdb/issues/7722
- https://github.com/influxdata/influxdb/pull/2429
- https://github.com/influxdata/influxdb/blob/v1.8.4/CHANGELOG.md
> INSERT cpu,host=LemmingServer,region=zh_hz value=
ERR: {"error":"unable to parse 'cpu,host=LemmingServer,region=zh_hz value=': missing field value"}
INSERT cpu,host=LemmingServer,region=zh_hz value=''
ERR: {"error":"unable to parse 'cpu,host=LemmingServer,region=zh_hz value=''': invalid boolean"}
> INSERT cpu,host=LemmingServer,region=zh_hz value=null
ERR: {"error":"unable to parse 'cpu,host=LemmingServer,region=zh_hz value=null': invalid number"}
如上現象說明InfluxDB本身對單值的插入也是不支持Null的。那么這個和IoTDB的現狀是一樣的。我們再來看看多值同時插入的時候“現象”。
- 多插入Null
正常插入：
> INSERT temperature,machine=unit42,type=assembly external=25,internal=37
> select * from temperature;
name: temperature
time external internal machine type
---- -------- -------- ------- ----
2021-02-24T04:03:35.634296Z 25 37 unit42 assembly
internal為空：
> INSERT temperature,machine=unit42,type=assembly external=25,internal=
ERR: {"error":"unable to parse 'temperature,machine=unit42,type=assembly external=25,internal=': missing field value"}
internal為null：
> INSERT temperature,machine=unit42,type=assembly external=25,internal=null
ERR: {"error":"unable to parse 'temperature,machine=unit42,type=assembly external=25,internal=null': invalid number"}
不攜帶internal：
> INSERT temperature,machine=unit42,type=assembly external=25
> select * from temperature;
name: temperature
time external internal machine type
---- -------- -------- ------- ----
2021-02-24T04:03:35.634296Z 25 37 unit42 assembly
2021-02-24T04:05:37.18028Z 25 unit42 assembly
所以根據目前表現，InfulxDB v1.8.4 不支持直接插入Null，但是可以在多值插入時候，不攜帶某個值，也就是空值的支持。
IoTDB Master 行為(b986cd1e5f)
我們基于 b986cd1e5f進行編譯，如下：
啟動服務和CLI
啟動服務，如下：
jincheng:apache-iotdb-0.12.0-SNAPSHOT-all-bin jincheng.sunjc$ nohup sbin/start-server.sh >/dev/null 2>&1 &
[1] 22357
注意我們最新的發布目錄已經有變化`apache-iotdb-0.12.0-SNAPSHOT-all-bin`。
連接服務進入CLI，如下：
sbin/start-cli.sh -h 127.0.0.1 -p 6667 -u root -pw root
NaN的支持
先進行一些初始化，如下：
SET STORAGE GROUP TO root.ln
CREATE TIMESERIES root.ln.wf01.wt01.status WITH DATATYPE=BOOLEAN, ENCODING=PLAIN
CREATE TIMESERIES root.ln.wf01.wt01.temperature WITH DATATYPE=FLOAT, ENCODING=RLE
- 單值的插入
正常插入
INSERT INTO root.ln.wf01.wt01(timestamp,status) values(100,true);
INSERT INTO root.ln.wf01.wt01(timestamp,temperature) values(200,20.71)
我們可以看到，單值正常插入都是OK的，同時我們在查詢時候，如果在相同ts某些值不存在時候，我們查詢出來顯示是null的，用戶可以感知到多時間序列按時間對齊形成一行數據時候哪些字段為null。
異常插
IoTDB> INSERT INTO root.ln.wf01.wt01(timestamp,temperature) values(200,)
Msg: 401: Error occurred while parsing SQL to physical plan: line 1:64 mismatched input ')' expecting {NOW, TRUE, FALSE, '-', '.', 'NaN', INT, EXPONENT, DATETIME, DOUBLE_QUOTE_STRING_LITERAL, SINGLE_QUOTE_STRING_LITERAL}
IoTDB> INSERT INTO root.ln.wf01.wt01(timestamp,temperature) values(200,'')
Msg: 313: failed to insert measurements [temperature] caused by For input string: "''"
IoTDB> INSERT INTO root.ln.wf01.wt01(timestamp,temperature) values(200,null)
Msg: 401: Error occurred while parsing SQL to physical plan: line 1:64 mismatched input 'null' expecting {NOW, TRUE, FALSE, '-', '.', 'NaN', INT, EXPONENT, DATETIME, DOUBLE_QUOTE_STRING_LITERAL, SINGLE_QUOTE_STRING_LITERAL}
IoTDB>
這個現象其實與InfluxDB的表象也是一樣的，我們這樣設計也是合理的，因為我們是強類型系統，聲明了FLOAT類型，就必須插入的是FLOAT值。那么我們再看看多值插入的行為表現。
- 多值的插入
正常插入
INSERT INTO root.ln.wf01.wt01(timestamp,status,temperature) values(200,false,20.71)
上面一切正常，注意一點，我們插入時間戳是用的是200，那么會覆蓋之前的相同時間戳的值。
缺值插入
INSERT INTO root.ln.wf01.wt01(timestamp,status,temperature) values(200,false,)
INSERT INTO root.ln.wf01.wt01(timestamp,status,temperature) values(200,false,null)
INSERT INTO root.ln.wf01.wt01(timestamp,status,temperature) values(200,false,NaN)
其實，大家發現多值插入，和單值插入的支持是一樣的，如果顯示的指定要要插入某個列的值，那么就必須在values里面有其合法的值進行插入。如果沒有業務值，IoTDB為大家提供了NaN來表示沒有具體的數值。當然，NaN不僅僅在多值插入時候可以應用，在單值進行插入時候也是一樣可以支持的。比如：
篇尾提問：為啥一定需要NaN呢？
看到這里大家也許會有個疑問，既然我在插入時候沒有值我就可以不插入，在查詢的時候 IoTDB可以按時間對齊形成一行數據顯示，對應時間戳不存在的值用null來顯示來，那么我們為什么還要用NaN呢？
這個就和業務有點關系來，比如：如果一個列的值是null顯示的，那么到底是當時這個時間點真的設備沒有值上送，還是雖然設備上送了數值，但是由于業務程序bug（或者值不合法）導致沒有插入成功呢？這個問題是很難回答了，因為：
- 設備沒上送值我們不插入，查詢時候是null，
- 設備雖然上送了，但是業務代碼有bug沒有插入成功，查詢時候也是null，
但是如果我們有NaN的支持，那么我們在業務代碼里面每一個時間戳都對應的所有列我們都進行值的插入，如果沒有值或者值不合法，那么我們就顯示的設置一個NaN代表業務本身在那個時刻沒有收到合法的值，而一旦出現null，那就代表在那個時刻業務沒有收到設備的任何數據事件，也沒有進行任何insert動作，所以查詢時候就是null，就可以方便的定位問題了。
再回到開篇的問題，有了NaN我們目前還需要對Apache IoTDB增加Nallable的語法支持嗎？
NaN 不等于 Nullable
NaN解決了Float/Double的某些場景的業務問題，但是其他非數值類型，如今天涉及到的Boolean類型是沒有支持，從語義角度非數值類型也不應該有NaN的設計，所以關于非數值類型的Null的考慮還是值得進一步討論的。
下一篇聊什么？
我們希望每一篇都聊點用戶提到的問題，下一篇我們聊了InfluxDB和IoTDB如何解決下面這個朋友的問題：
如果你有答案，也可以提前留言，看看你和我的思考是否一樣... :) 我們今天就到這里，下次見。
作者介紹
孫金城，51CTO社區編輯，Apache Flink PMC 成員，Apache Beam Committer，Apache IoTDB PMC 成員，ALC Beijing 成員，Apache ShenYu 導師，Apache 軟件基金會成員。關注技術領域流計算和時序數據存儲。
