TiDB-Lightning 监控告警
- 监控配置
  - tikv-importer
  - tidb-lightning
- 监控指标
  - tikv-importer
  - tidb-lightning

TiDB-Lightning 监控告警

tidb-lightning 和 tikv-importer 都支持使用 Prometheus 采集监控指标 (metrics)。本文主要介绍 TiDB-Lightning 的监控配置与监控指标。

监控配置

如果是使用 TiDB-Ansible 部署 Lightning，只要将服务器地址加到 inventory.ini 里的 [monitored_servers] 部分即可。
如果是手动部署 Lightning，则参照以下步骤进行配置。

`tikv-importer`

tikv-importer v2.1 使用 Pushgateway 来推送监控指标。需要配置 tikv-importer.toml 来连接 Pushgateway：

[metric]
# 给 Prometheus 客户端的推送任务名称。
job = "tikv-importer"
# 给 Prometheus 客户端的推送间隔。
interval = "15s"
# Prometheus Pushgateway 地址。
address = ""

`tidb-lightning`

只要 Prometheus 能发现 tidb-lightning 的监控地址，就能收集监控指标。

监控的端口可在 tidb-lightning.toml 中配置：

[lightning]
# 用于调试和 Prometheus 监控的 HTTP 端口。输入 0 关闭。
pprof-port = 8289
...

要让 Prometheus 发现 Lightning，可以将地址直接写入其配置文件，例如：

...
scrape_configs:
  - job_name: 'tidb-lightning'
    static_configs:
      - targets: ['192.168.20.10:8289']

监控指标

本节将详细描述 tikv-importer 和 tidb-lightning 的监控指标。

`tikv-importer`

tikv-importer 的监控指标皆以 tikv_import_* 为前缀。

tikv_import_rpc_duration（直方图）

完成一次 RPC 操作所需时的直方图。标签：
- request：switch_mode / open_engine / write_engine / close_engine / import_engine / cleanup_engine / compact_cluster / upload / ingest / compact
- result：ok / error
tikv_import_write_chunk_bytes（直方图）

从 Lightning 接收的 KV 对区块大小（未压缩）的直方图。
tikv_import_write_chunk_duration（直方图）

从 tidb-lightning 接收每个 KV 对区块需时直方图。
tikv_import_upload_chunk_bytes（直方图）

上传到 TiKV 的每个 SST 文件区块大小（压缩）的直方图。
tikv_import_range_delivery_duration (直方图)

将一个 range 的 KV 对发送至 dispatch-job 任务需时的直方图。
tikv_import_split_sst_duration (直方图)

将 range 从引擎文件中分离到单个 SST 文件中需时的直方图。
tikv_import_sst_delivery_duration (直方图)

将 SST 文件从 dispatch-job 任务发送到 ImportSSTJob任务需时的直方图
tikv_import_sst_recv_duration (直方图)

ImportSSTJob任务接收从 dispatch-job 任务发送过来的 SST 文件需时的直方图。
tikv_import_sst_upload_duration (直方图)

从 ImportSSTJob 任务上传 SST 文件到 TiKV 节点需时的直方图。
tikv_import_sst_chunk_bytes (直方图)

上传到 TiKV 节点的 SST 文件（压缩）大小的直方图。
tikv_import_sst_ingest_duration (直方图)

将 SST 文件传入至 TiKV 需时的直方图。
tikv_import_each_phase (测量仪)

表示运行阶段。值为 1 时表示在阶段内运行，值为 0 时表示在阶段内运行。标签：
- phase: prepare / import
tikv_import_wait_store_available_count (计数器)

计算出现 TiKV 节点没有充足空间上传 SST 文件现象的次数。标签：
- store_id: TiKV 存储 ID。
tikv_import_upload_chunk_duration（直方图）

上传到 TiKV 的每个区块需时的直方图。

`tidb-lightning`

tidb-lightning 的监控指标皆以 lightning_* 为前缀。

lightning_importer_engine（计数器）

计算已开启及关闭的引擎文件数量。标签：
- type：open / closed
lightning_idle_workers（计量表盘）

计算闲置的 worker。数值应低于设置中的 *-concurrency 的值，且经常为 0。标签：
- name: table / index / region / io / closed-engine
lightning_kv_encoder（计数器）

计算已开启及关闭的 KV 编码器。KV 编码器是运行于内存的 TiDB 实例，用于将 SQL 的 INSERT 语句转换成 KV 对。此度量的净值（开启减掉关闭）在正常情况下不应持续增长。标签：
- type：open / closed
lightning_tables（计数器）

计算处理过的表及其状态。标签：
- state：pending / written / closed / imported / altered_auto_inc / checksum / analyzed / completed
- result：success / failure

lightning_engines (计数器)

计算处理后引擎文件的数量以及其状态。标签：
- **state**: `pending` / `written` / `closed` / `imported` / `completed`
- **result**: `success` / `failure`

lightning_chunks（计数器）

计算处理过的 Chunks 及其状态。标签：
- state：estimated / pending / running / finished / failed
lightning_import_seconds（直方图）

导入每个表需时的直方图。
lightning_row_read_bytes（直方图）

单行 SQL 数据大小的直方图。
lightning_row_encode_seconds（直方图）

解码单行 SQL 数据到 KV 对需时的直方图。
lightning_row_kv_deliver_seconds（直方图）

发送一组与单行 SQL 数据对应的 KV 对需时的直方图。
lightning_block_deliver_seconds（直方图）

每个 KV 对中的区块传送到 tikv-importer 需时的直方图。
lightning_block_deliver_bytes（直方图）

发送到 Importer 的 KV 对中区块（未压缩）的大小的直方图。
lightning_chunk_parser_read_block_seconds（直方图）

数据文件解析每个 SQL 区块需时的直方图。
lightning_checksum_seconds（直方图）

计算表中 Checksum 需时的直方图。
lightning_apply_worker_seconds（直方图）

获取闲置 worker 等待时间的直方图。标签：
- name: table / index / region / io / closed-engine