• DM 集群操作
    • 启动集群
    • 下线集群
    • 重启集群组件
      • 重启注意事项
        • DM-worker 重启事项
        • DM-master 重启事项
      • 重启 DM-worker
      • 重启 DM-master
    • 更新组件版本
    • 创建 DM-worker 实例
    • 下线 DM-worker 实例
    • 替换 DM-master 实例
    • 替换 DM-worker 实例
    • 切换主从实例
      • 虚拟 IP 环境下的上游主从切换
      • 变更 IP 后的主从切换

    DM 集群操作

    本文介绍 DM 集群操作以及使用 DM-Ansible 管理 DM 集群时需要注意的事项。

    启动集群

    运行以下命令以启动整个集群的所有组件（包括 DM-master、DM-worker 和监控组件）：

    1. $ ansible-playbook start.yml

    下线集群

    运行以下命令以下线整个集群的所有组件（包括 DM-master、DM-worker 和监控组件）：

    1. $ ansible-playbook stop.yml

    重启集群组件

    在以下情况下，需要更新 DM 集群组件：

    • 您想要更新组件版本。
    • 发生了严重的错误，您需要重启组件完成临时恢复。
    • DM 集群所在的机器由于某种原因重启。

    重启注意事项

    该部分描述重启 DM 各组件时需要了解的事项。

    DM-worker 重启事项

    全量数据导入过程中：

    对于全量数据导入时的 SQL 文件，DM 使用下游数据库记录断点信息，DM-worker 会在本地 meta 文件记录子任务信息。DM-worker 重启时会检查断点信息和本地记录的子任务信息，重启前处于运行中状态的任务会自动恢复数据同步。

    增量数据同步过程中：

    对于增量数据导入过程中的 binlog，DM 使用下游数据库记录断点信息，并会在同步任务开始或恢复后的第一个五分钟之内开启安全模式。

    • 未启用 sharding DDL 同步

      如果 DM-worker 上运行的任务未启用 sharding DDL 同步功能，DM-worker 重启时会检查断点信息和本地记录的子任务信息，重启前处于运行中状态的任务会自动恢复数据同步。

    • 已启用 sharding DDL 同步

      • DM 同步 sharding DDL 语句时，如果 DM-worker 成功执行（或跳过）sharding DDL 的 binlog event，与 DM-worker 中的 sharding DDL 语句相关的所有表的断点信息都会被更新至 DDL 语句对应的 binlog event 之后的位置。

      • 当 DM-worker 重启发生在 sharding DDL 语句同步开始前或完成后，DM-worker 会根据断点信息和本地记录的子任务信息自动恢复数据同步。

      • 当 DM-worker 重启发生在 sharding DDL 语句同步过程中，可能会出现作为 DDL lock owner 的 DM-worker 实例已执行了 DDL 语句并成功变更了下游数据库表结构，但其他 DM-worker 实例重启而无法跳过 DDL 语句也无法更新断点的情况。

        此时 DM 会再次尝试同步这些未跳过执行的 DDL 语句。然而，由于未重启的 DM-worker 实例已经执行到了此 DDL 对应的 binlog event 之后，重启的 DM-worker 实例会被阻滞在重启前 DDL binlog event 对应的位置。

        要解决这个问题，请按照手动处理 Sharding DDL Lock 中描述的步骤操作。

    总结：尽量避免在 sharding DDL 同步过程中重启 DM-worker。

    DM-master 重启事项

    由 DM-master 维护的信息包括以下两种。重启 DM-master 不会持久化保存这些信息的相关数据。

    • 任务信息
    • Sharding DDL lock 信息

    DM-master 重启时会自动向每个 DM-worker 实例请求任务信息，重建任务与 DM-worker 之间的对应关系，并从每个 DM-worker 实例获取 sharding DDL 信息。这样，就可以准确重建相应的 DDL lock，也可以自动解除 sharding DDL lock。

    重启 DM-worker

    注意：

    尽量避免在 sharding DDL 同步过程中重启 DM-worker。

    使用以下两种方法中任一种重启 DM-worker 组件：

    • 对 DM-worker 执行滚动升级。

      1.   $ ansible-playbook rolling_update.yml --tags=dm-worker

    • 先停止 DM-worker，然后重启。

      1.   $ ansible-playbook stop.yml --tags=dm-worker
      2.   $ ansible-playbook start.yml --tags=dm-worker

    重启 DM-master

    在以下两种方法中任选一种，重启 DM-master 组件：

    • 对 DM-master 执行滚动升级。

      1.   $ ansible-playbook rolling_update.yml --tags=dm-master

    • 停止 DM-master，然后重启。

      1.   $ ansible-playbook stop.yml --tags=dm-master
      2.   $ ansible-playbook start.yml --tags=dm-master

    更新组件版本

    1. 下载 DM 二进制文件。

      1. 从 downloads 目录删除已有文件。 

        1.  $ cd /home/tidb/dm-ansible
        2.  $ rm -rf downloads

      2. 用 Playbook 下载 inventory.ini 文件中指定版本的最新 DM 二进制文件。这会自动替换 /home/tidb/dm-ansible/resource/bin/ 中已有文件。

        1.  $ ansible-playbook local_prepare.yml

    2. 使用 Ansible 执行滚动升级。

      1. 对 DM-worker 实例执行滚动升级：

        1.  ansible-playbook rolling_update.yml --tags=dm-worker

      2. 对 DM-master 实例执行滚动升级：

        1.  ansible-playbook rolling_update.yml --tags=dm-master

      3. 升级 dmctl：

        1.  ansible-playbook rolling_update.yml --tags=dmctl

      4. 对 DM-worker， DM-master， 以及 dmctl 整体执行滚动升级：

        1.  ansible-playbook rolling_update.yml

    创建 DM-worker 实例

    假设您想要在机器 172.16.10.74 上创建一个名为 dm_worker3 的 DM-worker 实例，按以下步骤操作：

    1. 为中控机设置 SSH 互信以及 sudo 规则。

      1. 参考在中控机上配置 SSH 互信和 sudo 规则，使用 tidb 用户登录至中控机，并将 172.16.10.74 添加至 hosts.ini 文件中的 [servers] 部分。

        1.  $ cd /home/tidb/dm-ansible
        2.  $ vi hosts.ini
        3.  [servers]
        4.  172.16.10.74
        6.  [all:vars]
        7.  username = tidb

      2. 运行以下命令。根据屏幕提示，输入 root 用户密码以部署 172.16.10.74。

        1.  $ ansible-playbook -i hosts.ini create_users.yml -u root -k

        该步在 172.16.10.74 机器上创建了一个 tidb 用户，设置了 sudo 规则，并为中控机与该机器配置了 SSH 互信。

    2. 修改 inventory.ini 文件，创建新 DM-worker 实例 dm_worker3。

      1.  [dm_worker_servers]
      2.  dm_worker1 source_id="mysql-replica-01" ansible_host=172.16.10.72 server_id=101 mysql_host=172.16.10.81 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306
      4.  dm_worker2  source_id="mysql-replica-02" ansible_host=172.16.10.73 server_id=102 mysql_host=172.16.10.82 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306
      6.  dm_worker3 source_id="mysql-replica-03" ansible_host=172.16.10.74 server_id=103 mysql_host=172.16.10.83 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306

    3. 部署新 DM-worker 实例。

      1.  $ ansible-playbook deploy.yml --tags=dm-worker -l dm_worker3

    4. 启用新 DM-worker 实例。

      1.  $ ansible-playbook start.yml --tags=dm-worker -l dm_worker3

    5. 配置并重启 DM-master 服务。

      1.  $ ansible-playbook rolling_update.yml --tags=dm-master

    6. 配置并重启 Prometheus 服务。

      1.  $ ansible-playbook rolling_update_monitor.yml --tags=prometheus

    下线 DM-worker 实例

    假设您想要下线的 DM-worker 实例为 dm_worker3。按以下步骤操作：

    1. 关闭您想要下线的 DM-worker 实例。

      1.  $ ansible-playbook stop.yml --tags=dm-worker -l dm_worker3

    2. 修改 inventory.ini 文件，注释或删除 dm_worker3 实例所在行。

      1.  [dm_worker_servers]
      2.  dm_worker1 source_id="mysql-replica-01" ansible_host=172.16.10.72 server_id=101 mysql_host=172.16.10.81 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306
      4.  dm_worker2 source_id="mysql-replica-02" ansible_host=172.16.10.73 server_id=102 mysql_host=172.16.10.82 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306
      6.  # dm_worker3 source_id="mysql-replica-03" ansible_host=172.16.10.74 server_id=103 mysql_host=172.16.10.83 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306 # Comment or delete this line

    3. 配置并重启 DM-master 服务。

      1.  $ ansible-playbook rolling_update.yml --tags=dm-master

    4. 配置并重启 Prometheus 服务。

      1.  $ ansible-playbook rolling_update_monitor.yml --tags=prometheus

    替换 DM-master 实例

    假设机器 172.16.10.71 需要进行维护或者已崩溃，需要将 DM-master 实例从 172.16.10.71 迁移至 172.16.10.80。按以下步骤操作：

    1. 为中控机设置 SSH 互信以及 sudo 规则。

      1. 参考在中控机上配置 SSH 互信和 sudo 规则，使用 tidb 账户登录至中控机，并将 172.16.10.80 添加至 hosts.ini 文件中的 [servers] 部分。 

        1.  $ cd /home/tidb/dm-ansible
        2.  $ vi hosts.ini
        3.  [servers]
        4.  172.16.10.80
        6.  [all:vars]
        7.  username = tidb

        1. 运行以下命令。根据屏幕提示，输入 root 用户密码以部署 172.16.10.80。

          1. $ ansible-playbook -i hosts.ini create_users.yml -u root -k

          该步在 172.16.10.80 机器上创建了一个 tidb 用户，设置了 sudo 规则，并为中控机与该机器配置了 SSH 互信。

    2. 关闭待替换的 DM-master 实例。

      注意：

      如果机器 172.16.10.71 宕机，无法通过 SSH 登录，请忽略此步。

      1.  $ ansible-playbook stop.yml --tags=dm-master

    3. 修改 inventory.ini 文件。注释或删除待替换实例所在行，同时为新 DM-master 实例添加相关信息。

      1.  [dm_master_servers]
      2.  # dm_master ansible_host=172.16.10.71
      3.  dm_master ansible_host=172.16.10.80

    4. 部署新 DM-master 实例。

      1.  $ ansible-playbook deploy.yml --tags=dm-master

    5. 启用新 DM-master 实例。

      1.  $ ansible-playbook start.yml --tags=dm-master

    6. 更新 dmctl 配置文件。

      1.  ansible-playbook rolling_update.yml --tags=dmctl

    替换 DM-worker 实例

    假设机器 172.16.10.72 需要进行维护或者已崩溃，您需要将 dm_worker1 实例从 172.16.10.72 迁移至 172.16.10.75。按以下步骤操作：

    1. 为中控机设置 SSH 互信以及 sudo 规则。

      1. 参考在中控机上配置 SSH 互信和 sudo 规则，使用 tidb 账户登录至中控机，并将 172.16.10.75 添加至 hosts.ini 文件中的 [servers] 部分。 

        1.  $ cd /home/tidb/dm-ansible
        2.  $ vi hosts.ini
        3.  [servers]
        4.  172.16.10.75
        6.  [all:vars]
        7.  username = tidb

      2. 运行以下命令。根据屏幕提示，输入 root 用户密码以部署 172.16.10.85。

        1.  $ ansible-playbook -i hosts.ini create_users.yml -u root -k

        该步在 172.16.10.75 上创建了一个 tidb 用户，设置了 sudo 规则，并为中控机与该机器配置了 SSH 互信。

    2. 下线待替换 DM-worker 实例。

      注意：

      如果机器 172.16.10.71 宕机，无法通过 SSH 登录，请忽略此步。

      1.  $ ansible-playbook stop.yml --tags=dm-worker -l dm_worker1

    3. 修改 inventory.ini 文件，为新 DM-worker 实例添加相关信息。

      修改 inventory.ini 文件。注释或删除旧 dm_worker1 实例所在行；同时为新 dm_worker1 实例添加相关信息。

      1. [dm_worker_servers]
      2. dm_worker1 source_id="mysql-replica-01" ansible_host=172.16.10.75 server_id=101 mysql_host=172.16.10.81 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306
      3. # dm_worker1 ansible_host=172.16.10.72 server_id=101 mysql_host=172.16.10.81 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306
      5. dm_worker2 source_id="mysql-replica-02" ansible_host=172.16.10.73 server_id=102 mysql_host=172.16.10.82 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306

    4. 部署新 DM-worker 实例。

      1.  $ ansible-playbook deploy.yml --tags=dm-worker -l dm_worker1

    5. 启动新 DM-worker 实例。

      1. $ ansible-playbook start.yml --tags=dm-worker -l dm_worker1

    6. 配置并重启 DM-master 服务。

      1.  $ ansible-playbook rolling_update.yml --tags=dm-master

    7. 配置并重启 Prometheus 服务。

      1.  $ ansible-playbook rolling_update_monitor.yml --tags=prometheus

    切换主从实例

    该部分分两种情况描述如何使用 dmctl 完成主从实例切换。

    虚拟 IP 环境下的上游主从切换

    1. 使用 query-status 命令确认 relay 处理单元已获取主从切换前 master 实例的所有 binlog（relayCatchUpMaster）。
    2. 使用 pause-relay 命令暂停 relay 处理。
    3. 使用 pause-task 命令暂停所有运行任务。
    4. 虚拟 IP 环境下的上游主从实例执行切换。
    5. 使用 switch-relay-master 命令通知 relay 处理单元进行主从切换。
    6. 使用 resume-relay 命令恢复 relay 处理，从新 master 实例读取 binlog。
    7. 使用 resume-task 命令恢复之前的同步任务。

    变更 IP 后的主从切换

    1. 使用 query-status 命令确认 relay 处理单元已获取主从切换前 master 实例的所有 binlog（relayCatchUpMaster）。
    2. 使用 stop-task 停止所有运行任务。
    3. 修改 DM-worker 配置，并使用 DM-Ansible 对 DM-worker 进行滚动升级操作。
    4. 使用 start-task 命令重新启动同步任务。