• Data Migration 简单使用场景
    • 上游实例
    • 同步要求
    • 下游实例
    • 同步方案
    • 同步任务配置

    Data Migration 简单使用场景

    本文介绍了 DM 工具的一个简单使用场景（非分库分表合并场景）：将三个上游 MySQL 实例的数据同步到一个下游 TiDB 集群中。

    上游实例

    假设上游结构为：

    • 实例 1

      | Schema | Tables | |:———|:———| | user | information, log | | store | store_bj, store_tj | | log | messages |

    • 实例 2

      | Schema | Tables | |:———|:———| | user | information, log | | store | store_sh, store_sz | | log | messages |

    • 实例 3

      | Schema | Tables | |:———|:———| | user | information, log | | store | store_gz, store_sz | | log | messages |

    同步要求

    1. 不合并 user 库。

      1. 将实例 1 中的 user 库同步到下游 TiDB 的 user_north 库中。

      2. 将实例 2 中的 user 库同步到下游 TiDB 的 user_east 库中。

      3. 将实例 3 中的 user 库同步到下游 TiDB 的 user_south 库中。

      4. 任何情况下都不删除 log 表的任何数据。

    2. 将上游 store 库同步到下游 store 库中，且同步过程中不合并表。

      1. 实例 2 和实例 3 中都存在 store_sz 表，且这两个 store_sz 表分别被同步到下游的 store_suzhou 表和 store_shenzhen 表中。

      2. 任何情况下都不删除 store 库的任何数据。

    3. log 库需要被过滤掉。

    下游实例

    假设下游结构为：

    Schema Tables
    user_north information, log
    user_east information, log
    user_south information, log
    store store_bj, store_tj, store_sh, store_suzhou, store_gz, store_shenzhen

    同步方案

    • 为了满足同步要求中第一点的前三条要求，需要配置以下 table routing 规则：

      1.   routes:
      2.     ...
      3.     instance-1-user-rule:
      4.       schema-pattern: "user"
      5.       target-schema: "user_north"
      6.     instance-2-user-rule:
      7.       schema-pattern: "user"
      8.       target-schema: "user_east"
      9.     instance-3-user-rule:
      10.       schema-pattern: "user"
      11.       target-schema: "user_south"

    • 为了满足同步要求中第二点的第一条要求，需要配置以下 table routing 规则：

      1.   routes:
      2.     ...
      3.     instance-2-store-rule:
      4.       schema-pattern: "store"
      5.       table-pattern: "store_sz"
      6.       target-schema: "store"
      7.       target-table:  "store_suzhou"
      8.     instance-3-store-rule:
      9.       schema-pattern: "store"
      10.       table-pattern: "store_sz"
      11.       target-schema: "store"
      12.       target-table:  "store_shenzhen"

    • 为了满足同步要求中第一点的第四条要求，需要配置以下 binlog event filter 规则：

      1.   filters:
      2.     ...
      3.     log-filter-rule:
      4.       schema-pattern: "user"
      5.       table-pattern: "log"
      6.       events: ["truncate table", "drop table", "delete"]
      7.       action: Ignore
      8.     user-filter-rule:
      9.       schema-pattern: "user"
      10.       events: ["drop database"]
      11.       action: Ignore

    • 为了满足同步要求中第二点的第二条要求，需要配置以下 binlog event filter 规则：

      1.   filters:
      2.     ...
      3.     store-filter-rule:
      4.       schema-pattern: "store"
      5.       events: ["drop database", "truncate table", "drop table", "delete"]
      6.       action: Ignore

      注意：

      store-filter-rule 不同于 log-filter-rule 和 user-filter-rule。store-filter-rule 是针对整个 store 库的规则，而 log-filter-rule 和 user-filter-rule 是针对 user 库中 log 表的规则。

    • 为了满足同步要求中的第三点要求，需要配置以下 black & white table lists 规则：

      1.   black-white-list:
      2.     log-ignored:
      3.       ignore-dbs: ["log"]

    同步任务配置

    以下是完整的同步任务配置，详见配置介绍。

    1. name: "one-tidb-slave"
    2. task-mode: all
    3. meta-schema: "dm_meta"
    4. remove-meta: false
    6. target-database:
    7.   host: "192.168.0.1"
    8.   port: 4000
    9.   user: "root"
    10.   password: ""
    12. mysql-instances:
    13.   -
    14.     source-id: "instance-1"
    15.     route-rules: ["instance-1-user-rule"]
    16.     filter-rules: ["log-filter-rule", "user-filter-rule" , "store-filter-rule"]
    17.     black-white-list:  "log-ignored"
    18.     mydumper-config-name: "global"
    19.     loader-config-name: "global"
    20.     syncer-config-name: "global"
    21.   -
    22.     source-id: "instance-2"
    23.     route-rules: ["instance-2-user-rule", instance-2-store-rule]
    24.     filter-rules: ["log-filter-rule", "user-filter-rule" , "store-filter-rule"]
    25.     black-white-list:  "log-ignored"
    26.     mydumper-config-name: "global"
    27.     loader-config-name: "global"
    28.     syncer-config-name: "global"
    29.   -
    30.     source-id: "instance-3"
    31.     route-rules: ["instance-3-user-rule", instance-3-store-rule]
    32.     filter-rules: ["log-filter-rule", "user-filter-rule" , "store-filter-rule"]
    33.     black-white-list:  "log-ignored"
    34.     mydumper-config-name: "global"
    35.     loader-config-name: "global"
    36.     syncer-config-name: "global"
    38. # 所有实例的共有配置
    40. routes:
    41.   instance-1-user-rule:
    42.     schema-pattern: "user"
    43.     target-schema: "user_north"
    44.   instance-2-user-rule:
    45.     schema-pattern: "user"
    46.     target-schema: "user_east"
    47.   instance-3-user-rule:
    48.     schema-pattern: "user"
    49.     target-schema: "user_south"
    50.   instance-2-store-rule:
    51.     schema-pattern: "store"
    52.     table-pattern: "store_sz"
    53.     target-schema: "store"
    54.     target-table:  "store_suzhou"
    55.   instance-3-store-rule:
    56.     schema-pattern: "store"
    57.     table-pattern: "store_sz"
    58.     target-schema: "store"
    59.     target-table:  "store_shenzhen"
    61. filters:
    62.   log-filter-rule:
    63.     schema-pattern: "user"
    64.     table-pattern: "log"
    65.     events: ["truncate table", "drop table", "delete"]
    66.     action: Ignore
    67.   user-filter-rule:
    68.     schema-pattern: "user"
    69.     events: ["drop database"]
    70.     action: Ignore
    71.   store-filter-rule:
    72.     schema-pattern: "store"
    73.     events: ["drop database", "truncate table", "drop table", "delete"]
    74.     action: Ignore
    76. black-white-list:
    77.   log-ignored:
    78.     ignore-dbs: ["log"]
    80. mydumpers:
    81.   global:
    82.     threads: 4
    83.     chunk-filesize: 64
    84.     skip-tz-utc: true
    86. loaders:
    87.   global:
    88.     pool-size: 16
    89.     dir: "./dumped_data"
    91. syncers:
    92.   global:
    93.     worker-count: 16
    94.     batch: 100
    95.     max-retry: 100