又雙叒叕,絲滑的零停機數據庫在線遷移工具Squids DBMotion再發新版!
Squdis DBMotion新增了多種數據庫的遷移能力:SQLServer to SQLServer、Redis to Redis、MySQL to Kafka,增加了列映射、校驗任務獨立、抽樣校驗、校驗復檢和限速等十多項功能。
本次版本更新,DBMotion新增了三種數據庫遷移同步的場景。目前,DBMotion已經支持8種不同的數據庫遷移同步場景(5款同構數據庫和3款異構數據庫):
MySQL to MySQL
Redis to Redis
SQLServer to SQLServer
MongoDB to MongoDB
openGauss to openGauss
Oracle to GaussDB
MySQL to ClickHouse
MySQL to Kafka
SQLServer遷移和校驗
本次新增了SQLServer到SQLServer的結構、全量遷移和結構、數據校驗能力。用戶可以選擇要遷移的SQLServer源庫和目標庫,進行對象和數據遷移。
目前支持SQLServer 2017和2019版本的多種不同對象遷移,包括table、user、view、procedure、function、trigger、event、type、sequence、synonym和xmlschema。
數據遷移,支持常規數據類型,支持包括LOB類型、uniqueidentifier、hierarchyid、rowversion、geometry、geography等特殊數據類型。特殊字段屬性支持identity列和computed列。
SQLServer遷移完成以后,可以執行對象校驗,對比各種對象和表結構的一致性。
或者執行數據校驗來對比遷移后數據是否完全一致。
Redis遷移和校驗
本次新增Redis到Redis的數據遷移和數據校驗能力,支持Redis 5.0及以上版本。
新建任務之后,DBMotion就會將您在Redis上的16個DB中的所有key和value都同步到目標端。
接下來進入數據校驗頁面,可以對遷移過去的數據進行校驗,DBMotion將對比所有DB中的key和value值是否一致。
新增MySQL到Kafka的數據同步功能,用戶可以選擇需要抽取的MySQL數據庫。MySQL to Kafka
源庫中MySQL的數據如下:
數據同步到Kafka以后,顯示如下:
列映射
DBMotion之前僅支持庫級別和表級別的名稱映射,本次新增了列級別的映射,用戶可以在映射和過濾階段,設置庫和表的映射。
點擊進入某個表的“映射與過濾”頁面,設置列的映射。
遷移完成后,進入目標庫查看,可以看到庫、表和字段均顯示為遷移過程中我們所設置的映射名。
遷移同步期間,源庫/目標庫還在提供業務訪問。如果遷移的流量過大,可能會對源庫造成一定影響,從而對業務產生一定的影響。限速
為了避免對系統造成過大的負擔,有效地控制數據遷移的速度,DBMotion在本版本中支持按照吞吐量(MB/s)對傳輸任務進行限速。
限速后,DBMotion保證吞吐量最大不超過設置的最大值,保護數據庫業務的正常運行。
部分客戶會自己使用MySQLdump或者其他類似的工具來做遷移或者同步,但是希望使用我們的校驗工具對比一下遷移對象和數據是否完全一致。在DBMotion這個新版本中,開始支持獨立的校驗任務。用戶可以進入“數據校驗”任務列表展示頁面上,點擊“添加任務”進入頁面。校驗任務獨立
與新建數據傳輸任務一樣的頁面,您可以根據向導填好任務相關選項并進行預檢查,新建一個純對象/數據校驗的任務。
任務新建成功以后,就可以在任務詳情頁面查看對象對比和數據對比的結果,確認到底有哪些對象/數據存在不一致的問題。校驗不一致的數據可以點擊“詳情”查看具體的不一致情況,或者點擊“訂正SQL”,查看要執行怎樣的SQL才能讓目標庫跟源庫保持一致。
對于數據量特別大的表,由于校驗時間太長,客戶可能并不想校驗所有的數據。DBMotion在本期提供了抽樣校驗的選項,在新建校驗任務階段可以配置校驗的抽樣比例。抽樣校驗
在抽樣校驗任務完成后,查看校驗結果。51232行數據,進行30%的抽樣后,共校驗了17171行數據,符合目標預期。
總結
總體來說,本次共修復和更新了二十多項功能: 對象遷移:支持table、 view、function、 procedure、trigger、sequence, synonym、type和xml schema 全量數據遷移:支持常規類型,支持LOB類型、uniqueidentifier、hierarchyid、rowversion、 geometry和geography等特殊數據類型;支持identity列和computed列 對象校驗:支持對各種遷移過去的對象進行校驗,展示對象校驗詳情,生成訂正SQL 數據校驗:支持各種數據類型的校驗,查看不一致數據,生成訂正SQL 其它:支持一次遷移多個數據庫SQL Server
數據遷移:支持全量遷移、全量的斷點續傳 數據校驗:全量校驗、抽樣校驗、不一致詳情查看Redis
新增MySQL到Kafka,支持全量數據遷移,全量遷移斷點續傳 MySQL到ClickHouse支持無主鍵表遷移 MySQL到ClickHouse數據類型優化 支持列映射,創建任務時可以指定目標端列名 支持列脫敏,對于敏感信息可以選擇脫敏 支持敏感信息識別 增量失敗后支持修正或跳過錯誤 支持快速復檢 優化對象校驗詳情展示,詳情新增具體校驗內容MySQL
支持創建獨立校驗任務,支持結構校驗和數據校驗,校驗不再依賴遷移任務 數據校驗支持周期停止 支持分片續傳,在全量遷移階段,暫停任務后,已經完成的分片不再重新傳輸 Docker線下版開始支持限速其它功能
修復了目標端未開啟binlog,結束遷移時任務失敗問題 修復了MySQL mrg_myisam表遷移失敗問題 修復了MySQL 表中有生成列遷移失敗問題問題修復
全新的功能,想先人一步使用嗎? 趕緊上Squids體驗吧! SaaS產品,永久免費使用,地址: https://squids.cn/product/dbmotion
服務電話: 400-678-1800 (周??周五 09:00-18:00)
商務合作: 0571-87770835
市場反饋: marketing@woqutech.com
地址: 杭州市濱江區濱安路1190號智匯中?A座1101室