欧美丝袜一区二区-欧美精品在线观看一区二区-久久精品男人,亚洲乱码中文字幕综合,久久精品手机视频,极度bdsm残忍bdsm变态

新聞動態
最新動態 > 數據遷移卷不動了?Squids DBMotion新增多種數據庫遷移能力,簡單高效有妙招

數據遷移卷不動了?Squids DBMotion新增多種數據庫遷移能力,簡單高效有妙招

2023年07月19日

又雙叒叕,絲滑的零停機數據庫在線遷移工具Squids DBMotion再發新版!


Squdis DBMotion新增了多種數據庫的遷移能力:SQLServer to SQLServer、Redis to Redis、MySQL to Kafka,增加了列映射、校驗任務獨立、抽樣校驗、校驗復檢和限速等十多項功能。


本次版本更新,DBMotion新增了三種數據庫遷移同步的場景。目前,DBMotion已經支持8種不同的數據庫遷移同步場景(5款同構數據庫和3款異構數據庫):

  1. MySQL to MySQL

  2. Redis to Redis

  3. SQLServer to SQLServer

  4. MongoDB to MongoDB

  5. openGauss to openGauss

  6. Oracle to GaussDB

  7. MySQL to ClickHouse

  8. MySQL to Kafka


SQLServer遷移和校驗

本次新增了SQLServer到SQLServer的結構、全量遷移和結構、數據校驗能力。用戶可以選擇要遷移的SQLServer源庫和目標庫,進行對象和數據遷移。

圖片1.png


目前支持SQLServer 2017和2019版本的多種不同對象遷移,包括table、user、view、procedure、function、trigger、event、type、sequence、synonym和xmlschema。

圖片2.png


數據遷移,支持常規數據類型,支持包括LOB類型、uniqueidentifier、hierarchyid、rowversion、geometry、geography等特殊數據類型。特殊字段屬性支持identity列和computed列。

圖片3.png


SQLServer遷移完成以后,可以執行對象校驗,對比各種對象和表結構的一致性。

圖片4.png


或者執行數據校驗來對比遷移后數據是否完全一致。

圖片5.png



Redis遷移和校驗

本次新增Redis到Redis的數據遷移和數據校驗能力,支持Redis 5.0及以上版本。

圖片6.png


新建任務之后,DBMotion就會將您在Redis上的16個DB中的所有key和value都同步到目標端。

圖片7.png


接下來進入數據校驗頁面,可以對遷移過去的數據進行校驗,DBMotion將對比所有DB中的key和value值是否一致。

圖片8.png



MySQL to Kafka

新增MySQL到Kafka的數據同步功能,用戶可以選擇需要抽取的MySQL數據庫。

圖片9.png

源庫中MySQL的數據如下:

圖片10.png


數據同步到Kafka以后,顯示如下:

圖片11.png



列映射

DBMotion之前僅支持庫級別和表級別的名稱映射,本次新增了列級別的映射,用戶可以在映射和過濾階段,設置庫和表的映射。

圖片12.png


點擊進入某個表的“映射與過濾”頁面,設置列的映射。

圖片13.png


遷移完成后,進入目標庫查看,可以看到庫、表和字段均顯示為遷移過程中我們所設置的映射名。

圖片14.png



限速

遷移同步期間,源庫/目標庫還在提供業務訪問。如果遷移的流量過大,可能會對源庫造成一定影響,從而對業務產生一定的影響。

圖片15.png


為了避免對系統造成過大的負擔,有效地控制數據遷移的速度,DBMotion在本版本中支持按照吞吐量(MB/s)對傳輸任務進行限速。

圖片16.png


限速后,DBMotion保證吞吐量最大不超過設置的最大值,保護數據庫業務的正常運行。

圖片17.png



校驗任務獨立

部分客戶會自己使用MySQLdump或者其他類似的工具來做遷移或者同步,但是希望使用我們的校驗工具對比一下遷移對象和數據是否完全一致。在DBMotion這個新版本中,開始支持獨立的校驗任務。用戶可以進入“數據校驗”任務列表展示頁面上,點擊“添加任務”進入頁面。

圖片18.png


與新建數據傳輸任務一樣的頁面,您可以根據向導填好任務相關選項并進行預檢查,新建一個純對象/數據校驗的任務。

圖片19.png


任務新建成功以后,就可以在任務詳情頁面查看對象對比和數據對比的結果,確認到底有哪些對象/數據存在不一致的問題。校驗不一致的數據可以點擊“詳情”查看具體的不一致情況,或者點擊“訂正SQL”,查看要執行怎樣的SQL才能讓目標庫跟源庫保持一致。

圖片20.png



抽樣校驗

對于數據量特別大的表,由于校驗時間太長,客戶可能并不想校驗所有的數據。DBMotion在本期提供了抽樣校驗的選項,在新建校驗任務階段可以配置校驗的抽樣比例。

圖片21.png


在抽樣校驗任務完成后,查看校驗結果。51232行數據,進行30%的抽樣后,共校驗了17171行數據,符合目標預期。

圖片22.png



總結

總體來說,本次共修復和更新了二十多項功能:

SQL Server

  • 對象遷移:支持table、 view、function、 procedure、trigger、sequence, synonym、type和xml schema

  • 全量數據遷移:支持常規類型,支持LOB類型、uniqueidentifier、hierarchyid、rowversion、 geometry和geography等特殊數據類型;支持identity列和computed列

  • 對象校驗:支持對各種遷移過去的對象進行校驗,展示對象校驗詳情,生成訂正SQL

  • 數據校驗:支持各種數據類型的校驗,查看不一致數據,生成訂正SQL

  • 其它:支持一次遷移多個數據庫


Redis

  • 數據遷移:支持全量遷移、全量的斷點續傳

  • 數據校驗:全量校驗、抽樣校驗、不一致詳情查看


MySQL

  • 新增MySQL到Kafka,支持全量數據遷移,全量遷移斷點續傳

  • MySQL到ClickHouse支持無主鍵表遷移

  • MySQL到ClickHouse數據類型優化

  • 支持列映射,創建任務時可以指定目標端列名

  • 支持列脫敏,對于敏感信息可以選擇脫敏

  • 支持敏感信息識別

  • 增量失敗后支持修正或跳過錯誤

  • 支持快速復檢

  • 優化對象校驗詳情展示,詳情新增具體校驗內容


其它功能

  • 支持創建獨立校驗任務,支持結構校驗和數據校驗,校驗不再依賴遷移任務

  • 數據校驗支持周期停止

  • 支持分片續傳,在全量遷移階段,暫停任務后,已經完成的分片不再重新傳輸

  • Docker線下版開始支持限速


問題修復

  • 修復了目標端未開啟binlog,結束遷移時任務失敗問題

  • 修復了MySQL mrg_myisam表遷移失敗問題

  • 修復了MySQL 表中有生成列遷移失敗問題



全新的功能,想先人一步使用嗎?

趕緊上Squids體驗吧!


SaaS產品,永久免費使用,地址:

https://squids.cn/product/dbmotion



讓數據庫基礎設施更簡單
加速企業數字化轉型建設及落地
立即咨詢

沃趣科技

中立的企業級數據庫云
十年磨一劍十年來始終如一的專注數據庫生態領域
夯實技術底蘊打造最適合時代的數據庫基礎設施
業績持續領先目前已累計服務超3000家企業客戶

留言咨詢

完善信息,我們第一時間跟您聯系
姓名
手機
公司
所在地區
咨詢問題
驗證碼
產品咨詢熱線
0571-87770835
技術服務熱線
400-678-1800