Squids DBMotion 2304發(fā)版成功,再添重量級(jí)數(shù)據(jù)同步功能——支持Oracle遷移到GaussDB。
GaussDB是華為自主創(chuàng)新研發(fā)的分布式關(guān)系型數(shù)據(jù)庫。該產(chǎn)品具備企業(yè)級(jí)復(fù)雜事務(wù)混合負(fù)載能力,同時(shí)支持分布式事務(wù),同城跨AZ部署,數(shù)據(jù)0丟失,支持1000+的擴(kuò)展能力,PB級(jí)海量存儲(chǔ)。并擁有云上高可用、高可靠、高安全,彈性伸縮、一鍵部署、快速備份恢復(fù)、監(jiān)控告警等關(guān)鍵能力,能為企業(yè)提供功能全面、穩(wěn)定可靠、擴(kuò)展性強(qiáng)、性能優(yōu)越的企業(yè)級(jí)數(shù)據(jù)庫服務(wù)。
在源庫和目標(biāo)庫配置中,Oracle需要填入IP、端口、service_name以及連接Oracle的用戶名密碼 和 ASM用戶名密碼。其中ASM用戶名密碼用于連接數(shù)據(jù)庫獲取redo日志;GaussDB需要填入IP、Port、數(shù)據(jù)庫名稱、用戶名和密碼。
遷移選項(xiàng)配置頁面上,選擇需要同步的表(T3)。DBMotion目前不支持對(duì)象遷移,僅支持全量和增量遷移,用戶可以勾選需要執(zhí)行的步驟,并選擇沖突策略以及是否過濾DDL。
其他步驟跟同步其他種類數(shù)據(jù)庫相似,配置確認(rèn)和預(yù)檢查沒問題之后,就可以創(chuàng)建并運(yùn)行任務(wù)了。
如下圖所示,源庫中原本有7筆數(shù)據(jù)。
全量遷移:任務(wù)開始運(yùn)行以后,DBMotion會(huì)將Oracle的數(shù)據(jù)遷移到GaussDB上來,這里顯示全部遷移成功了。注意:Oracle允許在字符串字段中任意位置包含ascii 0值,GaussDB則不允許有ascii 0值,DBMotion默認(rèn)會(huì)將ascii 0轉(zhuǎn)換為空格字符。
遷移后的目標(biāo)庫數(shù)據(jù)以及遷移到chr0_user1.t3的7筆數(shù)據(jù)如下圖所示。
在源庫上進(jìn)行插入、更新操作。
查看增量狀態(tài),可以看到增量同步的進(jìn)度和性能。這里增量采用的是o2k,是由沃趣科技自主研發(fā)的Oracle日志解析工具。
目標(biāo)端可查看數(shù)據(jù)是否完成同步。
Oracle到GaussDB同步,支持對(duì)象校驗(yàn),DBMotion會(huì)校驗(yàn)表和字段在目標(biāo)端是否存在。
數(shù)據(jù)校驗(yàn)時(shí),不僅會(huì)校驗(yàn)行數(shù)是否一致,同時(shí)也會(huì)校驗(yàn)字段值是否一致。此處,由于acsii0被轉(zhuǎn)換為空格,出現(xiàn)兩邊數(shù)據(jù)不一致的情況,因此校驗(yàn)數(shù)據(jù)為不一致。
另外,在監(jiān)控中可以查看全量和增量遷移時(shí)的性能指標(biāo)。
本次版本更新包括如下內(nèi)容:
支持 Oracle到GaussDB的全量遷移
支持常規(guī)類型和LOB類型的字段
支持Oracle GBK字符集到GaussDB UTF8字符集的轉(zhuǎn)換
支持將ascii0映射到用戶指定的字符串,高級(jí)配置中可設(shè)置替換字符串
支持schema和table名的映射
支持自動(dòng)轉(zhuǎn)換schman/table/column名,高級(jí)配置中可配置三種轉(zhuǎn)換策略:
None: 不自動(dòng)轉(zhuǎn)換
Normal: 自動(dòng)將Oracle的大寫轉(zhuǎn)換成GaussDB的小寫,大小寫混合名字不轉(zhuǎn)換。
All: 自動(dòng)將所有的名字轉(zhuǎn)換成GaussDB的小寫
支持按主鍵或唯一鍵分片(目前只支持?jǐn)?shù)值列)
多分片并行遷移,分片內(nèi)批量處理,提升遷移性能
支持Oracle到GaussDB的增量同步
支持常規(guī)類型和XMLTYPE字段
支持Oracle GBK字符集到GaussDB UTF8字符集的轉(zhuǎn)換
支持schema/table名的映射
不支持大小寫混合的字段名
支持同步無主鍵表
支持自動(dòng)沖突處理(覆蓋/忽略/失敗)
支持并行解析源庫日志和并行更新目標(biāo)端,提供高性能、低延時(shí)的同步
支持基本的預(yù)檢查功能
數(shù)據(jù)庫配置檢查
無主鍵的檢查
權(quán)限檢查
支持對(duì)象校驗(yàn)和數(shù)據(jù)校驗(yàn)
校驗(yàn)表是否存在
校驗(yàn)列名是否一致
校驗(yàn)常規(guī)類型的數(shù)據(jù)是否一致
不能校驗(yàn)LOB類型
不能校驗(yàn)含有亂碼的字符值
其它變更
優(yōu)化元數(shù)據(jù)庫的初始化,加速啟動(dòng)速度,減少連接數(shù)
問題修復(fù)
修復(fù)了增量過程中創(chuàng)建的表不能被校驗(yàn)的問題
修復(fù)了MySQL到ClickHouse數(shù)據(jù)校驗(yàn)失敗的問題
修復(fù)了數(shù)據(jù)校驗(yàn)失敗時(shí)校驗(yàn)狀態(tài)未更新的問題
修復(fù)了獲取數(shù)據(jù)庫列表時(shí)錯(cuò)誤的分頁數(shù)問題
絲滑的DBMotion,助您云上暢游。
趕緊用起來吧!
SaaS產(chǎn)品,永久免費(fèi)使用,地址:
https://squids.cn/product/dbmotion
服務(wù)電話: 400-678-1800 (周??周五 09:00-18:00)
商務(wù)合作: 0571-87770835
市場反饋: marketing@woqutech.com
地址: 杭州市濱江區(qū)濱安路1190號(hào)智匯中?A座1101室