以2022年GPT3.5發(fā)布為節(jié)點,AGI技術(shù)開始了一路狂奔,各種充滿想象力的技術(shù)概念和實現(xiàn)方案不斷涌現(xiàn),RAG(Retrieval-Augmented Generation,檢索增強生成)成為了現(xiàn)有大模型生態(tài)中極為關(guān)鍵的一項技術(shù)。
通過將預(yù)先訓(xùn)練的 LLM 與可隨時獲取的信息檢索系統(tǒng)相結(jié)合,RAG能夠提供更精確和上下文相關(guān)的響應(yīng),使得 LLM 或基礎(chǔ)模型能夠根據(jù)盡可能避免幻覺從而生成更符合預(yù)期的內(nèi)容。
在整個RAG系統(tǒng)中,數(shù)據(jù)庫扮演著重要角色,無論是用來承載原始數(shù)據(jù)的數(shù)據(jù)庫還是承載向量化功能的向量數(shù)據(jù)庫,其性能與運維情況直接決定了RAG系統(tǒng)的效率。
對于企業(yè)而言,如果想要實現(xiàn)本地化的RAG系統(tǒng)構(gòu)建,并在此基礎(chǔ)上滿足更多的業(yè)務(wù)需求。數(shù)據(jù)庫管理是必須要走好的第一步。基于Kubernetes云原生技術(shù)打造的沃趣QFusion數(shù)據(jù)庫私有云RDS,可以幫助用戶輕松高效的完成集群部署、備份、擴容等工作,為企業(yè)RAG系統(tǒng)提供堅實的數(shù)據(jù)基礎(chǔ)。
目前企業(yè)在部署RAG系統(tǒng)時,往往會將Ragflow或者Dify這類開源成熟的項目作為第一選擇。但便利性的背后是高可用、集群化等企業(yè)級特性的缺失。
以Dify為例,其在本地部署時,默認(rèn)使用的是「build in」模式的Weaviate,用戶需要手動配置相關(guān)參數(shù),且可配置參數(shù)也相對較少。
在Dify中配置向量數(shù)據(jù)庫
用戶雖然可以選擇調(diào)整更換不同的數(shù)據(jù)庫,但仍然挑戰(zhàn)重重:
RAG系統(tǒng)本身不提供數(shù)據(jù)庫的部署和管理能力,企業(yè)需要自行解決數(shù)據(jù)庫的高可用、備份恢復(fù)等問題。
當(dāng)企業(yè)需要同時使用多種數(shù)據(jù)庫時(如關(guān)系型數(shù)據(jù)庫存儲元數(shù)據(jù),向量數(shù)據(jù)庫存儲嵌入向量),無法通過單一平臺進行統(tǒng)一管理。
隨著知識庫規(guī)模擴大,向量檢索性能可能下降,但RAG系統(tǒng)不提供數(shù)據(jù)庫層面的性能監(jiān)控和資源擴展能力。
相比之下,QFusion提供了全面的數(shù)據(jù)安全與高可用性保障:
全鏈路備份:支持物理備份(如塊級增量備份)與邏輯備份(如Schema導(dǎo)出),冷/熱備份靈活切換,確保向量索引與原始數(shù)據(jù)一致性。
秒級恢復(fù)與容災(zāi):基于WAL日志和歸檔模式,實現(xiàn)PITR(時間點恢復(fù)),精準(zhǔn)回滾誤操作或數(shù)據(jù)損壞場景;多副本架構(gòu)支持跨區(qū)域容災(zāi),結(jié)合歸檔日志實時同步,RTO(恢復(fù)時間目標(biāo))可控制在分鐘級。
合規(guī)審計追蹤:備份操作日志與數(shù)據(jù)庫審計日志聯(lián)動,滿足數(shù)據(jù)留存與可追溯性要求。
當(dāng)用戶想用將自己的向量數(shù)據(jù)庫部署到RAG系統(tǒng)中時,又會遇到哪些問題呢?
以PostgreSQL為例,如果企業(yè)不使用QFusion,部署RAG系統(tǒng)時,僅數(shù)據(jù)庫這一單一流程就繁瑣且耗時。
但在QFusion管控下,企業(yè)可輕松部署pgvector插件,借助pgvector插件,PostgreSQL可成為RAG系統(tǒng)的高效向量存儲引擎,下面是在QFusion管控下的典型應(yīng)用流程:
QFusion顯著簡化了數(shù)據(jù)庫的部署、監(jiān)控、優(yōu)化與維護流程,特別適合需要同時使用多種數(shù)據(jù)庫技術(shù)的RAG系統(tǒng),同時為企業(yè)在RAG數(shù)據(jù)庫管理層面帶來更多可能:
動態(tài)擴縮容:分布式架構(gòu)下支持在線擴容存儲節(jié)點(如elasticsearch動態(tài)分片),存儲容量與計算資源解耦,按需橫向擴展;
混合負(fù)載隔離:通過讀寫分離和資源組配置,隔離備份任務(wù)與在線查詢的I/O競爭,保障業(yè)務(wù)連續(xù)性;
備份策略自動化:內(nèi)置策略引擎支持全量/增量/差異備份周期配置,自動清理過期備份文件,根據(jù)業(yè)務(wù)負(fù)載預(yù)測自動觸發(fā)擴容或備份任務(wù);
自服務(wù)能力:企業(yè)用戶可按需創(chuàng)建、管理數(shù)據(jù)庫實例,無需依賴人工運維,提高數(shù)據(jù)庫管理效率。
我們可以用一個簡單的demo來觀察基于PostgreSQL的RAG系統(tǒng)是如何實現(xiàn)向量化的。我們采用 Ollama 提供的 `nomic-embed-text` 模型,將文本數(shù)據(jù)進行嵌入(embedding)處理,并存儲至 PostgresSQL 數(shù)據(jù)庫中。通過 Python 代碼,我們自動化解析 Word 文檔,抽取關(guān)鍵內(nèi)容,轉(zhuǎn)換為向量并存儲,確保數(shù)據(jù)處理的高效性和準(zhǔn)確性。
在構(gòu)建本地RAG的過程中,我們還實現(xiàn)了基于 PostgresSQL 向量搜索的高效查詢功能。當(dāng)用戶提出問題時,系統(tǒng)會生成對應(yīng)的語義向量,并在數(shù)據(jù)庫中執(zhí)行相似性搜索,檢索最相關(guān)的內(nèi)容,并以上下文的形式傳遞給本地部署的DeepSeek-R1模型,回答用戶的問題。
在進行上述demo的搭建后,我們可以用一個簡單的問題來實驗下效果,當(dāng)我們輸入「QFusion平臺有什么特性」后,系統(tǒng)在思考后返回了如下內(nèi)容:
上述demo只是一個很簡單的示例,演示如何基于沃趣QFusion實現(xiàn)用自有向量數(shù)據(jù)庫構(gòu)建企業(yè)私有化RAG系統(tǒng)。當(dāng)然,除了PostgreSQL外,企業(yè)還可以選擇其他向量數(shù)據(jù)庫來構(gòu)建RAG系統(tǒng)。
QFusion不僅解決了PostgreSQL向量數(shù)據(jù)庫的管理挑戰(zhàn),其基于K8s的架構(gòu)同樣適用于管理其他類型的數(shù)據(jù)庫,包括Elasticsearch、OceanBase、MongoDB等。這種統(tǒng)一管控能力為企業(yè)提供了更大的技術(shù)選擇靈活性。
隨著AGI技術(shù)不斷向前,RAG已經(jīng)成為了越來越多企業(yè)將業(yè)務(wù)與大模型結(jié)合的利器,在這樣的背景下,底層數(shù)據(jù)庫的管理與優(yōu)化已成為關(guān)鍵挑戰(zhàn)。
沃趣QFusion數(shù)據(jù)庫私有云RDS作為基于K8s架構(gòu)的統(tǒng)一數(shù)據(jù)庫管控平臺,通過對20+數(shù)據(jù)庫的深度管控能力支持,無論企業(yè)選擇何種數(shù)據(jù)庫技術(shù)路線,QFusion都能提供一致的自服務(wù)能力、彈性擴展和高可用保障,幫助企業(yè)快速構(gòu)建高性能、可靠的大模型數(shù)據(jù)庫基礎(chǔ)設(shè)施。
服務(wù)電話: 400-678-1800 (周??周五 09:00-18:00)
商務(wù)合作: 0571-87770835
市場反饋: marketing@woqutech.com
地址: 杭州市濱江區(qū)濱安路1190號智匯中?A座1101室