複雜查詢so easy ,GaussDB(for Cassandra)推Lucene引擎全新解決方案

語言: CN / TW / HK
摘要:複雜查詢so easy!GaussDB(for Cassandra)新特性來襲。

本文分享自華為雲社群《來了!GaussDB(for Cassandra)新特性亮相》,作者:GaussDB 資料庫 。

今天,華為雲GaussDB(for Cassandra)攜Lucene引擎全新解決方案來啦!

當前,網際網路、大資料飛速發展,資料量呈爆發式增長,在高併發、高可用、高擴充套件的業務需求推動下,NoSQL資料庫成為了越來越多業務場景的剛需。但在查詢方面,傳統的NoSQL卻有一定的侷限性,嚴格來說,像開源MongoDB、Cassandra、Hbase等都不具備海量資料的多維查詢、文字檢索、統計分析等能力。多數企業仍然在尋求一套更完美的NoSQL解決方案。

華為雲原生多模資料庫GaussDB NoSQL擁有強大的生態體系,支援鍵值、寬表、文件、時序四種引擎介面。其中,寬表引擎介面GaussDB(for Cassandra)現已釋出Lucene二級索引功能,既具備NoSQL的優勢,又能支援多種複雜查詢場景,全面提升使用者在海量資料場景下的查詢體驗,憑實力寵粉!相信大家一定有很多疑問,GaussDB(for Cassandra)是什麼?二級索引如何使用?Lucene二級索引又有哪些區別?彆著急,接下來讓我們一一解讀。

什麼是GaussDB(for Cassandra)?

GaussDB(for Cassandra)是一款華為自研、採用計算儲存分離架構的分散式雲資料庫,在高效能、高可用、高可靠、高安全、可彈性擴縮容的基礎上,提供了一鍵部署、備份恢復、監控告警等服務能力;並高度相容開源Cassandra介面,提供高讀寫效能。當前已經廣泛應用於IoT、氣象、網際網路、遊戲等諸多領域。

什麼是二級索引?

我們先來了解下索引的概念。索引是為了加快資料檢索速度而建立的一種儲存結構,是一種以空間換時間的設計思想。作用可以理解為書的目錄,通過目錄可快速定位到所需要的內容。

在Cassandra中,Primary Key就是索引(也被稱為一級索引),在查詢的時候,根據Primary Key可以直接檢索到對應的記錄。而二級索引又稱輔助索引,是為了幫助定位到一級索引,然後再根據一級索引找到對應記錄。我們平時使用CREATE INDEX語句建立的就是二級索引。

當前Cassandra二級索引的痛點有哪些?

原生Cassandra中二級索引的實現其實是建立了一張隱式的表,該表的Primary Key是建立索引的列,值為對應的Primary Key,實現相對簡單,因此不可避免地帶來了一些約束條件:

1.第一主鍵只能用“=”查詢;

2.第二主鍵可以使用“=、>、<、>=、<=”;

3.索引列只支援“=”查詢;

4.刪除、更新太過頻繁的列不適合建立索引;

5.High-cardinality列不適合做索引;

基於以上約束,Cassandra二級索引能提供的查詢功能非常有限。

Why Lucene?

Lucene是當下最火的開源全文檢索引擎工具,具有以下特點:

1.穩定、索引效能高;

2.是高效、準確、高效能的搜尋演算法;

3.具備豐富的查詢型別:支援短語查詢、萬用字元查詢、近似查詢、範圍查詢等;

4.有強大的開源社群支援,可維護性好;

因此,用整合Lucene引擎來補充Cassandra查詢能力的弱點是最佳選擇,畢竟誰又會拒絕一款效能穩定、持續成長、又更新迭代的搜尋引擎呢?

Lucene引擎強大的倒排索引和列式儲存能力,賦予了GaussDB(for Cassandra)高效的多維查詢、文字檢索、統計分析等能力,在使用體驗上和原生二級索引相似,但同時擁有了更為豐富的語法支援。

使用Lucene二級索引後,我的查詢發生了哪些變化?

更加靈活的查詢、過濾方式:

所有查詢均可不帶PK或者帶部分PK,並且索引列支援 “>、<、in”等操作符,使用者不需要再侷限於只使用“=”。

強大的文字檢索能力:

文字檢索能力正是Lucene最擅長的,使用起來十分方便,只需要通過關鍵詞like即可實現。

你可以這樣:

SELECT * FROM example WHERE field LIKE 'test%';   // 字首查詢

也可以這樣:

SELECT * FROM example WHERE field LIKE 'start*end';   // 正則匹配

還可以這樣:

SELECT * FROM example WHERE field LIKE '%+lucene +index%';   // 全文搜尋功能,效能高效,穩定

支援超萬億規格的大資料量統計:

select count(*) from example where pk > 1 and expr(lucene_index, 'count');  

多種刪除方式:

支援single單行刪除、partition分割槽刪除、range範圍刪除,全方位覆蓋各種刪除場景。

DELETE FROM example WHERE pk1='a' AND field=1;   // single單行刪除
DELETE FROM example WHERE pk1='a' AND pk2=5000;   // partition分割槽刪除
DELETE FROM example WHERE pk1='a' AND pk2=3000 AND ck1=2 AND ck2>'a' AND ck2<'c';   // range範圍刪除

支援擴充套件json查詢介面,輕鬆應對各種複雜查詢場景:

擴充套件的json查詢介面提供了豐富的查詢語法,用法更多樣化。以下是關鍵字列表:

舉個栗子:

SELECT * FROM example WHERE EXPR(index_field, '{"filter": {"bool": {"should": [{"bool": {"should": [{"bool": {"must": [{"bool": {"should": [{"range": {"ck1": {"lt": 2}, "ck1": {"gte": 4}}}]}}, {"bool": {"should": [{"range": {"field1": {"lt": 2}, "field1": {"gt": 3}}}]}}]}}, {"bool": {"should": [{"term": {"pk1": "a", "pk1": "b", "pk1": "c"}}]}}]}}, {"bool": {"must": [{"range": {"field2": {"gte":5, "lte": 15}, "pk2": {"gt": 2000}}}]}}]}}}')

通過條件組合加巢狀,您可以DIY符合自身業務的sql語句,並且最高支援200層json巢狀,再複雜的場景也能處理!

華為雲GaussDB(for Cassandra)搭載Lucene引擎,通過Lucene二級索引將搜尋能力下沉至底層,從根本上解放了應用層查詢,兼具多維查詢、文字檢索、統計分析等多種能力,可以完美地彌補NoSQL弱查詢功能的短板,讓企業從容應對海量資料的複雜查詢場景。還等什麼,速來體驗吧!

附錄

本文作者:華為雲高斯Cassandra團隊

更多技術文章,請關注高斯Cassandra官方部落格:https://bbs.huaweicloud.com/community/usersnew/id_1563519101830986

 

點選關注,第一時間瞭解華為雲新鮮技術~