我們剛剛發布了 PGSpider v4.0.0。
此版本基於 PostgreSQL 16 並修正了一些錯誤。
PGSpider 是用於分散式大數據的高效能 SQL 叢集引擎。
PGSpider 可以使用外部資料包裝器 (Foreign Data Wrapper, FDW) 存取多個資料來源,並垂直檢索分散式資料來源。
PGSpider 的使用方式與 PostgreSQL 相同。您可以使用任何客戶端應用程式,例如 libpq 和 psql。
PGSpider 支援以下功能
多租戶
使用者可以透過一個 SQL 輕鬆取得多個表格中的記錄。如果每個資料來源中都有具有相似結構描述的表格,PGSpider 可以將它們視為一個虛擬表格:我們將其稱為多租戶表格。
關於多租戶表格的插入,資料會透過循環配置資源演算法分散插入到資料來源中(此規格已從先前版本改進)。
平行處理
PGSpider 並行執行查詢並從子節點獲取結果。
PGSpider 將多租戶表格擴展到子表格,並為每個子表格創建新執行緒以存取相應的資料來源。
下推
WHERE 子句、聚合函數、目標列表中的 SQL 函數會被下推到子節點。如果查詢中的所有表格都位於單一資料來源中,則 JOIN 也會被下推。
當使用 AVG、STDDEV 和 VARIANCE 時,下推到多租戶表格會發生錯誤。PGSPider 改善了此錯誤,PGSpider 可以執行它們。如果查詢中的所有表格都位於單一資料來源中,JOIN 也會被下推。
這是由 Toshiba Digital Innovation Technology Center 開發的。
請參閱儲存庫以了解詳細資訊,並告訴我們您的回饋。
原始碼儲存庫:https://github.com/pgspider/pgspider
此致,
TAIGA Katayama