高效能 SQL 叢集引擎 PGSpider 3.0.0 發布

由 Toshiba 於 2023-01-20 發布
相關開源專案

我們剛剛發布了 PGSpider v3.0.0。

PGSpider 是一個用於分散式大數據的高效能 SQL 叢集引擎。
PGSpider 可以使用 Foreign Data Wrapper (FDW) 存取多個資料來源,並垂直檢索分散式資料來源。
PGSpider 的使用方式與 PostgreSQL 相同。您可以使用任何客戶端應用程式,例如 libpq 和 psql。

此版本改進了以下項目:

  • 基於 PostgreSQL 15.0
  • 支援修改多租戶表格
  • 支援下推 SQL 子句的組合:JOIN、WHERE、aggregates、ORDER BY 和 LIMIT|OFFSET
  • 開發了 MULTI TENANT 命令
  • 開發了 PGSpider 效能測量

PGSpider 支援以下功能:

多租戶
使用者可以透過一個 SQL 輕鬆取得多個表格中的記錄。如果每個資料來源中都有具有相似結構描述的表格,PGSpider 可以將它們視為單一虛擬表格:我們稱之為多租戶表格。
關於多租戶的插入,資料會插入到第一個找到的資料來源中 (此規格將會改進)。

平行處理
PGSpider 平行執行查詢並從子節點提取結果。
PGSpider 將多租戶表格擴展到子表格,為每個子表格建立新執行緒以存取相應的資料來源。

下推
WHERE 子句、聚合函數、目標列表中的 SQL 函數會被下推到子節點。
如果查詢中的所有表格都位於單一資料來源中,JOIN 也會被下推。
當使用 AVG、STDDEV 和 VARIANCE 時,下推到多租戶表格會發生錯誤。 PGSPider 改進了這個錯誤,PGSpider 可以執行它們。如果查詢中的所有表格都位於單一資料來源中,JOIN 也會被下推。

這是由 Toshiba Software Engineering & Technology Center 開發的。
請查看儲存庫以了解詳細資訊,並告訴我們您的意見回饋。

原始碼儲存庫:https://github.com/pgspider/pgspider

此致,
片山大雅 (TAIGA Katayama)