PGSpider 擴充套件全新發布

發布於 2021-08-30,作者:Toshiba
相關開源專案

我們剛發布了全新的 PGSpider 擴充套件 (pgspider_ext)。

這是一個用於構建高效能 SQL 叢集引擎以處理分散式大數據的擴充套件。
PGSpider 讓 PostgreSQL 能夠使用 Foreign Data Wrapper (FDW) 存取多個資料來源,並垂直檢索分散式的資料來源。

主要功能是:
* 節點分割資料表
使用者可以透過一個 SQL 輕鬆取得某些資料來源上多個資料表的記錄。
如果存在 2 個具有以下記錄的資料來源:

    SELECT * FROM t1_node1; -- @node1
       i | t
     ----+---
      10 | a
      11 | b
    (2 rows)

    SELECT * FROM t1_node2; -- @node2
       i | t
     ----+---
      20 | c
      21 | d
    (2 rows)

PGSpider 能夠使用節點識別碼欄位(例如)來收集這些記錄:

    SELECT * FROM t1;
      i | t | node
    ----+---+-------
     10 | a | node1
     11 | b | node1
     20 | c | node2
     21 | d | node2
     (4 rows)
  • 平行處理
    PGSpider 可以平行地從資料來源獲取結果。

  • 下推
    PGSpider 可以將 WHERE 子句和聚合函數下推至資料來源。
    可推送性取決於資料來源 FDW。


這是由 Toshiba Software Engineering & Technology Center 所開發。
原始碼儲存庫:https://github.com/pgspider/pgspider_ext

此致,
Mototaka Kanematsu