我們剛發布了全新的 PGSpider 擴充套件 (pgspider_ext)。
這是一個用於構建高效能 SQL 叢集引擎以處理分散式大數據的擴充套件。
PGSpider 讓 PostgreSQL 能夠使用 Foreign Data Wrapper (FDW) 存取多個資料來源,並垂直檢索分散式的資料來源。
主要功能是:
* 節點分割資料表
使用者可以透過一個 SQL 輕鬆取得某些資料來源上多個資料表的記錄。
如果存在 2 個具有以下記錄的資料來源:
SELECT * FROM t1_node1; -- @node1
i | t
----+---
10 | a
11 | b
(2 rows)
SELECT * FROM t1_node2; -- @node2
i | t
----+---
20 | c
21 | d
(2 rows)
PGSpider 能夠使用節點識別碼欄位(例如)來收集這些記錄:
SELECT * FROM t1;
i | t | node
----+---+-------
10 | a | node1
11 | b | node1
20 | c | node2
21 | d | node2
(4 rows)
平行處理
PGSpider 可以平行地從資料來源獲取結果。
下推
PGSpider 可以將 WHERE 子句和聚合函數下推至資料來源。
可推送性取決於資料來源 FDW。
這是由 Toshiba Software Engineering & Technology Center 所開發。
原始碼儲存庫:https://github.com/pgspider/pgspider_ext
此致,
Mototaka Kanematsu