Parquet S3 FDW 1.0.0 版本釋出

發布於 2023-01-20,作者:Toshiba
相關開源專案

我們剛剛釋出了 Amazon S3 上 Parquet 檔案的外來資料封裝器 (Foreign Data Wrapper) 1.0.0 版本。

此版本可與 PostgreSQL 13、14 和 15 搭配使用。

此版本改進了以下項目(相較於 0.3.0):

  • 支援 PostgreSQL 15.0
  • 支援修改功能
  • 支援 aws region 和 endpoint 選項
  • 修正檔案名稱包含空格時,資料重複的問題
  • 允許插入資料,無需鍵值欄位 (key column)

此 FDW 支援以下功能:

  • 支援從本機檔案系統或 Amazon S3 上的 parquet 檔案進行 SELECT 查詢
  • 支援 INSERT、DELETE、UPDATE(外來修改)。
  • 支援透過 MinIO 存取,取代 Amazon S3。
  • 允許控制外來伺服器是否在事務完成後保持連線開啟。 此功能由 keep_connections 控制,預設為開啟 (on)。
  • 支援 parquet_s3_fdw 函數 parquet_s3_fdw_get_connections() 以報告開啟的外來伺服器連線。
  • 支援透過指定目錄路徑,為目錄中的多個檔案建立外來資料表。
  • 支援無結構模式,允許使用 jsonb 類型的欄位,在不變更表格定義的情況下存取資料檔案中的元素。

此專案由 Toshiba Software Engineering & Technology Center 開發。
請參閱儲存庫以了解詳細資訊。
原始碼儲存庫:https://github.com/pgspider/parquet_s3_fdw