pgBadger 3 發布:現在具有平行解析功能

發佈於 2013-02-26,作者:Dalibo

DALIBO 很榮幸地宣布推出 pgBadger v3,這是一款全新的 PostgreSQL 日誌分析器。pgBadger 專為速度而打造,可從您的 PostgreSQL 日誌文件生成完整詳細的報告。

這個新版本帶來了顯著的改進。所有 pgBadger 用戶都應盡快升級。

pgBadger 3 平行日誌解析

pgBadger 的第一個版本僅限於一個 CPU。PostgreSQL 日誌文件依序掃描。分析非常大的日誌文件可能需要幾個小時。

現在已移除此限制。您可以使用任意數量的 CPU 核心並平行掃描您的日誌。

要啟用平行處理,您只需使用 -j N 選項,N 為您要使用的核心數。

請注意,平行模式有一些小缺點。使用這種方法,某些查詢可能會被截斷。如果您啟用 N 個核心,則結果最多可能在每個日誌文件中相差 N 個查詢。

然而,這是一個小問題:如果您有數百萬個查詢要分析,平行模式會很有趣。如果您在日誌文件中有數百萬個查詢,您可以承受損失幾個查詢,因為不太可能這些遺失的查詢會改變整體結果。

但是,為了避免這個問題,您可以使用 pgBadger 的 "per-file 平行模式" 來分析您的日誌,但性能低於標準平行模式。要啟用此行為,您必須使用 "-J N" 選項而不是 "-j N"。在 per-file 模式下,當有數百個小型日誌文件(例如,10MB 輪替大小限制)且至少有 8 個核心時,性能才會真正變得有趣。

pgBadger 3 有多快?

目標是允許 pgBadger 使用指定數量的核心來進行平行日誌解析。以下是使用 pgbadger 在五個日誌文件上(總共 9.5 GB)的一些性能結果

  • 使用 1 個核心 => 1 小時 41 分 18 秒
  • 使用 2 個核心 => 50 分 25 秒
  • 使用 4 個核心 => 25 分 39 秒
  • 使用 8 個核心 => 15 分 58 秒

我們認為這種性能提升非常有趣 :)

新的二進位格式

除了經典的 HTML、TXT 和 Tsung 輸出格式外,pgBadger 3 現在還可以生成二進位輸入/輸出格式。如果您只想儲存日誌統計數據並稍後生成帶有圖表的 HTML 報告,此新格式會很有用。

簡而言之,pgBadger 的兩個主要活動是解析和報告。使用這種二進位格式,您現在可以拆分這些活動並在不同的時間運行它們。例如,您可以每天解析一次日誌,並且僅在需要時生成 HTML 報告。

您還可以合併多個二進位檔案。例如,您可以每週建立一個二進位報告,並彙總過去 4 週的報告以建立 HTML 格式的每月報告。

這種新的二進位格式也與其他工具相容,例如 pgShark https://github.com/dalibo/pgshark/

更多統計數據,更多圓餅圖!

這個主要版本還具有其他功能

  • 新的圓餅圖顯示每個表的 autovacuum 數量以及每個表通過 autovacuum 移除的元組數量
  • 不再區分 log_duration、log_statement 和 log_min_duration_statement 格式
  • 在按表 VACUUM 的報告中,新的元組/頁面移除報告
  • 新的 VACUUM 和 ANALYZE 每小時報告和圖表

... 以及許多錯誤修復。

有關完整的變更列表,請查看 https://github.com/dalibo/pgbadger/blob/master/ChangeLog 上的發布說明

已棄用的選項

警告:為了簡化起見,已移除 ''--enable-log_min_duration'' 和 ''--enable-log_duration'' 命令列選項。pgbadger 現在會解析任何 log_duration、log_statement 和 log_min_duration_statement 行,不加區別,並根據這些行調整報告。

如果您使用 cron 運行 pgBadger,請注意:如果其中一個選項出現在命令列中,pgbadger 將拒絕啟動。

連結 & 致謝

DALIBO 感謝提交修補程式的開發人員以及報告錯誤和功能請求的用戶,特別是 Matt Romaine、Luke Cyca、Kevin Brannen、Adam Schroder、pilat66、Euler Taveira de Oliveira、stuntmunkee、pierrestroh、Vipul、Dirk-Jan Bulsink 和 Vincent Laborie。

pgBadger 是一個開放專案。歡迎任何為建立更好的工具所做的貢獻。您只需使用 GitHub 工具或直接在我們的郵件列表中發送您的想法、功能請求或修補程式。

連結


關於 pgBadger :

pgBagder 是 PostgreSQL 的新一代日誌分析器,由 ora2pg 遷移工具的作者 Gilles Darold 創建。pgBadger 是一個快速且易於使用的工具,可以分析您的 SQL 流量並建立具有動態圖表的 HTML5 報告。pgBadger 是一個完美的工具,可以了解您的 PostgreSQL 伺服器的行為並識別需要最佳化的 SQL 查詢。

文件、下載 & 演示位於 http://dalibo.github.com/pgbadger/


關於 DALIBO :

DALIBO 是法國領先的 PostgreSQL 公司,自 2005 年以來一直為其客戶提供支援、培訓和諮詢服務。該公司以各種方式為 PostgreSQL 社群做出貢獻,包括:代碼、文章、翻譯、免費會議和研討會

查看 DALIBO 的開放原始碼專案,網址為 http://dalibo.github.com