Compression

Syslog TLS 壓縮和消息緩衝

  • October 12, 2013

在我工作的地方,我們在我們的主數據中心和為我們執行一些 Oracle PaaS 的第三方數據中心之間建立了一個站點到站點的 VPN 隧道。由於他們按 VM 收費,因此我們正在監視本地 VM 上的 Oracle 審計日誌,該 VM 正在為安全和審計部門執行分析。第三方(或者更確切地說是其中的一個部門)抱怨由於 syslog 而通過隧道的網路流量。

它目前在 udp/514 上執行未加密,所以我想我需要做一些壓縮。經過一些研究,看起來rsyslog(第三方正在使用的)和syslog-ng(我們正在使用的)都支持TLS 壓縮。我們有空閒的 CPU 週期,第三方的網路團隊只是在抱怨,因為顯然這會影響他們的 SLA。

我的問題是這樣的:

有什麼方法可以rsyslog一次將多條消息批量處理(比如超過五分鐘的視窗)並將它們syslog-ng一次全部發送到我們的伺服器?

我對此感興趣的原因是因為我們將切換到 TCP,這將產生更多成本。據我了解,大多數壓縮方法都會對冗餘數據進行替換,我想這會是系統日誌消息流的情況。目標是將批處理放在一起,然後在傳輸之前刪除冗餘部分。

聽起來像rsyslog 排隊可能會做你想做的事。消息也可以儲存起來,以便在非高峰時段傳輸。

具體來說,如下:

“$QueueDequeueSlowdown”指令允許指定出隊應該延遲多長時間(以微秒為單位)。

引用自:https://unix.stackexchange.com/questions/94447