Split

是否可以使用 GNU 並行來拆分字元數,但只提供完整的行?

  • August 2, 2021

我想根據字元數拆分輸入文件(ASCII 很好),並結合新行。也就是說,每組 10000 個字元應被視為要通過管道傳輸到子程序的一條記錄,但如果第 10000 個字元恰好不在行尾,則應包括整行(因此超過 10000提供字元)。每條線都應該被視為一個單一的實體,不能被分割。

這可能與 GNU 並行(或可能與可能有用的其他工具鏈)有關嗎?

你所要求的幾乎是:

seq 100000 | parallel --block 10k --pipe wc

它將傳遞一個大約 10000 字節的塊,wc但只會給出完整的行。

它不能保證該塊至少有 10 KB,但它最多只有一行。

引用自:https://unix.stackexchange.com/questions/662625