Shell

管道拆分命令未執行

  • October 3, 2020

我被難住的相當直截了當的問題。我有一個twarc正在執行的命令行實用程序。這可以建構相當大的文件。我想讓這個執行並生成 5GB 大小的文件,以便於下游處理。我正在嘗試執行以下命令:

twarc "wordlist" > outputfile.jsonl | split -b 5G

但是,該文件在一夜之間達到了 10.4GB。我可以| split -b 5G手動執行,但我不想這樣做。

我正在使用 split (GNU coreutils 8.25) 和 Windows Linux 子系統。

從評論跟進,答案一直擺在我面前!

問題是我正在將命令的標準輸出寫入文件,這實際上結束了命令。為了將它通過管道分成 split 我需要不寫入文件。例如:

twarc "wordslist" | split -b 1G

希望對某人有所幫助!

引用自:https://unix.stackexchange.com/questions/612733