Shell
管道拆分命令未執行
我被難住的相當直截了當的問題。我有一個
twarc
正在執行的命令行實用程序。這可以建構相當大的文件。我想讓這個執行並生成 5GB 大小的文件,以便於下游處理。我正在嘗試執行以下命令:twarc "wordlist" > outputfile.jsonl | split -b 5G
但是,該文件在一夜之間達到了 10.4GB。我可以
| split -b 5G
手動執行,但我不想這樣做。我正在使用 split (GNU coreutils 8.25) 和 Windows Linux 子系統。
從評論跟進,答案一直擺在我面前!
問題是我正在將命令的標準輸出寫入文件,這實際上結束了命令。為了將它通過管道分成 split 我需要不寫入文件。例如:
twarc "wordslist" | split -b 1G
希望對某人有所幫助!