Gnu-Parallel

沒有參數腳本的 gnu 並行

  • December 16, 2018

我有 4 個核心和 4 個 python 腳本文件preprocess0.py, preprocess1.py, preprocess2.py, preprocess3.py. 我想使用 GNU 並行執行這 4 個程序parallel。我沒有輸入文件。輸入文件在每個文件中都是硬編碼*.py的(它是只讀的,所以沒關係)。我想將結果輸出到file0.csvfile3.csv文件。就我而言,這是:

parallel -j4 --progress python preprocess*.py ::: '>' ./file{}.csv

但它只是呆在那里而不寫任何東西,就好像在等待一些輸入一樣。

語法是:

parallel -j4 --progress 'python {} > ./file{}.csv' ::: preprocess*.py

這將創建名為filepreprocess1.py.csv…的文件您可以使用

parallel -j4 --progress 'python {} > ./file{#}.csv' ::: preprocess*.py

而是使用作業編號並獲取一些file1.csv… 文件。或者,如果您想提取文件名的編號:

parallel -j4 --progress 'python {} > ./file{=s/[^\d]//g=}.csv' ::: preprocess*.py

引用自:https://unix.stackexchange.com/questions/206332