Cluster

多機床本著moreutils的“並行”精神?

  • October 3, 2014

parallelmoreutils是一個很好的工具,它可以在 CPU 上平均分配獨立任務mn有人知道可以為多台機器完成相同任務的工具嗎?這樣的工具當然不必了解多台機器或網路或任何類似的概念——我只是在談論將m任務分配到N 集群中,集群中的i N_i任務是並行執行的。

今天我使用我自己的 BASH 腳本來完成同樣的事情,但更精簡和乾淨的工具會很棒。有人知道嗎?

GNU Parallel 可以做到這一點以及更多(使用 ssh)。

它甚至可以處理混合速度的機器,因為它只是有一個作業隊列,這些作業在機器列表上啟動(例如,每個 CPU 核心一個)。當一項作業完成時,另一項作業開始。

所以它不會在開始之前將作業分成集群,而是動態地進行。

觀看介紹影片以了解更多資訊:http: //pi.dk/1

引用自:https://unix.stackexchange.com/questions/32949