Parallelism

並行下載數據

  • December 22, 2014

我必須使用 ftp 下載 20G 的數據。我可以並行執行此操作(gnu?)這裡是一些數據連結。

ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030893/ERR030893.fastq.gz 
ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_1.fastq.gz
ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_2.fastq.gz
ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030894/ERR030894.fastq.gz
ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_1.fastq.gz
ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_2.fastq.gz

謝謝,

雖然我不知道parallel,但我知道並行下載的絕佳工具是aria2c.

以下是其手冊FTP/HTTP 部分的摘錄:

  • -s,--split=[N]
  • N使用連接下載文件。如果給出了多個NURI,則使用第一個NURI,其餘的 URI 用於備份。如果給出的 URI 數量少於NURI,則這些 URI 會被多次使用,以便N同時建立連接總數。與同一主機的連接數受--max-connection-per-server選項限制。另請參閱--min-split-size選項
  • 預設值:5

引用自:https://unix.stackexchange.com/questions/175467