Parallelism
並行下載數據
我必須使用 ftp 下載 20G 的數據。我可以並行執行此操作(gnu?)這裡是一些數據連結。
ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030893/ERR030893.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_1.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_2.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030894/ERR030894.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_1.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_2.fastq.gz
謝謝,
雖然我不知道
parallel
,但我知道並行下載的絕佳工具是aria2c
.以下是其手冊FTP/HTTP 部分的摘錄:
-s
,--split=[N]
N
使用連接下載文件。如果給出了多個N
URI,則使用第一個N
URI,其餘的 URI 用於備份。如果給出的 URI 數量少於N
URI,則這些 URI 會被多次使用,以便N
同時建立連接總數。與同一主機的連接數受--max-connection-per-server
選項限制。另請參閱--min-split-size
選項- 預設值:5