parallel のバックアップ(No.2)

• バックアップ一覧
• ソース を表示
• parallel は削除されています。
  • 1 (2017-08-25 (金) 14:17:51)
  • 2 (2017-08-25 (金) 14:23:41)
  • 3 (2017-09-21 (木) 14:36:52)

ShellScript?

概要 †

• お手軽並列計算

早くなります †

time seq 1000 | parallel -j 1 ./a.out | sort -n
3.6s

time seq 1000 | parallel -j 8 ./a.out | sort -n
1.3s

time seq 1000 | parallel ./a.out | sort -n #指定しないとコア数分並列化
1.3s

• timeはパイプ全体の時間計測する

使用ケース †

• ファイル並列

ls orig/* | parallel -j 10 "echo < {} > {}.log"

• 行並列

cat big_size.txt | parallel --pipe -L 10000 "awk '{n+=$1}END{print n}'" > compressed

• グリッドサーチ

lr=(0 0.05 0.10)
units=(100 200 300)
parallel "./a.out {1} {2} > {1}_{2}.log" \
 ::: ${lr[@]} ::: ${units[@]}