Linux 於 Shell 不想寫程式，又想要程式可以平行處理，可以使用 parallel 來處理。
Linux 使用 parallel 來同時平行多工處理
Parallel 的程式簡介
- parallel – build and execute command lines from standard input in parallel
parallel 安裝步驟
- sudo apt install parallel
parallel 的功能非常多，建議先 man parallel 來查看，下面只有先列列範例參考看看：
- seq -w 0 100 | parallel -j 8 touch {}.txt
- seq -w 0 9999 | parallel -j 8 rm pict{}.jpg
- find . -name ‘.jpg’ | parallel convert -geometry 120 {} {}_thumb.jpg
- find . -type d -name “.svn” -print | parallel rm -rf # 取代 xargs, find . -type d -name “.svn” -print | xargs rm -rf
- cat file.txt | parallel -j 8 –pipe -L 50000 import_script
- -j 8：並行 jobs 的數量，不想並行執行可以設為 1。若不加 -j，則預設為每個 CPU 執行一個 job
- –pipe：從 stdin 讀取, 再將 stdin 的資料分給各個jobs
- -L N: 一次最多讀取N行
使用 parallel 同時傳送命令到各台機器
- echo “command” | parallel –onall –slf servers.txt
- ex: echo “ls” | parallel –onall –slf servers.txt # servers.txt (w1.example.com, w2.example.com.. 一行一個 domain name)
- echo “grep QueryKeyword /var/log/apache2/access.log” | parallel –onall –slf servers.txt
相關網頁
- GNU Parallel tutorial
- GNU Parallel: 並行執行 Linux 命令
- How To Use Your Entire CPU In Bash With Parallel
- Distributed Log Search Using GNU Parallel
- 15分鐘神器 gnu parallel 入門觀
- GNU Parallel videos – YouTube 教學影片
