如果我們使用兩臺(tái)，三臺(tái)甚至更多的電腦并行處理這些圖片數(shù)據(jù)，那將會(huì)節(jié)約很多的時(shí)間。既然能節(jié)約大量的時(shí)間，那就讓我們用多臺(tái)電腦在Debian/Ubuntu上一起處理吧。Ubuntu建基于Debian發(fā)行版和GNOME桌面環(huán)境，與Debian的不同在于它每6個(gè)月會(huì)發(fā)布一個(gè)新版本。你是否認(rèn)為讓多臺(tái)電腦協(xié)同工作需要繁雜的系統(tǒng)配置?在Oropo面前，你那過(guò)時(shí)的想法就是NO。下面讓我們看看配置有多么的簡(jiǎn)單。

沒(méi)有實(shí)際例子是很難說(shuō)清楚配置過(guò)程的。就讓我們從處理海量圖片的實(shí)例來(lái)說(shuō)明問(wèn)題吧。***種解決此問(wèn)題的方法是在一臺(tái)電腦上日以繼夜的處理這些圖片;第二種解決方法則是在多臺(tái)電腦上平行批量處理這些圖片。

問(wèn)題描述：

要處理一萬(wàn)張圖片，而且每張圖片都有很高的品質(zhì)，目標(biāo)是為每張圖片創(chuàng)建一個(gè)體積較小的副本。而libjpeg庫(kù)為這個(gè)問(wèn)題提供了恰當(dāng)?shù)慕鉀Q方案。

libjpeg庫(kù)中有用的程序：

djpeg - 將JPEG文件解壓成位圖文件

cjpeg - 將位圖文件壓縮成JPEG文件

腳本適合處理單個(gè)圖片

參數(shù)： 圖片文件路徑

結(jié)果： 生成體積較小的圖片

下面是bash范例腳本：

Script make_smaller.sh  
 
#!/bin/bash  
 
QUALITY=30 
 
if [ $# -ne 1 ]; then  
 
echo "arguments" 1>&2  
 
exit 1;  
 
fi  
 
FILE_PATH=$1  
 
djpeg $FILE_PATH | cjpeg -quality $QUALITY 

順序處理：

調(diào)用make_smaller.sh腳本將順序處理每張圖片

順序處理腳本

#!/bin/bash  
 
MAKE_SMALLER=$PWD/make_smaller.sh  
 
IMGS_DIR=$PWD/imgs  
 
TARGET_DIR=$PWD/imgs_smaller  
 
for file in $IMGS_DIR/*; do  
 
bash $MAKE_SMALLER $file > $TARGET_DIR/${file##*/}  
 
done 

并發(fā)處理：

我們可以使用Oropo Executor system來(lái)處理這些圖片。處理圖片的任務(wù)將會(huì)添加到一給任務(wù)隊(duì)列，然后在多臺(tái)電腦上并行處理這些任務(wù)。每張圖片都會(huì)被make_smaller.sh腳本處理。

并行處理腳本：

#!/bin/bash  
 
MAKE_SMALLER=$PWD/make_smaller.sh  
 
IMGS_DIR=$PWD/imgs  
 
for file in $IMGS_DIR/*; do  
 
oropo-system-pusher -p "string:bash" -p "path:$MAKE_SMALLER" -p "path:$file"  
 
done 

處理結(jié)果存放在 /var/lib/oropo/response/*/0 文件中

摘要：

前面段落說(shuō)到的兩種處理方式對(duì)比：***種方法只使用一臺(tái)電腦處理;而第二種方法使用多臺(tái)電腦并行處理。兩種方法的部署難度幾乎相等，而采用第二種處理方法將節(jié)約大量的時(shí)間。

Oropo項(xiàng)目介紹

官方網(wǎng)站： http://www.oropo.org/

安裝指南

在多臺(tái)電腦上部署Oropo需要在中央控制節(jié)點(diǎn)機(jī)器上安裝Oropo System，并且在其他節(jié)點(diǎn)機(jī)器上安裝Oropo Executor進(jìn)行運(yùn)算處理(中央節(jié)點(diǎn)機(jī)器也可以安裝并進(jìn)行運(yùn)算)。

Oropo 軟件安裝包位于oropo軟件倉(cāng)庫(kù)中，你需要通過(guò)下面步驟安裝對(duì)應(yīng)的軟件包。

在每個(gè)運(yùn)算節(jié)點(diǎn)電腦上進(jìn)行配置：

在/etc/apt/sources.list文件開始添加下面一行：

deb http://students.mimuw.edu.pl/~ms209495/oropo/debian sid main 

執(zhí)行命令：

apt-get update 

在中央控制機(jī)器上安裝Oropo System

執(zhí)行如下命令：

apt-get install oropo-system 

在節(jié)點(diǎn)運(yùn)算機(jī)器上安裝Oropo Executor

執(zhí)行如下命令：

apt-get install oropo-executor 

配置：

中央控制機(jī)配置：

將本機(jī)添加到oropo集群并得到足夠的權(quán)限

adduser 'whoami' oropo 

在Oropo System種添加運(yùn)算節(jié)點(diǎn)機(jī)器地址

oropo-monitor-ctl --id_prefix oropomonitor --add node1_ip_address  
 
oropo-monitor-ctl --id_prefix oropomonitor --add node2_ip_address  
 
oropo-monitor-ctl --id_prefix oropomonitor --add nodeN_ip_address 

配置完這些就可以使用Oropo System控制集群進(jìn)行并行運(yùn)算處理了，怎么樣，簡(jiǎn)單吧!

總結(jié)：

希望本文介紹的在多臺(tái)Ubuntu上使用Oropo處理海量圖片的方法能夠?qū)ψx者有所幫助，更多有關(guān)linux系統(tǒng)的知識(shí)還有待于讀者去探索和學(xué)習(xí)。