八、其他部分的實現
到現在為止,網絡蜘蛛所有核心代碼都已經完成了。下面讓我們做一個界面來使下載過程可視化。界面如圖3所示。
圖3
這個界面主要通過一個定時器每2秒鐘獲得個一次網絡蜘蛛的下載狀態。包括獲得的URL數和已經下載的網絡資源數。其中這些狀態信息都保存在一個Common類的靜態變量中。Common類和主界面的代碼請讀者參閱本文提供的源代碼。
九、結束語
至此,網絡蜘蛛程序已經全部完成了。但在實際應用中,光靠一台機器下載整個的網絡資源是遠遠不夠的。這就需要通過多台機器聯合下載。然而這就會給我們帶來一個難題。就是這些機器需要對已經下載的Url進行同步。讀者可以根據本文提供的例子,將其改成分布式的可多機同時下載的網絡蜘蛛。這樣網絡蜘蛛的下載速度將會有一個質的飛躍。