問題是對某一網站或所有網站進行抓取，即下載所有網頁。怎麼實現呢？
先將問題最小化（轉化的思想，轉化為小規模，可以解決的問題）：如果只有一個網頁，怎麼下載？問題變地很簡單，只要用WebClIEnt/WebRequest（甚至OpenFileDialog都可以）打開Url地址，將數據流存入本地存儲器的文件（以相應的擴展名作為擴展名）即可。示例代碼如下：
string BoardStream;//下載內容存入此變量
Uri url = new Uri( “http://www.163.com” );//將下載地址轉換為Uri類型
HttpWebRequest requestPage = ( HttpWebRequest )WebRequest.Create( url );
WebResponse response = requestMainPage.GetResponse();
Stream stream = response.GetResponseStream();//獲取頁面流
if( response.ContentType.ToLower().StartsWith( "text/" ) )//如果獲得成功（即為文本格式）
{
StreamReader reader = new StreamReader( stream , System.Text.Encoding.UTF8 );//讀取獲得內容流
BoardStream = reader.ReadToEnd();//將內容流轉換為文本並存入變量BoardStream，即為所需要的數據流
}
StreamWriter saveAPage = new StreamWriter( “C:\a.html” , false , System.Text.Encoding.GetEncoding( "gb2312" ) );//實例化寫入類，保存路徑假設為C:\a.Html
saveAPage.Write(Rich.Text);//創建寫入任務
saveAPage.Flush();//寫入文件（即清理緩存流）
saveAPage.Close();//關閉寫入類的對象
好了，這樣便完成了一個網頁的下載。最簡化問題解決！
好了，下面的問題是，如何獲得更多的網頁？可以分兩步：
1. 得到更多的地址
2. 下載地址指向的鏈接內容（和上面下載一頁的方法一樣）
循環進行上面兩步即可以完成蜘蛛的全部功能了 '
要得到更多的地址，最好的辦法是模擬人使用網頁的辦法。我們平時怎麼浏覽整個網站？無非是從主頁依次點開各層鏈接而已。好了，思路出來了：
分析已經下載的主頁文本，提取其中所有的Url地址信息，再依次下載得到的Url地址指向的鏈接即可。
現在網絡上有不少Web2.0的網站了，這對解析Url地址有不小的負面作用。在Web2.0出現前，所有的鏈接都是在HREF後面出現的，而現在卻沒有了這樣的關鍵字，地址可能出現於任何的關鍵字之後。怎麼辦呢？
經過大量分析，筆者發現：其實現在所有的鏈接還有一個共性，即都包裹在雙引號（””）當中，這便對解析提供了極大的方便。筆者將鏈接分為兩類：
1. 完整鏈接，即：”http://www.163.com”類，其前面有明顯的標志http://，這樣的內容很好提取，只要用String的靜態方法IndexOf()找出http://的位置以及從此位置算起第一個“””出現的位置（即鏈接結束的位置），再用SubString()方法將地址提取出來即可。
2. 非完整鏈接，其形式一般為”\index.htm”，提取方法和完整鏈接的方法相同，只是判斷它是不是鏈接上有一定難度（因為屬性等其它信息也可能以“”\”開頭，這時就很難判斷了。筆者采取的方法是試下載，即下載一下試試，如果超時剛不是，不超時剛是。注意：要在它的前面加上根地址，如“http://www.163.com/index.htm”。
好了，我想蜘蛛的所有功能已經實現了吧？嘿嘿'
只是這樣一個蜘蛛程序怕是效率萬般低下，因為它只有一個線程，光解析下一層的鏈接都要花上不少時間，怎麼辦呢？當然是采取更優化的辦法：多線程
