這是我自己寫的一個數據采集程序，是采集一個人才網裡面人才的信息，第一次寫Blog，寫的不好不要見笑。
//先按照下面的字段創建一個數據表
以下為引用的內容： private void button1_Click(object sender, EventArgs e)
{
label1.Text = "正在采集數據……";
//遍歷數據的頁數
for (int i = 1; i <=50; i++)
{
CJ("http://www.xcjob.cn/renli.ASP?pageno=" + i);
}
label1.Text = "恭喜你采集完成！";
MessageBox.Show("恭喜你采集完成！");
}
//采集數據
private void CJ(string Url)
{
//獲得頁面源文件(Html)
string strWebContent = YM(Url);
//按照Ｈtml裡面的標簽 取出和數據有關的那段源碼
int iBodyStart = strWebContent.IndexOf("<body", 0);
int aaa = strWebContent.IndexOf("關鍵字:", iBodyStart);
int iTableStart = strWebContent.IndexOf("<table", aaa);
int iTableEnd = strWebContent.IndexOf("</table>", iTableStart);
string strWeb = strWebContent.Substring(iTableStart, iTableEnd - iTableStart);
//生成HtmlDocument
HtmlElementCollection htmlTR = HtmlTR_Content(strWeb, "tr");
foreach (HtmlElement tr in HtmlTR)
{
try
{
//姓名
XM = tr.GetElementsByTagName("a")[0].InnerText;
//獲得詳細信息頁面的網址
string a = tr.GetElementsByTagName("a")[0].GetAttribute("href").ToString();
a = "http://www.xcjob.cn" + a.Substring(11);
Content(a);
}
catch { }
}
}
//采集詳細數據
private void Content(string URL)
{
try
{
string strWebContent = YM(URL);
//按照Ｈtml裡面的標簽 取出和數據有關的那段源碼
int iBodyStart = strWebContent.IndexOf("<body", 0);
int iTableStart = strWebContent.IndexOf("浏覽次數", iBodyStart);
int iTableEnd = strWebContent.IndexOf("<table", iTableStart);
int dd = strWebContent.IndexOf("</table>", iTableEnd);
string strWeb = strWebContent.Substring(iTableEnd, dd - iTableEnd + 8);
HtmlElementCollection htmlTR = HtmlTR_Content(strWeb, "table");
foreach (HtmlElement tr in HtmlTR)
{
try
{
//年齡
nl = tr.GetElementsByTagName("tr")[1].GetElementsByTagName("td")[1].InnerText;
//性別
string XB_SG = tr.GetElementsByTagName("tr")[1].GetElementsByTagName("td")[3].InnerText;
XB = XB_SG.Substring(0, 1);
//身高
SG = XB_SG.Substring(11);
//政治面貌
mm = tr.GetElementsByTagName("tr")[2].GetElementsByTagName("td")[1].InnerText;
//民族
MZ = tr.GetElementsByTagName("tr")[2].GetElementsByTagName("td")[3].InnerText;
//學歷
XL = tr.GetElementsByTagName("tr")[3].GetElementsByTagName("td")[1].InnerText;
//婚煙狀況
HK = tr.GetElementsByTagName("tr")[3].GetElementsByTagName("td")[3].InnerText;
//所學專業
ZY = tr.GetElementsByTagName("tr")[5].GetElementsByTagName("td")[1].InnerText;
//工作經驗
GZJY = tr.GetElementsByTagName("tr")[5].GetElementsByTagName("td")[3].InnerText;
//在職單位
ZZDW = tr.GetElementsByTagName("tr")[6].GetElementsByTagName("td")[1].InnerText;
//在職職位
ZZZW = tr.GetElementsByTagName("tr")[6].GetElementsByTagName("td")[3].InnerText;
//工作經歷
GZJY = tr.GetElementsByTagName("tr")[7].GetElementsByTagName("td")[1].InnerText;
//要求月薪
YX = tr.GetElementsByTagName("tr")[9].GetElementsByTagName("td")[1].InnerText;
//工作性質
GZXZ = tr.GetElementsByTagName("tr")[9].GetElementsByTagName("td")[3].InnerText;
//求職意向
QZYX = tr.GetElementsByTagName("tr")[10].GetElementsByTagName("td")[1].InnerText;
//具體職務
JTZW = tr.GetElementsByTagName("tr")[10].GetElementsByTagName("td")[3].InnerText;
//期望工作地
QWGZD = tr.GetElementsByTagName("tr")[11].GetElementsByTagName("td")[1].InnerText;
//教育情況，語言水平，技術專長
QT = tr.GetElementsByTagName("tr")[13].GetElementsByTagName("td")[1].InnerText;
insert();
}
catch
{ }
}
}
catch { }
}
//將數據插入數據庫
private void insert()
{
try
{
string str = "Provider=Microsoft.Jet.OleDb.4.0;Data Source=Data.mdb";
string sql = "insert into 人才信息 (姓名,年齡,性別,身高,政治面貌,民族,學歷,婚煙狀況,所學專業,";
sql += "工作經驗,在職單位,在職職位,工作經歷,要求月薪,工作性質,求職意向,具體職務,期望工作地,其他) values ";
sql += "('" + XM + "'," + nl + ",'" + XB + "','" + SG + "','" + mm + "','" + MZ + "','" + XL + "','" + HK + "','" + ZY + "','" + GZJY + "','" + ZZDW + "','" + ZZZW + "',";
sql += "'" + GZJY + "','" + YX + "','" + GZXZ + "','" + QZYX + "','" + JTZW + "','" + QWGZD + "','" + QT + "')";
OleDbConnection con = new OleDbConnection(str);
OleDbCommand com = new OleDbCommand(sql, con);
con.Open();
com.ExecuteNonQuery();
con.Close();
}
catch { }
}
//返回一個HtmlElementCollection,然後進行查詢內容
private HtmlElementCollection HtmlTR_Content(string strWeb, string tj)
{
try
{
//生成HtmlDocument
WebBrowser webb = new WebBrowser();
webb.Navigate("about:blank");
//window.document返回一個htmldocument對象，表示對一個Html文檔的操作
//Htmldocument對象是在xmldocument基礎上建立的，具有XMLdocument的一切方法屬性
HtmlDocument Htmldoc = webb.Document.OpenNew(true);
Htmldoc.Write(strWeb);
HtmlElementCollection htmlTR = Htmldoc.GetElementsByTagName(tj);
return HtmlTR;
}
catch { return null; }
}
//獲得網址原代碼
private string YM(string Url)
{
string strResult = "";
try
{
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);
request.Method = "GET";
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream streamReceive = response.GetResponseStream();
Encoding encoding = Encoding.GetEncoding("GB2312");
StreamReader streamReader = new StreamReader(streamReceive, encoding);
strResult = streamReader.ReadToEnd();
}
catch { }
return strResult;
}
}
//這個程序寫的不是太好，全都是用for循環遍歷出來的，效率不是太高，那位高手可以使用 多線程 指點一下
