在Web 2.0時代,很多網站采用AJax技術實現,帶來較好用戶體驗的代價是,Javascript得到的內容搜索引擎無法爬到,Google也正在研究此種技術。本文討論ASP.Net程序生成的鏈接,爬蟲如何能爬進去的問題。
問題:某網站出現的數據列表分頁顯示,而上一頁和下一頁都是用__doPostBack提交到後台處理,如Javascript:__doPostBack('ucInfoListMore$gridInfoList$_ctl21$_ctl1',''),我們根本得不到他絕對鏈接的地址,而且每一頁得下一頁傳入的參數是一樣的。
分析:我們首先理解__doPostBack做了哪些事情。
function __doPostBack(eventTarget, eventArgument) {
var theform;
if (window.navigator.appName.toLowerCase().indexOf("netscape") > -1) {
theform = document.forms["Form1"];//注意此處的FormID
} else {
theform = document.Form1;//還有此處
}
theform.__EVENTTARGET.value = eventTarget.split("$").join(":");
theform.__EVENTARGUMENT.value = eventArgument;
theform.submit();
}
明白了吧,問題就在.__EVENTTARGET(後台處理的事件)和__EVENTARGUMENT上。這樣就簡單了,我們可以給這兩個參數賦值,然後向後台發送Post就可以了。那麼如何指定某一頁呢,ASP.Net在後台是以Session方式保存當前頁信息的,我們在Post得時候能夠保證實在同一個會話中進行的就可以了。