今天要開始設計的步驟了,不過發現手都竟然沒有畫類的工具,將就了,想到啥先寫啥。
程序先分成四個部分
1、數據保存,查詢,分類包
2、數據檢索包
3、頁面鏈接隊列包
4、界面顯示包
第一部分:數據保存,查詢,分類
對於數據的保存、查詢和分類獨立成一個包,裡面包含數據的各種操作,暫時針對sql2000 和Access 設計。不過今天有想到,要不做成自己的數據格式保存,這樣速度也很快,因為這個程序基本使用的都是線性表的操作,所以速度上是可以接受的,不過還是要看System.IO的類,看看針對自定義文件結構讀取有什麼方便的方法,大學的時候做過基於文本的數據表,估計也可以用上,而且加上zip壓縮的話,200M的日志過濾後估計2M 都不知道有沒有。
第二部分:數據檢索包
主要就是針對鏈接的SQL注入檢查,數據來源從第三部分的對列中取,這樣可以實現多線程的操作,考慮是否做成插件式,這樣可以方便很多種檢查,不一定是SQL的檢查,或者可以是對鏈接是否存在的檢查,方便括充功能。
第三部份:頁面鏈接隊列包
鏈接隊列的作用是采集網站的鏈接列表,由於采集分析鏈接地址速度比較快,需要先啟動後收集數據,同時數據檢索也可以同時運行。主要功能是對網站結構進行層遍歷,看看是否可以加上正則判斷來遍歷,畢竟都是給程序員用,自己寫個正則收集頁面也容易,比較麻煩的是針對post發送和Javascipt鏈接的地址,再考慮
第四部分:界面顯示包
界面顯示就不用怎麼說了,反正輸入,輸出,線程的狀態等。
今天大概想的就這些了,繼續學習,明天繼續想。