由於Scrapy目前對Python2.7的支持最好,Python3下可能會有問題,所以還是在Python2.7下裝Scrapy模塊。
在Mac上自帶的Python2.7環境安裝Scrapy模塊,一路順風,直接pip install -i http://pypi.douban.com/simple Scrapy,自動安裝所需的模塊,一切OK.
但是在Windows環境Python2.7下安裝Scrapy,各種問題,問題不斷,一個個根據錯誤提示去網上找解決辦法,記錄一下一些坑。
首先是pip install Scrapy這樣的方式可能會安裝不了,原因是pypi官網被牆,唉。。解決辦法如上文中使用pip鏡像的方式安裝模塊。
安裝過程中會有錯誤,根據錯誤提示去網上找一般都能找到解決辦法,安裝完在終端運行scrapy命令,也會有報錯,如果提示缺少其他依賴模塊,就一一安裝。
注意本文說的環境是:
Windows 7 64位系統,Python2.7.
以下是在Windows上安裝lxml模塊的方法。
Windwos下安裝lxml
從http://www.lfd.uci.edu/~gohlke/pythonlibs/這個網址裡面,找到lxml,按ctrl+F5快速查找,然後下載對應的whl文件,比如下載到D:\lxml-3.4.4-cp27-none-win32.whl. 然後使用pip install安裝,如下所示:
C:\Users\Administrator>pip install D:\lxml-3.4.4-cp27-none-win32.whl
Unpacking d:\lxml-3.4.4-cp27-none-win32.whl
Installing collected packages: lxml
Successfully installed lxml
Cleaning up...
特別注意一點,下載下來的whl文件不要改文件名,否則會出錯,由於文件名太長了我改了文件名,安裝就是不成功。
在終端輸入scrapy,出現這樣的界面表示Scrapy模塊安裝成功了。
這裡大部分都是安裝scrapy依賴安裝的模塊。
到編寫第一個srapy程序運行後才發現,還有模塊沒有安裝。
安裝cryptography模塊
提示錯誤:ImportError: No module named cryptography.hazmat.bindings.openssl.binding
pip install -i http://pypi.douban.com/simple cryptography
安裝pywin32模塊
提示錯誤:exceptions.ImportError: No module named win32api
下載安裝文件地址:http://sourceforge.net/projects/pywin32/files/pywin32/Build 20219/
找到自己需要的版本,如我的pywin32-219.win32-py2.7.exe
下載進行自動安裝即可。