使用python的爬虫框架scrapy,在windows上搭建环境时候,使用pip install scrapy 命令安装Scrapy爬虫框架时,出现了很让人头疼的错误,错误截图如下:
在网上查找解决方法时,大致知道了问题的原因。是因为缺少C语言的编译环境,其中一种解决方法就是安装相对应版本的Visual Studio,但是安装VS本身就极其麻烦,所以这种方法是不推荐的。第二种方法就是下载已经编译好的安装包。
1. 下载.whl安装包
可以到下面这个网址中下载与python版本以及系统(32位或64位)相匹配的Twisted版本,比如我下载的就是Twisted-17.9.0-cp35-cp35m-win_amd64.whl(我的python是3.5版本的),通过该网站: 来下载所需要的版本。
2. 安装下载的.whl安装包
在命令行中使用以下命令:pip install C:\Users\Administrator>pip install C:\Users\Administrator\Downloads\Twisted-17.9 .0-cp36-cp36m-win_amd64.whl的命令来安装Twisted
出现以上信息,则表明已经Twisted安装成功,
3. 安装Scrapy
此时在命令行中使用pip install scrapy来安装Scrapy就会提示安装成功了。
查看版本:
4. 运行自己的第一个脚本:
报错信息为:
此时要继续第五步的操作,
5. windows下继续安装py32的插件:
Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。
URL:
选择对应版本的pywin32程序,否则版本不对容易出问题。
安装成功后,运行命令:
D:\python_code\Spider\part12\myfirstpjt\myfirstpjt>scrapy runspider --loglevel=I
NFO first.py,终于出现结束画面: