scrapy框架的安装（windows）

未分类 4年前 0 147

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了网络抓取所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Scrapy框架因为功能十分强大，所以依赖很多库，不能直接安装，需要先安装依赖库，因为我的电脑在Windows下，所以这里展示Windows下的安装方法。

本次使用的系统是windows、python的版本为3.8

1、安装wheel

pip install wheel

2、安装twisted

下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

我这下载64位系统、python3.8版本的twisted

pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl

3、安装pywin32

pip install pywin32

4、安装scrapy

pip install scrapy

以上步骤操作没有报错才算安装成功！

下面创建一个项目查看是否安装成功

scrapy startproject qiubai

查看项目文件

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。