爬虫之Scrapy框架使用

安装

1
pip install scrapy

quick_start

  1. 使用scrapy startproject 项目名称创建scrapy项目
  2. 项目组成
  3. 创建爬虫文件
    • cd 目录名称/目录名称/spiders跳转到spiders文件夹
    • scrapy genspider 爬虫名字 网页的域名，网页域名不用加协议
  4. 运行爬虫文件（在spiders目录下执行）scrapy crawl 爬虫名称