Sheng | Nov. 1, 2022, 7:50 p.m. | Views: 801
这两天写了一个爬虫，爬了一些分省份的宏观数据。具体哪个网站就不说了，只能说这个网站基本没有设置任何反爬虫的手段，所以爬起来很畅快。爬虫用了 Scrapy，但也不需要用到 selenium 或 pyppeteer 。数据爬到后存储在 SQL Server 数据库里（提前建好相关的表）。整个爬虫也只运行了大概20分钟，爬了几万条数据而已。数据只是内部参考，并没有商用。
后面我也大概看了一下 selenium 和 pyppeteer，感觉爬虫方面的知识还是蛮丰富也蛮实用的。
1 Comment: