Python3Webcrawler

哔哩哔哩作者：-相依-  UPDATE 2023-02-15

精心挑选了几个爬虫，给大家在学Scrapy框架之前打基础。

该项目仅限学习交流，请勿用于商业用途，如有侵权，请联系删除。

|运行环境|项目使用版本| |:----:|:--------:| |python|3.7.9| |NodeJS|14.6.0|

|程序依赖|安装指令|项目使用版本| |:----:|:--------:|:--------:| |lxml|pip install lxml|4.6.2| |aiohttp|pip install aiohttp|3.7.4| |requests|pip install requests|2.25.1| |PyExecJS|pip install PyExecJS|1.5.1| |sqlalchemy|pip install sqlalchemy|1.3.23| |beautifulsoup4|pip install beautifulsoup4|4.9.3| |mysqlconnector|pip install mysql-connector-python|8.0.23| |qrcode|pip install qrcode|7.3| |opencv-python|pip install opencv-python|4.5.3.56| |m3u8|pip install m3u8|0.9.0| |mitmproxy|pip install mitmproxy|5.3.0| |selenium|pip install selenium|3.141.0| |pycryptodome|pip install pycryptodome|3.10.1|

• 京东   官网地址

• 网易   官网地址

• 房天下  官网地址

• 快代理  官网地址

• QQ音乐   官网地址

• 百度图片 官网地址

• 豆瓣读书 官网地址

• 有道翻译 官网地址

• 哔哩哔哩 官网地址

• 小鹅通  官网地址

• 荔枝微课 官网地址