这个爬虫主要是爬http://www.ygdy8.com/
网站,爬取的数据有电影的信息、下载链接、下载网页。
python3,下载安装请参考https://www.python.org/
依赖包使用pipenv安装,pipenv的安装方法请参考https://github.com/pypa/pipenv
git clone https://github.com/mortimer2015/Film_crawler.git
cd Film_crawler
pipenv install
pipenv shell
配置文件cp apps/secrets_example.py apps/secrets.py
修改apps/secrets.py
文件
运行当前目录下的的run.sh
文件
run.sh