概览

* 零基础学习python及爬虫, python版本为3.5
* 代码中为了便于调试都有print输出部分,如果需要调试的可以帮注释去掉

目录

examples

本目录中主要是python基础和爬虫需要用到的常用扩展库的使用

1. example-1.py python语法基础
2. example-2.py python控制流与小实例
3. example-3.py python函数详解
4. example-4.py python模块实战
5. example-5.py python文件操作实战
6. example-6.py python异常处理实战
7. example-7.py 面向对象编程
8. example-8.py 正则表达式-原子
9. example-9.py 正则表达式-元字符
10. example-10.py 正则表达式-模式修正符
11. example-11.py 正则表达式-贪婪模式和懒惰模式
12. example-12.py 简单爬虫的编写(urllib学习)
13. example-13.py 超时设置
14. example-14.py 自动模拟HTTP请求与百度信息自动搜索爬虫实战
15. example-15.py 自动模拟HTTP请求之自动POST实战
16. example-16.py 爬虫的异常处理实战
17. example-17.py 爬虫的浏览器伪装技术实战
18. example-18.py CSDN博文爬虫实战
19. example-19.py 糗事百科段子爬虫实战
20. example-20.py 用户代理池构建实战
21. example-21.py IP代理池构建实战
22. example-22.py 淘宝商品图片爬虫实战
23. example-23.py 如何同时使用用户代理池和IP代理池
24. example-24.py 在Urllib中使用XPath表达式
25. example-25.py BeautifulSoup基础实战
26. example-26.py PhantomJS基础实战

dangdang

scrapy实现当当网商品爬虫实战

baidunews

 scrapy百度新闻爬虫实战

douban

 scrapy豆瓣网登陆爬虫与验证码自动识别实战

jdgoods

 scrapy与urllib的整合使用（爬取京东图书商品）