2015 09 23 crawler using python

---

layout: post title: 一个知识清单：如何学习Python爬虫 categories: [编程] tags: [Python, 爬虫] published: True

import this.

• 前言
  • 能利用爬虫技术做到哪些很酷很有趣很有用的事情？ - 知乎
• 学习 Python，基本语法，常用数据处理库
  • 你是如何自学 Python 的？ - 知乎
  • Python 2.7 教程 - 廖雪峰，学基础看这个完全就够了。
  • 或者看他讲的视频，Python 入门 - 廖雪峰。
• 了解网页的基本结构、组成 HTML+CSS+JS 三剑客
  • 类比于一个人，HTML 就是骨架、CSS 是衣服、JS 是这个人的一系列动作，比如打自己一巴掌。
  • HTML 教程，CSS 教程，JavaScript 教程
• 了解爬虫工作原理，涉及文件下载，数据解析，以及数据存储
  • 如何入门 Python 爬虫？ - 知乎
  • 网页下载，HTTP 协议详解，一个非常好用的 Python 库，Requests for Humans
  • 数据解析，深入浅出之正则表达式（一），regex 可视化工具
  • 超越正则表达式，XPath是什么鬼。
  • 数据存储，Python 自带轻量级数据库SQLite。
• 了解各种坑，模拟登陆，JS 加载、点击动作，请求次数限制
  • 网络爬虫定向抓取漫谈
  • 详解抓取网站，模拟登陆，抓取动态网页的原理和实现（Python，C#等）
  • 专栏：Python 爬虫入门教程
  • 爬虫视频课程 - 极客学院
• 超级武器，上手 Scrapy 框架
  • 非常好用的大而全功能完备的Scrapy 框架
  • 这里有之前版本的中文翻译，Scrapy 0.25 文档。
• 一栈式解决方案，直接上浏览器 webkit 解决 JS 动态加载问题
  • 网页动态刷新，什么是AJAX？
  • 两个无图形化的浏览器内核爬虫，spynner，Ghost.py
• 究极武器，直接使用第三方服务：PQL，Kimono
  • 能够直接把网页变成 API 的Kimono。
  • 像 SQL 查询语句一样调用网站服务的YQL，雅虎出品。