零基础如何学爬虫技术

楚江数据是专业的互联网数据技术服务,现整理零基础如何学爬虫技术,

官方网站http://www.chujiangdata.com

第一:Python爬虫学习系列教程(来源于某博主:http://cuiqingcai.com/1052.html

Python版本:2.7

整体目录:

一、爬虫入门

1.Python爬虫入门一之综述

2.Python爬虫入门二之爬虫基础了解

3.Python爬虫入门三之Urllib库的基本使用

4.Python爬虫入门四之Urllib库的高级用法

5.Python爬虫入门五之URLError异常处理

6.Python爬虫入门六之Cookie的使用

7.Python爬虫入门七之正则表达式

二、爬虫实战

1.Python爬虫实战一之爬取糗事百科段子

2.Python爬虫实战二之爬取百度贴吧帖子

3.Python爬虫实战三之实现山东大学无线网络掉线自动重连

4.Python爬虫实战四之抓取淘宝MM照片

5.Python爬虫实战五之模拟登录淘宝并获取所有订单

6.Python爬虫实战六之抓取爱问知识人问题并保存至数据库

7.Python爬虫实战七之计算大学本学期绩点

8.Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺

三、爬虫利器

1.Python爬虫利器一之Requests库的用法

2.Python爬虫利器二之Beautiful

Soup的用法

3.Python爬虫利器三之Xpath语法与lxml库的用法

4.Python爬虫利器四之PhantomJS的用法

5.Python爬虫利器五之Selenium的用法

6.Python爬虫利器六之PyQuery的用法

四、爬虫进阶

1.Python爬虫进阶一之爬虫框架概述

2.Python爬虫进阶二之PySpider框架安装配置

3.Python爬虫进阶三之爬虫框架Scrapy安装配置

4.Python爬虫进阶四之PySpider的用法

第二(第一的姊妹篇):Python爬虫入门教程(来源于博主:blog.csdn.net/column/details/why-bug.html)

Python版本:2.7

教程目录:

[Python]网络爬虫(一):抓取网页的含义和URL基本构成

[Python]网络爬虫(二):利用urllib2通过指定的URL抓取网页内容

[Python]网络爬虫(三):异常的处理和HTTP状态码的分类

[Python]网络爬虫(四):Opener与Handler的介绍和实例应用

[Python]网络爬虫(五):urllib2的使用细节与抓站技巧

[Python]网络爬虫(六):一个简单的百度贴吧的小爬虫

[Python]网络爬虫(七):Python中的正则表达式教程

[Python]网络爬虫(八):糗事百科的网络爬虫(v0.3)源码及解析(简化更新)

[Python]网络爬虫(九):百度贴吧的网络爬虫(v0.4)源码及解析

[Python]网络爬虫(十):一个爬虫的诞生全过程(以山东大学绩点运算为例)

[Python]网络爬虫(11):亮剑!爬虫框架小抓抓Scrapy闪亮登场!

[Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程

第三:你已经看完上面(第一或者第二)的教程:再推荐知乎用户@陈唯源的实战练习博客

Python爬虫学习记录(1)——Xiami全站播放数

Python爬虫学习记录(2)——LDA处理歌词

百度音乐带标签,作曲,演唱者,类别的歌词数据

Python爬虫学习记录(4)——传说中的足彩倍投法。。好像也不是那么靠谱

2011~2013.5全球所有足球比赛比分数据以及足彩各公司盘口

Python爬虫学习记录(3)——用Python获取虾米加心歌曲,并获取MP3下载地址

Python爬虫学习记录(5)——python

mongodb + 爬虫 + web.py 的acfun视频排行榜

Python爬虫学习记录(0)——Python

爬虫抓站 记录(虾米,百度,豆瓣,新浪微博)

第四:最后推荐知乎用户@gaga

salamer的实战练习博客

爬虫教程(1)基础入门

爬虫教程(2)性能进阶

知乎用户信息爬虫(规模化爬取)

用scrapy爬取豆瓣电影新片榜

用scrapy对豆瓣top250页面爬取(多页面爬取)

用scrapy自动爬取下载图片

用scrapy自动下载石原sama的豆瓣影人图集(727张图片,自动下载)

希望以上的教程可以帮助到大家。

本文来源:知乎

作者:路人甲

链接:https://www.zhihu.com/question/47883186/answer/110052796

我们为客户提供网站APP数据采集和爬虫软件定制开发服务,服务范围涵盖社交网络、电子商务、分类信息、学术研究等,我们的服务和产品已经获得数千家客户的好评。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,444评论 4 365
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,867评论 1 298
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,157评论 0 248
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,312评论 0 214
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,673评论 3 289
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,802评论 1 223
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,010评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,743评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,470评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,696评论 2 250
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,187评论 1 262
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,538评论 3 258
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,188评论 3 240
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,127评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,902评论 0 198
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,889评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,741评论 2 274

推荐阅读更多精彩内容