Web Scraping with Python : Scrapy, Requests, pygal, jupyter
写在前面：
课程内容 = 视频 + 源码, 由於沟通不便, 在课程的问答这块, 我都会给每个问题做最详细的回答
本课程的研发週期超过一年，从Python脚本到Scrapy框架, 每节课都是精心编排的内容, 项目之间关係不大, 知识点之间密切相关
课程的后续内容正在录製, 目前进度是分佈式爬虫和实战练习, 录製已结束, 待剪辑后会更新到本课程中
為什麼会写这麼一大段话? 因為课程这段时间不断的收穫了低星评价, 可能是答疑服务不够周到, 但我希望大家在学习过程中, 有任何的问题, 都可以发出来, 一门课无法阐明爬虫的所有知识点, 但是可以快速的带你入门爬虫, 快速的学会并使用起来
课程内容是爬虫入门必备知识点, 课程的问题中我会写明很多精华内容, 都是课程中无法讲解 无法实验的理论知识点, 希望大家可以细心的学习, 爬虫是一门需要 上手实践 + 反復练习 的技能
学习过程中, 有任何问题, 请务必到课程的问答区提问, 我会仔细讲解并说明因果
课程介绍：
从娱乐级脚本爬虫，过渡到Scrapy多爬虫项目，循序渐进~
课程视频简短，每节视频都能学到实用的知识点
有pdf文档归纳知识点，很好的归纳前面章节学到的知识
课程中有练习和纠错项目，有效巩固所学知识点
Part1 脚本爬虫部分涉及内容：
1、开发环境搭建
2、学习requests库的使用
3、可视化爬虫的缓存文件，图表显示数据库
4、xpath获取网页图片，批量下载并保存本地
5、使用用户代理和ip代理，防ban
工具：sqlalchemy、pygal、sqlite、requests、lxml、jupyter
Part2 Scrapy框架：
1、scrapy交互命令和最基础爬虫的使用
2、scrapy框架流程和函数间回调传参
3、CrawlSpider和Spider的区别和使用
4、Scrapy框架的内置管道Pipeline学习和使用
5、Scrapy开发多web要求的爬虫项目
6、了解常见反爬措施
7、使用下载器中间件切换UserAgent和ProxyIP
8、学习和使用爬虫中间件
工具：scrapy、shell、spider、pipeline、middleware
高级爬虫工程师水平
批量获取拉勾等知名网站数据
批量获取图片源文件
7 Lectures
9 Lectures
4 Lectures
5 Lectures
8 Lectures
9 Lectures
5 Lectures
6 Lectures
9 Lectures
Hello, everyone, I am Buladou, a development engineer who loves Python.I was exposed to programming languages in middle school and was very interested in them. My university major is software engineering. After graduating from my undergraduate degree, I worked in software development and was a Python development engineer.At work, I mainly use Python to develop tools and products, so I...
讲了html基础知识，尤其是基础不了解的很需要这个课程。尤其是如何解析网页最是基础重要。后来讲了多个软件操作加实例，不错。
这个老师讲得有点赶集感觉，很多安装的位置没详细介绍，就根据他自己电脑的情况来介绍，但他电脑又提前安装已经有的东西，导致真正情况下的安装失败，但老师又不会答疑~安装环境没有架设成功，后面的编程根本没办法执行
對我來說不夠詳細清楚
The first 8 chapters are not well organized, some contents missing or outdated, but chapter 9-12 is quite good and well presented.
Overall 3.5 Stars.
進度緩慢，章節分類也分得不清不楚。
老師的英文發音聽得很痛苦，聲音忽大忽小聲，
上課中 背景還有其他雜音，
中間還有一段Linux操作直接沒有聲音的。
教學中看老師實作 做了才發現自己一堆錯誤才在修正，雖然感覺得出老師有能力，但課程根本沒有準備的感覺。
感覺很好，講解恰到好處，通俗易懂，看倆遍就過
布老師的回應很及時，解釋很清楚，推薦課程
声音应该跟录制环境有关，加快一点速度就不是很清楚了。布大回答问题很积极，我就把评论改了，哈哈。
还行，我不懂的都自己谷歌到了
是的，可了解爬蟲程式的基礎
Your email address will not be published. Required fields are marked *
Xaree L.
內容鬆散、沒有知識重點整理、知識深度很淺、花一堆時間看老師打字解 bug。學習到的東西很少，花的時間很多。