Python3自学编程爬虫入门到实战视频教程

是以安全为目标的 HTTP 通道，在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性

超文本传输协议（英文：HyperText Transfer Protocol，缩写：HTTP）是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。

爬虫就是抓取目标网站内容的工具，一般是根据定义的行为自动进行抓取，更智能的爬虫会自动分析目标网站结构，类似于搜索引擎的爬虫。

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。

header请求头和带有参数的请求

贴吧练习

requests发送post请求

网络控制台的使用

百度翻译语义判断

代理IP

session发送请求

使用cookie发送请求

requests小技巧

爬虫数据json

正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些匹配某个模式的文本。

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

lxml是一个Python库，使用它可以轻松处理XML和HTML文件，还可以用于web爬取。

糗百案例

BS4 ：（beautiful soup 4）是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

爬虫思路总结

多线程爬虫

爬虫和反爬之间的斗争

selenium入门

模拟登陆豆瓣

云打码模拟登陆豆瓣

selenium元素定位

QQ邮箱登陆案例