本文共 2620 字，大约阅读时间需要 8 分钟。

6 HTTP协议

6.1 http概念

HTTP（Hyper Text Transfer Protocol超文本传输协议）是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用。HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。

说明：HTTP是无状态的协议，可以基于TCP也可以基于UDP，不过大部分实现都是基于TCP的。使用TCP，不用考虑数据包乱序，丢失这些问题，实现起来更简单，高效。端口号: 80

超文本：超文本是用超链接的方法将各种不同空间的位置信息组织起来的网状文本

6.2 http协议的特点

0、应用层协议

1、简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。

2、灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

3.无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

4.****无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

网络爬虫需要这种无状态，这样服务器不那么容易跟踪行为

5、支持B/S(Brower/Server)及C/S(Client/Server)模式。

C/S 客户端需要单独开发，开发维护成本较高

B/S web程序员一般使用这种，浏览器不用在开发了

B/S 与C/S 对于分层没有什么直接联系

6.3 http方法

URL (Uniform Resource Locator) 统一定位符是对可以从上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它(html, shtml, jsp ect)。

GET : 请求获取Request-URI所标识的资源

POST

 : 给服务器添加信息

put ： 在给定的url 下存储一个文档

delete： 删除给定的url所标志的资源

6.4 http中get、post的区别

1) get为了从服务器上获取信息，post是向服务器传递数据

2) get把参数数据队列添加到url中，值和表的字段一一对应，在url中可以看到

3)get传递数据较小，不能大于(2KB)，post传递的数据量较大，一般认为没有限制

就传递数据本身来说，post比get安全；但是考虑到post本身对服务器造成的安全隐患，我们需要小心的对post进行审查

6.5 http协议的响应

    响应也是由三个部分组成，分别是：状态行、消息报头、响应正文

状态行格式如下：

HTTP-Version Status-Code Reason-Phrase CRLF

其中，HTTP-Version表示服务器HTTP协议的版本；Status-Code表示服务器发回的响应状态代码；Reason-Phrase表示状态代码的文本描述。

 状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值：

1xx：指示信息--表示请求已接收，继续处理

2xx：成功--表示请求已被成功接收、理解、接受

3xx：重定向--要完成请求必须进行更进一步的操作

python的urllib1.2已经给我们做了重定向的行为

4xx：客户端错误--请求有语法错误或请求无法实现

调整爬虫的策略：增加延时，采用分布式，使用代理

5xx：服务器端错误--服务器未能实现合法的请求

爬虫时出现此错误：一般来说：出现这种错误，爬虫可以选择暂时放弃抓取

 常见状态代码、状态描述、说明：

200 OK     //客户端请求成功

400 Bad Request  //客户端请求有语法错误，不能被服务器所理解

401 Unauthorized //请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用

403 Forbidden  //服务器收到请求，但是拒绝提供服务

404 Not Found  //请求资源不存在，eg：输入了错误的URL

500 Internal Server Error //服务器发生不可预期的错误

503 Server Unavailable  //服务器当前不能处理客户端的请求，一段时间后可能恢复正常

eg：HTTP/1.1 200 OK （CRLF）

6.6 https

http+ssl

SSL(Secure Sockets Layer ),及其继任者（Transport Layer Security，TLS）是为提供安全及的一种安全协议。TLS与SSL在对网络连接进行加密。