HTTP代理与SPDY协议(1)


HTTP代理是最经典最常见的代理协议。其用途非常广泛,普遍见于公司内网环境,一般员工都需要给浏览器配置一个HTTP代理才能访问互联网。起初,HTTP代理也用来翻越“功夫网”,但是因为“功夫网”不断发展,普通的HTTP代理早已无效了。但是,基于仍然有不少人使用明文的HTTP代理协议结合stunnel之类的软件进行加密翻墙,有时这种代理又被称为HTTPS代理。

再后来,又出现了WebVpn via SPDY 之类的代理协议,特点是Chrome浏览器直接支持。再加上HTTP代理协议可以代理什么?是只能代理HTTP还是也可以代理HTTPS,还是可以用来实现SOCKS代理?总之,非常混乱。在fqsocks项目里用python实现了HTTP代理的各种主流变种,终于明白了不同称谓之后的真正含义。本文试图总结一二。

代理基础

所有的代理,其原理都是类似的。其网络拓扑结构都是这样的:

[客户端] <-TCP连接-> [代理] <-TCP连接-> [服务器]

代理左手拿着与客户端的连接,右手拿着与服务器的连接,然后在两个TCP连接之间做数据的对拷。各种不同的代理协议,不同的只是TCP连接之上跑的是什么的协议,数据是怎么经过包装,拆包的。不存在客户端与服务器之间建立TCP连接的情况。只有VPN这种在IP包这一层工作的,才能实现客户端与服务器的之间连接。

HTTP流量,明文的代理连接

这是最简单的一种HTTP代理。其工作方式是客户端与代理之间建立的TCP连接是明文的,也就是不经过SSL加密的。在TCP连接中传输的数据就是明文的HTTP的POST和GET这些。对于这种代理工作方式,客户端发给服务器的包几乎不用修改发给代理,就可以获得几乎与服务器一样的返回。其收发包过程如下

[客户端] -HTTP GET-> [代理] -HTTP GET-> [服务器]
[客户端] <-200 OK [代理] <-200 OK [服务器]

HTTPS流量,明文的代理连接

在这种工作方式中,客户端与代理之间建立的TCP连接仍然是明文的,也就是不经过SSL加密的。但是客户端发出的请求不是HTTP请求,而是HTTPS请求。因为HTTPS请求是经过SSL加密的,所以做为代理来说,虽然客户端与其建立的TCP连接本身没有经过SSL加密,但是中间传输的数据确是SSL加密的。于是代理就无法通过检查HTTPS请求的内容知道目的服务器是什么。

所以客户端必须在发HTTPS请求之前用HTTP CONNECT请求告诉代理要连接的服务器是什么,然后等代理服务器左右手的TCP连接都握稳了,客户端就可以收发HTTPS流量了。代理在其中只是一个简单的在两个TCP连接中做数据对拷,并不知道客户端与服务器在干什么。事实上,利用HTTP CONNECT,客户端与服务器之间除了可以交换HTTPS的流量,任何流量都是可以的。经过HTTP CONNECT之后,客户端与代理的TCP连接就“相当于”是与服务器之间建立的TCP连接。当然我们前面已经说过了,这种直连只是一个假象。其收发包过程如下:

[客户端] -HTTP CONNECT a.b.c.d:port-> [代理] -TCP SYN-> [服务器]

[客户端] <-200 OK- [代理] <-TCP SYN ACK- [服务器] # 这里的200 OK与下面的200 OK的含义不同

[客户端] -SSL CLIENT HELLO-> [代理] -SSL CLIENT HELLO-> [服务器] # SSL握手包1

[客户端] <-SSL SERVER HELLO- [代理] <-SSL SERVER HELLO/CERTIFICATE等- [服务器] # SSL握手包2

[客户端] -SSL CLIENT CERTIFICATE等-> [代理] -SSL CLIENT CERTIFICATE等-> [服务器] # SSL握手包3

[客户端] <-SSL SERVER FINISHED- [代理] <-SSL SERVER FINISHED- [服务器] # SSL握手包4

[客户端] -SSL加密的HTTP GET-> [代理] -SSL加密的HTTP GET-> [服务器]

[客户端] <-SSL加密的200 OK- [代理] <-SSL加密的200 OK- [服务器]

因为CONNECT之后,这个左右手的TCP连接里跑什么流量,代理是完全不管的,所以这样也是可以的:

[客户端] -HTTP CONNECT a.b.c.d:port-> [代理] -TCP SYN-> [服务器]

[客户端] <-200 OK- [代理] <-TCP SYN ACK- [服务器]

# 这里的200 OK与下面的200 OK的含义不同

[客户端] -any request-> [代理] -any request-> [服务器]

[客户端] <-any response- [代理] <-any response- [服务器]

正因为CONNECT之后TCP连接可以用来跑任意的东西,当然也就可以用来再跑另外一个代理协议了,比如SOCKS代理。

只要SOCKS代理是运行在443这样HTTP CONNECT允许的端口,通过HTTP-CONNECT+SOCKS代理就可以在公司内网里访问HTTP之外的互联网内容了。


相关内容

    暂无相关文章