<p> “网络蚂蚁”、Falshget等许多多线程下载软件都是网友的必备工具,利用这些工具可以快速从服务器上下载比较大的文件,这些工具的工作特性是把服务器端的文件分成几个段,每个段分别、同时进行下载。编写这类程序,第一、必须对HTTP协议有较为充分的了解;第二、有效使用多线程编程手段在软件上实现。</p> <p> HTTP协议的简介</p> <p> HTTP协议是一种超文本传输协议(HypertextTransferProtocol),工作于网络应用层,自1990年起广泛应用于WWW的全球信息服务,HTTP协议的详细说明可以在网上查阅RFC2518、RFC2616等文档。</p> <p> HTTP协议老的标准是HTTP/1.0,目前最通用的标准是HTTP/1.1。HTTP/1.1是在HTTP/1.0基础上的升级,增加了一些功能,全面兼容HTTP/1.0。HTTP/1.0不支持文件断点续传,如果服务器使用HTTP/1.0,“网络蚂蚁”的任何多线程下载程序都只能按单线程下载;好在目前的Web服务器绝大多数都采用了HTTP/1.1,所以,下面将基于HTTP/1.1进行介绍。</p> <p> HTTP协议的相关重要命令</p> <p> 基于HTTP的浏览器浏览网页、下载文件时,工作原理类似客户机/服务器模式:浏览器向Web服务器发出一个HTTP请求行;Web服务器在收到有效的请求后,返回一个状态行或多个响应标题、一个空白行和相关文档。根据这一工作原理,下载程序必须实现向服务器发送请求和获取服务器响应状态的功能。</p> <p> 1.向服务器发送GET请求命令</p> <p> 一个HTTP请求由一个请求行、可选数目的请求标题、一个空白行,以及在POST情况下的一些额外的数据组成。请求行的格式是:</p> <p> 请求方法 URI HTTP/版本号</p> <p> GET命令是浏览器常用的文档请求方法,在程序中间使用</p> <p> GET URI HTTP/1.1</p> <p> 向Web服务器发送请求行(行号3),Java代码如下:</p> <p><br/> ....<br/> clientSocketnewSocket(host,pt);//打开要下载文件服务器的Socket<br/> outStreamnewPrintStream(clientSocket.getOutputStream());<br/> ....<br/> outStream.println(“GET”+uri+“HTTP/1.1”);<br/> outStream.println(“Host:”+host);<br/> outStream.println(“Accept:*/*”);<br/> outStream.println(“Referer:”);<br/> outStream.println();<br/> .... </p> <p> 注:第4行给出URL中的主机名和端口号,第5行说明客户端接收所有MIME类型,第7行方送一个空白行,表明请求行结束。</p> <p> 2.获取服务器响应状态</p> <p> 在发送HTTP请求行以后,程序就可以读取服务器的响应状态了。HTTP响应状态行包括:HTTP状态码和一些HTTP响应标题。</p> <p> 1)HTTP状态码</p> <p> HTTP状态码格式是HTTP/版本信息的数字表示。状态码例子如下:</p> <p> HTTP/1.0200OK//表示服务器支持HTTP/1.0协议,成功</p> <p> HTTP/1.1200OK//表示服务器支持HTTP/1.1协议,成功</p> <p> HTTP/1.0404NotFound//表示服务器支持HTTP/1.0协议,访问文件没有找到</p> <p> 在程序中间,如果读到“HTTP/1.1200OK”这样的字符串,表明欲下载文件存在、该服务器支持断点续传,可以使用多线程下载。如果读到“HTTP/1.0200OK”这样的字符串,表明欲下载文件存在、但该服务器不支持断点续传,只可以使用单线程下载。</p> <p><br/> .....<br/> while((lineinStream.readLine())!null) //将服务器响应状态读到line<br/> ........<br/> if(line.substring(0,7).equals(“HTTP/1.”)) //判断是否支持HTTP/1.1<br/> {if(line.At(7)‘0’)<br/> {<br/> System.out.println(“serverusehttp/1.0”);<br/> thread1;<br/> }<br/> if(!(line.substring(9,12)).equals(“200”))//判断请求是否成功<br/> {System.out.println(“ERROR:”+line);<br/> returnfalse;<br/> }<br/> } </p> <p> 2)读取重要的响应标题,获得要下载文档的文件长度</p> <p> 如果HTTP状态码表明访问成功,服务器会回送一些标题行,我们最关注的是Content-Length 这一行,比如,如果服务器回送“Content-Length:1000”,表明请求文件的长度是1000字节,所以读取这一行信息,可以得到文件的长度信息:</p> <p><br/> ....<br/> if(line.substring(0,15).equals(“Content-Length:”))<br/> {filelengthLong.parseLong(line.substring(15).trim());<br/> System.out.println(“filelength:”+filelength);<br/> }<br/> ...... </p> <p> 向服务器发送断点续传请求</p> <p> 如上所述,如果服务器支持HTTP/1.1,再次向服务器发送GET请求:</p> <p><br/> .....<br/> outStream.println(“GET”+uri+“HTTP/1.1”);<br/> outStream.println(“Host:”+host);<br/> outStream.println(“Accept:*/*”);<br/> outStream.println(“RANGE:bytes”+(fileblocklength)*thisthreadid+“-”);<br/> outStream.println();<br/> ..... </p> <p> 第4行是关键,“RANGE:bytes”是HTTP/1.1新增内容,HTTP/1.0每次传送文件都是从文件头开始,即0字节处开始,“RANGE:bytesXXXX”表示要求服务器从文件XXXX字节处开始传送,这就是我们平时所说的断点续传!</p> <p> 分割文件,多线程下载</p> <p> 使用多线程编程技术,同时启动多个线程,根据线程个数,计算文件分割位置,向服务器发送几个不同的下载断点,同时接受数据并写入文件,就可以实现多线程下载了。</p> <p><br/> .....<br/> rafnewRomAccessFile(file,“rw”);//以随机存取方式打开文件<br/> .....<br/> synonized(raf)//按同步方式把各个线程得到数据分别写入文件<br/> {raf.seek(thisthreadid*(filelength/thread)+k*buflength);<br/> raf.write(readbytes);<br/> ......<br/> }</p> <p> </p>
|