tinyhttpd
0x00 前言
想看这个很久了,这两天把堆刷完了,正好有时间看一下
https://github.com/EZLippi/Tinyhttpd
0x01 网络编程
- 网络编程就是程序让两台联网的计算机相互交换数据,我们可以使用socket来进行数据的接收与发送。
- linux和unix中的一切都是文件,为了表示和区分已经打开的文件,unix和linux会给每个文件分配一个id,这个id被称为文件描述符。我们通常用0表示标准输入文件(stdin),对应的硬件设备就是键盘;用1表示标准输出文件(stdout),对应的硬件设备就是显示器。
- 网络连接也是一个文件,也有文件描述符,我们可以通过socket函数来创建一个网络连接,例如打开一个网站,socket的返回值就是文件描述符。有了文件描述符,我们就可以使用普通的文件描述符来传输数据了,比如使用read读取数据,用write写入数据。
1 | int socket(int af, int type, int protocol); |
af(Address Family),也就是ip地址类型。常用的有AF_INET(PF_INET)和AF_INET6(PF_INET6),分别表示IPv4和IPv6。
type表示数据传输方式,常用的有SOCK_STREAM和SOCK_DGRAM。
SOCK_STREAM:使用TCP协议,只要不断网,就能保证数据不丢失,如果中途数据损坏或者丢失会重新发送,数据是按照顺序传输的,数据的发送和接收是不同步的(不管数据发送多少,接收端只会按照自己的需求读取数据)。
SOCK_DGRAM:使用UDP协议,传输速度快,但是可能会产生数据丢失,如果数据丢失了,无法重传。无顺序传输,且发送和接收同步。qq视频聊天和语音聊天就是使用了该类型,因为要保证通信的流程,即使丢失一小部分数据,也可以正常解析。
protocol表示传输协议,常用的有IPPROTO_TCP和IPPTOTO_UDP,表示TCP和UDP传输协议。
return value:非负数成功,-1出错
管道的概念:
管道是一种最基本的IPC机制(进程间通信),作用于有血缘关系的进程之间,进行数据传递。管道会把两个进程的标准输入和标准输出连接起来,从而提供一种让多个进程间通信的方法。
pipe系统函数可以创建一个管道。
0x02 http
HTTP协议是Hyper Text Transfer Protocol(超文本传输协议),基于TCP/IP通信协议来传递数据。
- HTTP是无连接的:无连接的含义是限制每次连接只处理一个请求。服务器处理完客户端的请求,收到客户端的应答之后会断开连接。
- HTTP是媒体独立的:只要客户端和服务器知道如何处理数据内容,任何类型数据都可以通过http发送。
- HTTP是无状态的:无状态是指协议对于事务处理没有记忆能力,所以如果后续需要处理前面的信息,就必须重新传输。
客户端请求消息
1 | method url version <CRLF> |
1 | GET /hello.txt |
服务器响应消息
1 | status line <CRLF> |
1 | 200 OK |
请求方法
- GET:请求指定的页面信息,并返回具体内容
- HEAD:类似GET请求,只不过不会返回具体内容,只会返回报头
- POST:向指定资源提交数据,数据被包含在请求体中。POST请求可能会导致新的资源建立或者修改已有资源
- PUT:从客户端向服务器传送的数据取代制定文档的内容
- DELETE:请求服务器删除页面
- CONNECT:HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器
- OPTIONS:允许客户端查看服务器的性能
- TRACE:回显服务器收到的请求,用于测试或者诊断
- PATCH:对PUT方法对补充,用来对已知资源进行局部更新
状态码
| 状态码 | 状态码英文名称 | 中文描述 |
|---|---|---|
| 100 | Continue | 继续。客户端应继续其请求 |
| 101 | Switching Protocols | 切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议,例如,切换到HTTP的新版本协议 |
| 200 | OK | 请求成功。一般用于GET与POST请求 |
| 201 | Created | 已创建。成功请求并创建了新的资源 |
| 202 | Accepted | 已接受。已经接受请求,但未处理完成 |
| 203 | Non-Authoritative Information | 非授权信息。请求成功。但返回的meta信息不在原始的服务器,而是一个副本 |
| 204 | No Content | 无内容。服务器成功处理,但未返回内容。在未更新网页的情况下,可确保浏览器继续显示当前文档 |
| 205 | Reset Content | 重置内容。服务器处理成功,用户终端(例如:浏览器)应重置文档视图。可通过此返回码清除浏览器的表单域 |
| 206 | Partial Content | 部分内容。服务器成功处理了部分GET请求 |
| 300 | Multiple Choices | 多种选择。请求的资源可包括多个位置,相应可返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择 |
| 301 | Moved Permanently | 永久移动。请求的资源已被永久的移动到新URI,返回信息会包括新的URI,浏览器会自动定向到新URI。今后任何新的请求都应使用新的URI代替 |
| 302 | Found | 临时移动。与301类似。但资源只是临时被移动。客户端应继续使用原有URI |
| 303 | See Other | 查看其它地址。与301类似。使用GET和POST请求查看 |
| 304 | Not Modified | 未修改。所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。客户端通常会缓存访问过的资源,通过提供一个头信息指出客户端希望只返回在指定日期之后修改的资源 |
| 305 | Use Proxy | 使用代理。所请求的资源必须通过代理访问 |
| 306 | Unused | 已经被废弃的HTTP状态码 |
| 307 | Temporary Redirect | 临时重定向。与302类似。使用GET请求重定向 |
| 400 | Bad Request | 客户端请求的语法错误,服务器无法理解 |
| 401 | Unauthorized | 请求要求用户的身份认证 |
| 402 | Payment Required | 保留,将来使用 |
| 403 | Forbidden | 服务器理解请求客户端的请求,但是拒绝执行此请求 |
| 404 | Not Found | 服务器无法根据客户端的请求找到资源(网页)。通过此代码,网站设计人员可设置”您所请求的资源无法找到”的个性页面 |
| 405 | Method Not Allowed | 客户端请求中的方法被禁止 |
| 406 | Not Acceptable | 服务器无法根据客户端请求的内容特性完成请求 |
| 407 | Proxy Authentication Required | 请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权 |
| 408 | Request Time-out | 服务器等待客户端发送的请求时间过长,超时 |
| 409 | Conflict | 服务器完成客户端的 PUT 请求时可能返回此代码,服务器处理请求时发生了冲突 |
| 410 | Gone | 客户端请求的资源已经不存在。410不同于404,如果资源以前有现在被永久删除了可使用410代码,网站设计人员可通过301代码指定资源的新位置 |
| 411 | Length Required | 服务器无法处理客户端发送的不带Content-Length的请求信息 |
| 412 | Precondition Failed | 客户端请求信息的先决条件错误 |
| 413 | Request Entity Too Large | 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息 |
| 414 | Request-URI Too Large | 请求的URI过长(URI通常为网址),服务器无法处理 |
| 415 | Unsupported Media Type | 服务器无法处理请求附带的媒体格式 |
| 416 | Requested range not satisfiable | 客户端请求的范围无效 |
| 417 | Expectation Failed | 服务器无法满足Expect的请求头信息 |
| 500 | Internal Server Error | 服务器内部错误,无法完成请求 |
| 501 | Not Implemented | 服务器不支持请求的功能,无法完成请求 |
| 502 | Bad Gateway | 作为网关或者代理工作的服务器尝试执行请求时,从远程服务器接收到了一个无效的响应 |
| 503 | Service Unavailable | 由于超载或系统维护,服务器暂时的无法处理客户端的请求。延时的长度可包含在服务器的Retry-After头信息中 |
| 504 | Gateway Time-out | 充当网关或代理的服务器,未及时从远端服务器获取请求 |
| 505 | HTTP Version not supported | 服务器不支持请求的HTTP协议的版本,无法完成处理 |
| 应答头 | 说明 |
|---|---|
| Allow | 服务器支持哪些请求方法(如GET、POST等)。 |
| Content-Encoding | 文档的编码(Encode)方法。只有在解码之后才可以得到Content-Type头指定的内容类型。利用gzip压缩文档能够显著地减少HTML文档的下载时间。Java的GZIPOutputStream可以很方便地进行gzip压缩,但只有Unix上的Netscape和Windows上的IE 4、IE 5才支持它。因此,Servlet应该通过查看Accept-Encoding头(即request.getHeader(“Accept-Encoding”))检查浏览器是否支持gzip,为支持gzip的浏览器返回经gzip压缩的HTML页面,为其他浏览器返回普通页面。 |
| Content-Length | 表示内容长度。只有当浏览器使用持久HTTP连接时才需要这个数据。如果你想要利用持久连接的优势,可以把输出文档写入 ByteArrayOutputStream,完成后查看其大小,然后把该值放入Content-Length头,最后通过byteArrayStream.writeTo(response.getOutputStream()发送内容。 |
| Content-Type | 表示后面的文档属于什么MIME类型。Servlet默认为text/plain,但通常需要显式地指定为text/html。由于经常要设置Content-Type,因此HttpServletResponse提供了一个专用的方法setContentType。 |
| Date | 当前的GMT时间。你可以用setDateHeader来设置这个头以避免转换时间格式的麻烦。 |
| Expires | 应该在什么时候认为文档已经过期,从而不再缓存它? |
| Last-Modified | 文档的最后改动时间。客户可以通过If-Modified-Since请求头提供一个日期,该请求将被视为一个条件GET,只有改动时间迟于指定时间的文档才会返回,否则返回一个304(Not Modified)状态。Last-Modified也可用setDateHeader方法来设置。 |
| Location | 表示客户应当到哪里去提取文档。Location通常不是直接设置的,而是通过HttpServletResponse的sendRedirect方法,该方法同时设置状态代码为302。 |
| Refresh | 表示浏览器应该在多少时间之后刷新文档,以秒计。除了刷新当前文档之外,你还可以通过setHeader(“Refresh”, “5; URL=http://host/path")让浏览器读取指定的页面。 注意这种功能通常是通过设置HTML页面HEAD区的<META HTTP-EQUIV=”Refresh” CONTENT=”5;URL=http://host/path">实现,这是因为,自动刷新或重定向对于那些不能使用CGI或Servlet的HTML编写者十分重要。但是,对于Servlet来说,直接设置Refresh头更加方便。 注意Refresh的意义是”N秒之后刷新本页面或访问指定页面”,而不是”每隔N秒刷新本页面或访问指定页面”。因此,连续刷新要求每次都发送一个Refresh头,而发送204状态代码则可以阻止浏览器继续刷新,不管是使用Refresh头还是<META HTTP-EQUIV=”Refresh” …>。 注意Refresh头不属于HTTP 1.1正式规范的一部分,而是一个扩展,但Netscape和IE都支持它。 |
| Server | 服务器名字。Servlet一般不设置这个值,而是由Web服务器自己设置。 |
| Set-Cookie | 设置和页面关联的Cookie。Servlet不应使用response.setHeader(“Set-Cookie”, …),而是应使用HttpServletResponse提供的专用方法addCookie。参见下文有关Cookie设置的讨论。 |
| WWW-Authenticate | 客户应该在Authorization头中提供什么类型的授权信息?在包含401(Unauthorized)状态行的应答中这个头是必需的。例如,response.setHeader(“WWW-Authenticate”, “BASIC realm=\”executives\””)。 注意Servlet一般不进行这方面的处理,而是让Web服务器的专门机制来控制受密码保护页面的访问(例如.htaccess)。 |
0x03 main
1 | int main(void) |
1 | struct sockaddr_in { |
1 | int accept(int s, struct sockaddr * addr, socklen_t * addrlen); |
1 | pthread_create( |
0x04 startup
初始化httpd服务,包括建立socket,绑定端口进行监听等。(服务端)
1 | int startup(u_short *port) |
1 | int setsockopt(int s, int level, int optname, const void* optval, sockien_t optlen); |
1 | int bind(int sock, struct sockaddr *addr, socklen_t addrlen); |
1 | int getsockname(int sockfd, struct sockaddr * addr, socklen_t * addrlen); |
0x05 accept_request
处理从socket上监听到的一个 HTTP 请求(当服务器listen的端口accpet的时候,新建一个线程用该函数进行处理)
1 | void accept_request(void *arg) |
1 | int stat(const char *path, struct stat *buf); |
0x06 serve_file
1 | void serve_file(int client, const char *filename) |
0x07 execute_cgi
1 | void execute_cgi(int client, const char *path, |
0x08 工作流程
- 服务器启动,在指定端口或随机选取端口绑定 httpd 服务。
- 收到一个 HTTP 请求时(其实就是 listen 的端口 accpet 的时候),派生一个线程运行 accept_request 函数。
- 取出 HTTP 请求中的 method (GET 或 POST) 和 url,。对于 GET 方法,如果有携带参数,则 query_string 指针指向 url 中 ? 后面的 GET 参数。
- 格式化 url 到 path 数组,表示浏览器请求的服务器文件路径,在 tinyhttpd 中服务器文件是在 htdocs 文件夹下。当 url 以 / 结尾,或 url 是个目录,则默认在 path 中加上 index.html,表示访问主页。
- 如果文件路径合法,对于无参数的 GET 请求,直接输出服务器文件到浏览器,即用 HTTP 格式写到套接字上,跳到10。其他情况(带参数 GET,POST 方式,url 为可执行文件),则调用 excute_cgi 函数执行 cgi 脚本。
- 读取整个 HTTP 请求并丢弃,如果是 POST 则找出 Content-Length. 把 HTTP 200 状态码写到套接字。
- 建立两个管道,cgi_input 和 cgi_output, 并 fork 一个进程。
- 在子进程中,把 STDOUT 重定向到 cgi_outputt 的写入端,把 STDIN 重定向到 cgi_input 的读取端,关闭 cgi_input 的写入端 和 cgi_output 的读取端,设置 request_method 的环境变量,GET 的话设置 query_string 的环境变量,POST 的话设置 content_length 的环境变量,这些环境变量都是为了给 cgi 脚本调用,接着用 execl 运行 cgi 程序。
- 在父进程中,关闭 cgi_input 的读取端 和 cgi_output 的写入端,如果 POST 的话,把 POST 数据写入 cgi_input,已被重定向到 STDIN,读取 cgi_output 的管道输出到客户端,该管道输入是 STDOUT。接着关闭所有管道,等待子进程结束。这一部分比较乱,见下图说明:


- 关闭与浏览器的连接,完成了一次 HTTP 请求与回应,因为 HTTP 是无连接的。