如何理解uri

▥ ◶2023-08-25 05:28:02 𝄐 0

URI, 全称为(Uniform Resource Identifier), 也就是统一资源标识符，它的作用很简单，就是区分互联网上不同的资源。但是，它并不是我们常说的网址, 网址指的是URL, 实际上URI包含了URN和URL两个部分，由于 URL 过于普及，就默认将 URI 视为 URL 了。 URI 真正最完整的结构是这样的 好像跟平时见到的不太一样！先别急，来一一拆解。scheme 表示协议名，比如http, https, file等等。后面必须和://连在一起。user:passwd@ 表示登录主机时的用户信息，不过很不安全，不推荐使用，也不常用。host:port** 表示主机名和端口。path 表示请求路径，标记资源所在位置。query 表示查询参数，为key=val这种形式，多个键值对之间用&隔开。fragment 表示 URI 所定位的资源内的一个锚点**，浏览器可以根据这个锚点跳转到对应的位置。 这个 URI 中 <ul><li>https 即scheme部分</li><li>【【网址】】为host:port部分（注意，http 和 https 的默认端口分别为80、443）</li><li>kenguba/upkpls/gisxr2 为path部分</li><li>word=1&name=kenguba 表示query部分</li><li>#UrkH4 就是锚点 </li></ul> URI 只能使用 ASCII , ASCII 之外的字符是不支持显示的，而且还有一部分符号是界定符，如果不加以处理就会导致解析出错。因此，URI 引入了编码机制，将所有非 ASCII 码字符和界定符转为十六进制字节值，然后在前面加个%。 HTTP 是超文本传输协议，也就是HyperText Transfer Protocol。它可以拆成三个部分： <ul><li>超文本</li><li>传输</li><li>协议</li></ul> 生活中的协议，本质上与计算机中的协议是相同的，协议的特点: <ul><li>协字，代表的意思是必须有两个以上的参与者。例如三方协议里的参与者有三个：你、公司、学校三个；租房协议里的参与者有两个：你和房东。</li><li>议字，代表的意思是对参与者的一种行为约定和规范。例如三方协议里规定试用期期限、毁约金等；租房协议里规定租期期限、每月租金金额、违约如何处理等。针对 HTTP 协议，我们可以这么理解。HTTP 是一个用在计算机世界里的协议。它使用计算机能够理解的语言确立了一种计算机之间交流通信的规范（两个以上的参与者），以及相关的各种控制和错误处理方式（行为约定和规范）</li></ul> 所谓的「传输」，很好理解，就是把一堆东西从 A 点搬到 B 点，或者从 B 点搬到 A 点。别轻视了这个简单的动作，它至少包含两项重要的信息。HTTP 协议是一个双向协议。我们在上网冲浪时，浏览器是请求方 A ，百度网站就是应答方 B。双方约定用 HTTP 协议来通信，于是浏览器把请求数据发送给网站，网站再把一些数据返回给浏览器，最后由浏览器渲染在屏幕，就可以看到图片、视频了。 数据虽然是在 A 和 B 之间传输，但允许中间有中转或接力。就好像第一排的同学想穿递纸条给最后一排的同学，那么传递的过程中就需要经过好多个同学（中间人），这样的传输方式就从「A < - > B」，变成了「A <-> N <-> M <-> B」。而在 HTTP 里，需要中间人遵从 HTTP 协议，只要不打扰基本的数据传输，就可以添加任意额外的东西。针对传输，我们可以进一步理解了 HTTP。HTTP 是一个在计算机世界里专门用来在两点之间传输数据的约定和规范。 HTTP 传输的内容是「超文本」我们先来理解「文本」，在互联网早期的时候只是简单的字符文字，但现在「文本」的涵义已经可以扩展为图片、视频、压缩包等，在 HTTP 眼里这些都算做「文本」。再来理解「超文本」，它就是超越了普通文本的文本，它是文字、图片、视频等的混合体最关键有超链接，能从一个超文本跳转到另外一个超文本。HTML 就是最常见的超文本了，它本身只是纯文字文件，但内部用很多标签定义了图片、视频等的链接，在经过浏览器的解释，呈现给我们的就是一个文字、有画面的网页了。OK，经过了对 HTTP 里这三个名词的详细解释，就可以给出比「超文本传输协议」这七个字更准确更有技术含量的答案：HTTP 是一个在计算机世界里专门在「两点」之间「传输」文字、图片、音频、视频等「超文本」数据的「约定和规范」 注意: HTTP 不是用于从互联网服务器传输超文本到本地浏览器的协议，也可以是服务器到服务器，所以采用两点之间的描述会更准确 灵活可扩展主要体现在两个方面。一个是语义上的自由，只规定了基本格式，比如空格分隔单词，换行分隔字段，其他的各个部分都没有严格的语法限制另一个是传输形式的多样性，不仅仅可以传输文本，还能传输图片、视频等任意数据，非常方便。可靠传输 HTTP 基于 TCP/IP，因此把这一特性继承了下来。这属于 TCP 的特性，不具体介绍了。请求-应答也就是一发一收、有来有回， 当然这个请求方和应答方不单单指客户端和服务器之间，如果某台服务器作为代理来连接后端的服务端，那么这台服务器也会扮演请求方的角色。无状态这里的状态是指通信过程的上下文信息，而每次 http 请求都是独立、无关的，默认不需要保留状态信息 无状态所谓的优点和缺点还是要分场景来看的，对于 HTTP 而言，最具争议的地方在于它的无状态。在需要长连接的场景中，需要保存大量的上下文信息，以免传输大量重复的信息，那么这时候无状态就是 http 的缺点了。但与此同时，另外一些应用仅仅只是为了获取一些数据，不需要保存连接上下文信息，无状态反而减少了网络开销，成为了 http 的优点。明文传输即协议里的报文(主要指的是头部)不使用二进制数据，而是文本形式。这当然对于调试提供了便利，但同时也让 HTTP 的报文信息暴露给了外界，给攻击者也提供了便利。WIFI陷阱就是利用 HTTP 明文传输的缺点，诱导你连上热点，然后疯狂抓你所有的流量，从而拿到你的敏感信息。队头阻塞问题当 http 开启长连接时，共用一个 TCP 连接，同一时刻只能处理一个请求，那么当前请求耗时过长的情况下，其它的请求只能处于阻塞状态，也就是著名的队头阻塞问题。接下来会有一小节讨论这个问题。 对于 TCP 而言，在传输的时候分为两个部分: **TCP头 **和数据部分。而 HTTP 类似，也是 header + body 的结构，具体而言: 由于 http 请求报文和响应报文是有一定区别，因此分开介绍 对于请求报文来说，起始行类似下面这样: 也就是方法 + 路径 + http版本。对于响应报文来说，起始行一般张这个样: 响应报文的起始行也叫做状态行。由 http版本、状态码和原因三部分组成。注意：在起始行中，每两个部分之间用空格隔开，最后一个部分后面应该接一个换行，严格遵循 ABNF 语法规范 展示一下请求头和响应头在报文中的位置: 不管是请求头还是响应头，其中的字段是相当多的，而且牵扯到http非常多的特性，这里就不一一列举的，重点看看这些头部字段的格式： <ul><li>字段名不区分大小写</li><li>字段名不允许出现空格，不可以出现下划线_</li><li>字段名后面必须**紧接着 **:</li></ul> 很重要，用来区分开头部和实体。问: 如果说在头部中间故意加一个空行会怎么样？那么空行后的内容全部被视为实体。 就是具体的数据了，也就是 body 部分。请求报文对应请求体, 响应报文对应响应体。 http/1.1 规定了以下请求方法(注意，都是大写): <ul><li>GET 通常用来获取资源</li><li>HEAD 获取资源的元信息</li><li>POST 提交数据，即上传数据</li><li>PUT 修改数据</li><li>DELETE 删除资源(几乎用不到)</li><li>CONNECT 建立连接隧道，用于代理服务器</li><li>OPTIONS 列出可对资源实行的请求方法，预检请求，用来跨域请求</li><li>TRACE 追踪请求-响应的传输路径</li></ul> <ul><li>Host</li><li>Content-Length</li><li>Connection</li><li>Content-Encoding</li><li>Content-Type</li></ul> 对于定长包体而言，发送端在传输的时候一般会带上 Content-Length, 来指明包体的长度。我们用一个nodejs服务器来模拟一下: 启动后访问: localhost:8081。浏览器中显示如下: 这是长度正确的情况，那不正确的情况是如何处理的呢？我们试着把这个长度设置的小一些: 重启服务，再次访问，现在浏览器中内容如下: 那后面的ld哪里去了呢？实际上在 http 的响应体中直接被截去了。然后试着将这个长度设置得大一些: 此时浏览器显示如下: 直接无法显示了。可以看到 Content-Length 对于 http 传输过程起到了十分关键的作用，如果设置不当可以直接导致传输失败。 上述是针对于定长包体，那么对于不定长包体而言是如何传输的呢？这里就必须介绍另外一个 http 头部字段了: 表示分块传输数据，设置这个字段后会自动产生两个效果: <ul><li>Content-Length 字段会被忽略</li><li>基于长连接持续推送动态内容我们依然以一个实际的例子来模拟分块传输，nodejs 程序如下:</li></ul> 用 telnet 抓到的响应如下: 注意，Connection: keep-alive 及之前的为响应行和响应头，后面的内容为响应体，这两部分用换行符隔开。响应体的结构比较有意思，如下所示: 最后是留有有一个空行的，这一点请大家注意。以上便是 http 对于定长数据和不定长数据的传输方式。 对于几百 M 甚至上 G 的大文件来说，如果要一口气全部传输过来显然是不现实的，会有大量的等待时间，严重影响用户体验。因此，HTTP 针对这一场景，采取了范围请求的解决方案，允许客户端仅仅请求一个资源的一部分。 当然，前提是服务器要支持范围请求，要支持这个功能，就必须加上这样一个响应头: 假如在响应中存在Accept-Ranges首部（并且它的值不为 “none”），那么表示该服务器支持范围请求在上面的响应中，Accept-Ranges: bytes 表示界定范围的单位是 bytes 。这里 Content-Length也是有效信息，因为它提供了要检索的图片的完整大小 如果站点未发送Accept-Ranges首部，那么它们有可能不支持范围请求。一些站点会明确将其值设置为 “none”，以此来表明不支持。在这种情况下，某些应用的下载管理器会将暂停按钮禁用。 而对于客户端而言，它需要指定请求哪一部分，通过 Range 这个请求头字段确定，格式为bytes=x-y。接下来就来讨论一下这个 Range 的书写格式: 0-499 表示从开始到第 499 个字节。 500- 表示从第 500 字节到文件终点。 -100 表示文件的最后100个字节。 服务器收到请求之后，首先验证范围是否合法，如果越界了那么返回416错误码，否则读取相应片段，返回206状态码。同时，服务器需要添加 Content-Range 字段，这个字段的格式根据请求头中Range字段的不同而有所差异。具体来说，请求单段数据和请求多段数据，响应头是不一样的。举个例子: 接下来就分别来讨论着两种情况 对于单段数据的请求，返回的响应如下: 值得注意的是Content-Range字段，0-9表示请求的返回，100表示资源的总大小，很好理解。 接下来看看多段请求的情况。得到的响应会是下面这个形式: 这个时候出现了一个非常关键的字段Content-Type: multipart/byteranges;boundary=00000010101，它代表了信息量是这样的: 请求一定是多段数据请求 响应体中的分隔符是 00000010101 因此，在响应体中各段数据之间会由这里指定的分隔符分开，而且在最后的分隔末尾添上C表示结束。以上就是 http 针对大文件传输所采用的手段。 与分块传输编码的对比 Transfer-Encoding 首部允许分块编码，这在数据量很大，并且在请求未能完全处理完成之前无法知晓响应的体积大小的情况下非常有用。服务器会直接把数据发送给客户端而无需进行缓冲或确定响应的精确大小――后者会增加延迟。范围请求与分块传输是兼容的，可以单独或搭配使用 在 http 中，有两种主要的表单提交的方式，体现在两种不同的Content-Type取值: <ul><li>application/x-www-form-urlencoded</li><li>multipart/form-data 由于表单提交一般是POST请求，很少考虑GET，因此这里我们将默认提交的数据放在请求体中</li></ul> 对于application/x-www-form-urlencoded格式的表单内容，有以下特点: <ul><li>其中的数据会被编码成以&分隔的键值对</li><li>字符以URL编码方式编码。如：</li></ul> 对于multipart/form-data而言: 请求头中的Content-Type字段会包含boundary，且boundary的值有浏览器默认指定。例: 数据会分为多个部分，每两个部分之间通过分隔符来分隔，每部分表述均有 HTTP 头部描述子包体，如Content-Type，在最后的分隔符会加上C表示结束。 相应的请求体是下面这样: 值得一提的是，multipart/form-data 格式最大的特点在于:每一个表单元素都是独立的资源表述。另外，你可能在写业务的过程中，并没有注意到其中还有boundary的存在，如果你打开抓包工具，确实可以看到不同的表单元素被拆分开了，之所以在平时感觉不到，是以为浏览器和 HTTP 给你封装了这一系列操作。而且，在实际的场景中，对于图片等文件的上传，基本采用multipart/form-data而不用application/x-www-form-urlencoded，因为没有必要做 URL 编码，带来巨大耗时的同时也占用了更多的空间。 我们知道在 HTTP 是基于请求-响应模型的协议，一般由客户端发请求，服务器来进行响应。当然，也有特殊情况，就是代理服务器的情况。引入代理之后，作为代理的服务器相当于一个中间人的角色，对于客户端而言，表现为服务器进行响应；而对于源服务器，表现为客户端发起请求，具有双重身份。那代理服务器到底是用来做什么的呢？ <ul><li>负载均衡客户端的请求只会先到达代理服务器，后面到底有多少源服务器，IP 都是多少，客户端是不知道的。因此，这个代理服务器可以拿到这个请求之后，可以通过特定的算法分发给不同的源服务器，让各台源服务器的负载尽量平均。当然，这样的算法有很多，包括随机算法、轮询、一致性hash、LRU(最近最少使用)等等，不过这些算法并不是本文的重点，大家有兴趣自己可以研究一下。</li><li>保障安全利用心跳机制监控后台的服务器，一旦发现故障机就将其踢出集群。并且对于上下行的数据进行过滤，对非法 IP 限流，这些都是代理服务器的工作。</li><li>缓存代理将内容缓存到代理服务器，使得客户端可以直接从代理服务器获得而不用到源服务器那里</li></ul> <h4>Via</h4> 代理服务器需要标明自己的身份，在 HTTP 传输中留下自己的痕迹，怎么办呢？通过Via字段来记录。举个例子，现在中间有两台代理服务器，在客户端发送请求后会经历这样一个过程: 在源服务器收到请求后，会在请求头拿到这个字段: 而源服务器响应时，最终在客户端会拿到这样的响应头: 可以看到，Via中代理的顺序即为在 HTTP 传输中报文传达的顺序 字面意思就是为谁转发, 它记录的是请求方的IP地址(注意，和Via区分开，【【微信】】记录的是请求方这一个IP)。 是一种获取用户真实 IP 的字段，不管中间经过多少代理，这个字段始终记录最初的客户端的IP。相应的，还有X-Forwarded-Host和X-Forwarded-Proto，分别记录客户端(注意哦，不包括代理)的域名和协议名。 前面可以看到，【【微信】】这个字段记录的是请求方的 IP，这意味着每经过一个不同的代理，这个字段的名字都要变，从客户端到代理1，这个字段是客户端的 IP，从代理1到代理2，这个字段就变为了代理1的 IP。但是这会产生两个问题: <ul><li>意味着代理必须解析 HTTP 请求头，然后修改，比直接转发数据性能下降。</li><li>在 HTTPS 通信加密的过程中，原始报文是不允许修改的。由此产生了代理协议，一般使用明文版本，只需要在 HTTP 请求行上面加上这样格式的文本即可:</li></ul> 这样就可以解决【【微信】】带来的问题了 <ul><li>使用 TCP 长连接的方式改善了 HTTP/1.0 短连接造成的性能开销。</li><li>支持管道（pipeline）网络传输，只要第一个请求发出去了，不必等其回来，就可以发第二个请求出去，可以减少整体的响应时间。</li></ul> <ul><li>请求/响应头部（Header）未经压缩就发送，首部信息越多延迟越大。只能压缩 Body 的部分</li><li>发送冗长的首部。每次互相发送相同的首部造成的浪费较多</li><li>服务器是按请求的顺序响应的，如果服务器响应慢，会招致客户端一直请求不到数据，也就是队头阻塞；</li><li>没有请求优先级控制</li><li>请求只能从客户端开始，服务器只能被动响应</li></ul> HTTP/2是Web的未来，demo演示！HTTP2 协议是基于 HTTPS 的，所以 HTTP2 的安全性也是有保障的。那 HTTP2 相比 HTTP1.1 性能上的改进： HTTP2 会压缩头（Header）如果你同时发出多个请求，他们的头是一样的或是相似的，那么，协议会帮你消除重复的分。这就是所谓的 HPACK 算法 <ul><li>索引表</li><li>霍夫曼编码在客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，以后就不发送同样字段了，只发送索引号，这样就提高速度了。</li></ul> HTTP2 不再像 HTTP1.1 里的纯文本形式的报文，而是全面采用了二进制格式，头信息和数据体都是二进制，并且统称为帧(frame)：头信息帧和数据帧。 这样虽然对人不友好，但是对计算机非常友好，因为计算机只懂二进制，那么收到报文后，无需再将明文的报文转成二进制，而是直接解析二进制报文，这增加了数据传输的效率 <ol><li>数据流 HTTP2 的数据包不是按顺序发送的，同一个连接里面连续的数据包，可能属于不同的回应。因此，必须要对数据包做标记，指出它属于哪个回应。每个请求或回应的所有数据包，称为一个数据流（Stream）。每个数据流都标记着一 ..2023天猫喵币互助群,2023天猫喵币互助群,天猫互助微信群怎么加入群聊,天猫狂欢盛典天猫互助群是干嘛的500人微信群的优势：可以获得更多的人脉、不怕骚扰到别人、得到更多游戏奖励和游戏快乐。

本文地址： /show-95199.html

${site_name}$

${site_name}$

如何理解uri