|
所以，如果我爬行你的“http://www.example.com/page1.LOL111”URL并发现未知文件扩展名时，我可能会首先把它下载。 如果我从标头中无法弄清内容类型，或者它属于我们拒绝检索的文件格式（例如MP3），那么只能把它放在一边了。除此之外，我们会接着对文件进行爬行。
网站：谷歌机器人，我很抱歉对你的工作风格“鸡蛋里挑骨头”，但我注意到你的“Accept-Encoding”标头这样说：
Accept-Encoding: gzip,deflate
你能跟我说说这些标头是怎么回事吗？
谷歌机器人：当然。所有的主流搜索引擎和WEB浏览器都支持对内容进行gzip压缩，以节约带宽。你或许还会碰到其它的一些类型，例如“x-gzip”（与“gzip”相同），“deflate”（我们也支持它）和“identity”（不支持）。
网站：你能更详细地说说文件压缩和“Accept-Encoding: gzip,deflate”吗？我的许多URL都包含尺寸很大的Flash文件和美妙的图像，不仅仅是HTML。如果我把一个比较大的文件加以压缩，会不会有助于你更迅速地爬行呢？
谷歌机器人：对于这个问题，并没有一个简单的答案。首先，swf（Flash）、jpg、png、gif和pdf等文件格式本身已经是压缩过的了（而且还有专门的Flash 优化器）。
网站：或许我已经把自己的Flash文件进行了压缩，自己还不知道。很显然，我的效率很高喽。
谷歌机器人：Apache和IIS都提供了选项，允许进行gzip和deflate压缩，当然，节省带宽的代价是对CPU资源的更多消耗。一般情况下，这项功能只适用于比较容易压缩的文件，例如文本HTML/CSS/PHP内容等。而且，只有在用户的浏览器或者我（搜索引擎机器人）允许的情况下才可以使用。 就我个人而言，更倾向于“gzip”而不是“deflate”。Gzip的编码过程相对可靠一些，因为它不断地进行加和检查，并且保持完整的标头，不像 “deflate”那样需要我在工作中不断推测。除此之外，这两种程序的压缩算法语言都很相似。
3/4 首页 上一页 1 2 3 4 下一页 尾页 |
