百度蜘蛛的HTTP_REFERER_百科知识_湖北创研科技百度蜘蛛的HTTP_REFERER_百科知识_湖北创研科技

欢迎来到湖北创研楚商科技股份有限公司!

联系热线:027-8575 6199 网站地图

新闻中心

全面整合强大的传播资源
当前位置 当前位置: 首页 >-新闻中心- 百科知识

百度蜘蛛的HTTP_REFERER

发布时间:2015/7/28 17:27:34 编辑:管理员

    简而言之,HTTP Referer是header的一部分,当浏览器向web服务器发送请求的时候,一般会带上Referer,告诉服务器我是从哪个页面链接过来的,服务器籍此可以获得一些信息用于处理。例如:如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:


    上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额。


相关文章