博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Chrome开发者工具关于网络请求的一个隐藏技能
阅读量:7290 次
发布时间:2019-06-30

本文共 1259 字,大约阅读时间需要 4 分钟。

这个隐藏技能的背景是,最近出于学习目的,我写了一个百度贴吧的网络爬虫,专门爬取一些指定主题的贴吧帖子。

抓取帖子用的JavaScript函数如下:

function getPostByAJAX(requestURL){   var html = $.ajax({         url: requestURL,         async: false}).responseText;         return html;}

就是一个非常简单的AJAX请求:

传入该函数的输入参数requestURL的值为:

上面的url,我直接在浏览器里访问可以正常工作,返回47.2KB大小的数据。

然而当我用AJAX函数访问该url时,在Chrome开发者工具里遇到如下错误:

然而,这个错误没有任何明细信息,我没有线索去排错。

于是,就有了本文这个Chrome开发者工具的隐藏技能的用武之地。

在Chrome地址栏打开: chrome://net-internals

点击Event标签页:

再回到我的百度贴吧爬虫网页,该网页发起AJAX请求,按F5刷新后发送一个新的请求,然后回到Chrome开发者工具。

该AJAX请求的明细就详细显示出来了。找到我关心的url:

chrome://net-internals这个界面显示的网络请求的明细比Network标签页里要详细得多:

在响应头字段里发现了引起这个错误的一些线索:

从上面的截图发现,HTTP响应状态字段为302,location字段为 “” 。这两条线索给了我提示:这个错误一定和百度网站的登陆状态处理相关:我使用的url不支持匿名访问。

我在浏览器里访问该url能够成功,因为我的Cookie在起作用。

Goole了一下,发现了解决方案。在AJAX的请求参数中添加:

xhrFields:{withCredentials: true}

如此一来,可以将我的cookie和AJAX请求一齐发送给百度服务器。

加上该参数后,请求就能够得到期望的响应了。

使用Chrome开发者工具这个隐藏技能,我们还能观察到一些其他的平时很难发现的细节。

比如我的AJAX请求通过本地的jQuery库文件发出,我的HTML代码里直接引用了本地文件jquery1.7.1.js。在运行时,这个jquery1.7.1.js文件需要被加载到内存中。

使用这个隐藏技能,我现在能观察到jquery1.7.1.js是通过分块的方式被读入到内存中的,参考现在URL_REQUEST_JOB_BYTES_READ的参数:byte_count = 32768。总共分了8块读取,最后1块因为尺寸不满32768,只读了剩下的22285字节。

这8块的总字节数251661正好是jquery1.7.1.js的字节数。由此再次证明,chrome://net-internals提供的功能比Network标签页里的要强大。

要获取更多Jerry的原创技术文章,请关注公众号"汪子熙"或者扫描下面二维码:

转载地址:http://wxcjm.baihongyu.com/

你可能感兴趣的文章
Jmeter获取redis数据
查看>>
电子书,电子图书馆网址大全
查看>>
List中的get(i)
查看>>
整数N分解,搭积木,离散数学中的母函数,ZOJ(1163)
查看>>
mysql删除数据库文件ibdata1后引发的故障
查看>>
ansible笔记(3):ansible模块的基本使用
查看>>
7.2 main函数
查看>>
Foundation HTML5 Canvas中的2处错误
查看>>
chcapter 11 熵和信息
查看>>
GFS文件系统
查看>>
面向对象数据库NDatabase_初识
查看>>
HDU1319 POJ1595 UVA406 UVALive5490 ZOJ1312 Prime Cuts【素数筛选+打表】
查看>>
事务的特性及事务的隔离级别(转)
查看>>
转:如何正确彻底删除webpack 全局或是局部?
查看>>
【Python】Symbol Review
查看>>
电脑 F键(功能键)的具体作用
查看>>
004-软件质量保证&QC/QA
查看>>
选择排序的实现以及性能测试
查看>>
基于snowfall的玫瑰花瓣飘落效果
查看>>
linux之cut用法
查看>>