HttpClient模拟ajax交付

2012-09-19

HttpClient模拟ajax提交这几天开始做一些爬虫方面的东西，但是在解析页面是碰到了分页数据的爬取问题，如果

HttpClient模拟ajax提交
这几天开始做一些爬虫方面的东西，但是在解析页面是碰到了分页数据的爬取问题，如果分页是get方式的url还好，但是如果是Post方式的ajax提交那就感觉比较纠结
思路：
因为是post所以首先想到使用Post的参数方式来做：

public String doHttpSend(String keyWord,String searchType,int pageNum) throws Exception{PostMethod method = null;try{HttpClient client = getHttpClient();method = new PostMethod(SEARCH_URL);method.addRequestHeader("connection","keep-alive");NameValuePair[] params = new NameValuePair[]{new NameValuePair("keyWord",keyWord),new NameValuePair("page",String.valueOf(pageNum))};                           method.addParameters(params);int statusCode = client.executeMethod(method);if(statusCode != HttpStatus.SC_OK){return null;}System.out.println(method.getResponseBodyAsString());return method.getResponseBodyAsString();}finally{if(null != method){method.releaseConnection();}}}

但是发现该方法实现发送后，获得的结果总是"System.NotSupportedException"；
刚开始以为是Header设置不对，用工具对比后发现header信息基本一直，但是参数格式却是不一样的，比如当前方式的参数格式最终为"param1=value1&param2=value2",而页面上ajax提交的参数确实json格式的字符串；
于是，就修改参数的构造方式：
首先构造json格式的字符串如：String param ="{"keyWord":"+keyWord+","page":"+pageNum+"}",而不能使用NameValuePair来传递参数
再设置参数到method : method.setRequestBody(param);

这样就可以成功得到ajax返回的数据了，该方法同样适用于asp的异步方法，已经过验证;但是如果使用NameValuePair如何才能解决ajax问题呢，还有待研究! 1 楼 solo- 2012-07-04 试了一下构造json请求也不行，不知道怎么回事 2 楼冰糖葫芦 2012-07-11 solo- 写道试了一下构造json请求也不行，不知道怎么回事
嗯，首先确保参数格式对不对，包括"都不能少，如果参数没错误的话，就用抓包工具分析对比下httpclient的请求和浏览器本身请求的header有什么不同，比如有没有使用gzip等都可能影响到是否成功，呵呵

热点排行

Ajax

HttpClient模拟ajax交付