怎样批量获取某个网页的查询数据?怎样批量获取某个网页的查询数据? 不要登录和验证码的那种网页就像我们学
怎样批量获取某个网页的查询数据?
怎样批量获取某个网页的查询数据? 不要登录和验证码的那种网页
就像我们学校的四六级成绩查询一样,只要输入学号就可以得到成绩
怎样可以偷懒 不要手动一个一个的输入学号就可以得到成绩
(本人JAVA,数据库才入门,请各位说详细点,思路是什么,需要要用到哪些知识?)
[解决办法]
你首先要获得数据库的地址,然后在JDBC里配置它,如果你不知道数据库在哪,那就没法做程序了。
如果你要实现功能,就要自己建数据库。
给分,谢谢。
[解决办法]
用httpclient请求网页,也可以附加post参数,获得网页文档,解析出所需数据就可以了.具体查看httpclient吧
[解决办法]
写个DAO,查询ID,就能实现了
[解决办法]
[解决办法]呵呵,楼主的意思我明白了,
比如你想得到04054000 -- 04054100这个学号段的成绩,可以循环学号
然后通过Ajax的方法,提交查询数据,然后获得服务器返回的数据,并保存下来成.html代码就行了。
[解决办法]唯一的难点是你得先找出当你输入学号时提交查询数据的网址。
[解决办法]你根本不能知道别人网站的数库在哪,就算你知道了,你也不可能知道别人的密码,
要登录到数据库中取数那简直是比登天还难。
我看了半天没明白你要做什么!你是要自己做东西给别人查询,还是你要到别人的网站上去偷数据?
[解决办法][解决办法][解决办法][解决办法]perl LWP::UserAgent,HTML::TreeBuilder,应该就OK了
再要是变态了,就OLE吧
[解决办法]肯能用到ajax哦
[解决办法]不写代码的话找点工具罗.
ww.aaa.com/show.jsp?USERID=1234
我用firefox + downthemall的插件批量下(基于浏览器最好的一点就是它自动支持sessionid,cookies等)
只要URL是有规律的就好下了。
其他下载工具flashget之类的估计也是可以的,如果服务器不限制你的sessionid,cookies之类
一些网页网络小偷之类的程序不知道可不可以, 总有办法的。
[解决办法]我估计lz是个班长之类的人物,然后要查询他们班所有人的四级成绩
又懒得一个一个来
要是这样的话,先自己输入考号之类的查一个,这个时候用抓包工具看发送的是什么http请求
然后自己用ajax一个循环就可以搞定啦
[解决办法]LZ就是想偷懒不用逐一输入学号查询成绩是吧!这不算偷!
那得看开发人员的开发经验啦!如果是象我们这刚入门的是能办到的!你们学校网页是根据学号查询的,如果是他们的SQL语句只是简单的
select column(成绩) from table (表名) where id=?的话,是可以破解的,你只要在输入 1 or 1==1;这样就把where 语句给废了
就能够获得全部的成绩啦,可遗憾的是得到数据没地方放啊!
所以还是慢慢查吧
[解决办法]根据你要请求的页面的地址,使用URL类获取该页面的响应的源码;
然后在源码中找你要的数据。
可以使用一个循环来执行上述操作完成批量查询。
缺点是比较耗资源。
[解决办法][解决办法]给你一个建议,你可以用测试软件,然后将数据参数化查,然后一个一个记录,那这样不就可以看到你要看到的学好的所有成绩了!
希望给分~~~
[解决办法]多找找相关的文章看下了
[解决办法]你看看那个网页的源代码,看看数据是如何请求过去的,比如是采用 POST 还是 GET 方式,提交到什么地址上去的。
之后你就可以编写程序来模拟这种提交,并获得从服务端返回的数据,解析后就是想要的东西了。
模拟可以采用 JDK 中的 URLConnection 或者是 Apache HttpClient
[解决办法][解决办法]你看看那个网页的源代码,看看数据是如何请求过去的,比如是采用 POST 还是 GET 方式,提交到什么地址上去的。
之后你就可以编写程序来模拟这种提交,并获得从服务端返回的数据,解析后就是想要的东西了。
模拟可以采用 JDK 中的 URLConnection 或者是 Apache HttpClient
------------------------
就是这种思路对了,具体怎么做不用别人帮你把代码都写出来吧?
[解决办法]看了 不少 大家都误解楼主的意思
他的意思是 手工输入学号和密码 可以获得某个对应的数据(由某个页面呈现出来)(不是他要做的程序展现 是人家做好了的程序呈现)
他现在是知道了学号库 要获取批量的数据...
楼主 你看是不是这个意思?
如果是,你可以先观察下使用手工输入请求到的数据时url里面的参数是多少?
然后使用循环用 把你的学号库的数据作为参数请求这个页面..
这样就得到你需要的东西了
使用 httpwebrequest 请求页面 得到页面源代码字符串,你整理下这些字符串吧 里头有你要的东西
不需要什么连接数据库的 请求页面而已
[解决办法]有这么麻烦么,你看一下表单的提交地址,然后用程序模拟一下请求,然后分析一下返回的页面不就行了么,反正没有验证码也不需要登陆的。。。
[解决办法]使用按键精灵,回答完毕.
[解决办法]不就是一个数据采集吗?用HttpURLConnection请求你那个网站的请求url,传入学号(循环的),得到各个学号相对应的请求内容,截取你想要的东西不就好了,最好用多线程进行请求,如果需要做成excel,在导个poi的jar包就可以了,你网上搜索下java小偷类的,网上应该有许多这样的例子
[解决办法]//www.163.com C#
webBrowser1.Document.GetElementById("userName").InnerText = "your account"; // webBrowser1.Document.GetElementById("password").InnerText = "your password";
HtmlElement formLogin = webBrowser1.Document.Forms["login"];
formLogin.InvokeMember("submit");
[解决办法]