实现Ajax友好的搜索引擎爬虫-jrex,gecko
此文转自于：http://ilovelate.blog.163.com/blog/static/601420074610168616/
?
?? 现在web2.0如火如荼，Ajax技术获得了广大的运用，比如咱网易博客，搜狐博客等，仔细研究下这些网站，你会发现他们对搜索引擎很不友好，因为什么 呢，因为这些网站都使用了后加载技术，就是说是在JS里面去动态加载内容的，最典型的就是个人博客的首页，那么多模块都是后加载进来的。对于一般的搜索引 擎来说，他只会抓取网页，然后分析网页的内容，如果搜索引擎来抓个人博客的首页的话，看到的除了head区域，其他的就没有内容了，因为搜索引擎不会执行 页面。 这样就提出了一个问题，怎么实现Ajax友好的爬虫呢，就是说虽然我这个网站引用了Ajax实现了后加载技术，也照样可以抓取我的内容。 可能大家有个疑问，既然这样，为什么在google百度，还能搜到我的日志内容呢，那是因为网易博客的日志页面是使用了静态页面的技术，日志的内容都在网 页内呢，呵呵，另外还有每个博客都有RSS地址，搜索引擎可以通过爬取RSS来获得内容。
???? 如何爬取后加载的网页呢，简单点说我们爬取的网页应该是像firefox中的view genernated Source这样的网页内容，而不是现在搜索搜索引擎使用的view source内容。 要实现这样的效果，firefox使用的开源GECKO 引擎可以实现我们想要的效果，因为我们使用java来做爬虫的话，jrex已经为gecko做好了封装，很容易使用。??????????????????????????????????????????????????????????????????
一、?????? 介绍
"JRex" is a Java Browser Component with set of API's for Embedding Mozilla GECKO within a Java Application.
?Jrex提供了对firefox的引擎的java形式的封装。默认的gecko引擎是以C++ dll的形式提供的，Jrex主要是做了JNI这层的封装，并提供了Java的接口
二、?????? 安装
网址： http://jrex.mozdev.org/
1.?????? 下载 jrex-bin-log-1.0b1_dom3.zip和jrex_gre.jar
2.?????? 将jrex_gre.jar的后缀改为rar,打开后将最里面的jrex_gre文件夹复制到C:\中，然后将jrex-bin-log-1.0b1_dom3.zip中的jrex.dll文件复制到 C:\jrex_gre 目录中。
3.?????? 直接运行run.bat即可看到用jrex实现的java浏览器，还不错噢。
注意，那个JAVA_HOME应该是JRE的，而不是JDK的，否则会找不到的一个jwt.dll
? "C:\Program Files\Java\jre1.5.0_06/bin/java"
?
三、?????? 编程
实现效果： firefox中的view generated Source
代码如下：
?
import java.io.StringWriter;import javax.swing.JFrame;import javax.swing.JPanel;import javax.xml.transform.OutputKeys;import javax.xml.transform.Result;import javax.xml.transform.Source;import javax.xml.transform.Transformer;import javax.xml.transform.TransformerFactory;import javax.xml.transform.dom.DOMSource;import javax.xml.transform.stream.StreamResult;import org.mozilla.jrex.JRexFactory;import org.mozilla.jrex.event.progress.ProgressEvent;import org.mozilla.jrex.navigation.WebNavigation;import org.mozilla.jrex.navigation.WebNavigationConstants;import org.mozilla.jrex.ui.JRexCanvas;import org.mozilla.jrex.window.JRexWindowManager;import org.w3c.dom.Document;import org.w3c.dom.Element;import org.w3c.dom.Node;public class Render implements org.mozilla.jrex.event.progress.ProgressListener { boolean done = false; public boolean parsePage(String url) throws Exception {System.setProperty("jrex.browser.usesetupflags", "true"); System.setProperty("jrex.browser.allow.images", "false"); //不加载图片 System.setProperty("jrex.browser.allow.plugin", "false"); //不加载flash // The JRexCanvas is the main browser component. The WebNavigator // is used to access the DOM. JRexCanvas canvas = null; WebNavigation navigation = null; // Start up JRex/Gecko. JRexFactory.getInstance().startEngine(); // Get a window manager and put the browser in a Swing frame. // Based on Dietrich Kappe's code. JRexWindowManager winManager = (JRexWindowManager) JRexFactory .getInstance().getImplInstance(JRexFactory.WINDOW_MANAGER); winManager.create(JRexWindowManager.SINGLE_WINDOW_MODE); JPanel panel = new JPanel(); JFrame frame = new JFrame(); frame.getContentPane().add(panel); winManager.init(panel); // Get the JRexCanvas, set Render to handle progress events so // we can determine when the page is loaded, and get the // WebNavigator object. canvas = (JRexCanvas) winManager.getBrowserForParent(panel); canvas.addProgressListener(this); navigation = canvas.getNavigator(); // Load and process the page. navigation.loadURI(url, WebNavigationConstants.LOAD_FLAGS_NONE, null, null, null); // Swing magic. frame.setSize(640, 480); frame.setVisible(false); // Check if the DOM has loaded every two seconds. while (!done) { Thread.sleep(2000); } // Get the DOM and recurse on its nodes. Document doc = navigation.getDocument(); Element ex = doc.getDocumentElement(); System.out.println(xmlToString(ex)); return true; } public static String xmlToString(Node node) throws Exception { Source source = new DOMSource(node); StringWriter stringWriter = new StringWriter(); Result result = new StreamResult(stringWriter); TransformerFactory factory = TransformerFactory.newInstance(); Transformer transformer = factory.newTransformer(); transformer.setOutputProperty(OutputKeys.METHOD, "html"); transformer.transform(source, result); return stringWriter.getBuffer().toString(); } /** * onStateChange is invoked several times when DOM loading is complete. Set * the done flag the first time. */ public void onStateChange(ProgressEvent event) { if (!event.isLoadingDocument()) { if (done) return; done = true; } } public static void main(String[] args) throws Exception { Render p = new Render(); p.parsePage("http://ilovelate.blog.163.com"); System.exit(0); } public void onLinkStatusChange(ProgressEvent event) { } public void onLocationChange(ProgressEvent event) { } public void onProgressChange(ProgressEvent event) { } public void onSecurityChange(ProgressEvent event) { } public void onStatusChange(ProgressEvent event) { }}?
????