(转载)scrapy三步曲scrapy的简介、安装与实例（python抓取的爬虫框架）
(原文地址：http://www.ddlive.org/?p=664)
实例，官方有个实例教程，算是比较简单了，然后后面有更详细的一项项解释，不过老实讲我还真是看不太懂，很多地方没有给出实例，所以我在网上找了一大堆资料后，弄了一个实例。现在列出来跟大家分享。
1.实例初级目标：从一个网站的列表页抓取文章列表，然后存入数据库中，数据库包括文章标题、链接、时间
首先生成一个项目:scrapy startproject fjsen
目录结构大致如下：
先定义下items,打开items.py:
我们开始建模的项目，我们想抓取的标题，地址和时间的网站，我们定义域为这三个属性。这样做，我们编辑items.py，发现在开放目录目录。我们的项目看起来像这样：
# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/topics/items.html
from scrapy.item import Item, Field
class FjsenItem(Item):??? # define the fields for your item here like:??? # name = Field()??? title=Field()??? link=Field()??? addtime=Field()
大家想知道更加详细的话看：http://doc.scrapy.org/en/0.12/topics/items.html
第二步：定义一个spider,就是爬行蜘蛛（注意在工程的spiders文件夹下），他们确定一个初步清单的网址下载，如何跟随链接，以及如何分析这些内容的页面中提取项目（我们要抓取的网站是http://www.fjsen.com/j/node_94962.htm 这列表的所有十页的链接和时间）。
新建一个fjsen_spider.py,内容如下：
#-*- coding: utf-8 -*-from scrapy.spider import BaseSpiderfrom scrapy.selector import HtmlXPathSelectorfrom fjsen.items import FjsenItemclass FjsenSpider(BaseSpider):??? name="fjsen"??? allowed_domains=["fjsen.com"]??? start_urls=['http://www.fjsen.com/j/node_94962_'+str(x)+'.htm' for x in range(2,11)]+['http://www.fjsen.com/j/node_94962.htm']
??? def parse(self,response):??????? hxs=HtmlXPathSelector(response)??????? sites=hxs.select('//ul/li')??????? items=[]??????? for site in sites:??????????? item=FjsenItem()??????????? item['title']=site.select('a/text()').extract()??????????? item['link'] = site.select('a/@href').extract()??????????? item['addtime']=site.select('span/text()').extract()??????????? items.append(item)??????? return items???????????????????? name:是确定蜘蛛的名称。它必须是独特的，就是说，你不能设置相同的名称不同的蜘蛛。
allowed_domains：这个很明显，就是允许的域名，或者说爬虫所允许抓取的范围仅限这个列表里面的域名。
start_urls：是一个网址列表，蜘蛛会开始爬。所以，第一页将被列在这里下载。随后的网址将生成先后从数据中包含的起始网址。我这里直接是列出十个列表页。
parse()：是蜘蛛的一个方法，当每一个开始下载的url返回的Response对象都会执行该函数。
这里面，我抓取每一个列表页中的<ul>下的<li>下的数据，包括title,链接，还有时间，并插入到一个列表中.
第三步，将抓取到的数据存入数据库中，这里就得在pipelines.py这个文件里面修改了
# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/topics/item-pipeline.htmlimport sqlite3from os import pathfrom scrapy import signalsfrom scrapy.xlib.pydispatch import dispatcherclass FjsenPipeline(object):??? ??? def __init__(self):??????? self.conn=None??????? dispatcher.connect(self.initialize,signals.engine_started)??????? dispatcher.connect(self.finalize,signals.engine_stopped)??? def process_item(self,item,spider):??????? self.conn.execute('insert into fjsen values(?,?,?,?)',(None,item['title'][0],'http://www.fjsen.com/'+item['link'][0],item['addtime'][0]))??????? return item??? def initialize(self):??????? if path.exists(self.filename):??????????? self.conn=sqlite3.connect(self.filename)??????? else:??????????? self.conn=self.create_table(self.filename)??? def finalize(self):??????? if self.conn is not None:??????????? self.conn.commit()??????????? self.conn.close()??????????? self.conn=None??? def create_table(self,filename):??????? conn=sqlite3.connect(filename)??????? conn.execute("""create table fjsen(id integer primary key autoincrement,title text,link text,addtime text)""")??????? conn.commit()??????? return conn这里我暂时不解释，先继续，让这个蜘蛛跑起来再说。第四步：修改setting.py这个文件：将下面这句话加进去
ITEM_PIPELINES=['fjsen.pipelines.FjsenPipeline']
接着，跑起来吧,执行：
scrapy crawl fjsen
就会在目前下生成一个data.sqlite的数据库文件，所有抓取到的数据都会存在这里。