首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网站开发 > asp.net >

SQL存储过程分页算法研究(支持万万级) 圣诞快乐

2011-12-23 
SQL存储过程分页算法研究(支持千万级)圣诞快乐1.“俄罗斯存储过程”的改良版CREATE procedure pagination1(@

SQL存储过程分页算法研究(支持千万级) 圣诞快乐
1.“俄罗斯存储过程”的改良版

CREATE procedure pagination1
(@pagesize int, --页面大小,如每页存储20条记录
@pageindex int --当前页码)
as set nocount on

begin

declare @indextable table(id int identity(1,1),nid int) --定义表变量
declare @PageLowerBound int --定义此页的底码
declare @PageUpperBound int --定义此页的顶码

set @PageLowerBound=(@pageindex-1)*@pagesize
set @PageUpperBound=@PageLowerBound+@pagesize
set rowcount @PageUpperBound
insert into @indextable(nid) select gid from TGongwen where fariqi >dateadd(day,-365,getdate()) order by fariqi desc
select O.gid,O.mid,O.title,O.fadanwei,O.fariqi from TGongwen O,@indextable t where O.gid=t.nid
and t.id>@PageLowerBound and t.id<=@PageUpperBound order by t.id

end

set nocount off

文章中的点评:

以上存储过程运用了SQL SERVER的最新技术――表变量。应该说这个存储过程也是一个非常优秀的分页存储过程。当然,在这个过程中,您也可以把其中的表变量写成临时表:CREATE TABLE #Temp。但很明显,在SQL SERVER中,用临时表是没有用表变量快的。所以笔者刚开始使用这个存储过程时,感觉非常的不错,速度也比原来的ADO的好。但后来,我又发现了比此方法更好的方法。

从感觉上讲,效率不是太高。


2. not in 的方法: 
从publish 表中取出第 n 条到第 m 条的记录:

SELECT TOP m-n+1 * FROM publish WHERE (id NOT IN (SELECT TOP n-1 id FROM publish))

id 为publish 表的关键字

文章中的点评:

我当时看到这篇文章的时候,真的是精神为之一振,觉得思路非常得好。等到后来,我在作办公自动化系统(ASP.NET+ C#+SQL SERVER)的时候,忽然想起了这篇文章,我想如果把这个语句改造一下,这就可能是一个非常好的分页存储过程于是我就满网上找这篇文章,没想到,文章还没找到,却找到了一篇根据此语句写的一个分页存储过程,这个存储过程也是目前较为流行的一种分页存储过程。

使用了 not in 而 not in 是无法使用索引的,所以从效率上讲还是差了一点。


3. max 的方法:

select top 页大小 * from table1 where id>
 (select max (id) from
 (select top ((页码-1)*页大小) id from table1 order by id) as T)
 order by id

文章中的点评:

我们知道,几乎任何字段,我们都可以通过max(字段)或min(字段)来提取某个字段中的最大或最小值,所以如果这个字段不重复,那么就可以利用这些不重复的字段的max或min作为分水岭,使其成为分页算法中分开每页的参照物。在这里,我们可以用操作符“>”或“<”号来完成这个使命,使查询语句符合SARG形式。如:
Select top 10 * from table1 where id>200

这个就高高效了一点。但是不清楚 max的工作原理,不知道它的性能如何。

心得:

1、追求高效的翻页算法 —— 定位法。

declare @pageSize int --返回一页的记录数
declare @CurPage int --页号(第几页)0:第一页;-1最后一页。

declare @Count int
declare @id int

set @pageSize=10
set @CurPage =1

--定位
if @CurPage = -1
begin
 --最后一页
 set rowcount @pageSize
 select @id=newsID from newsTemp order by newsID
end

if @CurPage > 0
begin
 set @Count = @pageSize * (@CurPage -1) + 1
 set rowcount @Count
 select @id=newsID from newsTemp order by newsID desc
end

--返回记录
set rowcount @pageSize
select * from newsTemp where newsID <=@id order by newsID desc

set rowcount 0


思路:就是上面的算法的延续,就是说呢避免使用 not in 和 max 的方法。也就是这个思路:Select top 10 * from table1 where id>200,定位 —— 就是说要找到“临界点”,分页的临界点。找到了之后剩下的事情就好办了。

缺点:单字段排序、排序字段的值不能重复(不是绝对不能重复,可以有少量的重复)。


2、通用法 —— 颠颠倒倒法

有的时候“定位法”的缺点是不可以接受的,但是没有关系,可以用这个的。

select * from table where id in 
(
 select top 10 ID from 
 (
 select top 20 ID,addedDate from table 
 order by addedDate desc
 ) as aa order by addedDate
)
order by addedDate desc

ID 是主键,addedDate 是排序字段。

缺点:必须有主键。


[解决办法]
up!!!
圣诞快乐!!
[解决办法]

探讨
up!!!
圣诞快乐!!

[解决办法]
俄罗斯。。。呵呵~
[解决办法]
thank you for your share.
[解决办法]
好像比较老的帖子了。


[解决办法]

[解决办法]
顶,不过千万条记录最好使用oracle
[解决办法]
顶,不过千万条记录最好使用oracle
[解决办法]
顶!圣诞快乐!
[解决办法]
学习下
[解决办法]
顶...
[解决办法]

给一下简单在SQL例子对万条数据没问题的,在0.5秒没问题的。希望有所帮助:
如:
select * from Products where ProductID in 
( select top 10 ProductID from 
(select top 20 ProductID , UnitPrice from
Products 
where CategoryID = 3 
order by 
UnitPrice desc , 
ProductID
) as aa
order by
UnitPrice asc, --如果上面是倒序,那么这里就是正序,下同 
ProductID desc 

order by 
UnitPrice desc, --如果上面是倒序,那么这里就是正序,所谓颠颠倒倒嘛。 
ProductID 

[解决办法]
mark
[解决办法]
up 谢谢楼主
[解决办法]
收藏看看
[解决办法]
我来看一看
[解决办法]

[解决办法]
收藏
[解决办法]

探讨
up!!!
圣诞快乐!!

[解决办法]
Up。。。
貌似很早以前就看过了
[解决办法]
探讨
好像比较老的帖子了。

[解决办法]
mark
[解决办法]
收藏 学习!
[解决办法]
支持~!!!!!!!!
[解决办法]
支持~!!!!!!!!
[解决办法]
Mark下
千万级别我还真没碰到过,目前我接触的也就200W左右最大单表
目前用的存储过程就用临时表+索引,速度还可以
[解决办法]
MARK
[解决办法]
收藏
[解决办法]
支持
[解决办法]
mark 学习
[解决办法]

[解决办法]
顶!~~~~~~~~~~
[解决办法]

[解决办法]
up~
[解决办法]
没自己写过,一直用网上找来的,感觉写分页存储过程最麻烦的部分还是处理条件语句.
[解决办法]
vz
[解决办法]
up!!! 
圣诞快乐!!
[解决办法]
用SQL2005 就沒那么麻煩了 只要用下 Row_NUMBER這個函數就行
For Example:
select * from 

(select ROW_NUMBER()Over(order by itemid desc) as rowId,* 

from items

) as mytable where rowId between 10 and 20


[解决办法]
好 ..顶了 ...

热点排行