sql server 2008亿万数据性能优化

  次阅读 作者:智能小宝 来源:互联网 2016-03-01 10:18 我要评论(0)

根据设计惯例,查询的时候主子表通过关键词字段关联查询,查询语句如下:

select top 1000a.word,a.queryurl,a.irank,a.title,a.baiduurl,a.itraffic1,a.itraffic2,b.ibaiduindexfromzibiao a

with(nolock)

inner join zhubiao b with(nolock) on a.word=b.word

where a.queryurl='http://zhidao.baidu.com'

order by b.ibaiduindex desc,a.irank

发现速度很慢,快的时候瞬间,慢的时候长达几分钟。分析sql server的查询执行计划如下:

分析这个执行计划图,主要资源开销是在主表的聚集索引查找,应该是子表根据网址找到关键词后,再到主表中查找关键词对应的指数的这一步比较耗时。

因这2个表的更新频率非常高,以为是更新频率太快,导致索引效率降低,于是想到用数据库读写分离的方案,专门拿了一台备用服务器,通过发布订阅的方法,将这两张表发布到备用服务器上,专门在备用服务器上做查询,发现速度并没有得到提升。

在csdn上发了一个讨论帖,网友讨论很热烈,sqlserver的很多版主都有参与讨论,给出的方案也很多。有人说是IO读写瓶颈,于是升级了下服务器,硬盘采用raid10的固态硬盘,内存更是升级到了128G,不过效果仍旧不明显,同样的语句,慢的时候还是需要几十秒。

有网友给出的方案,是建议把主表字段放到子表冗余,以减少关联的资源消耗,再结合以上的执行计划图,确实瓶颈是在主表的的聚集索引查找上,于是单独执行了下子表的irank排序语句:

select top 1000a.word,a.queryurl,a.irank,a.title,a.baiduurl,a.itraffic1,a.itraffic2 fromzibiaoa

with(nolock)

where a.queryurl='http://zhidao.baidu.com'

order by a.irank

发现执行速度非常快,几乎秒开了,当然irank字段上有建索引的。

测试成功,于是将主表的ibaiduindex字段放到子表冗余,并且建立好索引(这里的索引建立是有技巧的)。执行语句:

select top 1000a.word,a.queryurl,a.irank,a.title,a.baiduurl,a.itraffic1,a.itraffic2,a.ibaiduindexfromzibiao a

with(nolock)

where a.queryurl='http://zhidao.baidu.com'

order by a.ibaiduindex desc,a.irank

查询瞬间出来结果。执行计划如下:

这里拿以上这个sql语句来分析,我们该如何建立索引。索引建立包括字段的先后顺序,字段的排序方法,include项都很重要,任何一个弄错,都不能达到好的优化效果。

1.我们肯定需要建立一个组合索引。那么应该组合字段用哪几个呢?这里我的组合字段是:queryurl(这个字段第一,因为我们最先是根据这个字段进行筛选的)、ibaiduindex、irank

2.这里要注意下,因为我的固定排序就是ibaiduindex desc,irankasc,所以字段的排列顺序应该是:queryurl,ibaiduindex,irank。同时排序的类别是:ibaiduindex desc,irankasc。这里我一开始没注意,ibaiduindex的排序是asc,结果发现执行上面那个SQL语句仍然需要2秒。

3.索引包含项,也很重要,如果不用包含项,索引查找到主键后,还要根据主键去查找其他字段。所以我们需要设置索引包含性列,把除掉索引字段中剩余的其他字段都加进去。

优化后的效果就如上面的执行计划图所示,一次非聚集索引查找,就找到我们的数据,而且都不需要排序耗时,因为我们的索引已经按照顺序排列好了。当然,这里要说明下,索引包含确实好用,但是代价就是磁盘的空间。加了索引包含项,数据库空间增加了几十个G。

本站文章信息来源于网络以及网友投稿,本站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。如果您有什么意见或建议,请联系QQ28-1688-302!

人工智能实验室
相关文章相关文章
  • 英国研发“杀生”机器人 通过生命体获取能量

    英国研发“杀生”机器人 通过生命体获取能量

  • 未来两年人工智能要怎么走?看这篇就够了

    未来两年人工智能要怎么走?看这篇就够了

  • 韩春雨称已能重复实验结果 近期将有消息公布

    韩春雨称已能重复实验结果 近期将有消息公布

  • 无人驾驶汽车如何改变城市生活?听听他们怎么说

    无人驾驶汽车如何改变城市生活?听听他们怎么说

网友点评网友点评
阅读推荐阅读推荐

据国外媒体报道,在过去两年内,聊天机器人(chatbot)、人工智能以及机器学习的研发和采用取得了巨大进展。许多初创公司正利用人工智能和...

霍金 视觉中国 图 英国著名物理学家霍金(Stephen Hawking)再次就人工智能(AI)发声,他认为:对于人类来说,强大AI的出现可能是最美妙的...

文|郑娟娟 今年,人工智能(AI) 60岁了。在AI60岁的时候,笔者想要介绍一下AI100,一个刚刚2岁的研究项目,但它的预设寿命是100年,甚至更长...

AlphaGo与李世石的人机大战,为大众迅速普及了人工智能的概念。 但对谷歌而言,除了下围棋,现在的人工智能进展到哪一步了?未来,人工智能...