oracle分布式数据解决方案

  次阅读 作者:智能小宝 来源:互联网 2016-01-28 13:10 我要评论(0)

Oracle相关分布式数据解决方案

可能在云计算、SOA架构下这种方案会逐渐消亡,但是目前还是比较实用的,本文简单介绍了常用的数据同步方案,由于正在使用高级复制的解决方案,所以重点说了oracle的高级复制

一、常见的分布式数据解决方案

如果数据库为oracle、数据分散的分布式系统,常可以见到入下的分布解决方案

非实时,批量同步

1.ETL工具或者自己开发的接口

一般对应于特定格式的数据文件,使用FTP服务。

数据仓库或者数据集市可以使用ETL工具做数据整合,一般系统都是自己写的接口程序实现。常规思路是数据导入接口表,清洗后进入正式表

导入方式非常多,如果数据量很大可以使用sqlLoder,如果数据不大,可以逐行导入并同时清洗。就我的经验来看,将清洗逻辑放在数据库比较好。

也有可能是通过http获得的XML文件,这时需要自己定制XML的解析程序,读出CDATA节。高级程序语言这方面的功能都很强大、简单。

实时、小批量同步

1.第三方提供的

对于关键系统,可以使用中间件保证数据的安全、稳定。比如BEA的Tuxedo就不错。

2.自己开发

如果都是unix机器可以使用socket编程,数据打成包发送,稳定性可以保证。经常是打成XML的格式,数据文件的自描述能力比较强。

这两种方案在电信等系统都可以见到,还是比较可靠的。

3.oracle自己提供的

3.1实时表接口

使用db_link和存储过程,结合job,很灵活和强大。

3.2 oracle高级复制

如果需要保证双向的实时数据同步,同时复制环节又比较复杂,存在多个复制结点,可以使用Oracle的高级复制,上个月 济南网站建设做的房产局项目中使用了这种方案。虽然就这个项目来说,不太适用使用这种方案,但由于历史的原因,为了一期系统的需要我们延续了这种同步方案。这篇文章主要就高级复制的过程进行说明:

二、高级复制基本概念

1.相同数据会存在于多个结点,这种环境更适宜使用高级复制

2.在不同版本和不同操作系统之间的ORACLE,都可以使用advance replication

3.几个名词

replication object:复制对象,包括表、索引、存储过程

replication group:复制组,复制对象的集合,一个group包含多个object,一个object只能属于一个group

replication site:复制站点

4.multimaster replication:特点:全表复制,每个事务后都可进行复制

复制方式

异步复制:推后的时间内复制到其它master,也叫store and forward data replication

同步复制:立刻更新到其它master,也就real time data replication

procedual replication: 包生成一个wrapper,数据变化通过存储过程完成,某个master中的procedure被调研,wapper会保证其它site中的procedure也被调用,在有大数据量操作时可减少网络负载

异步调用过程

DML操作(或者wappers)产生由内部触发器一个延时rpc并放入延时事务队列,1个site有延时事务队列,1个队列被多个group共用

出现错误将事务放入错误队列,事务成功结束后,由purge job从源site的事务队列中删除事务

同步复制过程

DML操作被立刻捕获,事务立刻执行,任何一个站点出错、事务回滚,先锁住本地行,使用after row触发器锁住远端行,所有站点提交后oracle才会解锁,极为依赖系统和网络的可用性

三、高级复制创建步骤:

网上的资料很多,也很详细,其中eygle的比较详细的经典,大家搜一下就可以看到,我就简单说一下,并就自己碰到的问题描述一下解决办法

1.调整oracle环境,建立repadmin用户,为用法赋权

本站文章信息来源于网络以及网友投稿,本站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。如果您有什么意见或建议,请联系QQ28-1688-302!

人工智能实验室
相关文章相关文章
  • 韩春雨称已能重复实验结果 近期将有消息公布

    韩春雨称已能重复实验结果 近期将有消息公布

  • 英国研发“杀生”机器人 通过生命体获取能量

    英国研发“杀生”机器人 通过生命体获取能量

  • 未来两年人工智能要怎么走?看这篇就够了

    未来两年人工智能要怎么走?看这篇就够了

  • 无人驾驶汽车如何改变城市生活?听听他们怎么说

    无人驾驶汽车如何改变城市生活?听听他们怎么说

网友点评网友点评
阅读推荐阅读推荐

据国外媒体报道,在过去两年内,聊天机器人(chatbot)、人工智能以及机器学习的研发和采用取得了巨大进展。许多初创公司正利用人工智能和...

霍金 视觉中国 图 英国著名物理学家霍金(Stephen Hawking)再次就人工智能(AI)发声,他认为:对于人类来说,强大AI的出现可能是最美妙的...

文|郑娟娟 今年,人工智能(AI) 60岁了。在AI60岁的时候,笔者想要介绍一下AI100,一个刚刚2岁的研究项目,但它的预设寿命是100年,甚至更长...

AlphaGo与李世石的人机大战,为大众迅速普及了人工智能的概念。 但对谷歌而言,除了下围棋,现在的人工智能进展到哪一步了?未来,人工智能...