oracle分布式数据解决方案

  次阅读 来源:互联网(转载协议) 2016-01-28 13:10 我要评论(0)

Oracle相关分布式数据解决方案

可能在云计算、SOA架构下这种方案会逐渐消亡,但是目前还是比较实用的,本文简单介绍了常用的数据同步方案,由于正在使用高级复制的解决方案,所以重点说了oracle的高级复制

一、常见的分布式数据解决方案

如果数据库为oracle、数据分散的分布式系统,常可以见到入下的分布解决方案

非实时,批量同步

1.ETL工具或者自己开发的接口

一般对应于特定格式的数据文件,使用FTP服务。

数据仓库或者数据集市可以使用ETL工具做数据整合,一般系统都是自己写的接口程序实现。常规思路是数据导入接口表,清洗后进入正式表

导入方式非常多,如果数据量很大可以使用sqlLoder,如果数据不大,可以逐行导入并同时清洗。就我的经验来看,将清洗逻辑放在数据库比较好。

也有可能是通过http获得的XML文件,这时需要自己定制XML的解析程序,读出CDATA节。高级程序语言这方面的功能都很强大、简单。

实时、小批量同步

1.第三方提供的

对于关键系统,可以使用中间件保证数据的安全、稳定。比如BEA的Tuxedo就不错。

2.自己开发

如果都是unix机器可以使用socket编程,数据打成包发送,稳定性可以保证。经常是打成XML的格式,数据文件的自描述能力比较强。

这两种方案在电信等系统都可以见到,还是比较可靠的。

3.oracle自己提供的

3.1实时表接口

使用db_link和存储过程,结合job,很灵活和强大。

3.2 oracle高级复制

如果需要保证双向的实时数据同步,同时复制环节又比较复杂,存在多个复制结点,可以使用Oracle的高级复制,上个月 济南网站建设做的房产局项目中使用了这种方案。虽然就这个项目来说,不太适用使用这种方案,但由于历史的原因,为了一期系统的需要我们延续了这种同步方案。这篇文章主要就高级复制的过程进行说明:

二、高级复制基本概念

1.相同数据会存在于多个结点,这种环境更适宜使用高级复制

2.在不同版本和不同操作系统之间的ORACLE,都可以使用advance replication

3.几个名词

replication object:复制对象,包括表、索引、存储过程

replication group:复制组,复制对象的集合,一个group包含多个object,一个object只能属于一个group

replication site:复制站点

4.multimaster replication:特点:全表复制,每个事务后都可进行复制

复制方式

异步复制:推后的时间内复制到其它master,也叫store and forward data replication

同步复制:立刻更新到其它master,也就real time data replication

procedual replication: 包生成一个wrapper,数据变化通过存储过程完成,某个master中的procedure被调研,wapper会保证其它site中的procedure也被调用,在有大数据量操作时可减少网络负载

异步调用过程

DML操作(或者wappers)产生由内部触发器一个延时rpc并放入延时事务队列,1个site有延时事务队列,1个队列被多个group共用

出现错误将事务放入错误队列,事务成功结束后,由purge job从源site的事务队列中删除事务

同步复制过程

DML操作被立刻捕获,事务立刻执行,任何一个站点出错、事务回滚,先锁住本地行,使用after row触发器锁住远端行,所有站点提交后oracle才会解锁,极为依赖系统和网络的可用性

三、高级复制创建步骤:

网上的资料很多,也很详细,其中eygle的比较详细的经典,大家搜一下就可以看到,我就简单说一下,并就自己碰到的问题描述一下解决办法

1.调整oracle环境,建立repadmin用户,为用法赋权

本站部分文章来源于网络以及网友投稿,本站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。如果您有什么意见或建议,请联系QQ28-1688-302!

人工智能实验室
相关文章相关文章
  • 第一批国家重点研发计划公布,旷视科技开启“五年行动”

    第一批国家重点研发计划公布,旷视科技开启“五年行动”

  • 让AI触手可及  Qualcomm携手创通联达推出全新终端侧AI开发套件

    让AI触手可及 Qualcomm携手创通联达推出全新终端侧AI开发套件

  • 长虹新款智能语音空调,告诉你空调也能玩Siri

    长虹新款智能语音空调,告诉你空调也能玩Siri

  • 品友互动为Digital Travel APAC2018 唯一受邀中国AI企业

    品友互动为Digital Travel APAC2018 唯一受邀中国AI企业

网友点评网友点评
阅读推荐阅读推荐

据外媒报道,STEER打造了首款完全自动驾驶停车技术,旨在使常规车辆转变为无人驾驶车辆。STEER的首款技术应用是4级自动驾驶及网络安全停车...

近日,美国软性机器抓手制造商 Soft Robotics 宣布,获得 2000 万美元的融资,本轮投资者包括 Scale Venture Partners,Calibrate Ventures...

据外媒报道,加州车管局发布了《2017自动驾驶脱离报告(California Autonomous Vehicle Disengagement Reports)》,其中谈及了脱离的具体...

用人机语音交互,来解决智能家居适老的问题;通过家庭门禁与安防套件、空气净化套件、可燃气体与有害气体监控套件等相互联动,在不同生活情...