顶点小说网

手机浏览器扫描二维码访问

第291章 冬瓜(第1页)

ETL是企业数据仓库构建过程中的一个核心步骤Y我们可以借助于ETL

工具来高效地完成数据抽取转换和加载工作之所以需要ETL工具Y

主要有以下几个原因X

?

1?当数据来自不同的物理主机Y这时候如果使用SQL语句去处理的

话Y就显得比较吃力且开销也更大]

?

2?数据来源可以是各种不同的数据库或者文件Y这时候需要先把它

们整理成统一的格式后才可以进行数据的处理Y这一过程用代码实现

显然有些麻烦]

?

3?在数据库中我们当然可以使用存储过程去处理数据Y但是Y处理

海量数据的时候Y存储过程显然比较吃力Y而且会占用较多数据库的

资源Y这可能会导致数据库资源不足Y进而影响数据库的性能。

在选择ETL工具时主要考虑如下因素X

?对平台的支持程度]

?抽取和装载的性能是不是较高Y且对业务系统的性能影响大不

大,高不高]。

?对数据源的支持程度]。

?是否具有良好的集成性和开放性]。

?数据转换和加工的功能。

?是否具有管理和调度的功能。

CDC解决方案包括变化捕捉代理变化数据服务和变化分发机制三个

组成部分

?

1?变化捕捉代理变化捕捉代理是一个软件组件Y它负责确定和捕

捉发生在操作型数据存储源系统中的数据变化可以对变化捕捉代理

进行专门优化Y使它适用于特定的源系统Y比如使用数据库触发器]

也可以使用通用的方法Y比如数据日志比较。

变化数据服务变化数据服务为变化数据捕捉的成功实现提供了

一系列重要的功能Y包括过滤排序附加数据生命周期管理和审

计等表6-4给出了每个功能的解释。

变化分发机制变化分发机制负责把变化分发到变化的消费者?通

常是ETL程序?那里变化分发机制可以支持一个或多个消费者Y并且提

供了灵活的数据分发方式Y包括推(push)或拉(pull)的方式Pull方式需要

消费者周期性地发送请求Y通常采用标准接口实现Y比如ODBC或JDBC

Push方式需要消费者一直监听和等待变化的发生Y一旦捕捉到变化Y就立

刻转移变化的数据Y通常采用消息中间件来实现变化分发机制的另一个

重要功能就是提供动态返回和请求旧的变化的能力Y从而满足重复处理和

恢复处理等任务。

变化数据捕捉技术有两个典型的应用场景X面向批处理的CDC

热门小说推荐
奶爸:退圈后我种田养娃

奶爸:退圈后我种田养娃

家长里短日常文,慎入!年轻的三金影帝高峰期宣布退圈。意外绑定种养殖系统的他,过起了养娃种田的悠闲生活。...

数风流人物

数风流人物

瑞根晚明红楼半架空历史官场养成文,绝对够味!大周永隆二年。盛世隐忧。四王八公鲜花着锦,文臣武将烈火烹油。内有南北文武党争不休,外有九边海疆虏寇虎视。这是一个最好的时代,也是一个最坏的时代。关键在于你身处其中时,该如何把握。勇猛精进,志愿无倦,且看我如何定风流,挽天倾!历史官场养成文,兄弟们请多支持。瑞根铁杆书友群...

天启预报

天启预报

我想要挨一顿毒打灾厄之剑旧世界守墓人调律师最后的天国捍卫者二十四个毁灭因素之一淮海路小佩奇深渊烈日最终的地狱之王槐诗。某一天,穷困潦倒的槐诗忽然发现自己捡来的金手指终于能用了只不过,这似乎并不是一件好事。为了赚钱和苟命,他一不小心踏入了这个危险世界。现境之外的边境,日常之后的异常。...

经年情深

经年情深

雷高岭之花为爱下神坛的狗血虐文又名寸骨殇高岭之花深情攻身世凄惨坚韧受所有人都想不通池律为什么会喜欢上唐松灵,包括唐松灵自己。毕竟高岭之花和乡间野草放在一起怎么看都不协调。因此,当得知池律被甩时,所有人都觉得唐松灵是不是疯了,给脸不要。七年之后,再次相逢。池律还是人人仰望的矜贵公子。唐松灵还是和之前一样的落魄潦倒。池律用指尖挑了挑他沾了泥的黄色马甲,促狭道这就是你说的回归正常生活?他看着在唐松灵怀里撒娇叫爸爸的小孩,只觉得这么多年的撕心裂肺,夜不能寐,都是一场笑话。然而就在他真正准备放下执念时,一句无心之语,真相初显端倪,他穷追不舍,抽丝剥茧,痛不欲生。七年之前,我去奔赴与你的约定,也许是上天注定,这条路永远都走不到头。救命之恩,不得不报,亡人之子,终生相托,这其中苦涩,说不清,道不尽。你我之间,隔了多少阴谋算计,多年之后见你的么每一眼,都是上天的恩赐一寸伤骨,一幕夜色,都成了池律心底愈合不了的疤痕。预收CP1424379高冷攻VS美人受一句话简介美人报错仇的酸爽故事~...

漂在诸天的日子

漂在诸天的日子

在宋末打了十年仗的姜森,穿越到了1976年的香江,一个港综和现实相结合的世界,开启了一段全新且永无止境的旅程!PS本书诸天文,又名从港综开始的诸天,不走剧情线,主角做事随心所欲,简单粗暴,不喜勿入。...

说了多少次,别管我叫大哥!

说了多少次,别管我叫大哥!

简介搞笑热血战斗系统正在蹲坑却意外穿越到了多元宇宙。带着一个动不动就要弄死他的系统。为了活下去只能挥动拳头,打碎一个又一个障碍你们好,我叫野原新之助,说起来挺难为情的,请问你们这里谁最强?各位书友要是觉得说了多少次,别管我叫大哥!还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...

每日热搜小说推荐