手机浏览器扫描二维码访问
ETL是企业数据仓库构建过程中的一个核心步骤Y我们可以借助于ETL
工具来高效地完成数据抽取转换和加载工作之所以需要ETL工具Y
主要有以下几个原因X
?
1?当数据来自不同的物理主机Y这时候如果使用SQL语句去处理的
话Y就显得比较吃力且开销也更大]
?
2?数据来源可以是各种不同的数据库或者文件Y这时候需要先把它
们整理成统一的格式后才可以进行数据的处理Y这一过程用代码实现
显然有些麻烦]
?
3?在数据库中我们当然可以使用存储过程去处理数据Y但是Y处理
海量数据的时候Y存储过程显然比较吃力Y而且会占用较多数据库的
资源Y这可能会导致数据库资源不足Y进而影响数据库的性能。
。
在选择ETL工具时主要考虑如下因素X
?对平台的支持程度]
?抽取和装载的性能是不是较高Y且对业务系统的性能影响大不
大,高不高]。
?对数据源的支持程度]。
?是否具有良好的集成性和开放性]。
?数据转换和加工的功能。
?是否具有管理和调度的功能。
CDC解决方案包括变化捕捉代理变化数据服务和变化分发机制三个
组成部分
?
1?变化捕捉代理变化捕捉代理是一个软件组件Y它负责确定和捕
捉发生在操作型数据存储源系统中的数据变化可以对变化捕捉代理
进行专门优化Y使它适用于特定的源系统Y比如使用数据库触发器]
也可以使用通用的方法Y比如数据日志比较。
变化数据服务变化数据服务为变化数据捕捉的成功实现提供了
一系列重要的功能Y包括过滤排序附加数据生命周期管理和审
计等表6-4给出了每个功能的解释。
变化分发机制变化分发机制负责把变化分发到变化的消费者?通
常是ETL程序?那里变化分发机制可以支持一个或多个消费者Y并且提
供了灵活的数据分发方式Y包括推(push)或拉(pull)的方式Pull方式需要
消费者周期性地发送请求Y通常采用标准接口实现Y比如ODBC或JDBC
Push方式需要消费者一直监听和等待变化的发生Y一旦捕捉到变化Y就立
刻转移变化的数据Y通常采用消息中间件来实现变化分发机制的另一个
重要功能就是提供动态返回和请求旧的变化的能力Y从而满足重复处理和
恢复处理等任务。
变化数据捕捉技术有两个典型的应用场景X面向批处理的CDC
带着上古卷轴5游戏穿越到了权力的游戏世界,成为了拜拉席恩家族蓝礼的双胞胎弟弟。一步一步探索这个世界,龙魔法,冰与火之歌。...
张均受嫁给富二代的班花邀请参加同学聚会,却在去参加聚会的火车上发现自己能透视,还偶遇了同学校的学姐,随即跟着学姐去参加了赌石节,在赌石节上打脸追求学姐的富二代,赚到两百万,邀请学姐和自己一起参加同学会...
仕途之路,争斗不断,人生如戏,戏如人生。如何决胜千里登临权力之巅,请看官场草根的逆袭之路。...
武德七年。轰动大唐的太子李建成与并州杨文干密谋谋反一案,以一个李世民怎么也想不到的结局收场。太极殿上的那把龙椅似乎越来越遥远了。救贫先生,你看我此生,还能更进一步吗?李世民目中带着渴望之色,望着徐风雷。徐风雷微微一笑,伸出手掌道∶若殿下独自打拼,胜负在五五之数。若先生帮我呢?李世民一脸期待,我愿奉先生...
你可曾想过,在波云诡谲的梦境深处,潜藏着一个真实的世界?你可曾想过,在每一场被新闻报导的大灾难背后,都掩埋着不为人知的真相?十八岁生日那晚,李奥做了一个梦。梦中有幽暗的地牢嗜血的怪物。他拿起身旁的铁剑,斩断了怪物的首级。然后,他醒了。站在浴室的镜子前,他嘴角微微扬起。因为镜子中的他,眼睛跟梦中的怪物一样,猩红...
2002年有三件大事,第一件是上海获得了世界博览会的举办权,第二件事是事业单位机构改革,第三件事是陆渐红失恋了。陆渐红经过调岗,要离开熟悉的家乡小镇。...