顶点小说网

手机浏览器扫描二维码访问

第326章 夜宵!(第2页)

监控品牌搜索量和用户转化率等指标,评估品牌宣传效果。

采用增量字段方式捕获变化数据的原理是Y在源系统业务表数据表中增

加增量字段Y增量字段可以是时间字段Y同时也可以是自增长字段Y当

源业务系统中数据新增或者被修改时Y增量字段就会产生变化Y时间戳

字段就会被修改为相应的系统时间Y自增长字段就会增加

每当ETL工具进行增量数据获取时Y只需比对最近一次数据抽取的增量

字段值Y就能判断出来哪些是新增数据Y哪些是修改数据。

这章没有结束,请点击下一页继续阅读!

这种数据抽取方式的优点是抽取性能比较高Y判断过程比较简单YETL

系统设计清晰Y源数据抽取相对清楚简单Y可以实现数据的递增加载

最大的局限性就是由于某些数据库在进行设计的时候Y未考虑到增量字

段Y需要对业务系统进行改造Y基于数据库其他方面的原因Y还有可能

出现漏数据的情况。

3.全量同步

全量同步又叫全表删除插入方式

Y是指每次抽取前先删除目标表

数据Y抽取时全新加载数据该方式实际上将增量抽取等同于全量

抽取对于数据量不大Y全量抽取的时间代价小于执行增量抽取的

算法和条件代价时Y可以采用该方式。

这种方式的优点是对已有系统表结构不产生影响Y不需要修改业务

操作程序Y所有抽取规则由ETL完成Y管理维护统一Y可以实现数

据的递增加载Y没有风险

缺点是ETL比对较复杂Y设计较为复杂Y速度较慢与触发器和时

间戳方式中的主动通知不同Y全表比对方式是被动的进行全表数据

的比对Y性能较差当表中没有主键或唯一列且含有重复记录时Y

全表比对方式的准确性较差。

日志比对的方式是通过获取数据库层面的日志来捕获到变化的数据Y

不需要改变源业务系统数据库相关表结构Y数据同步的效率比较高Y

同步的及时性也比较快Y最大的问题就是不同数据库的日志文件结

构存在较大的差异性Y实施分析起来难度比较大Y同时Y需要具备

访问源业务库日志表文件的权限Y存在一定的风险性Y所以这种方

式有很大的局限性。

日志比对方式中比较成熟的技术是CDC(ChangeDataCapture)技术Y

作用同样是能够捕获到上一次抽取之后产生的相关变化数据Y当

CDC对源业务表进行新增更新和删除等相关操作的时就可以捕获

到相关变化的数据Y相对于增量字段方式YCDC方式能够较好地捕

获到删除数据Y并写入相关数据库日志表Y然后再通过视图或者别

的某种可操作的方式将捕获到的变化同步到数据仓库当中去。

这种方式的优点是ETL同步效率较高Y不需要修改业务系统表结构Y

可以实现数据的递增加载缺点是业务系统数据库版本与产品不统

一Y难以统一实现Y实现过程相对复杂Y并且需深入研究方能实现

这种方式也通过第三方工具实现Y但是Y一般都是商业软件Y费用

较高。

热门小说推荐
权游之龙裔降临

权游之龙裔降临

带着上古卷轴5游戏穿越到了权力的游戏世界,成为了拜拉席恩家族蓝礼的双胞胎弟弟。一步一步探索这个世界,龙魔法,冰与火之歌。...

神圣透视

神圣透视

张均受嫁给富二代的班花邀请参加同学聚会,却在去参加聚会的火车上发现自己能透视,还偶遇了同学校的学姐,随即跟着学姐去参加了赌石节,在赌石节上打脸追求学姐的富二代,赚到两百万,邀请学姐和自己一起参加同学会...

逆天改命

逆天改命

仕途之路,争斗不断,人生如戏,戏如人生。如何决胜千里登临权力之巅,请看官场草根的逆袭之路。...

我导演了玄武门事变

我导演了玄武门事变

武德七年。轰动大唐的太子李建成与并州杨文干密谋谋反一案,以一个李世民怎么也想不到的结局收场。太极殿上的那把龙椅似乎越来越遥远了。救贫先生,你看我此生,还能更进一步吗?李世民目中带着渴望之色,望着徐风雷。徐风雷微微一笑,伸出手掌道∶若殿下独自打拼,胜负在五五之数。若先生帮我呢?李世民一脸期待,我愿奉先生...

梦魇侵袭:我变成了怪物!

梦魇侵袭:我变成了怪物!

你可曾想过,在波云诡谲的梦境深处,潜藏着一个真实的世界?你可曾想过,在每一场被新闻报导的大灾难背后,都掩埋着不为人知的真相?十八岁生日那晚,李奥做了一个梦。梦中有幽暗的地牢嗜血的怪物。他拿起身旁的铁剑,斩断了怪物的首级。然后,他醒了。站在浴室的镜子前,他嘴角微微扬起。因为镜子中的他,眼睛跟梦中的怪物一样,猩红...

官道天下

官道天下

2002年有三件大事,第一件是上海获得了世界博览会的举办权,第二件事是事业单位机构改革,第三件事是陆渐红失恋了。陆渐红经过调岗,要离开熟悉的家乡小镇。...

每日热搜小说推荐