您的位置: 零点财经>股票知识>量化投资> 数据仓库的数据追加常用的技术和方法

数据仓库的数据追加常用的技术和方法

2017-11-20 09:42:50  来源:量化投资  本篇文章有字,看完大约需要3分钟的时间

数据仓库的数据追加常用的技术和方法

时间:2017-11-20 09:42:50  来源:量化投资

学会这个方法,抓10倍大牛股的概率提升10倍>>

如何定期向数据仓库追加数据也是一个十分重要的技术。数据仓库的数据来自OLTP的数据库中,问题是如何知道究竟哪些数据是在上一次追加过程之后新生成的。

数据仓库的数据追加常用的技术和方法

常用的技术和方法如下:

(1)时标方法:如果数据含有时标,对新插入或更新的数据记录,在记录中添加更新时的时标,那么只需根据时标判断即可。但并非所有的数据库中的数据都含有时标。

(2)DELTA文件:它是由应用生成的,记录了应用改变的所有内容。利用DELTA文件效率很高,它避免了扫描整个数据库,但同样的问题是生成DELTA文件的应用并不普遍。此外,还有更改应用代码的方法,使得应用在生成新数据时可以自动将其记录下来。但应用成千上万,且修改代码十分烦琐,这种方法很难实现。

(3)前后映像文件的方法:在抽取数据前后对数据库各做一次快照,然后比较两幅快照的不同从而确定新数据。这种方法占用大量资源,对性能影响极大,因此并无多大实际意义。

(4)日志文件:最可取的技术大概就是利用日志文件了,因为它是DB的固有机制,不会影响OLTP的性能。同时,它还具有DELTA文件的优越性质,提取数据只要局限日志文件即可,不用扫描整个数据库。当然,原来日志文件的格式是依据DB系统的要求而确定的,它包含的数据对于数据仓库而言可能有许多冗余。例如,对一个记录的多次更新,口志文件将全部变化过程都记录下来;而对于数据仓库,只需要最终结果。但比较而言,日志文件仍然是最可行的一种选择。


来源:量化投资 编辑:零点财经

阅读了该文章的用户还阅读了

热门关键词

相关阅读

为您推荐

移动平均线
股票知识
MACD
老丁说股
热点题材
KDJ指标
读懂上市公司
成交量
股票技术指标
股票大盘
分时图
股市名家
概念股
缠中说禅
强势股
波段操作
股票盘口
短线炒股
股票趋势
涨停板
股票投资
长线炒股
股票问答
股票术语
财务分析
炒股软件
上证早知道
经济学术语
期货
股票黑马
股票震荡市场
理财
炒股知识
散户炒股
外汇
炒股战术
港股
基金
黄金








































































































































































































































































































































































































































































































































































































































































相关栏目推荐

栏目导航

友情链接

网站首页
股票问答
股票术语
网站地图

copyright 2016-2024 零点财经保留所有权 免责声明:网站部分内容转载至网络,如有侵权请告知删除 友链,商务链接,投稿,广告请联系qq:253161086

零点财经保留所有权

免责声明:网站部分内容转载至网络,如有侵权请告知删除