大数据环境下时间序列数据流的实时解释与优化研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:ade4444
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在期货程序化交易环境中,期货时间序列数据流是从期货交易中的不同商品合约获取的价格信息等数据,该数据随着时间的变化不断更新,其特征是数据量大、具有高纬度且随着时间不断变化。如何在程序化交易的过程中对海量历史数据和实时的数据流进行数据处理,然后结合用户编写的交易模型或交易策略,对其进行实时的解释,帮助交易者完成触发,进行交易,从而获取利益,在学术界和商业界进行了广泛的研究和讨论。针对该问题,本文提出了时间序列数据流的实时解释模型,该模型总体分为三部分:数据采集模块、实时处理模块以及解释器模块。本文的主要研究如下:第一,在数据采集模块中,针对传统的数据库对海量历史数据和实时的时间序列数据流的存储性能不高的问题,结合目前Hadoop分布式存储系统的优势,提出了一种基于Hadoop云平台的海量数据的存储方式。使用HBase数据库存储数据,同时使用Flume框架实时采集各个节点的数据,然后进入Kafka的消息队列对其进行消息的订阅和分发,进入下一阶段的处理。第二,在实时处理模块中,使用数据挖掘中的传统的关联规则Apriori算法,并结合Hadoop云框架的批量处理MapReduce框架,提出了 ARTMMR算法,流水线技术的应用使得该算法更加符合实时的处理环境,实验结果表明了上述算法的良好性能。第三,在解释器模块中,考虑到程序化交易系统使用类C语言作为其模型描述语言成为主流,结合期货程序化交易的特点,开发了一种基于MVC模式的解释器。该解释器对用户编写的交易策略和模型能够实时的进行解释,并返回相应的性能报告,帮助交易者优化模型,快速交易,获取收益。同时,多线程技术使得交易者可以同时登陆不同的账户对多种合约进行买卖交易行为,增加了交易的机会。
其他文献
研究化学预处理中渗透剂用量和搓磨分丝机械处理对棉秆高得率浆性质的影响。研究结果表明:在用碱量4%,软化剂用量4%,渗透剂用量1%,预处理温度135℃,保温30min的条件下对棉秆
通过对锅炉汽包液位动态特性的分析,介绍了基于AT89C51单片机的液位控制系统的软硬件组成,并成功地运用到实际系统中,大大降低了使用成本,提高了系统的性/价比,取得了良好的
歌剧《白毛女》在延安的创作演出张庚长期坚持晋察冀敌后文艺工作的西北战地服务团1944年初夏回到后方“鲁艺”来了。领队是周巍峙同志,主要干部有卢肃、牧虹、邵子南、贾克、凌枫
■在美国评论家的笔下,《金》片不仅没有得到一句好评,而且共同指出了该片的三个严重局限:其一,《金》严重缺失对南京大屠杀的历史揭示和反思,不能让观众意识到为什么这是一场血腥
报纸
<正>根据幼儿言语发展的特点,《幼儿园教育指导纲要》中,明确提出了幼儿园语言教育的目标:"乐意与人交谈,讲话礼貌;注意倾听对方讲话,能理解日常用语;能清楚的说出自己想说的
<正>优秀的创意来自优秀的思想,优秀的思想根于优秀的文化。而这浩瀚如海的文化却能被恰如其分的汉语言娓娓道来。如今,中国广告创意正在进行一次大转型,即对中国传统元素的
<正>本刊讯将于2012年在芬兰Vaasa建造世界最大规模的生物质气化工厂。年用电量140MW、耗资4000万欧元的生物质气化工厂,不仅为工厂供热,还可将过剩能量出售给当地社
<正>没有背景,没有融资,仅仅是出于做一件自己喜欢的事的初衷,一切都得靠自己这样的创业有未来吗诗人海子有一首深入人心的诗是这样开头的:"从明天起,做一个幸福的人喂马,劈
期刊
专业法官会议制度有利于弱化审判权运行的行政干预,是司法改革中健全审判权运行机制的重要组成部分,但该机制在实践运行中存在机构划分不合理、议事范围不健全、回避制度欠缺
介绍了一种具有阶跃传热特性的被动式太阳能建筑透明围护结构及其控制策略,结合实测进行了验证。透明围护结构的阶跃传热特性主要表现在两方面:白天实现了直接受益窗太阳得热