网赢中国专注大数据营销 [会员登录][免费注册][网赢中国下载]我要投稿|加入合伙人|设为首页|收藏|RSS
网赢中国是大数据营销代名词。
大数据营销
当前位置:网赢中国 > 行业资讯 > 解决方案 > 大数据营销解决方案 > 常见分布式计算框架特点-技术博客
常见分布式计算框架特点-技术博客
编辑:hanyueqi 发布时间: 2015-7-8    文章来源:CSDN博客
大数据营销

分布式计算


  Hadoop:


  Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互,将一个个任务分解成映射与合并两种方式,然而通过映射进行分类与简化,从而产生部分归并结果,然后对同类结果进行归并计算;


  由于Hadoop的中间结果需要依托于hdfs,从而需要经历硬盘及网络io的过程所以在实时性方面表现稍差;


  Hadoop主要处理hdfs上的文本文件,而文本文件内容本身也是半结构化的;


  之前的资源调度就是靠其中的master,之后hadoop2.0之后引入yarn进行资源的统一管理;


  Spark:


  Spark的原理是将任务进行分解,并且在每一步任务上进行相应的操作处理,同时根据操作处理顺序构建DAG图,从而应用DAG引擎进行相关操作。


  由于Spark在进行处理时主要使用内存所以基本可以做到实时性,同时,在进行DAG引擎优化方面对速度也有一定程度提升;


  Spark本身是通过DAGScheduler与TaskScheduler实现任务调度以及计算节点切换,现在mesos及yarn都对spark进行了一定程度的支持;


  Spark的数据模型使用RDD这种弹性的存储,并且基于该数据模型构建了相应的数据依赖,从而实现一定的容错机制;


  Spark基本上都运行在内存中,可以使用yarn或者mesos进行资源的统一管理,然后在上面进行spark的相关任务调度;


  Storm:


  Storm是基于消息源(spout)获取数据发送信息,并且将信息发送到bolt形成相应的tuple,之后在此基础上继续构建数据的处理规则,处理规则需要认为变成实现;


  Storm本身是流式数据处理,所以在实现实时性方面有一定的优势;


  Storm的数据模型没有体现依赖关系,没有进行特别的存储结构设计,同时在数据模型处理方面仅仅进行结构设计而没有进行优化;


  资源调度以及使用方面直接按照用户的i自定义方式进行,需要用户编写大量的流程控制问题,同时没有在资源啊隔离放main做些谢智导致可能出现局部任务影响全局的问题;


  LinkedIn Samza:


  领英出品,主要结合kafka的设计思想将数据进行分块,同时保证数据的局部有序性,而任务调度方面进行简单操作后进行输入与输出。


  进行实时数据流处理,并且综合了Kafka这样的消息队列;


  通过类似于Kafka的数据结构,实现消息的分区、局部有序以及消息的重读机制,同时配合持久化方法可实现滑动窗口;


  资源的管理主要借助于Yarn,利用消息队列的方式显现消息处理,同时通过备份方式显示数据局部容错;


  Yahoo Apache S4:


  Yahoo出品,与Storm比较类似,基于每个节点处理不同的功能,同样是组成了一个DAG图去描述数据处理工作。


  在雅虎内部使用,完成每秒数以千计的搜索查询。


  以事件没基础进行设计,将每一次数据当成是一个事件来处理


  使用ZooKeeper进行分布式数据的管理,在内部实现了负载均衡、容错、分发、路由等功能;


大数据营销
编辑推荐
图片行业资讯
  • 雷军隔空喊话董明珠:格力 小米欢迎你
  • 杨元庆:Moto在华上市一周预定量超100万
  • 小米洪锋谈O2O布局:做商城不做具体服务
  • 盖茨向不知名实体捐赠15亿美元微软股票 持股降至3%
  • 刘强东:允许我获取数据 冰箱免费送给你
营销资讯搜索
大数据营销
推荐工具
    热点关注
    大数据营销
    大数据营销
    大数据营销
    大数据营销
     

    大数据营销之企业名录

    网络营销之邮件营销

    大数据营销之搜索采集系列

    大数据营销之QQ号采集

    大数据营销之QQ精准营销

    大数据营销之QQ消息群发

    大数据营销之空间助手

    大数据营销之QQ联盟

    大数据营销之QQ群助手
     
    设为首页 | 营销资讯 | 营销学院 | 营销宝典 | 本站动态 | 关于网赢中国 | 网站地图 | 网站RSS | 友情链接
    本站网络实名:网赢中国  国际域名:www.softav.com  版权所有 2004-2015  深圳爱网赢科技有限公司
    邮箱:web@softav.com 电话:+86-755-26010839(十八线) 传真:+86-755-26010838
    在线咨询:点击这里给我发消息 点击这里给我发消息 点击这里给我发消息  点击这里给我发消息  点击这里给我发消息

    深圳网络警
    察报警平台
    公共信息安
    全网络监察
    经营性网站
    备案信息
    不良信息
    举报中心
    中国文明网
    传播文明
    分享