申请专栏作者
投稿发布
您的当前位置:主页 > yabo亚博体育下载 > 正文

简述Hadoop之后大yabo88滚球的未来在谁的身上

来源: 时间:2019-08-06
请点击下面的广告后浏览!

在实时yabo88滚球世界里,为什么我们还这么执着于Hadoop? 根据451 Research调查yabo88滚球显示,围绕批处理架构的Hadoop仍然是的代表技术,尽管其声誉仍然超过实际部署情况。下面我们来具体了解一下。 ?

可思yabo88滚球sykv.com,sykv.cn

批处理不是重点 ?

可思yabo88滚球sykv.com

Cloudera的Doug Cutting是一个非常聪明的人,也是开源开发人员,Hadoop、Lucene等大yabo88滚球工具的开发都有他的功劳。 ? 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

虽然Cutting承认实时流媒体技术的重要性,但他并没有否认面向批处理的Hadoop的价值,他表示: ?

可思yabo88滚球-www.sykv.cn,sykv.com

并不是因为我们觉得批处理是最好的,所以Hadoop围绕批处理而构建。批处理(特别是MapReduce)很自然是第一步,因为它相对容易部署,并提供很重要的价值。在Hadoop之前,没有办法使用开源软件在商品硬件存储和处理千兆字节。Hadoop的MapReduce是很大的进步。 ?

可思yabo88滚球sykv.com

我们很难说清楚大yabo88滚球的商品化对这个世界的重要性。这并不是说在Hadoop之前我们没有存储和分析大量yabo88滚球,而是Hadoop让我们非常廉价地实现这个过程。 ? 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

总之,Hadoop民主化了大yabo88滚球。 ? 转向流yabo88滚球? ? 然而,Hadoop并没有让大yabo88滚球分析变得容易。正如DataStax首席布道者Patrick McFadin表示,从企业yabo88滚球挖掘价值并没有那么简单: ? 可思yabo88滚球sykv.com,sykv.cn

我们都听说过存储和分析PB级yabo88滚球的投资回报率的问题。谷歌、雅虎和Facebook都在从中创造惊人的价值,而大部分企业都在试图研究如何分析所有yabo88滚球,第一:收集所有yabo88滚球;第二:……;第三:利润! ? 在yabo88滚球收集和利润之间有很多麻烦的步骤。随着企业试图加快对实时yabo88滚球的分析能力,新技术为他们提供了可能。 ?

可思yabo88滚球-www.sykv.cn,sykv.com

McFadin发现了这个新大yabo88滚球堆栈的关键要素。首先是一个排队系统,Kafka、RabbitMQ和Kinesis等。然后是流处理层,这可能包括Storm、Spark Streaming或者Samza。对于高速存储,企业经常转向Cassandra、HBase、MongoDB或者MySQL等关系型yabo88滚球库。 ? 可思yabo88滚球sykv.com

最有趣的是批处理仍然有用武之地。McFadin表示,批处理现在可用于处理,即汇总和更深入的分析。批处理和实时的融合被称为“Lambda架构”,这涉及让三个元素和谐地共处:批处理、速度和服务。 ?

内容来自可思yabo88滚球sykv.com

换句话说,批处理仍然有用。 ? 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

淘汰批处理 ? 可思yabo88滚球-www.sykv.cn,sykv.com

但并不是每个人都同意。Zoomdata公司首席执行官和联合创始人Justin Langseth认为Lambda是“不必要的”,并称,“现在有端到端工具可以从采购、运输、存储到分析和可视化来处理yabo88滚球,而不需要批处理”。 ? 可思yabo88滚球-人工智能资讯平台sykv.com

在他看来,批处理是大yabo88滚球过去的遗留物: ?

可思yabo88滚球sykv.com,sykv.cn

实时yabo88滚球显然最好应该作为流来处理,而且还可以加载历史yabo88滚球,正如你的DVR可以加载电影《飘》或者上周的电视节目《美国偶像》到你的电视。这种区别很重要,Zoomdata认为将yabo88滚球作为流来分析可以增加可扩展性和灵活性,而无论yabo88滚球是实时还是历史yabo88滚球。 ?

可思yabo88滚球sykv.com

然而,超越可扩展性和灵活性好处的可能是将批处理从大yabo88滚球过程移除所带来的简单性。Langseth认为,“当你不需要担心批处理窗口以及从批处理故障中恢复时,这可以极大地简化大yabo88滚球架构。” ? 可思yabo88滚球-人工智能资讯平台sykv.com

流分析取代Hadoop? ?

可思yabo88滚球-www.sykv.cn,sykv.com

Cutting称,还没有那么快。 ? 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

Cutting认为未来Hadoop等技术并不会完全被淘汰,流分析会得以发展,Cloudera的Enterprise Data Hub也是一样。事实上,他不认为会广泛转向流分析,而是为大家带来了又一种选择。 ? 更有趣的是,大yabo88滚球的大爆炸会让行业催生出一些好方法来应对yabo88滚球处理。 ?

可思yabo88滚球sykv.com,sykv.cn

我认为我们不会再那么频繁地看到Spark这样的主要技术增加,随着时间的推移,我们将会标准化这些工具,为大多数人提供功能来满足其大yabo88滚球应用需求。Hadoop带来了技术爆炸,但我们可能会进入比较正常的演化过程,在各行业广泛使用这些技术。 ?

可思yabo88滚球-人工智能资讯平台sykv.com

DataStax社区经理Scott Hirleman同意说:“批处理并不会消失,总是会需要对大量yabo88滚球的大规模分析。”现在大家对流分析有极大的兴趣,但称现在还不清楚这种趋势对大yabo88滚球计划的影响。 ? 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

总之,流分析完全是关于“和”,而不是“或者”,这是对围绕批处理系统(例如Hadoop)的很好的补充,但这肯定不会完全取代Hadoop。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭