申请专栏作者
投稿发布
您的当前位置:主页 > yabo亚博体育下载 > 正文

架构师必知的各种开源实时流处理系统

来源:未知 时间:2019-03-28
请点击下面的广告后浏览!

这里对目前业界开源的一些实时流处理系统做一次小结,作为日后进行技术调研的参考资料。 可思yabo88滚球-www.sykv.cn,sykv.com

S4 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

S4(Simple Scalable Streaming System)是Yahoo发布的一个开源流计算平台,它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台,在该平台上程序员可以很方便地开发面向无界不间断流yabo88滚球处理的应用,开发语言为Java。

可思yabo88滚球sykv.com

项目链接:http://incubator.apache.org/s4/(注:S4 0.5.0已支持TCP链接及状态恢复等特性) 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

Storm

可思yabo88滚球sykv.com,sykv.cn

Storm是Twitter开源的分布式实时计算系统,Storm通过简单的API使开发者可以可靠地处理无界持续的流yabo88滚球,进行实时计算,开发语言为Clojure和Java,非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多:实时分析、在线机器学习、持续计算、分布式RPC、ETL处理,等等。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

项目链接:http://storm-project.net 可思yabo88滚球sykv.com,sykv.cn

StreamBase 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

StreamBase是一个关于复杂事件处理(CEP)、事件流处理的平台。其本身是商业应用软件,但提供了Developer Edition,开发语言为Java。

可思yabo88滚球sykv.com,sykv.cn

项目链接:http://www.streambase.com

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

HStreaming

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

HStreaming构建在Hadoop之上,可以和Hadoop及其生态系统紧密结合起来提供实时流计算服务。这使得HStreaming的用户可以在同一个生态系统中分析处理大yabo88滚球,开发语言为Java。

可思yabo88滚球-人工智能资讯平台sykv.com

项目链接:http://www.hstreaming.com 可思yabo88滚球sykv.com

Esper & NEsper

可思yabo88滚球sykv.com,sykv.cn

Esper是专门进行复杂事件处理(CEP)的流处理平台,Java版本为Esper,.Net版本为NEsper。Esper & NEsper可以方便开发者快速开发部署处理大容量消息和事件的应用系统,不论是历史的还是实时的消息。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

项目链接:http://esper.codehaus.org 可思yabo88滚球-人工智能资讯平台sykv.com

Kafka 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

Kafka是Linkedin于2010年12月份开源的高吞吐、基于Pub-Sub的分布式消息系统,主要用于处理活跃的流式yabo88滚球,开发语言为Scala。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

项目链接:http://incubator.apache.org/kafka 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

Scribe

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

yabo亚博体育下载 Scribe是Facebook开源的日志收集系统,开发语言为C,通过Thrift可以支持多种常用客户端语言,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。Scribe通常与Hadoop结合使用,Scribe用于向HDFS中push日志,而Hadoop通过MapReduce作业进行定期处理。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

项目链接:http://github.com/facebook/scribe

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

Flume

内容来自可思yabo88滚球sykv.com

Flume是Cloudera提供的一个分布式、可靠的、高可用的日志收集系统,用于收集、聚合以及移动大量日志yabo88滚球,开发语言为Java。Flume支持在日志系统中定制各类yabo88滚球发送方,用于收集yabo88滚球;同时,Flume提供对yabo88滚球进行简单处理,并写到各种yabo88滚球接收方(可定制)的能力。 可思yabo88滚球sykv.com

项目链接:http://incubator.apache.org/flume

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭