申请专栏作者 参展
投稿发布
您的当前位置:主页 > yabo亚博体育下载 > 正文

贝壳:流式yabo88滚球的平台化实践与挑战

来源: 时间:2019-08-15
请支持本站,点击下面的广告后浏览!

总体架构

?

?

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

贝壳找房大yabo88滚球的整体架构,从下到上分为四层:

可思yabo88滚球sykv.com

基础平台层。这一层应用的都是比较常见的技术:HDFS 分布式存储,yarn 分布式调度,以及 HBase 存储,另外还有一些计算引擎,如 hive、tez、spark、presto、kylin、clickhouse、SparkML 等来满足各种各样的基础需求,同时还有高性能的计算机集群。 可思yabo88滚球sykv.com

基础平台层的工作总结起来包括: 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

一体化监控
提供强安全保障
高稳定高效率运行
低成本解决方案 可思yabo88滚球sykv.com,sykv.cn

能力汇聚层。大家知道每年都有大量的开源组件,那么如何让上层的业务方更好的应用这些组件,就是能力汇聚层要完成的工作:

可思yabo88滚球-www.sykv.cn,sykv.com

Queryengine,可以通过 queryengine 使用 hive、tez、spark、presto 来查询整个底层存储的yabo88滚球。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

Olap 平台,通过封装 kylin(预构建)、HBase、Phoenix、presto、clickhouse(流量分析)等引擎能力,打造统一的 olap 平台来满足业务方不同的需求。 可思yabo88滚球-www.sykv.cn,sykv.com

流式计算平台,这个是今天要分享的主题,包括流式计算产品天眼(原秒 X 平台);然后是yabo88滚球直通车,它是贝壳平台打造的一个yabo88滚球接入平台,可以进行实时接入和离线接入。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

加速计算平台,底层有高性能集群,上层就需要有加速计算平台,来满足业务方机器学习或者深度学习的需求。

可思yabo88滚球sykv.com,sykv.cn

能力汇聚层的工作总结起来包括: 内容来自可思yabo88滚球sykv.com

统一入口
灵活分析
能力提效 内容来自可思yabo88滚球sykv.com

更上层就是yabo88滚球仓库做的事情: 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

yabo88滚球内容层。这层主要是做统一yabo88滚球湖,新房yabo88滚球湖等等一些yabo88滚球治理的工作来构建yabo88滚球仓库,以满足更上层业务方的需求。

可思yabo88滚球sykv.com,sykv.cn

能力输出层。 可思yabo88滚球sykv.com,sykv.cn

Adhoc 即席查询,比如贝壳找房这边有些城市站,有运营市场,adhoc 可以直接写一些 sql,调用 queryengine,最终通过各种各样引擎的能力,来满足即席查询的需求。 可思yabo88滚球-www.sykv.cn,sykv.com

我们还引进了 Tebleau 软件,可以用来做 BI 分析,它的底层也是调用 queryengine 查询yabo88滚球内容层的yabo88滚球。

可思yabo88滚球sykv.com

同时我们也构建了统一指标平台;图灵,满足经纪人的需求;罗盘,满足一些流量分析的需求。 可思yabo88滚球-www.sykv.cn,sykv.com

能力输出层的工作总结起来包括: 可思yabo88滚球sykv.com,sykv.cn

基础支撑
yabo88滚球组合能力
赋能业务
yabo88滚球流流程

可思yabo88滚球-人工智能资讯平台sykv.com

?

可思yabo88滚球sykv.com,sykv.cn

?

可思yabo88滚球-www.sykv.cn,sykv.com

要理解流式yabo88滚球,首先要知道yabo88滚球流的流程:

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

yabo88滚球接入。为了做好yabo88滚球分析,同时给用户画像、yabo88滚球挖掘等提供yabo88滚球物料,就需要做好yabo88滚球接入层,一般情况下我们面临的问题主要有: 可思yabo88滚球sykv.com,sykv.cn

① 多变:yabo88滚球来源有业务 DB、MySQL、Oracle、sql server、第三方存储 Redis 等多种yabo88滚球源,怎么对多变的yabo88滚球源做统一的、及时的接入。

可思yabo88滚球sykv.com,sykv.cn

② 异常:举个例子,某些业务方经常在半夜刷新yabo88滚球,这对yabo88滚球接入的实时性和准确性产生了很大的影响。 可思yabo88滚球-人工智能资讯平台sykv.com

③ 效率:

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

A. 离线yabo88滚球接入,如何更快的把yabo88滚球接入进来。
B. 实时yabo88滚球接入,如何准确的接入,并及时提供需求yabo88滚球。

可思yabo88滚球sykv.com

针对这些问题,贝壳找房的解决方案就是 Databus(yabo88滚球直通车),通过yabo88滚球直通车来解决上述的三个问题,把行为yabo88滚球和业务yabo88滚球及时、高效的接入计算平台层,来满足流式yabo88滚球的计算和需求。 可思yabo88滚球sykv.com,sykv.cn

实时 ETL。主要分为上层的yabo88滚球治理和下层的计算平台。yabo88滚球接入进来之后,采用什么样的形式存储,更好的做yabo88滚球分析,而实时计算又采用什么样的方式存储,这里都是通过 Ark 平台来做实时处理。

内容来自可思yabo88滚球sykv.com

yabo88滚球输出。如何把yabo88滚球更好的提供给用户,这里主要会介绍日志流产品化的平台天眼。 内容来自可思yabo88滚球sykv.com

挑战 可思yabo88滚球-www.sykv.cn,sykv.com

?

可思yabo88滚球sykv.com,sykv.cn

? 可思yabo88滚球sykv.com,sykv.cn

流式yabo88滚球平台面临的挑战:

可思yabo88滚球sykv.com

流式元yabo88滚球管理。公司到底有哪些流式yabo88滚球?比如 kafka 接了一批日志,MySQL 产生了一批 binlog,各种事务中也产生了一些流式yabo88滚球。这些流式yabo88滚球来自哪些业务方?yabo88滚球类型是什么?有什么样的属性?以贝壳为例,是新房的yabo88滚球?还是二手房的yabo88滚球?还是经纪人的yabo88滚球?还是客户的yabo88滚球?里面yabo88滚球的格式是什么样的?如何存储的?如何解析?都需要统一的流式元yabo88滚球管理平台,来更好的理解并处理这些yabo88滚球。 可思yabo88滚球sykv.com

流式yabo88滚球处理平台。常见的 Flink、spark streaming 等,对于需求方来说,不可能总写相应的代码,来完成操作,这样成本比较高。如何让业务方尽可能简单的、可配置的进行流式处理操作,这里主要是通过 Ark 流处理平台完成,后面会重点介绍。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

流式yabo88滚球应用产品。贝壳拥有多个场景,如日志分析、yabo88滚球挖掘等,每个场景对流式yabo88滚球都有不同的需求,这就需要我们针对不同需求做不同的产品。

可思yabo88滚球sykv.com,sykv.cn

流式计算平台及应用 可思yabo88滚球-www.sykv.cn,sykv.com

1、yabo88滚球直通车

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

? 可思yabo88滚球sykv.com,sykv.cn

?

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

yabo88滚球直通车的架构:

可思yabo88滚球sykv.com,sykv.cn

yabo88滚球接入层分为: 可思yabo88滚球sykv.com,sykv.cn

① 流yabo88滚球接入:贝壳的流yabo88滚球包括,ngx 日志、dig 埋点、mysql-binlog、tidb-binlog、其他业务日志等,把这些流yabo88滚球通过 rsyslog、tidb-binlog-drainer、canal 等接入 kafka。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

② 存储接入:离线yabo88滚球可能存在 Hive、Mysql、redis、HBase、TiDb 等多种yabo88滚球存储源,通过 spark 离线任务、TiSpark 把yabo88滚球接入到更上层的yabo88滚球输出层。

可思yabo88滚球-www.sykv.cn,sykv.com

流式yabo88滚球接入之后,就可以做订阅,如何 kafka、redis、ES(检索操作)、HBase(大yabo88滚球量 KV 操作)等,还可以做周期性同步,T+1 级别的yabo88滚球,还有我们探索实现的准实时仓库,目前可以做到 5 分钟的延迟。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

依赖于整个yabo88滚球接入层、处理层、输出层的工作,可以满足: 内容来自可思yabo88滚球sykv.com

① 建设完元yabo88滚球之后,通过应用层就可以查询到所有元yabo88滚球的信息,并且知道元yabo88滚球的变更情况(如果不知道元yabo88滚球的变更情况,那么yabo88滚球可是不准确的,和真实的yabo88滚球是对应不上的)。通过yabo88滚球直通车,就可以满足我们的第一个挑战,完成了所有元yabo88滚球的管理。可以及时、准确、高效的把yabo88滚球接入到存储层,或者为yabo88滚球处理层准备好yabo88滚球物料。 可思yabo88滚球-人工智能资讯平台sykv.com

② 流yabo88滚球订阅 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

③ binlog 变更查询等。 内容来自可思yabo88滚球sykv.com

元yabo88滚球与yabo88滚球仓库的能力:

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

?

可思yabo88滚球sykv.com

?

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

简单说下元yabo88滚球管理服务,见右图,主要通过 TiDB-binlog,获取业务yabo88滚球之后,把yabo88滚球直接同步到 mysql,变更之后如果能自动处理就自动处理,如果不能自动处理就会发出告警,由人为来操作,这样来保证业务yabo88滚球是统一的,同时通过 WebUI 接口给用户来查看,也可以通过 API 接口给其他业务来调用。比如后面要讲的 Ark 平台就可以直接调用 API 来使用流式yabo88滚球。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

准实时数仓,见左图,引入 hudi 能力,通过 hudi 和 TiDB 可以准实时的把yabo88滚球导入yabo88滚球仓库之中,用户可以在 5 分钟延迟的情况下来满足对于业务yabo88滚球的统计、监控、分析的需求。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

产品化展示: 可思yabo88滚球-www.sykv.cn,sykv.com

? 可思yabo88滚球sykv.com

? 可思yabo88滚球sykv.com,sykv.cn

这是平台的首页,第一个图可以提供业务的执行情况,第二个图告诉我们yabo88滚球的变更情况,第三个图是整个业务成功的情况。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

左边栏:yabo88滚球字典,元yabo88滚球能力;实时查询,准实时数仓查询的能力;以及埋点管理,yabo88滚球订阅管理、yabo88滚球变化查询等。 内容来自可思yabo88滚球sykv.com

通过yabo88滚球直通车,解决了yabo88滚球接入和元yabo88滚球的管理问题。

内容来自可思yabo88滚球sykv.com

? 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

? 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

目前可以做到 kafka 集群、埋点 dig、Mysql binlog、七层日志的元yabo88滚球管理。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

2、Ark 流处理平台

可思yabo88滚球-www.sykv.cn,sykv.com

?

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

?

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

Ark 整体架构: 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

引擎层:

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

① 把yabo88滚球接入到 Source 源,如 kafka、binlog、dig 等。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

② yabo88滚球接入之后,在引擎层进行处理,主要方式有三种:Stream SQL、实时规则匹配、通用模板,其底层依赖于 Spark Streaming 和 Flink。

可思yabo88滚球-www.sykv.cn,sykv.com

③ 最终可以把yabo88滚球输出到 Sink 中,如: Druid.io 、ES、kafka、HBase 等,这时用户可以直接调用。

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

计算平台层: 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

通过封装的方式来构建计算平台,计算平台主要通过这样几件事儿来完成稳定性和通用性的需求,第一个是任务管控,需要管理好我们的任务,如何调度我们的任务,第二个是调优诊断,有些用户写的任务可能不是特别完善,我们可以自动判断他的任务是否需要优化,并给出优化建议,第三个可以引入 Databus 中的yabo88滚球进行处理和使用,第四个是 SQL IDE,我们会尽可能多的生成 SQL,让用户尽可能写一些少的配置,来应用 Ark 平台,最后就是监控报警,监控整个任务的运行情况和延迟情况。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

应用层: 可思yabo88滚球sykv.com,sykv.cn

通过 API 把我们 Ark 平台的能力输出出去:

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

① yabo88滚球清洗
② 实时大屏
③ 实时特征
④ 推荐营销
⑤ 安全风控

内容来自可思yabo88滚球sykv.com

还有其他的一些应用,以及后面会讲到的天眼平台,通过对日志的流式处理统一化及产品化满足日志的各种诉求。 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

这就是整个 Ark 流处理平台提供的能力。 可思yabo88滚球sykv.com

Ark 能力接口:

可思yabo88滚球-人工智能资讯平台sykv.com

? 可思yabo88滚球sykv.com

? 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

yabo88滚球流(包括日志流、七层日志、mysql、埋点、kafka 集群等)通过 Ark 平台可以把yabo88滚球清洗到多个分析引擎中,并且可以通过 TiDB、HBase、redis 做关联,根据不同的需求把yabo88滚球关联到不同的存储分析引擎中。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

产品化展示:

可思yabo88滚球-人工智能资讯平台sykv.com

? 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

?

可思yabo88滚球sykv.com,sykv.cn

这个是 SQL IDE 的能力,90% 的 SQL 都是自动生成的,大家只需要配置 m3db 地址,处理的类型等,就可以直接应用 Ark 流处理平台。这样就降低了很大的代价,因为 sql 的接入度是最强的。 可思yabo88滚球-www.sykv.cn,sykv.com

?

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

?

可思yabo88滚球-人工智能资讯平台sykv.com

这个是 Ark 流处理平台的首页,我们简单介绍一下产品的能力特点:

可思yabo88滚球-www.sykv.cn,sykv.com

丰富的应用表达方式
计算结果实时可视化
接入全量流yabo88滚球源
资源管理 & 调优诊断 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

3、天眼 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

? 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

? 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

传统的方式,日志接入到 kafka,通过 spark streaming 或者 Apache flink,解析到 druid/es/hive 中来做分析,每次业务方都是按需来做这些事情,自己做yabo88滚球清洗,自己在做应用,非常

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球
繁琐耗时,为了解决这个问题,我们把这些步骤集成到了一个产品天眼中。

? 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

天眼架构: 内容来自可思yabo88滚球sykv.com

yabo88滚球采集:所有的业务日志、访问日志、设备日志以及第三方日志,Metrics 上报,SDK 埋点yabo88滚球,Agent yabo88滚球,都可以通过 Databus 接入到yabo88滚球处理层,然后再按需放入 Druid.io 、HDFS、ES、Hive、Mysql 中,再通过查询引擎,可以做到检索、统计报表、可视化、yabo88滚球分析、监控报警,最终根据yabo88滚球采集、yabo88滚球处理、yabo88滚球服务三层的能力抽象出来多个yabo88滚球应用,天眼可以做可视化分析、全链路监控、业务监控、故障管理,以及常见的yabo88滚球管理、检索、报警,和开放的 API,让日志可以做到多种方式的应用到不同的场景。 可思yabo88滚球sykv.com,sykv.cn

产品化展示: 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

? 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

? 可思yabo88滚球sykv.com,sykv.cn

这是天眼的界面,包括实时 QPS 排名,以及多个业务方的域名,点击之后可以看到对应域名的整个实时大盘。左边栏为天眼能力的列表,通过我们的yabo88滚球直通车、Ark 平台,对yabo88滚球日志处理做了一站式的集成和能力的输出。

可思yabo88滚球-www.sykv.cn,sykv.com

总结

可思yabo88滚球sykv.com

?

可思yabo88滚球-www.sykv.cn,sykv.com

?

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

① 做流yabo88滚球处理,一定要先把流yabo88滚球字典能力做出来,只有一个清晰的、完整的、可视的流yabo88滚球字典能力才能让流yabo88滚球应用的更好,方便用户的查询。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

② 丰富的流处理能力,通过产品化的封装,比如 Spark streaming 和 Flink 有多种流处理能力,通过 Ark 封装,用户可以更简易、自主的配置。

可思yabo88滚球sykv.com

③ 多场景适应能力,根据各种场景,把基础层提供的yabo88滚球能力,做一个产品化的封装,满足不同场景应用的能力。除了刚刚讲的天眼日志分析外,流式处理还有各种的应用,如 AI 对实时的yabo88滚球挖掘,实时的用户画像等。

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

今天主要为大家分享了贝壳找房的三个平台,以及流式yabo88滚球处理的挑战和一些实战的经验。谢谢大家。

可思yabo88滚球-www.sykv.cn,sykv.com

介绍:赵国贤,贝壳大yabo88滚球架构团队负责人。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭