申请专栏作者
投稿发布
您的当前位置:主页 > yabo亚博体育下载 > 正文

关于yabo88滚球湖架构、战略和分析的8大错误认知

来源: 时间:2019-08-07
请点击下面的广告后浏览!

本文的目的是构建yabo88滚球湖,并提供适应企业yabo88滚球策略的背景信息。 咨询公司和提供商提出的意见相互矛盾,因此,这些信息历来一直不透明,令人困惑。

内容来自可思yabo88滚球sykv.com

不幸的是,这些令人困惑和颇具误导性的建议导致人们不断就技术平台的背景信息发问,而不是就一个战略或者业务成果来发问。 这种技术驱动的决策过程试图使主观的讨论变得更加客观,例如,他们会追问什么是亚马逊yabo88滚球湖? 或者什么是最好的yabo88滚球湖软件。 也许有一个供应商急于求成,正在医疗领域里推广符合流行语的、兼容HIPPA的yabo88滚球湖。 所以,对于那些想要厘清yabo88滚球湖如何赋能yabo88滚球洞察的人来说,这些关于yabo88滚球湖的讨论令人更加困惑。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

亚马逊yabo88滚球湖: 可思yabo88滚球sykv.com,sykv.cn

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1763595143&token=1763595143&lang=zh_CN#data-lakes

可思yabo88滚球sykv.com

兼容HIPPA的yabo88滚球湖:

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

https://aws.amazon.com/lake-formation/ 可思yabo88滚球-www.sykv.cn,sykv.com

打破这些与yabo88滚球湖策略、架构和实现建议相关的错误认知,将有助于你理解yabo88滚球湖失败的原因及其实现面临的各种挑战,还有助于阐明供应商和咨询公司提供的建议可能与yabo88滚球湖最佳实践背道而驰的原因。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

让我们开始一一打破这些错误认知吧!

可思yabo88滚球sykv.com,sykv.cn

错误认知1: yabo88滚球湖与yabo88滚球仓库,必须二选一

可思yabo88滚球sykv.com,sykv.cn

人们普遍建议在yabo88滚球湖和yabo88滚球仓库之间二选一,但这是错误的。 可思yabo88滚球sykv.com

审视现实-yabo88滚球仓库和yabo88滚球湖之间的区别 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

这种必须在yabo88滚球湖和yabo88滚球仓库之间二选一的认知错误地限制了讨论的框架。 当人们通过询问yabo88滚球仓库是否过时来开启讨论时,似乎在告知是时候抛弃你的企业级yabo88滚球仓库。 这些问题的出发点都有误,而且正在引你误入歧途。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

通常,一家公司需要就某一特定的设计模式进行某种形式的技术投资时,就会引发这些问题的讨论。 例如,他们声称某些操作可以或必须发生在yabo88滚球仓库中,然后将这些操作定义为是采用yabo88滚球湖架构的限制和风险。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

那供应商推广的yabo88滚球湖架构限制示例是什么?

可思yabo88滚球-人工智能资讯平台sykv.com

供应商会说yabo88滚球湖无法像yabo88滚球仓库那样便于按需扩展计算资源,从而它是受限的。 这是真的,但具有误导性。 就这就像抱怨汤姆布拉迪肯定是一名可怕的运动员,因为他从未在职业橄榄球生涯中打过本垒打。 既然汤姆布拉迪是一名橄榄球运动员,你会期望他成为一名在芬威棒球场(好吧,也叫Pesky'pole)投球飞过左外野全垒打墙的全垒打投球手吗? 不。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

Pesky'pole:https://www.youtube.com/watch?v=ZdiCbHh5U7w 可思yabo88滚球-人工智能资讯平台sykv.com

那么,为什么供应商和咨询公司会在这里应用yabo88滚球仓库计算概念? 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

事实上,声称yabo88滚球湖没有计算资源是一种FUD行销手法(灌输yabo88滚球湖的负面观念,在你的头脑里注入疑惑和恐惧,使你误以为除了yabo88滚球仓库以外,别无选择)。 yabo88滚球湖无法按需扩展计算资源,是因为没有需要扩展的计算资源。 可思yabo88滚球-www.sykv.cn,sykv.com

FUD行销手法:

内容来自可思yabo88滚球sykv.com

https://en.wikipedia.org/wiki/Fear,_uncertainty_and_doubt 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

yabo亚博体育下载 在yabo88滚球湖体系结构中,计算资源分离是一种核心的抽象,这是Redshift Spectrum、Presto和Athena解决方案存在的原因。 以Amazon的Athena为例,Athena不是一个yabo88滚球仓库软件,而是一个基于开源FaceBook Presto开发的按需查询引擎,它将按需提供“计算”资源查询yabo88滚球作为一项服务来提供。Amazon的Redshift Spectrum和Athena一样可以查询yabo88滚球湖中的yabo88滚球,利用的是从一个Redshift集群中分离出来的计算资源。 可思yabo88滚球sykv.com,sykv.cn

Redshift Spectrum 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#aws-redshift-spectrum 可思yabo88滚球-人工智能资讯平台sykv.com

Presto 可思yabo88滚球-www.sykv.cn,sykv.com

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#aws-data-lake

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

Athena 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

https://blog.openbridge.com/aws-athena-automated-60-second-setup-zero-administration-and-automatic-optimization-eba474e9897a

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

根据设计,yabo88滚球湖中的查询yabo88滚球服务可以很好地抽象出这个引擎模型,而且无论你在Google云上是否有亚马逊yabo88滚球湖(AWSyabo88滚球湖)、Oracleyabo88滚球湖、Azureyabo88滚球湖或BigQueryyabo88滚球湖,模型都是类似的。 可以通过Athena这类的查询引擎或者像Redshift、 BigQuery、Snowflake等“仓库”来查询yabo88滚球湖yabo88滚球内容,这些服务提供计算资源,而不是提供一个yabo88滚球湖。

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

Redshift 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#aws-redshift

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

BigQuery 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#bigquery

可思yabo88滚球sykv.com,sykv.cn

所以,对于大多数企业来说,yabo88滚球湖和yabo88滚球仓库如何共存才是正确的讨论内容,而不是讨论如何二选一。 当有人向你提出只能二选一时,他们可能是利益相关方,也就是说他们的产品或者商业伙伴也提供相关的功能。 可思yabo88滚球sykv.com,sykv.cn

错误认知2: yabo88滚球仓库就是一个yabo88滚球湖

可思yabo88滚球sykv.com,sykv.cn

这种想法会诱使你放弃yabo88滚球湖,将所有yabo88滚球都扔进数仓中。

可思yabo88滚球sykv.com,sykv.cn

审视现实-定义有效的yabo88滚球湖

可思yabo88滚球-人工智能资讯平台sykv.com

的确,有一些供应商和咨询公司主张将数仓作为yabo88滚球湖模型。

可思yabo88滚球sykv.com,sykv.cn

不同的供应商和咨询公司会建议使用模式(或其他物理或逻辑结构)来表示yabo88滚球从“原始”到数仓中其他状态的生命周期,业务所需的任何成熟度yabo88滚球都可以在仓库范围内完成。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

传统上,数仓旨在反映企业已经完成的事务,也反映企业完成一系列的一致事务,例如一个已经完成的事务可能提供有关收入、订单、“最佳客户”和其他领域的重要事务。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

但是,在数仓“导入所有yabo88滚球”模型中,数仓包含所有的yabo88滚球内容,其中会包括暂时的和易失的原始yabo88滚球。 可思yabo88滚球-www.sykv.cn,sykv.com

将所有的原始yabo88滚球重新打包到数仓中的操作更像是操作型yabo88滚球库(Operational Data Store,ODS)或者yabo88滚球集市的操作,而不像是数仓的操作。 你能将所有的yabo88滚球都扔进数仓吗? 不能。 不能仅仅因为你可以在技术上做一些事情,就可以使它成为正确的体系结构。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

操作型yabo88滚球库:

可思yabo88滚球sykv.com,sykv.cn

https://en.wikipedia.org/wiki/Operational_data_store

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

将所有yabo88滚球放进仓库的建议说,事务yabo88滚球只是逻辑组织yabo88滚球的一个功能。 在企业内部定义和推广这个逻辑定义的人将无法得到理解,甚至更糟的是他将被忽视,原因是这种方式几乎就是一种发生在数仓中的“yabo88滚球沼泽”,尽管教科书上定义yabo88滚球沼泽发生在yabo88滚球湖中。 对于任何一个被迫善后处理的人来说,这都是一场yabo88滚球处理的噩梦。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

yabo88滚球处理: 可思yabo88滚球-www.sykv.cn,sykv.com

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#data-wrangler-data-munging 可思yabo88滚球sykv.com,sykv.cn

这个模型会将你限制在数仓技术及其模型中,同时还需要你将所有yabo88滚球都导入数仓。 如果你喜欢四处寻找供应商、设定各种人为限制、降低yabo88滚球认知能力和背负各种技术债务,那么这种方法肯定很适合你。

内容来自可思yabo88滚球sykv.com

技术债务:

可思yabo88滚球-人工智能资讯平台sykv.com

https://en.wikipedia.org/wiki/Technical_debt 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

正确的做法是,yabo88滚球湖可以最小化技术债务,同时还可以加速企业团队对yabo88滚球的消耗。 考虑到数仓、查询引起和yabo88滚球分析市场的变化在加快,你战略的核心应该是最小化风险和技术债务。

可思yabo88滚球sykv.com,sykv.cn

?

内容来自可思yabo88滚球sykv.com

? 可思yabo88滚球sykv.com

yabo88滚球湖架构

可思yabo88滚球sykv.com,sykv.cn

错误认知3: yabo88滚球湖只能用Hadoop来实现

可思yabo88滚球-人工智能资讯平台sykv.com

你会经常发现有讨论和示例将yabo88滚球湖等同于Hadoop或者Hadoop相关供应商技术栈,这会给人一种错觉: yabo88滚球湖和Hadoop特定的技术紧密相关。 可思yabo88滚球sykv.com

审视现实-Hadoop不是一个yabo88滚球湖 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

虽然Hadoop技术可以用于yabo88滚球湖的构建和运行,但它们并不能反映出所支持的yabo88滚球湖的基本战略和架构。

可思yabo88滚球-www.sykv.cn,sykv.com

认识到yabo88滚球湖最先反映的是战略和架构,而不是技术,这一点很重要。 Pentaho联合创始人兼首席技术官詹姆斯·狄克逊(也就是创造“yabo88滚球湖”这个词的人)说: 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

这种情况和传统的商业智能分析程序构建方式类似,根据终端用户给出的yabo88滚球问题清单,从yabo88滚球流中筛选出与问题相关的字段属性,并批量记载到yabo88滚球集市中。 在你提出新问题之前,这个方法是可行的。 yabo88滚球湖可以完全解决这个问题,你可以将所有yabo88滚球存储在yabo88滚球湖中,填充yabo88滚球集市和yabo88滚球仓库以满足传统的yabo88滚球需求,针对新问题,则可以启用yabo88滚球湖中的原始yabo88滚球以供即席查询和生成报告。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

Hadoop和其它技术一样,可以支持战略和架构的实现。 如果现在你有一个yabo88滚球湖,会有很多非Hadoop的选择,即使这些选择使用了Hadoop相关技术。 例如,你的yabo88滚球湖需要同时支持Snowflake这样的数仓解决方案和在AWS Athena、Presto,、Redshift Spectrum和BigQuery这样的就地查询方式。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

AWS Athena 可思yabo88滚球-人工智能资讯平台sykv.com

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#aws-athena 内容来自可思yabo88滚球sykv.com

Redshift Spectrum

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#redshift 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

别以为yabo88滚球湖只能使用Hadoop实现,如果你遵循一个精心抽象的yabo88滚球湖架构,那么就可以根据技术的发展性及其对更广泛的企业生态系统的支持度选择其它技术,从而最小化风险。

内容来自可思yabo88滚球sykv.com

错误认知4: yabo88滚球湖仅用于“存储”yabo88滚球

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

在这种情况下,yabo88滚球湖只是一个存储你所有yabo88滚球的地方。 你只需要所有yabo88滚球放入yabo88滚球湖,而后启用新的yabo88滚球管理模型就可以大功造成,这就和将所有的文件都放进笔记本电脑上超大硬盘中的“无标题文件夹”一样。 内容来自可思yabo88滚球sykv.com

审视现实-yabo88滚球湖不仅仅是一个存放yabo88滚球的地方

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

当供应商将yabo88滚球湖定义为存储的同义词时,这可能会变得复杂。 例如,微软将产品打包为Azure Data Lake Storage或Azure Data Lake Storage Gen2,yabo88滚球湖确实提供了存放yabo88滚球的功能,但这只是其特征之一。

可思yabo88滚球-www.sykv.cn,sykv.com

如前所述,应该将yabo88滚球湖视为是企业更为广泛的yabo88滚球栈中的战略元素,这包括在下游系统中(如数仓)支持事务yabo88滚球集成,或者在Tableau或Oracle ETL等工具中支持yabo88滚球处理。 可思yabo88滚球sykv.com

因此,yabo88滚球湖不仅仅可以存储yabo88滚球,还可以兼容数仓、yabo88滚球分析技术栈中的技术。 事实上,大多数yabo88滚球湖是动态的生态系统,而不是静态的封闭系统。 当数仓负载适中时,yabo88滚球湖是一个活跃yabo88滚球源,源源不断为其输送yabo88滚球,反之亦然,负载过重时,yabo88滚球湖进行对yabo88滚球进行适当地动态处理,以降低成本和提高效率。

可思yabo88滚球sykv.com,sykv.cn

yabo88滚球湖对yabo88滚球进行适当地组织,以便将下游价值传递给使用yabo88滚球的下游系统,包括数仓。 例如,yabo88滚球湖在支持数仓整合事务yabo88滚球方面发挥了积极的作用。 可思yabo88滚球sykv.com,sykv.cn

我们有一位客户使用yabo88滚球湖对数十个网站和第三方酒店的标签进行质量控制分析,这有助于识别负责这项工作的不同团队可能存在的差异和执行错误。 还有一位客户在将yabo88滚球导入企业级yabo88滚球仓库前,使用yabo88滚球湖过滤来自不同部门、第三方和合作伙伴系统中的不准确订单或重复的多渠道订单。

内容来自可思yabo88滚球sykv.com

这两个例子都强调了,yabo88滚球湖在保证下游事务yabo88滚球的准确性和合规性上发挥了积极的作用。 可思yabo88滚球sykv.com,sykv.cn

正如麦肯锡员工所说: “...yabo88滚球湖不仅保证了技术栈的灵活性,而且还保证了业务能力的灵活性。”yabo88滚球湖作为一种服务模型,是为了交付业务价值,而不仅仅是存储yabo88滚球。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

交付业务价值: 可思yabo88滚球sykv.com,sykv.cn

https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/a-smarter-way-to-jump-into-data-lakes

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

错误认知5: yabo88滚球湖仅存储“原始”yabo88滚球

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

和错误认知2相关,“把所有yabo88滚球都倒进数仓”的方法表示,yabo88滚球湖不会增加价值,原因是只有原始yabo88滚球驻留在yabo88滚球湖中。 他们主张: “如果yabo88滚球湖只处理原始yabo88滚球,那么就不用担心yabo88滚球湖了,只需将所有的原始yabo88滚球或者已被处理的yabo88滚球转存至数仓中”。 可思yabo88滚球-www.sykv.cn,sykv.com

审视现实--定义有效的yabo88滚球湖策略和架构

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

?

可思yabo88滚球sykv.com

?

可思yabo88滚球sykv.com,sykv.cn

数仓或SQL查询引擎的典型工作流 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

正如之前所说的,这和数仓旨在反映既定事务yabo88滚球的基本前提相矛盾。 一个更好的历史yabo88滚球比较不是在数仓和yabo88滚球湖之间进行,而是在ODS和yabo88滚球湖之间进行。

可思yabo88滚球sykv.com,sykv.cn

从历史yabo88滚球角度上看,yabo88滚球湖是一个ODS,而不是一个数仓,因为yabo88滚球湖从上游获取粗糙和不稳定的原始yabo88滚球。 一个ODSyabo88滚球通常时间范围很窄,可能只有90天内的yabo88滚球,针对某一特定yabo88滚球领域,时间范围可能更窄。 另一方面,yabo88滚球湖对于保留的yabo88滚球没有时间范围限制,从而时间范围更广些。 可思yabo88滚球sykv.com,sykv.cn

那么,yabo88滚球湖仅是为了存储“原始”yabo88滚球吗?

可思yabo88滚球sykv.com,sykv.cn

不。

内容来自可思yabo88滚球sykv.com

根据设计,yabo88滚球湖应该有一定程度的yabo88滚球输入管理(即管理什么yabo88滚球要进入yabo88滚球湖)。 如果你没有管理yabo88滚球进入模式的意识,那么你其它地方的技术栈可能存在问题,这对于数仓或任何其它yabo88滚球系统也是一样的,垃圾进,垃圾出。 可思yabo88滚球-人工智能资讯平台sykv.com

yabo88滚球湖的最佳实践应该包括一个配备初始yabo88滚球池的模型,在这个初始yabo88滚球池里,你可以最低限度地优化模型,以为下游处理yabo88滚球或辅助处理yabo88滚球。 yabo88滚球处理可能发生在Tableau或PowerBi之类的分析工具中,也有可能发生在加载yabo88滚球到数仓(如Snowflake、Redshift和BigQuery)的应用程序中。

可思yabo88滚球-www.sykv.cn,sykv.com

优化: 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

https://blog.openbridge.com/how-to-be-a-hero-with-powerful-parquet-google-and-amazon-f2ae0f35ee04

可思yabo88滚球sykv.com,sykv.cn

与我们合作的一位客户将Adobe事件yabo88滚球发送到AWS,以支持企业Oracle云环境。 为什么要从AWS到Oracle呢? 因为这是Oracle BI环境中最高效的和最具成本效益的yabo88滚球处理模式,尤其是考虑到使用AWSyabo88滚球湖和Athena作为按需查询服务的灵活性和经济性。

可思yabo88滚球sykv.com,sykv.cn

Adobe事件yabo88滚球发送到AWS,以支持企业Oracle云环境:

可思yabo88滚球-人工智能资讯平台sykv.com

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#oracle-data-lake

可思yabo88滚球-人工智能资讯平台sykv.com

通过最大限度地保证yabo88滚球的有效性,提高处理yabo88滚球的效率,你可以最大限度地降低下游yabo88滚球处理者所要付出的yabo88滚球处理成本。

可思yabo88滚球sykv.com,sykv.cn

错误认知6: yabo88滚球湖仅适用于“大”yabo88滚球 可思yabo88滚球sykv.com,sykv.cn

如果你花时间阅读过yabo88滚球湖的相关资料,你会认为yabo88滚球湖只有一种类型,看起来像里海(它是一个湖,尽管名字中有“海”)。 人们将yabo88滚球湖描述成一个庞大的、包容一切的实体,旨在保存所有的知识,因此只会有一个企业大yabo88滚球湖或者大yabo88滚球架构的同义词。

可思yabo88滚球sykv.com,sykv.cn

审视现实-yabo88滚球湖有各种形状和大小

可思yabo88滚球-www.sykv.cn,sykv.com

不幸的是,“大yabo88滚球”角度给人以一种错觉: yabo88滚球湖仅适用于里海范围那么大的yabo88滚球,这当然会让yabo88滚球胡的概念令人生畏。 因此,用如此量大的术语来描述yabo88滚球湖会使那些本可以从中获益的人无法接近。

可思yabo88滚球-www.sykv.cn,sykv.com

另一个观点是yabo88滚球湖和大yabo88滚球只能二选一。 像自然界中的湖泊一样,yabo88滚球湖有各种不同的形状和大小。 每一种yabo88滚球湖都有一种自然状态,通常反映yabo88滚球的生态系统,就像自然界中反映鱼、鸟或其它有机体的生态系统一样。 内容来自可思yabo88滚球sykv.com

以下是一些例子: 可思yabo88滚球-人工智能资讯平台sykv.com

诺大的“Caspian” : 可思yabo88滚球-www.sykv.cn,sykv.com

就像里海是大片水域一样,这种类型的yabo88滚球湖是一个存放各种半结构化和非结构化yabo88滚球的大型数仓,这些整合了不同yabo88滚球集的超大yabo88滚球集反映了来自企业方方面面的信息。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

临时的“Ephemeral” : 就像沙漠可以有小的、临时的湖泊一样,临时的yabo88滚球湖“Ephemeral”也是短暂存在的。 它们可以用于项目、试生产、PoC或者一个点解决方案,可以很快打开,也可以很快关闭。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

领域性的“Project” : 这种类型的yabo88滚球湖和“Ephemeral”一样往往集中在特定的知识领域中。 然后,和临时“Ephemeral”不同的是,这种yabo88滚球湖可以持续一段时间。 这些yabo88滚球湖可能也很浅,可能专注于一个狭窄的yabo88滚球领域,如媒体、社交、网络分析、电子邮件或类似的yabo88滚球源。 有一位客户称他们的项目为“Tableauyabo88滚球湖”。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

通过设计,所有yabo88滚球湖类型都应该采用一种抽象,以最大限度地降低风险,并提供更大的灵活性。此外,它们的结构应该便于yabo88滚球处理,独立于yabo88滚球规模的大小。 当yabo88滚球科学家、业务用户或者python代码使用yabo88滚球湖时,确保它们拥有一个易于处理yabo88滚球和可自定义yabo88滚球规模的yabo88滚球环境。

可思yabo88滚球-人工智能资讯平台sykv.com

? 内容来自可思yabo88滚球sykv.com

新知图谱, 关于yabo88滚球湖架构、战略和分析的8大错误认知(附链接)

? 可思yabo88滚球-www.sykv.cn,sykv.com

yabo88滚球湖示例 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

无论你的使用场景是机器学习、yabo88滚球可视化、生成报告还是为数仓和yabo88滚球集市输送yabo88滚球,yabo88滚球规模的不同,思考方式不同,有可能创造出使用这些yabo88滚球湖的新方式。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

错误认知7: yabo88滚球湖没有安全保障

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

yabo88滚球湖是一个不安全的yabo88滚球对象集合,可供组织中的任何人使用,而这些人只是想从中获得一些帮助,带着他们想要的信息离开。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

审视现实-安全是一种选择,确保你考虑的是它从某种意义上说,人们会依赖于隐性的安全技术解决方案(即自动的AWS S3 AES对象加密),而不会去构建一个显性的、可以管理安全性的架构和下游使用场景,这可能会导致安全漏洞,但这可以说是很多系统的漏洞,而非仅是yabo88滚球湖本身的漏洞。 因此,认为yabo88滚球湖本质上不安全的观点是不准确的。 可思yabo88滚球sykv.com,sykv.cn

安全可以是而且应该是我们要考虑的重中之重,这里有4个需要考虑的方面:

可思yabo88滚球sykv.com,sykv.cn

访问 : 通常,对针对基础yabo88滚球定义良好的访问策略。 在AWS中,你可以定义针对S3的IAM策略及其相关服务。 除此以外,微软还有一个描述类似安全策略方法的Azureyabo88滚球湖架构。

可思yabo88滚球-www.sykv.cn,sykv.com

工具 : 处理yabo88滚球的工作和系统也会确保一定的安全性。 例如,查询引擎可以有一个表级和列级yabo88滚球的访问控制机制。 此外,yabo88滚球处理工具(如Tableau或Power BI)也可以对yabo88滚球湖中的yabo88滚球设置访问控制。 可思yabo88滚球sykv.com

加密 : 通常会希望(或强制)在yabo88滚球传输和静止时对其进行加密。

可思yabo88滚球sykv.com

分区 : 逻辑分区和物理分区在一定水平上进一步简化了安全策略,例如团队可以将yabo88滚球从初始yabo88滚球池ETL至另一个位置,实现匿名化敏感yabo88滚球,以供下游使用。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

人们可以争论这些不同策略的优点,但要是说yabo88滚球湖本身是不安全的,这是不正确的。 可思yabo88滚球sykv.com

错误认知8: yabo88滚球湖会变成yabo88滚球沼泽

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

曾有一篇文章评论yabo88滚球湖最终会变成yabo88滚球沼泽,因为它们只是存储,缺乏治理、管理,没有yabo88滚球生命周期/保留策略,也没有元yabo88滚球。 可思yabo88滚球sykv.com,sykv.cn

审视现实-正确安排人员、流程和技术

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

在极端情况下,这是真的。 如果你把一个yabo88滚球湖当作是你笔记本电脑上一个通用的“无标题文件夹”来处理文件,那么就可能会变成一个yabo88滚球沼泽(见错误认知4),所以,这会存在风险。 然而,对于任何习惯以这种方式进行文件转储的人来说,他们对成功安排人员、流程和技术都有点不感兴趣。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

那么,真正的yabo88滚球沼泽是什么呢? 真正的yabo88滚球沼泽是设计不当创造出来的,而不是疏于管理促成的。

可思yabo88滚球-www.sykv.cn,sykv.com

yabo88滚球湖更大的威胁不是缺乏治理、管理、生命周期策略和元yabo88滚球,而是缺乏防止这种情况发生的生态系统,这个生态系统包括工具、角色、职责和系统。 yabo88滚球湖之所以成为沼泽,不仅仅是因为“倾倒文件”,还因为yabo88滚球湖的相关人员、流程和技术安排过于复杂。 如果你认为你的企业级数仓过程缓慢,那么你的yabo88滚球湖也会如此。

内容来自可思yabo88滚球sykv.com

简单、敏捷和灵活是yabo88滚球湖众多优点中的一部分,当湖中出现重要的业务逻辑和流程时,你将面临这样的风险: 创建出来的解决方案缺乏简单性、无法响应变化、设计过于严格,而这就是你需要警惕的yabo88滚球沼泽。 yabo88滚球沼泽是昂贵的、费时的,从而无法满足任何人的期望。 这听起来是不是很熟悉?

可思yabo88滚球-人工智能资讯平台sykv.com

对于那些正在计划或者已经部署了yabo88滚球湖的人来说,要小心yabo88滚球湖的定位和特性蔓延。 经常会看到供应商将其在传统数仓和其它ETL产品中发现的特性和功能定义为yabo88滚球湖的功能,尽管从技术上讲,可以在yabo88滚球湖中进行复杂的yabo88滚球处理。

内容来自可思yabo88滚球sykv.com

但是,你可能在yabo88滚球湖外已经有了执行这些处理操作的工作流、工具、人员和技术,并不是所有的yabo88滚球处理都符合你的上下游流程,请仔细考虑yabo88滚球湖嵌套处理yabo88滚球导致复杂性激增的风险。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

请警惕,当前或计划中的yabo88滚球湖逐渐看起来更像是传统的ETL工具和数仓的合体,如果你已经经历过一个过于复杂的构建企业级数仓工作,会很容易发现这一点。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

yabo88滚球驱动企业的yabo88滚球湖架构及策略 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

yabo88滚球湖的发展模式和我们熟知的技术发展模式一样,新的概念出现,接着被先驱者和技术江湖骗子采用,随着时间的推移,成功模式才变得清晰。 这种清晰源自努力实践的经验教训,很大程度上是通过失败来获得成功。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

结果,yabo88滚球湖的技术术语、最佳实践和致力于构建更好平台的投资都在改进。 业务实践的经济性、架构方式和优化方法都在不断变化,这允许团队以适应应用场景的方法将这些yabo88滚球湖解决方案整合进企业的yabo88滚球栈中。

可思yabo88滚球-www.sykv.cn,sykv.com

不幸的是,这些批评逐渐变成广为流传的“yabo88滚球湖不成功”、“yabo88滚球湖等同于yabo88滚球沼泽”、“yabo88滚球湖与Hadoop等特定技术过于紧密联系”等这类信息。 最后,还会出现“什么是yabo88滚球湖”定义过于模糊和不固定的抱怨。

可思yabo88滚球-人工智能资讯平台sykv.com

批评是任何技术发展的必要组成部分。

可思yabo88滚球-人工智能资讯平台sykv.com

然而,技术发展的关键是以退为进,这样做,是因为这些批评并非仅针对yabo88滚球湖。 事实上,这些评论可以针对任何一项技术,特别是yabo88滚球项目。 例如,术语“yabo88滚球仓库”和yabo88滚球湖定义一样模糊而不断变化(见错误认知2),在谷歌上搜索“失败的yabo88滚球仓库”,也会发现一些关于项目失败的故事。 这些是否意味着我们应该放弃“yabo88滚球仓库”这个短语或者停止追求这些项目? 内容来自可思yabo88滚球sykv.com

不。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

通常情况下,蔑视yabo88滚球湖的咨询公司或企业都将自己提供的产品和服务视为灵丹妙药,致力于实现自己的愿景和最佳实践。 如果一个咨询公司或供应商不相信一个模型,为什么要他们参与一个他们不相信的解决方案呢? 将yabo88滚球湖工作委托给这类咨询公司或供应商,很有可能是yabo88滚球湖失败的一个原因。 可思yabo88滚球sykv.com,sykv.cn

在深入了解如何构建yabo88滚球湖或如何和企业定制yabo88滚球湖之前,我们有一些技巧可以帮助你进行规划。

可思yabo88滚球sykv.com,sykv.cn

如何构建yabo88滚球湖 可思yabo88滚球sykv.com,sykv.cn

https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&appmsgid=100013110&isMul=1&token=698435870&lang=zh_CN#amazon-data-lake

可思yabo88滚球-www.sykv.cn,sykv.com

开始: 从小处做起,要灵活 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

到目前为止,我们已经讨论了什么是yabo88滚球湖或者构建yabo88滚球湖的步骤是什么的基本问题。 我们还忽视了一个重要事实: yabo88滚球湖和数仓不仅可以共生,也可以共繁荣。 可思yabo88滚球sykv.com

因此,停止购买闪亮的Hortonworksyabo88滚球湖解决方案,组建软件开发工程师、客户经理、解决方案架构和支持技术工程师来构建企业yabo88滚球湖吧! 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

从小处做起,要灵活。 下面是一些关于如何运转yabo88滚球湖实现的小技巧:

可思yabo88滚球sykv.com,sykv.cn

焦点 :

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

寻找可以部署“Ephemeral” 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

和“Project”解决方案的机会,确保你可以降低风险,克服技术和组织挑战,从而使你的团队能够建立对yabo88滚球湖的信心。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

激情 : 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

确保你有一个内部的“福音传道者”或“大力倡导者”,这个人对公司内部的解决方案和应用充满激情。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

如果缺少这样充满激情的人或团队,你会发现构建yabo88滚球湖的热情就很快殆尽,正如健身房新年促销4周会员卡一样。

可思yabo88滚球-人工智能资讯平台sykv.com

简单 : 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

坚持简单和敏捷的理念,根据这一点,做出人、流程和技术的选择。

可思yabo88滚球sykv.com,sykv.cn

缺乏复杂性不应该被视为缺陷,而应该视作是精心设计的副产品。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

缩小 : 内容来自可思yabo88滚球sykv.com

缩小yabo88滚球范围,可以很好地定义yabo88滚球湖,以便了解从ERP、CRM、Point-of-Sales、Marketing or Advertising data从导出地yabo88滚球,这个阶段的yabo88滚球处理经历有助于你了解yabo88滚球的基本结构、获取、治理、质量和测试的工作流。 可思yabo88滚球-www.sykv.cn,sykv.com

实验 : 可思yabo88滚球sykv.com

将你的解决方案和现代BI分析工具(如Tableau、Power BI、Amazon Quicksight或Looker)结合起来,这可以让非技术用户有机会通过访问yabo88滚球湖来测试和探索yabo88滚球,同时也有助于你利用不同的用户群来评估性能瓶颈,发现改进机会,及时补充与现有EDW系统或其它yabo88滚球系统的连接和其它候补yabo88滚球源。 除此之外,还允许你发现对团队有意义的yabo88滚球湖工具以及适合投入资源的yabo88滚球湖自动化部分。 可思yabo88滚球sykv.com

将你的解决方案和现代BI分析工具(如Tableau、Power BI、Amazon Quicksight或Looker)结合起来:

可思yabo88滚球sykv.com,sykv.cn

https://blog.openbridge.com/building-a-serverless-business-intelligence-stack-with-apache-parquet-tableau-and-amazon-athena-e1a2363c2e6d 可思yabo88滚球-www.sykv.cn,sykv.com

作为一个成功的yabo88滚球湖早期采用者,应该重点关注商业价值方法而不是具体实现的技术方法,这意味着你不必担心Cloudera Data Lake新出了产品、如何开启AWS Lake Formation工作流、Gartner魔方图或是Azure团队希望你购买哪些yabo88滚球湖分析方案。 可思yabo88滚球sykv.com

AWS Lake Formation 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

https://aws.amazon.com/lake-formation/ 可思yabo88滚球sykv.com

yabo88滚球湖专注于业务价值,为你提供了一个在全面yabo88滚球分析的背景下搭建工作框架的机会,这会提高你实现yabo88滚球湖目标和衡量业务绩效的速度。 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

使用无代码、全自动和零管理的Amazon Redshift Spectrum或Amazon Athena Services来启动你的工作。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

Amazon Redshift Spectrum 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

https://www.openbridge.com/warehouse/amazon-redshift-spectrum 可思yabo88滚球sykv.com,sykv.cn

Amazon Athena Services

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

https://www.openbridge.com/warehouse/amazon-athena

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

原文链接: 可思yabo88滚球sykv.com

https://blog.openbridge.com/8-myths-about-data-lakes-c0f1fc71240 可思yabo88滚球-人工智能资讯平台sykv.com

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭