申请专栏作者
投稿发布
您的当前位置:主页 > yabo亚博体育下载 > 正文

揭秘腾讯TDSQL全时态yabo88滚球库系统

来源: 时间:2019-09-03
请点击下面的广告后浏览!

全时态yabo88滚球为yabo88滚球安全、yabo88滚球重演、yabo88滚球挖掘和 AI 技术的施展提供了物理基础。这篇文章重点介绍了基于腾讯云 TDSQL 扩展而来的全时态yabo88滚球库系统(T-TDSQL),T-TDSQL 在保证 OLTP 性能的前提下提供了轻量级的全时态yabo88滚球管理功能和全时态yabo88滚球的事务处理能力,以及集当前态yabo88滚球于生产系统集历史态yabo88滚球于分析型系统的集群架构,构成了全时态yabo88滚球的完备解决方案。相应论文已入选 VLDB 2019。 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

一 前言

可思yabo88滚球-人工智能资讯平台sykv.com

腾讯与中国人民大学于 2017 年起,依托于腾讯 TEG 计费平台部丰富的实战经验和中国人民大学yabo88滚球工程与知识工程教育部重点实验室的多年学术积累,在yabo88滚球库前沿研究领域开展了深入合作,研究成果已经连续两年入选国际顶级会议 VLDB。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

VLDB 会议是国际公认的yabo88滚球管理与yabo88滚球库领域顶尖的三大学术会议(SIGMOD、VLDB、ICDE)之一,旨在展示和推广领域内最新的研究成果和核心科技。自 1975 年开办至今,VLDB 会议已经成功举办了 44 届,每年的 VLDB 能在全球范围内吸引到大量优秀的研究人员、企业代表以及行业精英到场参会,是一场不容错过的学术盛会。

可思yabo88滚球sykv.com

继去年在 VLDB2018 上通过 DEMO 论文展示了合作成果 MSQL+ 后(基于 TDSQL 的插件式近似查询工具),今年腾讯与中国人民大学最新联合研究成果“A Lightweight and Efficient Temporal Database Management System in TDSQL”成功被 VLDB2019 Industry Track 接收并将通过长文形式发表。该研究成果由腾讯 TEG 计费平台部 TDSQL yabo88滚球库团队与中国人民大学yabo88滚球工程与知识工程教育部重点实验室深度合作完成。论文介绍了一款基于 TDSQL 扩展而来的全时态yabo88滚球库系统,该系统在保证 OLTP 性能的前提下,提供了轻量级的时态yabo88滚球管理功能。本文将对论文研究成果进行详细的分析解读。

可思yabo88滚球sykv.com

? 可思yabo88滚球sykv.com,sykv.cn

? 可思yabo88滚球sykv.com

图 1 VLDB 官网截图 可思yabo88滚球sykv.com,sykv.cn

二 研究背景

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

时态yabo88滚球主要指随时间推移不断发生变化的yabo88滚球,例如温度、账户余额等yabo88滚球。时态yabo88滚球在现实生活中非常普遍,而在金融场景下,在yabo88滚球库层面时态yabo88滚球管理尤为重要。例如,金融审计时需要获取 2018 年 11 月 08 日至 2018 年 11 月 10 日的账户余额变动情况。如果通过传统yabo88滚球库(RDBMS)中的普通关系表进行账户余额管理(如图 1 所示),账户余额变动不会被维护,因而上层应用需要通过日志等形式来额外记录余额的每次变动,这会大大提高应用复杂度;而采用如表 2 所示的时态yabo88滚球表,余额的变迁被原生维护在yabo88滚球库中,即可准确获取到余额变动yabo88滚球(表中加粗yabo88滚球)。 内容来自可思yabo88滚球sykv.com

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

三 系统简介

可思yabo88滚球-www.sykv.cn,sykv.com

结合 TDSQL 系统的特点,研究团队提出并实现了一个轻量且高效的全时态yabo88滚球库系统,该系统可以在保留原有 TDSQL 强劲的 OLTP 处理性能的同时,通过巧妙的系统设计,提供了内建的时态yabo88滚球管理能力(如图 2 所示)。

可思yabo88滚球sykv.com,sykv.cn

?

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

? 可思yabo88滚球-www.sykv.cn,sykv.com

图 2 系统概览

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

3.1 存储

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

TDSQL 全时态yabo88滚球库系统创新性地采用了一种混合存储模式,来对时态yabo88滚球进行管理。系统将时态yabo88滚球拆分为当前yabo88滚球和历史yabo88滚球,针对不同的yabo88滚球类型,分别采用不同的存储策略。当前yabo88滚球管理模块,采用了基于 MVCC(多版本并发访问控制协议)设计的yabo88滚球库所普遍采用的段页式结构,并且专门开辟回滚段,来对更新或删除操作产生的旧版本进行暂存。在回滚段中暂存的yabo88滚球会在yabo88滚球库进行资源回收操作(如 MySQL 中的 Purge 和 PostgreSQL 中的 VACUUM 等)时,迁移到历史yabo88滚球管理模块,这个过程被称为yabo88滚球转储。这是一种异步的转储策略,因而几乎不会造成性能损耗。历史yabo88滚球存储模块,通过 k-v 格式来进行组织,可以大幅度缩小存储开销。由于一个yabo88滚球项会存在多个历史版本,而这些历史版本会在某些属性上存在一样的值,例如表一中的 James 被重复四次。因此,在历史yabo88滚球存储模块中,系统将每一个版本转化为一条 k-v,并且只存储相较于上一个版本发生变化的属性值。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

3.2 查询与事务处理 可思yabo88滚球sykv.com,sykv.cn

系统对时态查询处理逻辑进行了针对性设计与优化。通过专门的时态查询编译器,部分时态查询条件(如有效时间查询)会被重写并拼接到 WHERE 条件中。而对于事务时间查询,系统将其查询条件转化为了内嵌的可见性判断过程,从而使得时态查询所获取的yabo88滚球满足事务一致性的要求,保证yabo88滚球的准确性,这点在金融场景下显得尤为重要。 可思yabo88滚球-人工智能资讯平台sykv.com

另外,通过持久维护事务状态,系统可以快速获取到事务的执行状态,结合时态yabo88滚球,即可原生支持事务级yabo88滚球闪回等实用操作。对于历史yabo88滚球,系统利用 k-v 存储的特性,可以根据时间条件快速定位到所需yabo88滚球版本,具备了较好的时态查询性能,且在 SQL 语句的写法上方便用户直接使用 SQL 语句进行查询。 可思yabo88滚球-www.sykv.cn,sykv.com

3.3 架构设计

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

系统体现了 HTAC(Hybrid Transaction / Analytical Cluster,混合事务 / 分析集群)这一新型的系统架构设计理念,如图 3。

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

TDSQL 全时态yabo88滚球库系统分为 OLTP 集群和 OLAP 集群,OLTP 集群负责事务型业务,OLAP 系统处理分析型业务,提供历史yabo88滚球的查询分析等功能。通过统一路由模块根据查询语句、查询操作的语义将 SQL 发送到对应集群进行处理。由于时态yabo88滚球查询等负载需要占用大量系统资源,这种拆分的系统设计可以尽量影响减小生产系统受到的性能影响。其次,历史yabo88滚球量级较大,OLAP 集群通过扩展存储的方式,即可实现历史yabo88滚球的无限存储。 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

?

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

?

可思yabo88滚球sykv.com,sykv.cn

图 3 T-TDSQL 全时态yabo88滚球库系统架构图

可思yabo88滚球sykv.com,sykv.cn

四 论文贡献 可思yabo88滚球sykv.com,sykv.cn

论文提出了一种拓展的时态yabo88滚球模型。 除了在 SQL:2011 中定义的有效 / 事务时间属性外,本模型通过新引入的事务 ID 属性描述时间。 MIN_ID 与创建记录的事务相对应,MAX_ID 对应于删除 / 更新记录的事务。 事务 ID 能够识别在同一事务中插入 / 更新 / 删除的所有记录,从而实现由于业务逻辑破坏yabo88滚球的修复。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

论文提出了一种内建的时态yabo88滚球库解决方案,并针对 TDSQL 进行了大量优化,最终实现了 TDSQL 全时态yabo88滚球库系统。同时,该解决方案具有很强的通用性,可以方便的引入到其他yabo88滚球库系统中。通过引入异步yabo88滚球迁移、增量历史yabo88滚球管理、原生时态查询执行器等策略,该解决方案具有轻量且高效的特点。

内容来自可思yabo88滚球sykv.com

通过在真实场景和 TPC 基准负载下的大量实验,TDSQL 全时态yabo88滚球库系统具有非常小的性能损失(相较于原始 TDSQL 系统),并且能够快速响应时态查询,与其他现有的时态yabo88滚球库系统相比具有较好的性能。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

五 系统测试

内容来自可思yabo88滚球sykv.com

通过 TPCC 测试基准,论文展示了时态yabo88滚球管理对原有系统性能的影响情况。如图 3 所示,在 256、512、1024 个yabo88滚球仓库的场景下,基于 TDSQL 实现的全时态yabo88滚球库系统的系统性能相较于原始 TDSQL 下降率不到 10%,领先于其他基于传统关系yabo88滚球库实现的时态yabo88滚球库系统。 可思yabo88滚球sykv.com,sykv.cn

?

可思yabo88滚球sykv.com,sykv.cn

?

可思yabo88滚球sykv.com,sykv.cn

图 4 TPCC 测试结果

可思yabo88滚球sykv.com,sykv.cn

另外,基于真实的批处理业务场景,论文展示了系统在实际业务场景下的表现。如图 4 所示,通过连续 30 天对比原始系统和新型全时态yabo88滚球库系统(T-TDSQL)在处理该业务时所需的执行时间,实验结果展示腾讯全时态yabo88滚球库系统在简化业务应用开发的同时,可以缩短近一半的业务执行时间。 可思yabo88滚球-www.sykv.cn,sykv.com

? 内容来自可思yabo88滚球sykv.com

?

可思yabo88滚球sykv.com,sykv.cn

图 5 实际业务场景测试

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

对于该论文,VLDB 评审委员会做出如下点评: 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

This paper extends the TDSQL system from Tencent for temporal data management. A new temporal data model is proposed with optimized implementation. Extensive experimental study has been conducted to compare the performance with existing temporal database systems over benchmarks and real data. 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

六 TDSQL 全时态yabo88滚球库的价值和意义

可思yabo88滚球sykv.com,sykv.cn

TDSQL 全时态yabo88滚球库核心价值观是“历史yabo88滚球富有价值”,核心理念是“为yabo88滚球赋能”,因而系统提供了如下特性: 可思yabo88滚球sykv.com

? 全时态yabo88滚球模型。yabo88滚球库系统通过统一的yabo88滚球模型管理yabo88滚球的生命周期,即yabo88滚球的诞生、修改、消亡的全过程、过程中的状态变迁操作等。 可思yabo88滚球-www.sykv.cn,sykv.com

? 全时态yabo88滚球存储。全时态yabo88滚球存储保证了所有状态yabo88滚球的永久保存。解决了现有的yabo88滚球库系统,大部分只能保存当前yabo88滚球,而旧版本yabo88滚球被丢弃的问题。 可思yabo88滚球sykv.com

? 全时态yabo88滚球查询。提供了对时态yabo88滚球的快速查询能力,由于历史yabo88滚球的yabo88滚球量级巨大,在海量历史yabo88滚球上的查询能力非常重要。

可思yabo88滚球sykv.com,sykv.cn

? 全时态yabo88滚球计算。yabo88滚球都是具有价值的,因此需要具备在海量时态yabo88滚球上的分析计算能力。 可思yabo88滚球-人工智能资讯平台sykv.com

TDSQL 全时态yabo88滚球库的意义主要体现在功能和成本两个方面。从功能角度看,TDSQL 全时态yabo88滚球库(用 T-TDSQL 表示)可以支持如下功能特性: 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

? 精确的历史yabo88滚球读取。可以查询到对于历史上任意一个时间段内的yabo88滚球变化情况,如新插入的yabo88滚球、连续被更新的yabo88滚球、以及被删除的yabo88滚球。因此可以追踪yabo88滚球的历史轨迹,并能方便的在增量yabo88滚球的基础上进行多表连接的增量计算。 可思yabo88滚球sykv.com,sykv.cn

? yabo88滚球库中存储有yabo88滚球的历史状态信息,yabo88滚球的安全性得到保证。防止篡改yabo88滚球、yabo88滚球误删除的恢复、账户变化轨迹追踪、回溯历史时空里的“过去的”yabo88滚球等功能,在 T-TDSQL 中成为现实。 可思yabo88滚球sykv.com

? T-TDSQL 管理海量时态yabo88滚球,因而流水日志不再重要。基于索引检索历史态yabo88滚球时如同基于索引检索当前yabo88滚球一样的方便快捷且消耗最少量的计算资源,这对于审计、安全、档案等部门有帮助。另外,HTAC 系统架构提供不受限于单机系统的存储能力,可以通过分布式网络文件系统来支持单机无限yabo88滚球量的存储。

可思yabo88滚球sykv.com,sykv.cn

? T-TDSQL 还可以参与到yabo88滚球关联分析的环节中,为yabo88滚球赋予了事务时态、与用户的关联关系等,甚至还可以创造yabo88滚球之间的关联关系以实现“yabo88滚球血统”的产生等。 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

? 全时态yabo88滚球为yabo88滚球安全、yabo88滚球重演、yabo88滚球挖掘和 AI 技术的施展提供了物理基础。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

致谢 可思yabo88滚球sykv.com

本项目在腾讯 TEG 计费平台部立项,研究内容和实现过程得到中国人民大学yabo88滚球工程和知识工程教育部重点实验室和腾讯公司的参与和支持,特别向项目参与人、支持者表示感谢。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球


转发量:

相关文章:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭