首页 / 新闻

08.

24

2016

TDH 4.6正式发布

公司新闻

 

过去十年间,全世界的数据量每两年大约增加10倍,已经远远超过计算领域的摩尔定律,因此人们需要有更高效的方式来处理数据。在如此强烈的需求推动下,大数据技术发展日新月异。

 

作为摩尔定律坚定的践行者,星环科技一直致力于实现大数据技术领域的摩尔定律:近日,星环科技正式发布TDH 4.6版本,实现6个月内单位性能提升60%,并发布了一系列新产品组件,进一步降低了大数据技术从概念到落地的复杂度。

 

此次TDH 4.6发布两大特色组件:

SQL on Elastic Search:在海量数据中快速检索到精确信息的利器;

Graphene:在超级复杂的关联网络中快速找到社区结构的图计算产品。

除此以外,TDH众多功能组件也都迎来了重大升级。

 

Transwarp Inceptor

 

性能提升

 

作为TDH家族的兄长,Inceptor努力践行着摩尔定律:单位计算资源的性能在6个月内提升了60%。同时,相同资源能够支持的数据量也有同样比例的增长,这意味着在半年内,使用TDH的用户可以在不做硬件扩充的情况下,只要升级至4.6版本,就能够多处理50%的业务量。下图为TDH最近三个版本在TPC-DS基准测试上的性能对比数据。

 

 

为了有更好的分析性能,Inceptor 4.6开发了全新的Inter-SQL-Optimizer,可以分析一个文件中多个业务SQL,并生成依赖图,在此基础上进一步对业务SQL优化,包括删除未使用的字段、消除非有效的SQL等,并结合Cost Based Optimizer来提升性能。

 

图计算

 

Inceptor 4.6另外一个亮点是图计算产品Graphene的正式推出。Graphene提供基于SQL的扩展语言进行图计算编程,通过Inceptor引擎完成分布式计算,可以在海量数据中执行多达14种图算法。

 

Holodesk再升级

 

为了提供更好的检索和分析性能,Inceptor 4.6正式推出了Holodesk V2,包含存储层的一系列优化,更好的适配各种规格的SSD,并推出了全局索引,以及基于全局索引的各种优化。在我们的基准测试中,Holodesk V2相对于V1的性能显著提升,对于一些精确检索类的业务SQL,查询延时降至毫秒级。

 

数据字典

 

为了更好的帮助用户查看和管理元数据,Inceptor 4.6正式推出了数据字典。在数据字典中,用户可以通过基于SQL的方式来查询各种元数据信息,从而更好的对数据进行监管,同时也可以满足各种第三方工具的对接需求。

 

SQL支持

 

Inceptor 4.6在 SQL支持程度得到进一步提升,包括正式支持SQL Sequence语法,全面兼容VARCHAR和CHAR数据类型,并通过方言控制与Oracle以及DB2保持一致行为。

 

Inceptor 4.6新发布的功能提升用户体验,包括支持使用中文字符作表名或者字段名,更好的满足国内客户的需求;规范化的报错,快速定位问题并构建知识库;PL/SQL支持在编译期对SQL做语义检查,帮助用户更早的发现问题;支持持久化的UDF,用户只要一次加载就可以持续使用。

 

Transwarp Hyperbase

 

全新面貌交付,产品矩阵、运维支撑以及架构方面均有重大的提升。

 

 

首先,为了更好的适应海量数据的检索需求,Hyperbase 4.6正式发布了SQL on Elastic Search功能,包含SQL Engine,ES-Drive组件以及Elastic Search 2.0。其中,SQL Engine主要用于解析SQL以及全文检索的语法,并通过ES-Drive最终生成对Elastic Search的API调用。相比较于直接用ES API,SQL编程在便利性、可管理性以及性能上都有更好的优势。

 

以如下场景为例,我们可以看到使用SQL做全文检索的便利性。

 

“查找出同时存在transwarp和outstand的文档,且两单词间距不超过10个单词的文本,并且要求transwarp一定出现在outstand之前。”

 

SQL:

select * from test001 where contains(content, 'NEAR((transwarp, outstand), 20)')

 

其次,Hyperbase抛弃了传统的InputFormat/OutputFormat的方式来操作HBase,而是通过HyperDrive组件来使用HBase。SQL操作会被直接翻译为对HBase的RDD操作,最终直接体现为HBase的API调用。使用这种全新的架构,大幅减少HBase原子操作的调用栈的复杂度,对HBase中错误的处理更方便。

 

此外,Hyperbase加强了对集群运维的支撑。我们基于HTrace实现了一套RPC的监控工具,通过标准化的输出日志,快速定位;并对各个组件做关联分析,更方便的甄别系统问题。同时,HBase提供Performance Metrics日志收集、分析和展现框架,用户可将自定义的Metrics收集起来,通过第三方工具做报表展现,从而掌握集群的状况。

 

Transwarp Stream

 

StreamSQL在4.6版本中新增了多项重要功能,更有效的应对复杂的实时应用场景。新版本中支持动态流控,当任务出现积压时,通过限制数据接收的速度来保证系统的稳定性;针对一些实时应用中可能出现过多的小文件问题,Stream通过Batch Flush模式进行规避。

 

Stream SQL支持Socket以及Kafka的数据源,此外由于数据格式的多样性,Stream SQL支持用户自定义的Decoder,并允许使用自定义的Decoder来解析通过Socket进入的数据。

 

此外,Stream SQL在处理数据的乱序问题上也做了增强。当Kafka中某一个时间段内有乱序的数据时,Stream正常接收数据并对相关的数据做重排序来恢复正常的数据流。

 

Transwarp Manager

 

Manager 4.6新增了磁盘问题管理。当某一个硬盘出现问题后,用户可以很方便的让所有的组件不再使用该硬盘,无需多次修改配置。新版本支持一键删除节点,并且支持Transwarp Manager HA的自动化配置,Manager本身的稳定性得到进一步完善。

 

为了让用户更好的了解集群状况,Transwarp Manager新增了报表页面。用户可以通过选取感兴趣的Metrics生成报表,通过对报表数据的阅读来掌握集群的运行状况。

 

 

在集群运维和检查方面,Manager增加了页面版本的环境检查工具,对当前系统的软件环境、网络状况等进行快速检查,找出潜在的环境问题。下图为环境检查工具在某个集群上的综合检查报告。

 

 

Transwarp Guardian

 

Guardian 4.6新增了列级数据权限控制,支持设置特定列对特定用户脱敏显示; 支持数据库级别的权限管理,支持按数据库批量赋予表的权限;可以通过SQL设置Inceptor表对应HDFS文件的ACL以及用户组;此外,在对Kafka的安全认证中,可以使用IP或者Host name作为Principal ,使用更灵活。

 

Transwarp Discover

 

从有效的数据中找出数据的价值是数据挖掘的主要使命,数据的质量对挖掘的效果有着非常大的影响,因此数据预处理一般是数据挖掘项目的首个重要任务。为了让用户对数据预处理更容易,Discover 4.6 提供了一套新的预处理的方法,包括数据归一化txNormalization和对异常数据的修改txReplacingData。

 

除了在预处理部分的提升外,Discover 4.6增强了分布式算法和R算法的适配,可以让同一套代码灵活的调用分布式算法或者本地R算法。目前常用的一些算法如决策树/ANN/SVD/PCA都可以在两个模型之间切换。

 

此外,Discover 4.6允许用户将已实现的Spark算法加入Discover算法库中,并可以通过Discover Data Frame接口来调用,无需将代码重新迁移。

 

结语

 

帮助更多的开发者将大数据技术落地并创造价值是星环科技的使命,也是驱动Transwarp Data Hub升级换代的直接动力。从最早解决大数据分析的难题,到现在推出的图计算,海量数据检索等功能,我们希望将易用/可靠/稳定/高性能的数据平台交付给开发者,让数据更容易流转,让大数据上的分析和挖掘更高效更敏捷,让数据的价值驱动业务的发展。