首页 / 新闻

04.

10

2014

星环发布一站式大数据平台Transwarp Data Hub 3.0

公司新闻

光明网:2014年4月10日消息,在中国数据库技术大会上,星环信息科技(上海)有限公司(以下简称“星环科技”)正式推出Transwarp Data Hub 3.0,--含最热门的Hadoop 2.2,Spark,内存分析引擎,再次走到大数据平台技术的前沿。

此次Transwarp Data Hub3.0在之前全面支持Hadoop 2.0和Spark技术的基础上,增加了全面支持PL/SQL和R语言的交互式分析引擎Inceptor,实时在线处理引擎Hyperbase和流处理引擎Transwarp Stream。

据了解,Inceptor分析引擎为数据仓库和交互式数据分析挖掘应用而设计,一旦数据导入Inceptor,无需编程,即可使用BI和可视化工具进行交互式数据探索和统计分析,使得Hadoop大数据平台的使用难度大大降低。据星环科技联合创始人兼CTO孙元浩介绍,Inceptor技术架构上由分布式内存列式存储引擎、改进的Spark计算引擎、PL/SQL编译器以及R语言并行算法库组成。其突出特点是性能快、应用迁移方便、并行数据挖掘能力强。当数据被Inceptor缓存在内存或者SSD中时,SQL执行性能已经大大超过主流的MPP数据库和传统关系数据库。Inceptor支持大部分PL/SQL以及SQL99标准,相比Hadoop社区版和Cloudera Impala,SQL支持更加完整,这使得Inceptor可以容易地进入数据分析类应用市场。而对R语言的支持使得用户可以通过R编程语言访问分布式内存,并且可以运行常见的分类、聚类等算法的并行化版本,加快了数据挖掘的效率,同时整合图形化工具RStudio也使得R语言的开发更方便。

“Inceptor已经应用在电信、金融和电商等行业的数据分析业务中。因为执行性能非常快,有的客户已经把Inceptor作为7x24在线业务的一部分,通过Inceptor准实时计算CDN缓存数据的热点分布,并快速调整前端CDN服务器的缓存策略,从而自适应地提高缓存的命中率。”孙元浩表示。

Hyperbase的推出主要为了解决HBase存在的缺乏索引检索和离线分析低效的两大问题。“虽然HBase基于主键的在线查询很快,但国内多数用户希望单个集群能够同时支持OLAP在线查询和批处理分析两种不同的业务,也能够根据其他非主键字段进行快速检索”。Hyperbase通过高速快照扫描、YARN资源管理以及三种不同索引技术较好地解决了上述问题。

“过去一年Hadoop技术得到了广泛的认可,以电信和银行为代表的众多行业都开始了不同规模的使用。用户也明显体会到了Hadoop平台的潜力。”星环科技CTO孙元浩表示,“同时,当用户逐渐把新数据存储在Hadoop集群和把现有数据迁移到Hadoop集群时,会面临各种场景,也同时会面对大数据,中数据和小数据各种应用共存的情况。这也是传统MPP数据库+Hadoop混合架构这种过渡方案出现的原因。但实际上,这种混合架构不仅大大增加了企业IT系统的复杂程度,也使得企业随时面临数据迁移的棘手问题。对Hadoop的持续改进完全可以解决Hadoop只能处理大数据和对现有应用迁移困难的问题。这也是Transwarp Data Hub3.0的目标。通过内存计算、高效索引、执行优化和高度容错的技术,使用户能得到一站式的数据处理平台,从小数据(GB)、中数据(TB)到大数据(PB)都能够平滑过渡和扩展,无需采用复杂的混合架构。”

据记者获悉,星环科技已经在国内多个行业建立大数据上线案例,产品和服务得到客户的普遍认可,目前公司业务正在快速扩展,已在北京等地设立办事处,正在大量招聘大数据技术人才。