首页 / 新闻

05.

05

2016

深度揭秘 :受到热捧的星环超融合大数据一体机TxData Appliance

公司新闻

2016年4月26日,星环信息科技(上海)有限公司(下文简称“星环科技”)宣布推出超融合大数据一体机产品TxData Appliance(TxData应用装置)。

 

2016年1月Gartner将星环列为数据仓库和数据管理魔力象限中全球最具有前瞻性的公司。TxData是星环信息科技(上海)有限公司在Hadoop发行版TDH(Transwarp Data Hub)取得成功之后的又一次产品创新。超融合大数据一体机不仅是软硬件的综合利用,更是对厂商在大数据领域和服务器硬件领域的专业性和实力的考验。此次星环科技推出的TxData Appliance超融合大数据一体机提供了超强的功能支持,具备领先的性能优势,为用户打造一款高性价比产品,实现机房空间节省75%,总采购成本节省25%,运维效率提升超过一倍。

该产品具有五大优势:

优势一:工程优化快捷部署

 

TxData通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。大数据平台的关键组件Namenode、Zookeeper、HMaster服务器以及网络环境已经预配置、预优化、预测试,免去了通常规划、设计、部署Hadoop系统时的复杂性。所有组件无缝集成地工作,不存在影响整个系统的性能瓶颈或单点故障。

 

 

同时超融合大数据一体机TxData在SSD闪存等方面进行了独特的工程优化,使得TxData性能得到飞速提升,实现机房空间节省75%,利用率提升50%,运维效率提升超过一倍。

 

SSD闪存加速

 

TxData不仅允许用户将频繁访问的表数据保存在PCIE-SSD缓存中,而且允许用户任意指定数据库表、分区和段的数据驻留在SSD上,同时还能将不常访问的数据仍保存在磁盘中。这种方式兼具SSD 的高性能与磁盘的大容量和低成本。

TxData还采用独有专利技术Holodesk,在SSD闪存中实现列式存储,更进一步提高了SSD闪存加速效果,在数据分析和挖掘场景下整体性能提升10倍以上

 

系统优化

 

通过中断优化、内核优化、BIOS参数优化、NUMA架构优化,系统运行状态处于最优化状态。

 

优势二:统计分析和数据挖掘的极速性能

 

TxData允许用户将二维数据表缓存入独立的分布式内存或SSD中,建立列式储存、分区/分块和索引,采用改进后的内存计算引擎Spark作为执行引擎,SQL执行性能比Apache Hadoop/Hive快数十倍,性能超过主流MPP数据库2倍到10倍。当源数据无法全部放进内存时,TxData支持换入换出,保证SQL执行不中断。业务不受限于内存大小,可对大于内存容量的数据进行分析处理。同时,SSD可作为数据的二级缓存,从而大幅扩展内存存储的容量。当将数据放于SSD上进行SQL统计分析或数据挖掘时,性能比机械硬盘仍要快10倍以上。

 

每个TxData服务器节点包含最高256G内存和1.2T SSD空间。满配的TxData机架包含16T内存和76.8T SSD空间,超大的一级和二级缓存容量,最大程度保障了大数据环境下用户仍能获得统计分析和数据挖掘的极限性能。

 

优势三:优秀的系统扩展性和扩容性

 

TxData采用横向扩展的架构,可随着节点的增加而使得CPU、内存、存储、网络等均在一种平衡模式上增加,允许从很小到极大的配置无缝扩展,免除性能瓶颈和单点故障。通过TxData高密度计算集群,机房空间节省75%,能源消耗降低15%。

 

lTxData系统实现了大容量存储分级体系,通过采用大容量内存和智能闪存加快工作负载执行,用最低成本达到最高水平的性能。

 

lTxData中的所有组件可选配万兆以太网或者Infiniband网络或者千兆以太网互联,通过后两者将多个机柜互联形成更大的配置,既可以作为一个大型的独立系统个,也可以进行逻辑分割,形成多个Hadoop集群的集合体

 

优势四:超融合架构软件定义Hadoop集群

 

软件定义的模式正在改变数据中心的运维经济学。TxData将客户简化IT运维,降低相关成本,同时提供更大的灵活性,以满足迅速变化的业务需求。TxData通过融合基础架构实现大数据平台标准化,将它作为其下一代数据中心的基础。TxData旨在建立自动化的、适应业务需求的大数据动态基础架构,全面支持Docker的现有管理、自动化、监控和可用性工具,可显著简化IT运维,同时降低成本。

 

TxData容器虚拟化版本基于Transwarp Operating System(TOS),采用Docker和Kubernetes虚拟化技术,在Docker容器之上构建多个Hadoop集群,实现了软件定义Hadoop集群,进行容器生命周期管理,并将Docker单机管理扩展到集群管理,进行基于优先级的抢占式资源调度和细粒度资源分配。TDH基于Dockers进行了定制开发,保证TDH各个软件组件能正常稳定运行在Docker容器中。用户以多租户形式使用容器资源,创建属于自己组织的TDH大数据集群,实现真正的隔离并提高物理资源的利用率。

 

 

超融合架构一体机TxData如何实现软件定义的大数据平台呢?TxData在如下三个方面进行了创新:

 

一是运维自动化,实现大数据集群的弹性部署、弹性扩容、自动修复,显著简化IT运维,使客户有更多精力关注业务,并进行创新。

 

二是应用标准化,采用统一的容器镜像进行开发、测试和部署,可以一次开发,到处部署。通过应用商店来管理标准化的应用。应用标准化之后,可以采用微服务架构来构造大型应用,支持敏捷开发和按需部署。

 

三是大数据支持,TxData在容器操作系统(TOS -Transwarp Operating System)之上完成了定制开发,实现在容器之上部署大数据集群,采用容器这种轻量级虚拟化技术,实现计算资源和存储资源的高效利用,使大数据云服务成为现实。

 

优势五:超值的软硬件一站式服务

 

TxData可提供内存、SSD、磁盘的三级储存方式,其极高的储存密度可以最大限度的节省机房的空间。此外,TxData具有极高的性价比,因为是星环本土研发产品,星环不仅可以提供一站式供货,还可提供超值的软硬件一站式服务。

 

星环信息科技(上海)有限公司推出的超融合大数据一体机产品TxData采用独特的工程优化方法,融合了Docker和Kubernetes技术,实现软件定义大数据平台,是一次在大数据领域的超融合技术创新,凭借强大的研发实力、创新的技术、精益求精的工匠精神,将引领大数据软硬件平台的新一轮创新。