Transwarp Data Hub 社区版 (TDH-CE)

稳定、免费、高效、一站式的大数据平台

产品概述

经过10年的蓬勃发展,以Hadoop和Spark为代表的大数据技术已经从热点的炒作名词变成了有实力真正承托起一大批企业的数据基础架构技术。大数据技术的发展正处于百花齐放的阶段,其中诞生的数据分析、机器学习和人工智能等技术正在快速改变人们思考和决策的方式,推动着由数据驱动的技术变革。随着大数据技术栈的进一步拓展,越来越多的企业用户愿意选择基于大数据技术来构建企业的IT基础架构,从而享受大数据带来的经营红利。

然而随着大数据应用的深入,基于开源的大数据产品的问题逐渐暴露,技术门槛高、开发运维复杂、稳定性等缺陷,使企业对大数据技术的信心开始动摇。为攻克开源产品的不足,星环信息科技从2013年开始专注于大数据底层技术的开发和产品化,经过数百个项目的实施和历练,在产品功能、性能、稳定性等各方面取得了巨大的突破。星环大数据平台被高度产品化,大幅降低用户使用门槛,使企业不再需要组建专业的大数据技术团队就可以进行业务创新。目前星环已经有超过500个合作伙伴成功完成了基于Transwarp Data Hub(TDH)平台的业务构建,并实现稳定上线运行。

如今为了更好的满足更多的企业用户需求,同时作为对技术社区的反馈,星环科技决定肩负起企业社会责任,将TDH的核心功能独立出来,作为TDH社区版免费开放给社区,从而让更多的开发人员受益于星环大数据的核心优势。

TDH-CE产品架构


技术优势

高度产品化的形式

-图形化的工具部署、运维和开发,降低技术要求和成本。

-数据库的产品体验,无需专业大数据人才即可使用大数据技术。

-历经星环近千个大数据项目的磨砺和打造,平台稳定、性能卓越。

-产品功能涵盖面广,完整覆盖数据开发项目的各环节。

-提供完整的大数据开发工具集合,极速提升开发效率。

-提供在线升级、应用独立部署等便捷方式,方便获取星环其他产品。

-本地化售后技术支持,订阅版用户可获得5x8小时技术支持。

-可处理海量并且持续增长的数据,提供优秀的容错性。

资源与技术生态

社区版TDH可安装在物理集群、私有云或者公有云。无论采用哪种平台,任意用户都可以在本地集群通过应用市场试用、购买、升级高阶版本的产品组件工具。

各租户享有包括文档服务和知识社区在内的星环公共资源,获取工具使用指导和常见问题解答。

同时星环技术支持中心将提供专业的技术支持,提供问题解答、架构方案与技术培训,以及购买服务咨询,和解锁节点数量限制。

应用市场

Manager内置大数据产品市场,上架包括TDH专业版服务在内的丰富应用。

提供星环最新产品信息与服务版本,并保持实时更新。

支持一键式的在线服务升级,支持升级至安装订阅版或商业版本等高阶版本。

支持HDFS等各个服务的滚动升级,整体降低运营和运维成本。

产品功能

开源Hadoop

TDH-CE内置Apache Hadoop 2.7.2,支持在线服务升级。

图形化的部署、运维、告警

Transwarp Manager 提供图形化的应用部署服务,可在20分钟内完成一个集群的部署。对集群资源提供有效的管理和监控,提供应用的管理与参数配置,服务启动、扩容、角色迁移等操作支持。允许用户实时检查应用和主机性能,提供告警和通知功能。

产品在线升级功能

图形化部署平台Transwarp Manager内置应用市场,实时提供星环最新产品信息,支持用户一键式升级到服务更新版本,以及订阅版或商业版本等高阶版本。

批处理与离线计算

新型分布式分析引擎Transwarp Inceptor提供高效的批处理计算,实现SQL 99 + SQL 2003 OLAP扩展;内置分布式的执行引擎,提供线性可扩展的计算能力;支持JDBC和ODBC,可以对接主流数据处理工具;其批处理性能大幅度领先开源产品Spark 2.1。

NoSQL/NewSQL数据库

NewSQL数据库Transwarp Hyperbase,完整支持SQL 99语法,实现便捷的业务开发;继承NoSQL的高并发能力,支撑高并发业务,提供高速入库;可以结合Inceptor进行秒级高效分析。

实时计算

高吞吐流处理引擎Transwarp Slipstream,实现了StreamSQL标准(服务于流的SQL),使开发人员能够基于SQL开发应用,降低开发门槛;支持数据窗口,支持高可用,可以在多个流上做聚合分析。

数据分析与挖掘

分布式的数据挖掘和分析平台Transwarp Discover,支持用Spark MLlib和R语言做数据分析,同时为开发者提供Notebook作为可视化的分析辅助。

调度工具

Transwarp Workflow是星环的可视化的工作流开发和调度工具,提供图形化的操作平台,内置设计工作流、调试任务、触发和调度策略等功能;支持Shell、SQL、JDBC、HTTP等任务类型,以及自定义Java任务,可以支持复杂的企业数据业务系统的调度和设计工作。

报表工具

Transwarp Pilot是基于Web的报表展现工具,轻量、灵活,可以快速部署。支持多维度的分析和自助分析,提供数十种报表样式,对时序数据也有很好的展现。此外,Pilot还支持团队协作和共享,支持导入和导出报表。

SQL开发工具

Transwarp Waterdrop是为开发人员和数据库管理人员提供的数据库管理工具,它可进行跨平台管理,可作为Inceptor SQL客户端,除了Inceptor还支持并兼容其余多种数据库。通过实现丰富多样的功能,提高使用的灵活性,大幅简化数据与元数据操作。

与公有云的结合

只要拥有腾讯云账号就能通过腾讯云市场一键部署,无需参与复杂的物理集群配置。不需要集群时可以快速销毁,节省了硬件成本以及组件技术团队的开销,获得方便的操作支持。

节点使用限制

社区版最多允许10个节点;订阅版没有节点限制。

技术支持