Transwarp - Transwarp Operating System
Transwarp Operating System (TOS)
产品概述
即将发布的TOS是为大数据应用量身订做的云操作系统。基于Docker和Kubernetes,TOS支持一键部署TDH,基于优先级的抢占式资源调度和细粒度资源分配,让大数据应用轻松拥抱云服务。

未来企业对于构建统一的企业大数据平台 (Data Hub)来驱动各种业务具有强烈需求,统一的企业大数据平台需要提供以下功能:

一:资源弹性共享 - 提高资源利用率

二:隔离性 - 保障服务质量和安全性

新生的TOS满足了以上企业大数据平台的需要,支持对TDH的一键式部署、扩容、缩容,同时也允许其他服务和大数据服务共享集群,从而提高资源的使用率。TOS创新的抢占式资源调度模型 能在保障实时业务的同时,提高集群空闲时的资源占用,让批量作业和实时业务在互不干扰的情况下分时共享计算资源。

另外,在TOS上运行的TDH还引入微服务的架构,显著地降低了用户部署环境对TDH稳定性的影响,提高了部署的可用性,并且能让用户在不停机的前提下,享受到将来更新版本的升级以及修复。

Transwarp Operating System组成部分

Transwarp Operating System由以下四部分组成

  • Ring 0: Docker/Container
  • Ring 1: Resource scheduler
  • Ring 2: Built-in system services
  • Ring 3: Central service repository (docker images)
HDFS YARN Incep
tor
Stream Elastic
Search
Hyper
base
Pig Oozie Flume Sqoop Postgr
esSQL
Redis

Service Repository

技术优势
Transwarp Operating System支持对TDH的一键式部署、扩容、缩容,同时也允许其他服务和大数据服务共享集群,从而提高资源的使用率。TOS创新的抢占式资源调度模型 能在保障实时业务的同时,提高集群空闲时的资源占用,让批量作业和实时业务在互不干扰的情况下分时共享计算资源。

一:自动部署 播放动画

用户可以通过Web、REST API or CLI 一键瞬间安装和部署集群自动根据服务的依赖性安装所需的其他服务组件。

HDFS YARN Incep
tor
Stream Elastic
Search
Hyper
base
Flume Sqoop Oozie Pig Postgr
esSQL
Redis
HDFS YARN Incep
tor
Stream Elastic
Search
Hyper
base
Flume Sqoop Oozie Pig Postgr
esSQL
Redis

Service Repository

HDFS YARN+ Map/Re
duce
Inceptor Stream Elastic
Search
Hyperbase Flume Sqoop Oozie Pig

二:完善的多租户支持 播放动画

Transwarp Operating System 通过重写资源管理框架实现了对CPU, Memory,硬盘和网络更好的隔离,下面是TOS与YARN和Kubernetes的对比。

  资源粒度 隔离程度 依赖性 通用性
YARN CPU/MEM 进程级别、不精确 依赖某个HDFS 支持少量计算引擎
Kubernetes CPU/MEM Container 不依赖Hadoop 支持通用Linux负载
TOS CPU/MEM, DISK, NETWORK Container + Quota + VLAN 不依赖Hadoop 支持大数据及通用应用
HDFS1 Inceptor1 Data
Warehouse Apps
Inceptor2 Datamarts Analysis Mining HDFS2 Hyperbase HBase Online Query Apps Stream Real-time LBS Apps

三:自动调整容量 播放动画

TOS 支持对TDH自动扩容和缩容,同时也允许其他服务和大数据服务共享集群,从而提高资源的使用率。TOS创新的抢占式资源调度模型 能在保障实时业务的同时,提高集群空闲时的资源占用,让批量作业和实时业务在互不干扰的情况下分时共享计算资源。

HDFS1 Inceptor1 Data
Warehouse Apps

四:自动修复 播放动画

TOS的Replicator模块负责检测集群规模,当集群中服务发生问题时可以另起一个服务实例实现集群的自我修复功能。

Stream Real-time LBS Apps Stream