Transwarp Stream流处理框架

Transwarp Stream实时流处理引擎提供了强大的流计算表达能力,支持复杂的应用逻辑,生产系统的消息通过实时消息队列进入计算集群,在集群内以流水线方式被依次处理,完成数据转换、特征提取、策略检查、分析告警等复杂服务计算,最终输出到Hyperbase等存储集群,实时生成告警页面、实时展示页面等。系统具备强扩展性、强容错、低延迟、高吞吐等特点,成熟应用于实时数据(如传感器数据)的实时告警、风险控制、在线统计和挖掘等业务。

Transwarp Stream Architecture
Transwarp Stream 功能特性表
功能 描述
Kafka 低延时高吞吐的分布式消息队列,支持发布/订阅模式,同时满足在线和离线处理海量消息数据派发的系统。星环科技为Kafka实现了一套访问控制管理策略,只有授权的用户才可以对Kafka集群进行读写操作,避免发生数据泄露或者其他用户发生误写操作。
流处理引擎 高吞吐的流式计算引擎 ;提供强大的流计算表达能力,支持在流数据上进行包括实时 事件检测和批处理、机器学习在内的复杂计算逻辑。
交互式探索分析 支持将实时数据流转成列式存储存放到Holodesk上,可以利用Inceptor使用SQL对实时数据进行Ad-hoc分析以及利用R进行数据挖掘等。
流式机器学习 支持用户在实时计算过程进行统计学习和机器学习,如聚类算法,可以实时调整聚类中心;分类算法可以实时更新分类模型,并对流数据进行类比判断。