实时计算
云上的流处理平台,对流式数据进行实时采集和实时处理,帮助企业构建在线实时应用,充分挖掘流数据价值。
产品功能

StreamSQL

Slipstream通过SQL的方式为用户提供开发接口,兼容ANSI SQL 2003标准;同时Slipstream扩展了流处理的SQL语义,比如窗口、关联、应用管理等。通过StreamSQL可以方便地将原先基于关系数据表开发的批处理应用迁移到Slipstream引擎,同时也可以很方便地通过扩展语法,开发复杂的实时统计分析业务,用来帮助企业构建实时数据仓库。以下是Slipstream在数据集成方面的主要功能。

Streaming Procedural SQL

Streaming Procedural SQL是同时兼容Oracle PL/SQL和DB2 SQL PL的过程语言。通过Streaming Procedural SQL,用户可以在实时数据流上进行逻辑判断、循环等操作,以实现复杂的功能;同时,用户原先在Oracle上或者DB2上开发的存储过程,也可以方便高效的迁移到Slipstream引擎。

Streaming CEP

Streaming CEP提供了实时复杂事件处理的功能。通过Streaming CEP用户不仅可以处理单一事件,而是可以处理多个事件组合,从而在大量的单个无意义的事件中,找出有意义的信息。CEP可以用于定义规则,被广泛用于能源、物联网、金融等行业。通过Slipstream可以方便的定义一个复杂事件处理的模式,例如定义一个银行卡盗刷模式:如果一张卡在10分钟内在 两个不同的城市发生取款,则需要发出告警并采取对应措施。

Streaming Rule Engine

规则引擎被广泛使用在决策应用系统中,通过解藕规则编写和应用程序开发,可以有效的提高规则的灵活性和可维护性, 同时让业务人员重点关注业务逻辑而非系统实现。在实时分析应用中,规则通常配合一些实时统计的指标使用,在故障预测、欺诈监测等方面发挥着很大的作用。Streaming Rule Engine提供了一套高效的决策支持引擎。

Streaming Calculus

在金融领域例如证券交易中会使用大量线性代数和微积分算法,为了能够帮助用户将此类应用迁移分布式实时计算引擎,星环开发了Streaming Calculus模块,其中主要功能模块如下: 1.提供外部算法导入功能,提供Binary算法的分布式运行环境,实现和实时数据流的高效对接。2.提供内置的算法开发接口,方便用户基于Slipstream开发线性代数和微积分算法,并提供多种性能优化参数。3.Slipstream内置多种常用算法,包括Linear Algebra矩阵理论、向量空间、线性变换、有限维线性方程组等能力支持

Streaming Machine Learning

Slipstream可以结合Transwarp Sophon平台,实现流式机器学习。Slipstream将实时数据经过清洗分析之后,通过分布式存储或者其他服务共享给Sophon平台;Sophon平台利用这些数据,定义训练出的模型,并通过PMML或者JSON的格式反馈给 Slipstream引擎,从而实现在实时数据上的机器学习处理。

Slipstream Studio

大数据应用的一大痛点就是应用的监控和管理。一套高效的监控管理框架,可以大大降低运维成本。实时处理的监控尤为重要,实时任务的故障更可能给企业造成经济损失,严重的甚至会导致生产事故。Slipstream结合多年来实际生产部署的管理运维经验,深入分析实时处理监控的痛点,开发了一套完整的指标收集框架,并通过Slipstream Studio进行配置管理和监控。

产品优势

灵活的场景支持

可以灵活的为低延时和高吞吐两种场景提供服务,满足不同的大规模数据处理需求。处理模式的切换由参数开关控制,方便易操作。

高效的开发和运维工具

与可视化报表工具实现对接,以视觉方式进行实时的流式数据分析。同时还提供指标监控和日志管理工具,对异常状态提供报警,简化运维。

易用好上手

提供SQL用做流数据处理与应用开发的语言,内置多种SQL自动优化策略,支持事件时间、会话窗口和无限长窗口,支持实时数据之间以及与静态表的关联,提供可视化报表分析支持,产品化程度高,对开发技能要求低。

安全保障

受到Guardian的全面保护,为租户提供可靠地认证机制,防范安全漏洞和攻击,实现资源管理和行级列级的权限控制,在云环境下进行安全管控,保护用户隐私和信息安全。

稳定高可用

定期将数据在分布式文件系统上做轻量级分布式Checkpoint,利用分布式文件系统冗余机制备份恢复数据。通过故障自动切换转移,确保系统随时稳定可用,维护业务的连续性。保障数据可靠,服务可用。支持流控。

应用场景

缉查布控系统

金融风险管理

生产设备安全预警

构建公路车辆智能监测记录系统,汇聚卡口车辆通行信息,捕捉违规现象,实现车辆轨迹追踪。同时将通行信息和布控信息之间进行对比,对可疑对象发出预警,通知路面民警对预警车辆拦截处置。也可以实现交通流量监控,嗅探流量增幅异常高的路段。为打击违法犯罪工作、预防和减少道路交通事故、控制交通流量提供技术支撑。

为实时风控和实时反欺诈提供技术支持。利用TDC实时计算对于流计算的超强表达能力,实现复杂的应用逻辑,对于从生产系统通过实时消息队列进入计算集群的实时交易数据,完成数据转换、特征提取、探索分析,检测异常的金融交易行为,将结果最终以消息或者页面等形式输出。

实时收集从生产设备传感器采集的数据,监测设备在某个时间窗口内的异常状态和异常变化,分析是否存在潜在的安全隐患,提供消息实时警报。支持状态持久化,留存并汇总数据记录,用以进行事后安全分析。实现事前预警、事后分析、故障预测,对生产设备提供信息化的全面安全保护。