TranswarpStream技术白皮书-看稿-关于我们.PDF

关于我们： 星环科技是目前国内极少数掌握大数据核心技术的高科技公司，专注于企业级大数据核心平台数据库软件的研发。公司产品 Transwarp Data Hub (TDH) 以其业界最完整的SQL on Hadoop支持; 独特的对分布式ACID数据一致性支持；以及对SSD优化提高 集群性价比等特点，比肩硅谷同行。产品的功能和性能在业界处于领先水平。在全球去IOE的大背景下，TDH 已成为在数据仓库， 数据集市等领域替代传统数据库公认的大数据产品。 200233 4008-079-976 www.transwarp.io Transwarp Stream Transwarp Stream技术白皮书 Transwarp Stream流计算引擎 Transwarp Stream是星环专为企业级用户打造的流计算引擎，主要应用于实时性较强的应用场景。比如， 金融行业需要对市场波动进行实时预警；交通行业需要将卡口数据实时入库，并在线使用图像识别鉴别套牌车 进行预警等；银行业务需要在线分析业务，及时鉴别欺诈等违规行为；采用复杂物联网的行业，如机场、风电 等，需要将大量传感器数据进行实时分析和数据挖掘。 企业级用户往往对流处理产品在实时性、吞吐量、高可用性、易用性、安全性和稳定性等方面有着极其苛 刻的要求。星环凭借自身强大的技术实力，以及国内最多最复杂的流处理案例经验，开发出满足这些苛刻要求 的Transwarp Stream流计算引擎： 实时性：企业级用户通常对流处理应用有较高的实时要求，而为了发掘性能的最大潜能，好的计算引擎不仅 能保证自身的高效，同时也必须保证部署环境的适配。Transwarp Stream优化了任务调度策略，大大降低 序列化时间，并与Holodesk无缝链接，极大地提升了数据存储效率。此外，由于星环率先在国内多家企业 部署了多套复杂的流处理应用，针对各种复杂的部署环境，总结出一套能适配各种复杂环境的优化参数和最 佳配置，能最大程度地发挥集群性能。 高吞吐量：高吞吐量是实时性和并发度的综合体现。实时性意味着流处理对单个消息的反应时间短；而高并 发度意味着单位时间内能同时处理更多的消息。两者结合就意味着单位时间内能处理更多的消息并且没有积 压，也就是高吞吐量。Transwarp Stream在提高实时性的同时，消除了框架中的单点瓶颈，提高了并发度。 比如，Transwarp Stream可以启动多个Receiver，并且每个都具有Locality以提高并发度，并减少网络传输。 高可用性：高可用性一般是指系统在异常状态下的异常恢复和持续工作的能力，而有些苛刻的用户会对异常 状态下的数据可靠性有较高要求。因此，Transwarp Stream不仅保证框架本身的各个组件在各种异常状态 下能正常运作，并且还提供At least Once和Exactly Once的语义支持。 易用性：入门难度大是好多企业无法尽快转向大数据流处理平台的技术壁垒。星环自主研发的StreamSQL， 使用户有机会用SQL来实现流处理业务逻辑，极大地降低用户的入门门槛。用户在选择使用编程接口的时候 可以使用星环的JobServer提交、监控流处理应用，降低部署的运维成本；而用户一旦选择使用StreamSQL， 则可以通过命令行、JDBC或者ODBC等常用的SQL交互方式，与Inceptor交互，大大降低学习成本。 安全性：Transwarp Stream通过Kerberos打通各个组件的用户验证，同时对数据加密，提供细粒度的权限控 制，保证数据读写的安全性，同时也保证数据读写可追踪。同时，Transwarp Stream还保证多租户情况下的 数据隔离、资源隔离、以及资源合理共享与调度。 稳定性：大多数流处理应用有24*7的运行要求，这意味着流处理在追求性能的同时，也必须保证稳定性。星 环在国内拥有最广的流处理部署环境，为Transwarp Stream的稳定性打下了良好的基础。Transwarp Stream 具有back-pressure功能，在积压的情况下能自动均衡压力，调整数据流入速率；也可以在积压无法