第6章 鲲鹏openLooKeng数据虚拟化引擎.pptxVIP

第6章 鲲鹏openLooKeng数据虚拟化引擎

6.1openLooKeng数据虚拟化引擎6.2openLooKeng基础实践学习要点

6.1.1 openLooKeng概述openLooKeng是一个统一、高效的数据虚拟化融合分析引擎，北向提供标准、统一的接口给业务层使用，南向屏蔽各类异构数据源差异。openLooKeng使用统一数据源连接框架DataSourceConnector提供多种数据源的访问能力，无论是大数据生态的Hive或者Hbase，还是OLTP数据库的PostgreSQL及MySQL，都可以方便接入。openLooKeng提供ODBC、JDBC及REST接口，以ANSI2003SQL为载体提供统一数据访问接口，BI工具、AI工具可以有效通过所提供的接口与openLooKeng集成，简化系统设计。在南向接口方面在北向接口方面

6.1.1 openLooKeng概述openLooKeng是一个类大规模并行处理（MPP）架构的分布式处理系统，包含协调器（Coordinator）以及Worker两种角色，通过实现AA（Active-Active）高可用性，使得整体系统无单点故障问题。openLooKeng内部采用向量化列式处理引擎，针对大数据场景，列式处理性能更高且可以充分利用CPU并行潜力。通过基于内存的流水线处理，openLooKeng可以实现高性能并行处理。内存计算框架ANSISQL2003语法支持DataSourceConnector种类丰富DataCenterConnector支持跨域跨数据中心高性能的查询优化技术高可用特性

6.1.2 openLooKeng关键技术服务器类型01OPTIONopenLooKeng协调节点openLooKeng工作节点openLooKeng工作节点是openLooKeng在安装时的服务器，负责执行任务和处理数据。openLooKeng工作节点从连接器获取数据，并交换中间数据。openLooKeng协调节点负责从openLooKeng工作节点获取结果，并将最终结果返回给客户端。当openLooKeng工作节点进程启动时，它会将自己通告给openLooKeng协调节点中的发现服务器，这样，openLooKeng协调节点就可以使用它来执行任务。openLooKeng工作节点使用RESTAPI与其他openLooKeng工作节点和openLooKeng协调节点进行通信。openLooKeng协调节点是负责解析语句、规划查询和管理openLooKeng工作节点的服务器。每个openLooKeng在安装时必须有一个openLooKeng协调节点，以及一个或多个openLooKeng工作节点。若用于开发或测试，则可以配置openLooKeng的单个实例来扮演这两个角色。openLooKeng协调节点跟踪每个openLooKeng工作节点上的活动，并协调查询的执行。

6.1.2 openLooKeng关键技术数据源模型02OPTION连接器连接器将openLooKeng连接到诸如Hive或关系数据库的数据源，可以将其理解为类似数据库的驱动。它是openLooKeng的服务提供接口（SPI）的一个实现，它允许openLooKeng使用标准API与资源进行交互。openLooKeng包含若干内置连接器，如Java管理扩展（JavaManagementExtensions，JMX）连接器、提供对内置系统表访问的系统连接器、Hive连接器，以及为TPC-H基准数据服务的TPC-H连接器等。每个目录都与一个特定的连接器相关联。如果检查目录配置文件，则将看到每个文件都包含一个强制属性，目录管理器使用该属性为给定的目录创建连接器。多个目录可以使用同一个连接器来访问类似数据库的两个不同实例。

6.1.2 openLooKeng关键技术数据源模型02OPTION目录openLooKeng目录包含模式并通过连接器引用数据源。例如，可以配置一个JMX目录，以便通过JMX连接器访问JMX信息。在openLooKeng中运行SQL语句时，将针对一个或多个目录运行该语句。目录的其他示例包括连接Hive数据源的Hive目录等。在openLooKeng中查询表时，完全限定的表名称总是以目录作为根的。例如，一个完全限定的表名hive.test_data.test将引用hive目录中test_data模式中的test表。目录定义在openLooKeng配置目录的属性文件中。

6.1.2 openLooKeng关键技术数据源模型02OPTION模式模式是组织表的一种形式。目录和模式一起定义了一组可以查询的表。当使用openLooKeng访问Hive或MySQL等数据库时，模式