基于Hadoop_Base的一淘搜索离线系统.pptx

基于Hadoop/HBase的一淘搜索离线系统莫问个人简介花名：莫问真名：王峰2006年硕士毕业于北航计算机系毕业后加入阿里巴巴集团雅虎中国-垂直搜索团队阿里云-计算服务团队淘宝/一淘-网页抓取团队技术方向：分布式系统和大数据处理提纲一淘搜索系统架构基于HBase的分布式存储系统基于Hadoop的分布式计算平台一淘全网商品离线处理系统抓取系统存储系统业务处理流程索引构建搜索引擎Web搜索前端淘宝商品一淘搜索系统架构淘宝商品导入基于HBase的分布式存储系统HBase集群概述HBase主要数据HBase扩展开发基于HBase的分布式消息队列HBase集群概述集群版本：0.94.x+扩展优化集群规模：300台+存储量：300TB+每日更新量：10%监控：Ganglia+JMXHBase主要数据电子商务网页库（几十亿）全网B2C商品全网导购信息（资讯、问答、论坛、点评等）淘宝+天猫商品（40%）精选优质商品淘客返利商品HBase扩展开发定制LoadBalance插件定制RegionSplit/Merge插件和工具扩展ThriftServerAPI增强的MapReduceLib支持丰富更多的Metrics指标多种Coprocessor插件RegionServerRegionServerRegionServer……..RegionServerregionregionregionregionregionregionregionregionregionregionregionregionregionregionRS-LevelBalanceRegionServerRegionServerRegionServer……..RegionServerregionregionregionregionregionregionregionregionregionregionregionregionregionregionregionTable-LevelBalanceRegionServerRegionServerRegionServer……..RegionServerregionregionregionregionregionregionregionregionregionregionregionregionregionregionregionBothRSTableLevelBalanceQueuePartition1Message1Message2Message3…………..Partition2Message1Message2Message3…………..……………………….ColumnTimesatampRowkey基于HBase的分布式消息队列（HQueue）ValuePartitionID+MessageIDTopicTimestampValueQueueisaHBaseTablePartitionisaHBaseRegionMessageisaHBaseKeyValueRegionServerTimestampSequenceIDTopicValuePartitionIDRowKeyHQueueWriterHTablePutAPIWrapperCOPROCESSOr…………2.LocateByPartitionIDSortByTSPARTITIOnMessageMessageMessageMessage1.CreateMessageKV3.SetMessageIDByTSandSeqID4.AppendToPartitionRegionServerCOPROCESSOr…………PARTITIOnMessageMessageMessageMessage…………MessageIDMessage写入流程RegionServer\\HQueueReaderHTableScanAPIWrapper2.LocateByPartitionID1.CreateMessageScanPartitionIDMessageID(TS)RangeMessageTopicMessage读取流程RegionServer……………………PARTITIOnMessageMessageMessageMessage3.ScanSequenciallySortByTS4.ReturnByOrder…………PARTITIOnMessageMessageMessageMessageSortByTSHQueue特性支持持久化压缩存储（继承HBase）支持自动Failover（继承HBase）支持动态负载均衡（继承HBase）支持TTL设定，自动清理过期消息（继承HBase）支持多语言客户端（扩展HBaseThriftServer）可与HBase统一运维（本质都是HBase）可与Hadoo