大规模社会网络分析数据模型的设计与实现.pdf

大规模社会网络分析数据模型的设计与实现# 杨寅* （北京邮电大学网络与交换技术国家重点实验室，北京 100082 ） 摘要：SNA(Social Network Analysis，社会网络分析)逐渐成为研究的重点。现代SN （Social Network ，社会网络）往往都是几百万甚至上千万的超大规模数据集，因此如何处理大规模 的社会网络数据集成为传统的社会网络分析算法具面临的一个较为严峻的挑战。本文将介绍 X-RIME ：基于Hadoop 的大规模社会网络分析工具中算法模型的设计与实现。 关键词： 云计算；HADOOP；NA ；SNA 中图分类号：TP39 THE DESIGN AND IMPLEMENT OF DATA MODEL OF LARGE-SCALE SOCIAL NETWORK ANALYSIS Yang Yin (State Key Laboratory of Networking Switching Technology, Beijing University of Posts Telecommunications, Beijing, 100082) Abstract: With the fast development of Social Networking Sites (SNS) such as Renren, Facebook, etc., Social Network Analysis (SNA) is becoming a hot research area. However, considering a typical SNS consists of millions to tens of millions of ultra-large-scale data sets, how to deal with such large-scale Social Network (SN) data sets becomes a great challenge for existing SNA tools. Towards this problem, this paper will give brief introdcution to the design and implement of the data model in X-RIME: a Hadoop-based analysis tool for large-scale social network. Key words: Social Network Analysis; X-RIME; HADOOP; Cloud Computing 0 引言 随着近几十年互联网的飞速发展，涌现出了一大批社交网站如Renren 、Facebook 等。 用户数量的迅速增加使得海量的用户数据被不断地制造出来。如何从这些海量的用户数据中 获取更深层次的有用信息，从而进一步挖掘商业价值、理解商业行为以及发现新的业务增长 点成为一个重要的研究方向以及挑战。但是互联网规模的快速扩大导致了用户数据规模迅速 增加，从而给社会网络分析算法和工具带来了新的要求和挑战，即大规模数据集的处理和分 析能力。传统的社会网络分析算法和工具往往都是单机形式的，在面对大规模数据集的时候 往往会出现存储和处理能力不足等方面问题，再加上原始输入数据和社会网络的内部表示都 属于无结构或者半结构化数据，传统关系数据库并不擅长处理此类数据，使得利用传统的社 会网络分析算法和工具对大规模数据集进行处理变得更加困难。基于此，我们开发了 X-RIME[1] 。X-RIME 是一个开源的社会网络分析工具，它提供了一套基于Hadoop 云计算 环境[2]的大规模社会网络/复杂网络分析工具包，在Map/Reduce 的框架上对十几种社会网络 分析算法进行了并行化与分布式化，从而实现了对互联网级大规模社会网络/复杂网络的分 - 1 - 析。 为了进