LustreFS Intel Exascale文件系统 IDF2013.pdf

Lustre*：英特尔的 Exascale 文件 系统 梁震, 资深软件工程师，英特尔 TECS003 议程 * • Lustre 现已在英特尔 • Lustre的概述 – Lustre的主要优点 – Lustre的新特性以及蓝图 • Lustre – 百亿亿次(Exascale)计算的文件系统 – Exascale I/O的技术挑战 – Exascale I/O的系统构架 The PDF for this Session presentation is available from our Technical Session Catalog at the end of the day at: /go/idfsessionsBJ URL is on top of Session Agenda Pages in Pocket Guide 2 Lustre* 现已在英特尔 3 * Lustre 的历史 • 1999 – Lustre* 项目的起始 – 2001: 美国能源部的ASCI Pathforward – 2003: CFS公司成立，发布版本1.0 * • 2007 – 太阳计算机(Sun ) – 2009: 发布版本1.8 * • 2010 – 甲骨文(Oracle ) – 2010: 发布版本2.0 • 2010 – Whamcloud – 2010: Lustre的社区OpenSFS / EOFS – 2010: 发布1.8系列的维护版本，以及V2.1功能版本 – 2012: 美国能源部的FastForward • 2012 – 英特尔* – 2012: 发布版本2.3 4 英特尔对Whamcloud的收购 • 英特尔的高性能数据部(HPDD)即是前Whamcloud – 并购保留了100%的工程师  内部结构完全保留 – 同一批长久以来致力Lustre* 研发的工程师  继续提供Lustre的最主要开发工作 • 继续保持开放性 – 与多供应商合作 – 维护社区共享的基于GPL的源代码树  源码库存储于Intel所属的Whamcloud域名下的服务器  源码库以及发行版本被Lustre社区正式承认 • 持续稳定的发展 – 高级架构师规划的具长远意义的功能研发 – 版本发行计划保持不变  功能版本 – 新功能首先进入的版本  维护版本 – 修复bug的稳定版本 5 * Lustre , Whamcloud 以及英特尔 • 英特尔收购Whamcloud以保证Lustre能在HPC领域内保持 优势，在商业环境中持续稳定的发展 * – 英特尔支持Lustre 作为一个开源文件系统继续发展 – 英特尔支持Lustre文件系统与多供应商继续合作 – 英特尔支持Lustre文件系统与世界范围的开源社区继续合作 • 百亿亿次(Exascale)运算方面的共同目标，是英特尔收购 Whamcloud的最初原因 – 存储系统是所有HPC软件发展的基石 – Lustre是全世界范围内HPC领域中扩展性最好的文件系统 6 * 为什么选择Lustre ? • Lustre* 的高性能可以极大加速工作流程，缩短运算时间 – 文件系统的I/O性能最高可以达到700GB/秒 –