方案架构和案例研讨.ppt

延展：公有云等级的运算架构 可靠：电信等级的系统质量 效能：企业等级的创新绩效 应用一 : 参照 RDBMS 中的数据表 RDBMS Customers WebLogs Products HDFS 应用二 : 脱机数据分析 RDBMS Customers Products HDFS Sales History RDBMS HDFS Sales 2008 Sales 2009 Sales 2010 Sales 2008 ODBC/JDBC 应用三 : 历史数据与在线数据交互运用 应用四 : 利用 Hadoop 进行数据汇总 RDBMS WebLogs HDFS WebLog Summary 应用五: 利用 ODBC 连结 Excel Hive Excel Hive Add-in 在线资料 : MS SQL Server 历史资料 : Hive 其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统 Etu Recommender Recommendation Engine 商品/内容 关联性分析 客户行为 相似性分析 客户海量量浏览数据 客户 交易数据 其他或 第三方资料 推荐清单 其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统 Web Server User DB Product DB Etu Recommender 商品浏览日志 用户数据 产品目录 推荐结果 API 其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统 Etu Recommender 精准推荐应用系统 个人化推荐清单 个人化EDM 个人化账单 百货 零售 流通 银行 连锁 媒体 虚拟通路 (在线) 实体通路 (线下) 结账 点击 浏览 搜寻 交易 购物车 推荐清单的运用不光只是在线服务 客户应用案例 需求 上亿个影像图文件 每个影像图文件大小约10~20K 须集中管理 需满足图档的实时调阅与查询 现状 以SAN Storage来储存与管理所有的影像图文件 每个影像文件以档案目录方式来管理 以数据库来存放每个图像图文件之特征值 (meta-data)与文件路径, 供使用者查询与搜索 SAN Storage DB 应用程序 应用程序 应用程序 应用程序 其他应用 – 海量小图档管理 其他应用 – 海量小图档管理 SAN Storage DB 应用程序 应用程序 应用程序 应用程序 大量的查询与搜索造成SAN Storage接口的效能瓶颈, 响应时间太久 数据库对上亿条数据以上的查询效能不佳 无法支持全文搜索 无法支撑大量的关连性计算与分析 传统Storage对储存巨量小档案并不合适 每日新档案的导入响应时间太慢 Key Meta data Object File ID File name … …. …. …. …… …. 导入Etu Appliance 运用支巨量资料高平行读写和存储之非关系数据库， 来储存巨量小图像图檔及其特征值，一次打通所有效能瓶颈 利用内建分布式文件系统作为提供其高可靠性的底层存储支持 图像文件及 其特征值导入 应用程序 应用程序 应用程序 支持百亿笔资料之高平行查询 其他应用 – 海量小图档管理 高可靠性 线性扩展(scale-out)，轻易快速扩容 总持有成本低 高并发与高吞吐率，处理、查询百亿条数据没有问题 支持并行计算框架，可满足巨量数据全文搜索与进阶数据分析的需求 巨量存储，提供PB级以上储存能立 运用支持海量资料高平行读写和存储之非关系形数据库，来储存巨量小图像文件及其特征值，一次打通所有效能瓶颈 利用内建分布式文件系统作提供其高可靠性的底层存储支持 SAN Storage DB 应用程序 应用程序 应用程序 其他应用 – 海量小图档管理 Hadoop 平台竞争要素 Hadoop Disruption Vectors Source: GigaOM Pro, 2012 整合 部署 存取 Etu Appliance 简介Big Data End-to-End Solution in a Box 储存与运算一体，简化与优化的优势机种： 10 分钟内可部署 100+ 节点 资料撷取能力 1U 胜过 8U Big Data 运算处理最适化 方案架构与案例研讨 精诚集团提供 Big Data 解决方案的独立品牌 在台北与北京设有研发与专业服务团队 我们关注的不只是技术，更在意挖掘 Big Data 对企业的商业价值 透过软硬件一体的整合，大幅「简化」与「优化」企业处理 Big Data 的种种问题 意图与关联充满的 Big Data 世界 Etu 帮您具体整合来呈现 大数据(Bi