压力测试 大数据量 写入.pdf

压力测试大数据量写入

一.非功能性测试；

由于大数据面向具体行业的应用，除了功能性测试，在整个大数

据处理框架下需要进行非功能性测试，以下几种：

a.性能测试；

性能是评估一个大数据分析系统的最为关键的维度，大数据系统

性能主要包括吞吐量，任务完工时间，内存利用率等多个指标，可反

应大数据分析平台的处理能力，资源利用能力等性能。可通过Hadoop

性能监控器来监测运行状态性能指标和瓶颈问题，性能测试采用自动

化化方式进行，测试系统在不同负载情况下的性能.

b.容错性测试；

可从部分失效中自动恢复，而且不会验证的影响整体性能，特别

地，当故障发生时，大数据分析系统应该在进行恢复的同时继续以可

接受的方式进行操作，在发生错误时某种程度上可以继续操作，需根

据应用场景来设计解决方案和具体部署，然后手动测试。

c.可用性测试；

高可用性已是大数据分析不可或缺的特性之一，从而保证数据应

用业务的连续性.大数据高可用性对很多应用非常关键，需要严格进

行测试和验证，以手动测试为主。

d.扩展性测试；

弹性扩展能力对于大数据时代的文件系统尤其重要，文件系统扩

展性测试主要包括测试系统弹性扩展能力(扩展/回缩)及扩展系统带

来的性能影响，验证是否具有线性扩展能力,以手动测试为主。

e.稳定性测试；

大数据分析系统通常是不间断长期运行，稳定性的重要性不言而

喻，稳定测试主要验证系统在长时间(7/30/180/365*24)允许下，系

统是否仍然能够正常运行，功能是否正常.稳定性测试通常采用自动

化方式进行，LTP，10ZONE，POSTMARK,FIO等工具对测试系统产生负

载，同时需要验证功能。

f.部署方式测试；

大数据具备scale-out的特点，能够构建大规模，高性能的文件

系统集群。针对不同应用和解决方案，文件系统部署方式会有显著不

同；

部署方式测试需要测试不同场景下的系统部署方式，包括自动安

装配置，集群规模，硬件配置(服务器,存储，网络),自动负载均衡等，

这部分测试不大可能进行自动化测试，需要根据应用场景来设计解决

方案和具体部署，再进行手动测试.

g.数据一致性测试；

这里的数据一致性是指文件系统中的数据与从外部写入前的数

据保持一致，即写入数据与读出数据始终是一致的.数据一致性能够

表明文件系统可保证数据的完整性，不会导致数据丢失或数据错误，

这是文件系统最基本的功能，测试可用diff,md5sum编写脚本自动化

测试，LTP也提供了数据一致性的测试工具。

h.压力测试；

大数据分析系统的负载能力是存在上限的，系统过载时，系统就

可能存在性能下降，功能异常，拒绝访问等问题。压力测试是验证系

统造大压力下，包括数据多客户端，高OPS压力，高IOPS/吞吐量压

力，系统是否仍然能够正常运行，功能是否正常，系统资源消耗情况，

从而为大数据运营提供依据。

二、功能性测试；

数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，

包括文件读取与访问控制，元数据操作，锁操作等功能；

大数据分析系统的POSIX语义不同，实现的文件系统API也不同，

功能测试要覆盖到大数据系统涉及实现的API和功能点；

功能测试工作量大，应该重点考虑应用自动化测试方法进行，同

时结合手动测试补充，自动化工具推荐ltp,fstest和locktests。

在多个节点上处理大数据的过程中，存在由于‘无用数据’和数

据质量问题带来的各种问题。功能测试主要用以识别由于编码错误或

节点配置错误带来的数据问题。

其包括以下几个阶段：

a.数据导入/预处理验证阶段；

根据具体的应用背景和业务需求，各种数据源如网络日志，物联

网，社会网络及互联网文本和文件等被按需加载到HDFS中待处理。

在这个过程可能会由于不正确或不复制，存储而导致的错误数据，对

于这种情况，可采用以下方式进行测试：

1.输入文件与源文件进行比对，保证数据的一致性；

2.根据数据需求来保证获取数据的准确性；

3.验证文件被正