压力测试 大数据量 写入.pdfVIP

  1. 1、本文档共5页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

压力测试大数据量写入--第1页

压力测试大数据量写入

一.非功能性测试;

由于大数据面向具体行业的应用,除了功能性测试,在整个大数

据处理框架下需要进行非功能性测试,以下几种:

a.性能测试;

性能是评估一个大数据分析系统的最为关键的维度,大数据系统

性能主要包括吞吐量,任务完工时间,内存利用率等多个指标,可反

应大数据分析平台的处理能力,资源利用能力等性能。可通过Hadoop

性能监控器来监测运行状态性能指标和瓶颈问题,性能测试采用自动

化化方式进行,测试系统在不同负载情况下的性能.

b.容错性测试;

可从部分失效中自动恢复,而且不会验证的影响整体性能,

地,当故障发生时,大数据分析系统应该在进行恢复的同时继续以可

接受的方式进行操作,在发生错误时某种程度上可以继续操作,需根

据应用场景来设计解决方案和具体部署,然后手动测试。

c.可用性测试;

高可用性已是大数据分析不可或缺的特性之一,从而保证数据应

用业务的连续性.大数据高可用性对很多应用非常关键,需要严格进

行测试和验证,以手动测试为主。

d.扩展性测试;

弹性扩展能力对于大数据时代的文件系统尤其重要,文件系统扩

展性测试主要包括测试系统弹性扩展能力(扩展/回缩)及扩展系统带

压力测试大数据量写入--第1页

压力测试大数据量写入--第2页

来的性能影响,验证是否具有线性扩展能力,以手动测试为主。

e.稳定性测试;

大数据分析系统通常是不间断长期运行,稳定性的重要性不言而

喻,稳定测试主要验证系统在长时间(7/30/180/365*24)允许下,系

统是否仍然能够正常运行,功能是否正常.稳定性测试通常采用自动

化方式进行,LTP,10ZONE,POSTMARK,FIO等工具对测试系统产生负

载,同时需要验证功能。

f.部署方式测试;

大数据具备scale-out的特点,能够构建大规模,高性能的文件

系统集群。针对不同应用和解决方案,文件系统部署方式会有显著不

同;

部署方式测试需要测试不同场景下的系统部署方式,包括自动安

装配置,集群规模,硬件配置(服务器,存储,网络),自动负载均衡等,

这部分测试不大可能进行自动化测试,需要根据应用场景来设计解决

方案和具体部署,再进行手动测试.

g.数据一致性测试;

这里的数据一致性是指文件系统中的数据与从外部写入前的数

据保持一致,即写入数据与读出数据始终是一致的.数据一致性能够

表明文件系统可保证数据的完整性,不会导致数据丢失或数据错误,

这是文件系统最基本的功能,测试可用diff,md5sum编写脚本自动化

测试,LTP也提供了数据一致性的测试工具。

h.压力测试;

压力测试大数据量写入--第2页

压力测试大数据量写入--第3页

大数据分析系统的负载能力是存在上限的,系统过载时,系统就

可能存在性能下降,功能异常,拒绝访问等问题。压力测试是验证系

统造大压力下,包括数据多客户端,高OPS压力,高IOPS/吞吐量压

力,系统是否仍然能够正常运行,功能是否正常,系统资源消耗情况,

从而为大数据运营提供依据。

二、功能性测试;

数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI,

包括文件读取与访问控制,元数据操作,锁操作等功能;

文档评论(0)

150****3559 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档