一、数据导入/预处理验证阶段

根据具体的应用背景和业务需求,各种数据源如网络日志,物联网,社会网络及互联网文本和文件等被按需加载到HDFS中待处理。在这个过程可能会由于不正确或不 ** ,存储而导致的错误数据,对于这种情况,可采用以下方式进行测试:

1.输入文件与源文件进行比对,保证数据的一致性;

2.根据数据需求来保证获取数据的准确性;

3.验证文件被正确的加载进HDFS,且被分割, ** 到不同的数据节点中。

二、MapReduce数据输出验证阶段

当数据加载进行HDFS后, ** preduce开始对来自不同数据源的数据进行处理。在这个过程中可能会出现 ** preduce处理过程中的编码问题,如在单一节点上运行正确,在多个节点上运行不正确的问题,包括不正确的聚合,节点配置,输出格式等。针对于这个阶段的问题,可采用以下验证手段:

1.验证梳理数据处理正常完成,输出文件正常得到;

2.在单个节点上验证大数据的业务逻辑,进

而在多节点上进行相同验证;

3.验证 ** preduce处理过程的key/value对是否正确生产;

4.在reduce过程结束后验证数据的聚 ** 并是否正确;

5.通过源文件验证输出数据来保证数据处理正确完成;

6.按照大数据业务所需,验证输出数据文件格式是否符合要求。

三、验证大数据ETL到数据仓库

当 ** preduce过程结束后,产生的数据输出文件将被按需移至数据仓库或其它的事务型系统.在此过程中,可能会由于不正确地应用转换规则,从HDFS中提取的数据不完全而带来问题。针对于这个阶段的问题可采用以下方法:

1.验证转换规则是否正确应用;

2.通过比较目标表数据和HDFS文件数据来验证是否有数据损坏;

3.验证目标系统数据加载是否成功;

4.验证目标系统的数据完整性。

上述就是为你介绍的有关大数据功能性测试包含哪些内容的内容，对此你还有什么不了解的，欢迎前来咨询我们网站，我们会有专业的人士为你讲解。

关键词：  功能性验证报告  购物袋生物降解检测  除病毒测试  一次性用品生物降解能力检测  中药材检测报告  毒害物质检测报告

编辑精选内容：

纺织品抗病毒性能的测试方法

各类消毒产品病毒杀灭效果试验标准

什么是生物降解性检测

生物降解塑料的应用

微生物样品取样几种较常见的表面取样技术

生物药品检测的介绍

可降解材料检测主要测试项目

细胞毒理学安全评价与功能检测