分布式数据库对比集中式数据库有更高的可扩展性和性能。由于分布式数据库的复杂性,在实际应用过程中无法避免网络中断,丢包,节点宕机等软硬件故障。为了减轻故障问题对分布式数据库带来的影响,分布式数据库需要持续进行故障注入测试,即在系统正常运行过程中通过编码模拟主动触发故障问题,提高分布式数据库的可靠性以及验证系统内部容错机制的正确性。本文设计并实现了针对分布式数据库系统容错性问题的故障注入测试工具AFTest。主要贡献为:1.轻量级的任务调度设计:同时支持手动提交测试案例和自动遍历已有情况下的事件组合情况。测试人员可以通过前端界面实时查询测试进度,历史记录以及被测试系统当前状态。后端任务调度程序能够定时生成测试案例并根据案例生成执行脚本,然后分配工作线程执行测试并记录相应的日志信息和测试过程中系统状态的变化。2.实现了一个故障注入框架:分析分布式数据库在现实应用过程中曾经出现的各类软硬件故障问题,通过编码模拟实现其中常见的多种软硬件故障问题以及Cedar特有的系统操作。模块化故障注入框架便于嵌入测试工具中使用。3.减少事件组合空间冗余问题:深度遍历所有故障组合事件,避免繁琐的测试案例编写,更高效快速地针对分布式数据库系统执行故障注入测试。通过减少状态空间的算法消除冗余测试案例,避免出现测试案例过于繁多的问题。本文在开源的分布式数据库系统Cedar上进行了AFTest的故障注入测试。通过实验说明了AFTest的有效性,能够如实模拟各类分布式故障问题的发生。AFTest在遍历所有事件组合情况下能够发现分布式数据库中潜在的复合型bug,同时能减少冗余案例对测试过程的影响加快测试进度。