使用Snakemake实现可持续的数据分析

数据分析通常包含多种异构步骤，从应用各种命令行工具，到使用如R或Python等脚本语言生成图表和表格。广泛认可的是，数据分析理想情况下应以可重复的方式进行。可重复性使技术验证和在原始或新数据上重新生成结果成为可能。然而，仅有可重复性远不足以实现对该领域或某研究组产生持久影响（即可持续）的分析。我们假设确保适应性和透明性同样重要。前者指的是修改分析以回答扩展或略有不同研究问题的能力。后者指的是理解分析以判断其不仅在技术上，而且在方法上是否有效的能力。在这里，我们分析了使数据分析具备可重复性、适应性和透明性所需的属性。我们展示了如何使用流行的工作流管理系统Snakemake来保证这些属性，以及它如何实现对数据分析中所有步骤的符合人体工学、综合且统一的表示，涵盖从原始数据处理、质量控制，到细粒度、交互式探索与最终结果绘图。