尽管DORA指标有一定帮助，但它并没有全面反映提升开发者体验方面的团队表现。
译自 Limitations in Measuring Platform Engineering with DORA Metrics，作者 Nočnica Mellifera 在成为开发者关系专家之前是一个开发者长达7年。她专攻容器化工作负载、无服务器和公共云计算工程。
本文讨论了如何测量开发者效能这个难题——我们的平台工程和开发者体验做得多好，可以轻松添加新功能和维护我们的服务——这个问题存在于每一个大型组织中。好的工具专家、效能工程师和运维人员可以为正确的团队带来巨大成果，但测量他们的工作极其困难。
如果我们有一些通用的简单指标，可以跨团队和组织理解我们提升开发者速度的效果，那就太好了。在我之前的文章中，我讨论了使用 DevOps 研究与评估(DORA)指标不当的一些陷阱。在这篇文章中，我们将深入探讨使用 DORA 指标来评估平台工程。
为了清楚讨论 DORA 指标在评估团队健康方面的作用，我们必须面对一个最棘手的问题: DORA 指标是否是评估平台工程团队的有效工具。我的结论是，你不能根据 DORA 指标来评估你的平台工程团队。
在讨论 DORA 指标时，Datavant 的基础设施和开发者体验负责人 Hazel Weakly 提到了 Mordecai 关于低风险指标的概念:
“低风险指标对于自我反思和自我改进是有用的;你想要它们，但不应该根据它们被评判。DORA 指标绝对是这样，有时让我觉得有点沮丧的是，围绕 DORA 指标有如此多的基准和评估语言，因为这正是它们不应该用于的。”
平台工程包含了大量DORA指标没有测量到的工作。虽然这些指标可能帮助平台团队识别他们需要做多少工作和进展了多远，但根据代码部署频率来惩罚或奖励团队是没有意义的。
技术债务在DORA指标中是不可见的。除非技术债务导致软件发布失败，否则世界上任何混乱的东西都不会影响你观察到的指标。对于平台工程师来说，这意味着他们为提高开发者体验所做的大量工作对DORA指标没有意义。DORA指标主要关注软件交付表现。然而，平台工程涵盖了更广泛的责任，包括基础设施管理、安全性、可扩展性和可维护性，这些都不是DORA指标直接测量的。
举一个理论例子: 如果平台工程师花了六个星期的时间致力于标准化所有团队的配置管理和环境变量，导致整个技术栈有更安全和标准化的体验，那么所有这些工作对DORA指标可能完全没有影响。即使开发者突然发现使用环境变量和停止在未加密的配置文件中发送关键密钥变得那么容易，如果根据DORA指标进行判断，平台工程团队会显得效率低下。
2023年DORA报告强调关注用户，无论是外部客户还是内部平台用户。传统的DORA指标没有捕捉到这种以用户为中心的方法，而这对高绩效团队来说至关重要。
值得检查的是，开发者效能或平台工程团队的大部分评估是否可以简单地通过询问工程师“我们在平台工程方面做得好吗?”来覆盖。
当开发者对他们的工具和流程感到满意时，这是一个平台工程正在做得很好的强有力信号。最后，平台工程需要考虑采用他们的平台的难易程度;这种以用户为中心的指标在DORA指标的测量中不存在。
谷歌以推广高绩效团队中“心理安全感”的必要性而闻名。虽然许多因素可能影响心理安全感，但毫无疑问，破坏团队安全感最频繁的因素是错误应用或不公平应用绩效评估。
当我们谈论评估平台工程团队的表现时，使用DORA指标不是建立团队信任的方式。一目了然，DORA指标:
- 没有捕捉到团队所做的一切工作。
- 受其他团队的代码质量和工作的很大影响。
- 根据当前开发的功能会发生随机性的上升和下降。
想象一下，每天上班时知道你的继续就业取决于你无法控制的数字，如果路线图改变，这些数字可能大幅上升或下降，而你自己无法改进!
正如2023年报告所强调的，生成性文化组织和心理安全感对团队绩效和平台工程中的创新至关重要，但DORA指标没有直接测量这些方面。
2023年报告还强调了AI在提高开发者生产力方面的重大潜在影响。尽管大语言模型转变企业各个方面的整体前景仍在激烈争论中，但大语言模型描述代码功能和从简单指南生成代码的不可否认的能力意味着我们必须探索AI将如何支撑我们的开发生命周期。
这里要问的问题本质上是:
- 平台工程团队是否正在探索这些工具如何改造我们的开发和部署流程?
- 我们是否在探索更好的组成、测试和记录代码的方法?
- 这些测试是否在探索实际的流程改进，我们是否可以将一个团队的成功推广到更广泛的组织?
平台工程长期以来一直是新思想和新工具的“臭鼬工作室”。即使Backstage等是开发者效能领域最大的项目之一，它仍然是一个相对冷僻的话题。但是探索新工具和技术短期内只会损害DORA指标，并且不能保证直接影响任何测量。
这些因素超出了传统DORA指标的范围，但对平台工程团队的效率和效果至关重要。
人的因素是平台工程成功的最重要标准。当我们知道平台工程团队与所有工程部门良好互动时，我们就可以很好地理解事情进展顺利。充其量，DORA指标对这一评估提供了一个检查值。如果所有人都喜欢新的开发者平台，但发布速度却慢到爬行，我们应该调查原因。但这项检查很可能为我们提供所需的上下文。
虽然DORA指标提供了有价值的见解，但其误用和狭隘的重点可能导致对开发者生产力和平台工程效果的理解偏颇。必须将这些指标作为更广泛战略的一部分来使用，该战略包括定性评估，关注以用户为中心的开发，承认生成文化的重要性，并利用AI和高质量文档的潜力。这种全面的方法对于真正理解和改进平台工程的多方面性质至关重要。