天极按
近日,美国政府问责局发布:《信息技术系统年度评估:国防部需加强软件指标并解决持续存在的网络安全与报告差距问题》,对相关的21个项目进行了审查,审查的目标是 (1) 检查选定的国防部 IT 业务项目的成本、进度和绩效,(2) 评估国防部为选定项目实施关键软件开发和网络安全实践的程度,以及 (3) 描述国防部为实施可能影响其 IT 采购的立法和政策变化所采取的行动。
为支持其军事行动,国防部管理着许多信息技术投资,其中包括通信、指挥和控制以及支持该部行动的业务系统。在2024 财年,国防部为其非保密IT 投资申请了约433 亿美元,包括主要IT 和其他业务计划,旨在帮助国防部维持其关键业务运营(如医疗保健、人力资本、财务管理、后勤和承包)。
2020年 1月,国防部更新了其采购政策,创建了一个框架,以实现灵活、反应迅速的采购。重新发布的国防部第5000.02号指令建立了新的适应性采购框架,为该框架提供了高层次政策,并为采购官员分配了角色和职责。此外,国防部指令5000.02 也于2022 年 6月进行了更新,描述了从国防部以前的采购方法过渡的情况。
在适应性采购框架下,项目经理应通过使用一种或多种途径来调整其采购战略:(1)紧急能力采购;(2)中间层采购;(3)主要能力采购;(4)业务系统采购;(5)软件采购;(6)国防服务采购。此外,该框架还要求项目经理制定风险管理计划,并在整个项目生命周期内持续解决网络安全问题。虽然该指令为采购项目制定了总体政策,但单独的指令规定了每种途径的角色、责任和程序。在这六种途径中,有两种主要涉及IT 采购:业务系统和软件。
根据国防部指令5000.02,业务系统途径的目的是获取支持国防部业务运作的信息系统。该途径也可用于采购非业务系统的非开发性软件密集型程序。在此途径下,国防部将对业务环境进行评估,并确定可采用的现有商业或政府解决方案,以满足国防部的需求。
2020 年 1月,国防部更新了国防业务系统采购途径的指令,使国防业务系统采购与适应性采购框架保持一致。指令5000.75规定了将五阶段业务能力采购周期用于业务系统需求和采购的政策。在保持国防业务系统途径总体结构的同时,2020年更新版删除了某些监督要求,并鼓励对每个项目采取量身定制的方法。2020年更新版还允许并鼓励采购官员将决策权下放到 “最低实际级别”。
根据该途径,商业系统采购项目官员应:
使计划与商业最佳实践保持一致;
尽可能减少定制商业产品的需要;
对使用现成商业软件和政府现成软件的流程和IT 解决方案进行全面的行业分析和市场调研;
根据需要调整和下放授权(ATP)决策点,以促进业务能力的成功交付;
自动测试;
在最大程度上使用敏捷或增量软件开发流程。图1 显示了国防部在业务系统途径下的业务能力获取周期。
图 1:国防部(DOD)的业务能力获取周期
这些里程碑属于系统生命周期的两个较高层次阶段,即开发和维持。
开发与系统生命周期开始阶段(能力需求确定阶段)的活动和里程碑相关,包括通过有限部署和全面部署开发和交付新功能或增强功能。有限部署是在全面部署ATP 之前的任何部署,为业务系统的一组用户提供一组功能。有限部署是在有限部署ATP上批准的,在此决策点上,里程碑决策机构会考虑测试结果,并批准向最终用户社区的有限部分部署发布版本。全面部署是根据全面部署ATP向业务系统的所有计划用户交付全部功能。在这个决策点上,里程碑决策机构会考虑有限部署和运行测试的结果,并批准向整个用户群部署。
维护与能力支持阶段开始时的活动和里程碑相关,一旦业务系统全面部署,维护包括支持能力和维护系统(例如,持续的网络安全准备和适当的升级)。更具体地说,在能力支持阶段,职能发起人负责管理和支配业务能力,项目经理根据能力支持ATP 监督系统的技术实施和配置(即里程碑决策机构接受系统的全面部署并批准向能力支持过渡的决策点)。
2020 财年《国防授权法案》第800 条规定,国防部必须制定软件采购途径。2020年 10 月,国防部发布了第5000.87号指令《软件采购途径的运作》。根据该指南,该途径的目的是提供高效和有效的安全软件采购、开发、集成和及时交付。根据国防部第5000.02号指令,软件采购途径旨在整合现代软件开发实践,如敏捷开发、安全和运营(DevSecOps);以及精益实践。在此途径下,包括用户、测试人员、软件开发人员和网络安全专家在内的小型跨职能团队利用企业服务快速、迭代地交付软件,以满足用户的需求。
根据国防部第 5000.87号指令,软件获取途径包括计划阶段和执行阶段。图2 显示了该途径的两个阶段。
图 2:国防部的软件采购途径
该路径专为软件密集型系统设计,包含两条路线:一条用于部署在商业硬件和云平台上运行的软件的应用,另一条用于升级和改进嵌入在军事系统中的软件。国防部指令5000.87中的指南适用于这两种途径。该指南还鼓励项目官员将决策权下放到最基层,经常与用户接触,尽可能实现自动化,并至少每年实现一次关键的项目里程碑。
敏捷是一种迭代开发方法,在整个项目中,软件以增量的方式交付,但根据用户反馈,在需要时通过改进或放弃部分内容来迭代构建。这包括交付最小可行产品,即软件的早期版本,以向用户提供或实地评估基本功能。迭代开发可使项目人员快速、持续地捕捉错误,轻松集成新代码,并在整个过程中获得用户反馈。根据研究建议,国防部将向敏捷软件开发过渡,并执行法定任务以帮助实现过渡,国防部已开始实施敏捷,作为其软件现代化计划的一部分。
如前所述,业务系统途径的更新和软件购置途径的创建,部分是为了实现敏捷软件开发。两种途径都包含支持此类开发的规定。例如,业务系统途径中的有限部署可以类似于敏捷开发方法中的最小可行产品,项目团队有望迭代发布功能。此外,软件购置途径要求使用迭代和敏捷实践。
此外,2018财年NDAA第873条和第874条授权国防部实施两个试点项目,使选定的购置项目能够使用敏捷实践。22国防部为参与试点的项目提供了培训和量身定制的敏捷指南。第874 款试点项目持续了一年,国防部分享了试点项目中与实施这些实践相关的经验教训。第873 款试点针对大型采购项目,一直持续到2023 财年。
2022 年 2月,国防部还发布了一项软件现代化战略,部分目的是推进敏捷开发的实施。2该战略旨在支持国防部通过现代化基础设施和平台改进软件交付的努力,并通过转变流程和培养人才来实现这些改进。该战略有三个目标:
1.加速开发国防部企业云环境;
2. 建立整个部门的软件工厂环境;
3.改革流程,提高复原力和速度。
为进一步支持现代化战略的实施,国防部成立了软件现代化高级指导小组。该小组的成员来自国防部各部门,包括国防部首席信息官办公室、负责航空与航天的国防部副部长办公室、负责研究与工程的国防部副部长办公室、负责情报与安全的国防部副部长办公室、作战测试与评估主任办公室、成本评估与项目评估主任办公室,以及各军种、参谋长联席会议和国防信息系统局。
此外,基于敏捷软件开发实践的国防部DevSecOps 指南还包括所需的活动,例如与跟踪客户满意度和软件开发工作进度相关的领域。
从广义上讲,它要求国防部实施网络安全风险管理流程,以保护国防部的业务能力和资产。该指令规定,IT系统必须在整个IT生命周期内应对与IT固有漏洞、全球采购和分销以及对手威胁相关的风险。该指令还包括网络安全高层管理指南、技术要求和劳动力考虑因素。
该指南要求负责信息技术系统的官员确定实施国防部风险管理框架所需的资源,制定并维护里程碑和行动计划以解决已知漏洞,并指定一名官员负责根据系统的风险态势授权系统运行。该指令还明确指出,风险管理框架将为需求开发、采购、开发和运行测试与评估等采购流程提供信息。
2021年5月的一项行政命令标志着联邦网络安全现代化和战略的承诺和优先级。除其他政策授权外,该命令还要求包括国防部在内的各机构采用网络安全最佳实践,其中包括制定一项实施零信任架构的计划。
此外,2022财年的《国防授权法案》指示国防部制定零信任战略、示范架构和实施计划。虽然零信任背后的概念并不新鲜,但对于大多数企业和包括国防部在内的许多联邦机构而言,摆脱基于边界的安全的影响却是全新的。
首席管理官的职责包括管理国防部的企业业务运营,并对国防部的共享业务服务行使权力、指导和控制。CMO还负责监督与业务系统采购途径相关的工作。2021年1 月,William M. (Mac) Thornberry 2021 财年NDAA 第901 条废除了国防部内的CMO 职位。
NDAA还要求国防部在一年内将CMO的职责、人员、职能和资产转移到国防部内的其他组织,并在2022 年1月之前向国会提交一份报告,其中包括任何相关的立法行动建议。根据这一要求,国防部副部长于2021 年9 月发布了一份备忘录,指示重新调整之前分配给CMO的职责,包括对国防部业务系统的广泛监督。为应对这些变化,国防部副部长于2021 年9 月指示对之前分配给首席军事观察员的职责进行广泛调整:
成立国防业务委员会(DBC),就以下方面向国防部长提供建议:(1)开发国防部业务企业架构(BEA),(2)重新设计部门业务流程,(3)开发和部署国防业务系统,(4)开发国防业务系统需求。该委员会以前由首席营销官和国防部首席信息官共同主持,现在由国防部首席信息官单独主持。
国防部首席信息官负责开发和维护国防部的BEA,以指导综合部门业务流程的开发。
国防部副部长(主计长)/首席财务官和国防部首席信息官,以及国防部负责采购和维持的副部长和军事部门首席军事官,负责在各自职责范围内发布支持性指南,以协调和决策对所涵盖国防业务系统投资的规划、计划和控制。
在重新分配职责后,国防部于2022 年1 月最终确定了更新后的DBC章程。此外,国防部官员还表示,国防部已确定了一个永久性的DBC小组委员会来指导国防业务系统,并已最终确定了该小组委员会的章程。
总统于2022 年12 月签署的2023财年《国防授权法案》还包括将某些角色和职责从以前的首席信息官职位正式转移到其他国防部实体的规定,这与上述变化是一致的。此外,根据新法规,国防部首席信息官将作为优先国防业务系统的审批官员。2024财年的《国防授权法案》做了进一步修订,从国防部的相关要求中取消了首席信息官职位,或将职责重新分配给国防部的其他官员。
通常被称为《联邦信息技术采购改革法案》的一项条款要求OMB 主任根据详细的OMB 指南,公开所涵盖机构(包括DOD)的主要联邦IT 投资信息。这些信息显示在联邦IT 控制面板上,这是一个公开的政府网站,其中包括有关主要IT 投资绩效的精简数据和信息。Dashboard旨在帮助各机构和国会更好地了解和管理联邦IT 投资组合,并做出更好的IT 规划决策。2022年3 月,Dashboard的管理职责--包括收集、分析和显示IT 预算和绩效数据--从OMB 转移到总务管理局(GSA) 的政府范围政策办公室。然而,OMB的指南仍然包括并规定了IT 投资报告要求的许多方面,而GSA 则为遵守这些要求提供支持性指南。
此外,尽管OMB 为指定重大IT投资提供了指导,并保留了指定这些投资的权利,但它给予每个覆盖机构制定具体标准的灵活性。根据国防部首席信息官办公室官员的说法和国防部的指南,国防部的重大IT 投资包括(1) 在未来几年国防计划中预算超过2.5 亿美元的国防业务系统;(2)在未来几年国防计划中预算超过5.69 亿美元的非国防业务系统;(3)由国防部首席信息官指定为主要的IT 投资;(4)由国防部首席信息官确定为IT 投资的主要国防采购项目。
除了机构主要IT 投资的成本、进度和绩效信息外,每个机构的首席信息官还必须向联邦IT Dashboard 提交评级。根据OMB 的指导,这些评级应反映投资所面临的风险水平,以及该投资实现其目标的能力。
2023年12月,美国政府问责局发布了最新的《敏捷指南》,以帮助各组织评 估其采用敏捷方法的准备情况,并对机构使用这些方法的情况进行评估。《指南》 介绍了最佳做法,包括鼓励各项目在采用敏捷软件开发时使用的指标和管理工具。具体来说,度量标准是有关项目绩效的数据,有助于衡量一个机构的运作和成果,而管理工具则可用于帮助捕捉度量标准和支持决策制定。
美国审计总署已将国防部的业务系统列入其高风险清单和多份报告中,并提出了多项建议,以改善国防部对IT系统的管理。在美国审计总署的高风险清单上,国防部的业务系统现代化工作。
自1995 年以来,国防部的业务系统现代化工作一直被列入GAO 的高风险清单,部分原因是该部 门在实现成本、进度和绩效承诺方面面临长期挑战,包括其主要IT 项目。正如我们在2023 年 4月所报告的,自 2021年以来,国防部为解决高风险领域问题而制定行动计划的努力一直停滞不前。2023年 9月,国防部介绍了正在努力解决国防部业务系统现代化高风险领域问题的修订方法。这些努力包括一项行动计划,其中包含更新其BEA 的任务和相关里程碑。截至2024 年 3月,国防部尚未实施与该高风险领域相关的22 项建议。
GAO 关于国防部主要 IT业务计划的报告。作为我们授权工作的一部分(源于2019 财年 NDAA中的修正条款,并包含在我们的高风险监督领域中),我们开始了一系列侧重于国防部主要IT 业务项目绩效的年度报告。四份报告中有三份包含了对国防部的建议。
2021 年 6月。我们报告了国防部为收集和报告采购项目数据而采取的措施。例如,我们发现国防部尚未制定数据策略,也未最终确定其业务系统和软件采购途径的衡量标准。我们建议国防部通过确保业务系统和软件途径的数据战略和数据收集工作使用适当的指标来监控采购和评估绩效,从而改进其监控IT 采购的方式。尽管国防部于2024 年 2月提供了一份纠正行动计划,旨在帮助解决该建议,但该计划并未充分表明国防部已完成这些任务,因此该建议尚未得到实施。
2022 年 6 月。具体而言,我们发现并非所有项目都向联邦IT控制面板充分报告了运营绩效措施,也未制定经批准的网络安全战略或供应链风险管理计划来处理信息和通信技术问题。我们提出了三项建议,要求国防部确保这些计划酌情(1) 在向联邦IT Dashboard 报告时报告运营绩效措施,(2)制定经批准的网络安全战略,以及(3) 制定针对信息和通信技术的供应链风险管理计划。尽管国防部同意美国政府问责局的建议,并在2023 年 9月提供了旨在帮助解决这些建议的纠正行动计划,但我们确定,截至2024 年 3月,国防部尚未证明其已完成实施这些建议所需的所有任务。
2023 年 6月。我们报告了国防部主要IT 业务项目的绩效报告以及用户培训和部署规划。具体而言,我们发现并非所有项目在向联邦IT控制面板报告时都至少确定了所需的最低运营绩效指标,或制定了开展用户培训和部署活动的计划。我们向国防部提出了两项建议,以确保这些计划酌情(1) 确定所需的运营绩效指标和(2) 制定开展用户培训和部署的计划。尽管国防部同意美国政府问责局的建议,并在2023 年 9月提供了旨在帮助解决这些建议的纠正行动计划,但我们确定,截至2024 年 3月,国防部尚未证明其完成了实施这些建议所需的任务。
2023 年3月关于国防部财务管理系统的报告。我们报告了与国防部实物资产和支出核算相关的问题,包括国防部监督其业务和财务系统的指南、收集的业务和财务系统符合法定要求的数据的可靠性以及劳动力规划。具体而言,我们发现,国防部对业务系统的初始审批和年度认证指导并未完全满足法定要求,包括可审计性要求。此外,我们还发现,所收集的有关业务和财务系统是否符合法定要求的数据并不可靠,而且该部门没有为其财务系统制定员工队伍规划的战略方针。
我们提出了九项建议,包括国防部全面制定业务和财务系统监督指南。此外,还建议国防部确保所收集的有关业务和财务系统是否符合法定要求的数据是可靠的,并建议国防部实施劳动力规划的战略方法。国防部同意其中七项建议,部分同意其余两项建议。截至2024 年1月,三项建议已部分落实,其余六项尚未落实。美国政府问责局重申,国防部需要落实以前提出的关于改进IT 系统(包括业务和财务系统)的建议。
根据国防部 2024财年联邦 IT Dashboard 数据,从 2022财年到 2024财年,国防部 21个选定 IT业务项目的计划支出达91 亿美元,其中四个最大的项目占投资组合计划成本的一半以上。此外,3年总成本的 70%用于系统的运行和维护,30%用于开发和现代化。
21 个业务项目中有 15个项目的官员报告称,自2022 年 1月以来,成本或进度发生了变化,其中13 个项目的成本增加了50 万美元至13 亿美元(中位数为1.633 亿美元),7个项目的进度延误了 15个月至 36个月(中位数为 24个月)。其中有 4个项目还报告说,由于这些变化,将重新划定基准线或预计将重新划定基准线。项目官员提供了各种变更原因,包括新的要求和意料之外的技术复杂性。
此外,在国防部 2024财年仪表板数据中,各计划报告的绩效进展参差不齐。具体而言,4个项目报告达到了所有绩效目标,10个项目报告达到了至少一个目标,1个项目报告未达到任何目标。我们之前曾报告过国防部IT 业务项目未充分报告绩效指标数据的情况,并向国防部提出了两项建议。
根据国防部 2024财年联邦 IT Dashboard 数据,从 2022财年到 2024财年,国防部 21个选定 IT业务项目的计划支出达91 亿美元。具体而言,国防部报告了2022 财年这21 个项目的实际成本为30 亿美元,2023财年至 2024财年这些项目的计划成本为61 亿美元。表1 显示了国防部在这3 年期间 21个项目的实际成本和计划成本。
表 1:国防部(DOD)从 2022 财年到 2024 财年 21 个选定 IT 业务计划的实际和计划成本
从 2022 财年到2024 财年,这21 个项目组合的计划成本总额为91 亿美元,其中最大的四个项目:国防部医疗保健管理系统现代化(DHMSM)、海军企业资源规划(Navy ERP)、配送标准系统(DSS)和国防企业会计与管理系统(DEAMS)占其中的46 亿美元(51%)。图3 显示了国防部在这3 年期间与21 个项目组合相比的四个最大项目的计划成本。
图 3:从2022 财年到2024 财年,国防部(DOD)四大IT 业务项目与其余17 个选定项目的计划成本比较
根据官员们对我们调查问卷的答复,这四个项目都处于项目生命周期中较为成熟的阶段。DHMSM和 DEAMS官员分别报告说,他们最近实现了全面部署ATP,下一个里程碑是能力支持ATP。海军 ERP和 DSS官员分别报告称,已实现能力支持ATP,并仍在维持阶段。
此外,在这 3年期间,国防部用于运行和维护(O&S)55的费用占 21个项目报告的 91亿美元计划总费用的70%(64亿美元),另外 30%(27亿美元)用于开发、现代化和增强(DME)。这些项目包括 “遗留 ”系统,所有 21 个系统的平均年龄为17年。前曾报告过国防部在运营和维护系统(如遗留系统)上的支出,而不是在开发上的支出,少数老化的系统可能会推动组合成本的增长,并使各机构面临更高的浪费支出风险。
除了之前关于成本和进度变化的报告,在选定的21 个国防部IT 业务项目中,有15 个项目的官员报告了自2022 年 1月以来的成本或进度变化情况。图4 显示了报告成本或进度变化的项目以及变化的方向。
图4:自 2022年 1月以来部分国防部(DOD)IT业务项目报告的成本和进度变化2022
15个计划的官员报告了成本变化。其中,13个项目报告成本增加50 万美元至13 亿美元不等(中位数为1.633 亿美元),2个项目报告成本减少1550 万美元至4000 万美元不等(中位数为2780 万美元)。7个项目的官员报告了15 个月至36 个月不等的进度延误(中位数为24个月)。在前面提到的最大的四个项目中,有三个项目(DEAMS、DSS和海军ERP)的官员分别报告了其计划成本或进度的变化。关于这些项目:
DEAMS 的官员报告称,实现其能力支持ATP 决策的时间表延迟了24 个月,从2022 年12 月延迟至2024 年1 月,相关成本增加了2.216亿美元。项目官员将这些变化归因于解决网络安全漏洞、产品更新和现代化以及通货膨胀的影响。
安保部官员报告说,由于实施了旨在取代安保部并使其现代化的新系统--仓库管 理系统,需求发生了转移,托管费用减少,估计费用减少了4 000万美元。官员们还报告说,由于新系统时间表的调整,成本也发生了变化,但他们表示,目前还无法量化整个生命周期的成本差异,因为他们增加了原有软件所没有的功能。他们补充说,随着计划现代化战略的进一步发展,这些变化将得到澄清。官员们将这些变化归因于新冠疫情大流行,该大流行导致政策和指导发生变化,影响了该计划在整个2021年向国防后勤局供应链内的配送中心运送和部署软件的能力。此外,项目官员还提到了合同和现有劳动力方面的问题。
海军企业资源规划系统的官员报告称,遗留财务系统的成本有所增加,但他们表示在我们提交报告时无法量化。官员们将成本增加归因于用海军企业资源规划技术软件解决方案替换了企业软件解决方案,该解决方案在2030年后将不再得到支持。他们还表示,他们正在最终确定新的估算,其中将包括额外两年的费用。官员们补充说,新的解决方案旨在采用现代企业IT 服务,帮助满足海军独特的财务、审计和供应要求。
在报告了成本和进度变化的DOD IT 业务项目中,有4 个项目的官员报告说,由于这些变化, 他们重新设定了基准线或预期重新设定基准线。反复重新设定基准线可能表明,项目没有适当地管理成本、进度或性能预期,或者遇到了其他问题。具体而言,两个重新确定工期的项目报告了以下情况:
空军综合人事和薪酬系统(AFIPPS)。AFIPPS的官员报告说,该计划基线的变化是由2022 年3月批准的新采购战略、流程自动化的人力节约需求以及与系统配置相关的技术挑战所驱动的。这些官员表示,这些变化与成本增加有关,但在我们提交报告时,他们无法提供具体金额,而且计划的时间表也延长了31个月。他们补充说,该计划仍需要完成对成本变化的评估,并需要获得新成本估算的批准。
海军维护、修理和大修(N-MRO)。N-MRO官员报告称,由于计划部署的进度延误,导致了重新标定。该项目官员报告称,运行进度问题、支持与多个遗留系统兼容所需的额外网络安全测试,以及软件稳定性问题造成了15 至 18个月的延迟,使部署时间从2023 财年的第二季度推迟到2024 财年的第三或第四季度。官员们还报告称,为支持企业系统所需的要求,相关成本增加了4 亿美元。
此外,预计重新确定基准线的两个计划报告如下:
国防旅行系统(DTS)。据DTS 官员报告,由于MyTravel计划的取消,预计将重新确定基准,该计划旨在取代传统的差旅系统以及国防部差旅现代化计划的档案系统。官员们表示,这导致之前计划在2027 财政年度退役的DTS 预计至少还能支持国防部的差旅5 年,将该计划的时间表延长了至少24 个月。他们补充说,目前预计该计划在未来5 年的总增长为6840 万美元。
海军电子采购系统(Navy EPS)。海军电子采购系统的官员报告称,由于合同战略的改变以及竞争和授予合同活动的实施,计划延迟了15个月,预计将重新确定基准线。官员们还报告说,由于该计划的最新成本估算包括了额外的年限,并包括了完成计划所需的额外能力和集成工作的成本,因此成本增加了3.1 亿美元。
15个项目的项目官员报告了成本或进度变化以及重新设定基准或预期重新设定基准的情况,他们共同提供了变化的各种原因,包括劳动力和承包商问题、新的或计划外的需求,以及云迁移或现代化发展。此外,官员们还报告了网络安全问题、意料之外的技术复杂性、通货膨胀的影响以及供应链中断等变更原因。在本报告的稍后部分,我们将讨论项目官员报告的与软件开发和网络安全相关的主要挑战,以及项目和国防部官员报告的为应对这些挑战而采取的行动。
OMB要求国防部向联邦IT Dashboard 提交有关主要IT 投资绩效的最新信息。具体而言,根据OMB 的A-11号通知指南,国防部应报告项目在实现其业务或任务目标方面的绩效。这包括运营分析,这是一种检查运营资产投资的持续绩效,并根据既定的成本、进度和绩效目标来衡量该绩效的方法。此外,GSA遵循OMB信息技术投资提交要求的辅助指南规定,各计划应确定至少五个绩效指标。
这些指标应能最好地反映投资的价值,并符合以下四个类别:
客户满意度(流程结果)。这些指标旨在衡量一项投资在提供商品或服务方面的效果。计划必须在这一类别下至少报告一项指标。
战略和业务成果。这些指标旨在衡量投资对组织本身绩效的影响,包括投资对实现组织战略目标的贡献程度。在这一类别下,计划必须至少报告三项指标。此外,至少有一项指标的报告频率必须为每月一次。
财务业绩。这些指标旨在将投资的当前绩效与预先确定的成本基线进行比较,并应支持对合理性和成本效率进行定期审查。不要求计划报告本类别下的指标。
创新。这些指标旨在衡量一项投资对新技术和创新技术的应用,并证明机构已重新审视了实现相同任务需求和战略目标的替代方法。各计划无须报告此类指标。第五项指标(或更多指标,因为计划可以报告五项以上指标)可以来自四个类别中的任何一类。此外,各计划必须使用他们确定的绩效指标来衡量实现目标的进展情况。具体来说,指南规定,计划提交的报告必须包括所有已确定指标的实际结果数据。
在选定的21个IT业务项目中,有19个项目在国防部2024财年联邦IT Dashboard 数据中确定了最低要求数量的绩效指标。在这19个项目中,有4个项目报告达到了所有绩效目标,10个项目报告至少达到了一个目标,1个项目报告未达到任何目标。其他六个项目没有报告任何目标,其中两个项目没有确定所需的衡量标准。
图5显示了各计划报告的绩效指标和实现目标的进展情况。
图5:部分国防部(DOD) IT 业务计划的绩效指标
在 2023年的报告中,国防部首席信息官办公室的官员承认,各项目应全面报告所需的绩效数据,并表示国防部首席信息官实施的审计检查应能改进项目报告,但一些项目的报告仍不完整,因为这些检查是逐步进行的,只实施了一部分。官员补充说,预计在2023 年 6月国防部向 Dashboard提交 2024财年报告之前,这些检查将得到全面实施。在2024财年的数据中发现,绩效报告仍存在差距。虽然国防部在处理之前提出的建议方面取得了进展,即各项目应确定所需的衡量标准并根据其衡量标准报告措施,但各项目仍未完全报告所需的绩效数据。
2024 年 3月,国防部首席信息官办公室的官员承认,2024财年的绩效报告仍然存在差距,并表示他们已经实施了额外的检查,以解决这些问题。这些官员补充说,这应确保各计划在2024 年 6月之前提交 2025财年数据时进行全面报告。全面的绩效报告将有助于改善计划的问责制,并协助部门和国会有效监督计划的绩效。
然而,在与跟踪客户满意度和软件开发进度相关的领域,10个项目中有 4个项目没有使用国防部要求的、与GAO 的《敏捷指南》中确定的指标和管理工具相一致的指标和管理工具,或者没有提供文档。此外,虽然所有21 个项目都报告说进行了各种网络安全测试和评估,但有几个项目没有按照国防部的要求制定经批准的网络安全战略。
据计划官员报告,他们面临着与软件开发和网络安全有关的各种关键挑战,包括不断变化的需求以及领导层和员工的更替。官员们还报告了项目和国防部为应对这些挑战所做的努力,其中包括项目与客户合作以明确预期,以及国防部协调实施其软件现代化战略。
截至2024 年2 月,被认定为积极开发软件的所有10 个(共21 个)选定DOD IT业务项目的官员都报告使用了国防科学委员会推荐的敏捷和迭代方法与实践。73例如,这10个项目中每个项目的官员都报告交付了最小可行产品(即软件的早期版本,以交付或实地提供基本功能给用户进行评估并提供反馈)。10个项目中的9 个报告称,按照OMB 指南的要求,每6 个月或更短时间交付一次软件功能。
然而,在与跟踪客户满意度和软件开发工作进度相关的领域,10个项目中有4 个项目没有使用国防部要求的、与GAO的《敏捷指南》中确定的指标和管理工具相一致的指标和管理工具,或者没有提供证明其使用的文档。
2018年2月,国防科学委员会建议国防部实施持续、迭代的软件开发方法,如敏捷;开发和运营(DevOps);以及开发、安全和运营(DevSecOps)。迭代软件开发方法是一种将大型应用程序的开发分解为较小片段或增量的方法,这些片段或增量反映了基于用户反馈的更新。委员会评估认为,迭代式软件开发方法适用于
迭代软件开发方法适用于国防部,应尽快采用。表2 介绍了推荐的迭代软件开发方法。
表 2:国防科学委员会推荐的迭代软件开发方法
根据国防科学委员会的说法,持续、迭代式软件开发的主要好处是,它可以让程序人员快速、持续地捕捉错误,轻松集成新代码,并在整个应用程序开发过程中获得用户反馈。这与更为传统的 “瀑布式 ”软件开发方法形成鲜明对比。瀑布式方法采用线性和顺序开发阶段,可能需要经过较长的时间才能实现软件能力的一次性交付。尽管这种更传统的方法在某些情况下可能是合适的,但2019 年5月,国防创新委员会得出结论认为,与瀑布式方法相比,迭代式软件开发方法可能会降低成本增长。
截至2024 年2 月,我们确定正在积极开发软件的所有10 个(共21 个)选定DOD IT业务项目的官员均报告使用了推荐的迭代式软件开发方法中的一种或多种。
截至2024 年2 月,确定积极开发软件的所有10 个(共21 个)选定DOD IT业务项目的官员均报告使用了其中一种或多种建议的迭代方法,从而可能带来成本或进度效益。
国防科学委员会还建议国防部实施某些支持持续、迭代软件开发的实践。正在积极开发软件的10个项目中,每个项目的官员都报告使用了各种建议的迭代实践。例如,所有10个项目的官员都报告了交付最小可行产品的情况。此外,10个项目中有9 个项目报告称对项目经理和员工进行了迭代开发培训。表3 介绍了各项目报告使用的迭代开发实践。
表 3:积极开发软件的选定国防部(DOD)IT 业务计划报告使用了推荐的迭代实践
此外,国防科学委员会建议将创建软件工厂作为软件开发源选择过程中的一项关键评估标准,并呼吁各计划过渡到使用软件工厂。国防部首席信息官办公室的官员表示,这些项目中的大多数之所以没有采用这些做法,是因为业务系统大量使用了现成的商业产品来提供服务。整个国防部都在努力将项目过渡到使用软件工厂,这种做法支持项目开发自己的软件代码,如武器系统。
OMB指导要求某些机构的首席信息官和首席采购官确保并证明采购战略和计划应用了充分的增量开发。OMB将增量开发定义为至少每6个月向用户计划并实际交付新的或修改的技术功能。此外,国防创新委员会还呼吁项目人员采用敏捷和DevSecOps实践,持续向用户交付可运行的软件,频率可高达每周一次。据国防创新委员会称,如果项目官员不允许更频繁地交付软件,他们可能会失去从用户那里获取信息的机会,并可能面临调整需求以满足客户需求的挑战。
在 10个正在积极开发的项目中,有9 个项目的官员报告称,按照OMB 的指导要求,每6个月或更短的时间提供一次软件功能。其余项目(AFIPPS)的官员报告称,软件发布的平均间隔时间为10 至12 个月。
国防部的《敏捷度量指南》为敏捷开发团队提供了与敏捷产品和服务的可执行度量有关的指导,并确定了关键度量,如与效率、质量和所提供工作的价值有关的度量。此外,DOD的 DevSecOps活动和工具指南还包括所有使用DevSecOps 方法的项目必须开展的必要活动,以满足DOD 的标准,例如在与跟踪客户满意度和软件开发工作进度相关的领域。
此外,正如本报告前文所述,美国政府问责局(GAO)的《敏捷指南》(Agile Guide)讨论了鼓励项目在采用敏捷软件开发时使用的各种指标和管理工具,这些指标和管理工具用于衡量绩效和成果,旨在帮助满足客户需求,是采用和实施敏捷的最佳实践。此外,《指南》还介绍了项目可使用的管理工具,以帮助获取指标并支持决策制定。其中一些指标和管理工具与国防部指南中的要求一致。
10个选定的国防部IT业务项目的官员积极开发软件并使用敏捷以及与敏捷一致的迭代方法,他们使用了GAO 敏捷指南中确定的各种指标和管理工具。表4 显示了国防部IT 业务项目报告使用的敏捷指标。表5 显示了国防部IT 业务项目展示使用的敏捷管理工具。
表 4:使用 GAO 的《敏捷评估指南》中确定的指标报告的选定国防部(DOD)IT 业务计划
表 5:选定的国防部(DOD)IT业务计划证明使用了GAO 的《敏捷评估指南》中确定的管理工具
然而,在这 10个项目中,有 4个报告使用了DevSecOps,但没有使用国防部要求这些项目使用的、与GAO的《敏捷指南》中确定的指标和管理工具相一致的指标和管理工具,或者没有提供证明其使用的文档。具体来说,在这四个项目中,有三个项目没有使用累积流程或累积流程图,两个项目没有使用发布计划,一个项目没有跟踪客户满意度,一个项目没有提供文件证明其使用了产品积压。
没有使用这些必要的敏捷指标和管理工具或没有提供文件证明其使用的项目,报告了没有这样做的各种原因。这些原因包括项目处于早期开发阶段或敏捷实施阶段,尚未建立管理工具,以及无法使用工具或工具中的某些功能。2024年 3月,国防部首席信息官办公室和A&S 官员承认,采用现代软件方法(如敏捷和DevSecOps)以及相关实践对国防部来说仍然相当新,并表示随着更多项目采用这些实践并使其成熟,指标和工具的使用将会增加。
如果不确保计划使用所需的衡量标准和管理工具,该部门就有可能无法获得完整的信息来衡量其敏捷软件开发工作的绩效和进度,以满足客户需求。
根据国防部的《网络安全测试与评估指南》,开发测试的目的是在系统生命周期的早期发现网络安全问题和漏洞,以促进补救和减少对成本、进度和性能的影响。运行测试的目的是提供信息,帮助识别漏洞,描述发现的漏洞对运行的影响,并解决运行中的网络安全问题。
所有 21 个选定IT业务项目的官员都报告说,他们进行了开发性网络安全测试、操作性网络安全测试或两者兼而有之。部分由于处于系统生命周期的不同阶段,项目可能进行了某些类型的网络安全测试,而未进行其他类型的测试。例如,处于生命周期早期阶段的系统可能会进行开发测试,但可能还不够成熟,无法进行运行测试。表6 总结了各项目所报告的网络安全测试类型。
表 6:选定的国防部(DOD)IT业务计划报告进行了开发和运行网络安全测试
此外,国防部第 5000.75号和第 5000.90号指令要求 IT项目人员进行网络安全评估。
21个项目中的每个项目的官员都报告说,他们进行了某种形式的网络安全评估。例如,大多数计划都报告进行了全面系统评估、桌面演练和渗透测试。一些计划还报告进行了其他类型的网络安全评估,如静态代码和隐私影响评估。
国防部指令 8500.01 “网络安全 ”和国防部指令5000.89 要求国防部IT项目官员使用经批准的网络安全战略。该战略应包括网络安全和弹性要求以及网络安全测试和评估分析与规划的关键系统文件等信息。这些信息旨在确保项目人员规划和记录网络安全风险管理工作,这些工作在项目生命周期的早期就已开始。
在2022 年6 月的报告中,发现国防部的主要IT 业务项目中有10个项目未证明拥有经批准的网络安全战略。建议国防部首席信息官确保这些项目酌情制定此类战略,国防部同意我们的建议。此外,在2023 年6 月的报告中,我们还发现国防部的六个主要IT业务项目缺乏经批准的战略,并重申了确保这些项目制定战略的重要性。截至2024 年2 月,仍有几个项目没有经批准的战略。
2024年3月,国防部官员承认,这些计划应制定经批准的网络安全战略。官员们表示,他们将继续采取行动,跟进没有提供此类战略的计划,以确保他们制定出这样的战略,从而落实这项建议。
这些官员补充说,国防部为各项目提供了制定网络安全战略的指导,包括在国防部2021 年6月的网络安全大纲和指南中,而且国防部正在更新其指导,以反映对遵循其路径的业务系统的适应性采购框架的全面修订。此外,他们还表示,他们跟踪的几个计划已经制定了战略草案,并正在获得领导层的批准。
确保已获批准的战略到位,应有助于这些计划有效管理网络安全风险并减轻威胁。这样做还可以降低对成本、进度和绩效产生不利影响的风险。
在审查的 21个选定 IT业务计划中,官员们报告了面临的与软件开发和网络安全相关的一些关键挑战,并集体报告了计划为应对这些挑战所采取的行动。表7 总结了这些项目所报告的挑战和采取的行动。
表 7:选定的国防部(DOD)IT 业务计划报告的关键软件开发和网络安全挑战及应对措施
此外,在 2024年 3月,国防部首席信息官办公室的官员和A&S 官员提供了有关该部门努力应对已确定挑战的信息:
官员们承认,预算限制仍然是一个挑战。他们表示,国防部继续强调国防业务系统对国防部任务的重要性,以及在支持作战人员的同时适当优先考虑业务系统现代化的重要性。
官员们表示,国防部正在解决不断变化的客户需求、快速发展的网络安全要求,以及与软件开发和商用现成软件相关的技术问题,部分工作是通过与国防部的A&S以及负责研究和工程的副部长办公室进行协调,以实施国防部的软件现代化战略。具体而言,这些努力包括将DevSecOps作为首选软件开发方法,并继续采用敏捷实践。官员们补充说,通过持续采用这些实践,应对这些挑战的工作可以纳入计划工作中,并比传统的软件开发方法更快地得到解决。
官员们表示,国防部正在努力解决领导层和员工流失问题,为领导层和员工提供了解现代软件开发所需的知识和技能(例如,与采用敏捷和DevSecOps有关的知识和技能)。
此外,官员们还表示,国防部在其网络劳动力框架中增加了软件工程、数据和人工智能等新的工作角色,并为现有劳动力提供相关培训。
由于立法和政策的变化,国防部继续努力改进其IT投资管理。这些努力包括修订其业务系统投资管理指南、更新其业务企业架构(BEA),以及采用零信任网络安全。
国防部行政管理主任办公室和首席信息官办公室的官员介绍了国防部为实施与国防业务系统投资管理指南和国防部企业架构相关的变革而采取的修订方法。具体而言,这些工作包括以下内容:
国防业务系统投资管理指南。我们曾报告称,国防部首席信息官计划在2023 年5 月31日前发布经修订的投资管理指南。随后,国防部首席信息官办公室于2023 年9 月更新了计划,将在2024 年6 月30日前发布修订版指南。该指南将纳入投资组合经理调查的结果,以改进国防部的业务流程再造工作。国防部首席信息官还将发布2024财年年度认证指南列为优先事项,并正在记录可能纳入投资管理指南的投资管理流程。
为支持上述工作,国防部在2024 年1月介绍说,首席信息官办公室制定了一个路线图,详细列出了关键行动和里程碑,以提高国防部管理其国防业务系统组合的能力。例如,国防部正在实施一个数据驱动的决策平台,以确定国防业务系统是否符合国防部的政策和优先事项,从而推动可审计的投资决策,实现合理化机会。
业务企业架构现代化。我们曾报告称,国防部首席信息官表示,国防部计划在2023 年6 月30 日前发布BEA 现代化战略和新的BEA。随后,该框架于2024 年1 月签署并发布。此外,2024年 3月,国防部报告称,国防部首席信息官计划在2024 年9 月30 日前发布BEA 指南。
该框架确定了国防部的现代化方法,并强调了BEA开发、维护和使用的组件角色和责任。国防部进一步阐述说,该框架是一份高级文件,旨在建立一个联合的、基于问题和以数据为中心的架构。
指导手册将详细说明BEA治理、角色和职责、用例、企业级工具的使用以及开发最佳实践。2024年 1月,国防部进一步阐明,指导手册将以该框架为基础,提供开发和维护现代化BEA 所需的指导。
然而,在《2023年高风险清单》报告中指出,国防部尚未采取一致、持续的步骤来完成这些计划行动,并再次对其工作进行了调整。解决这些关键领域的问题可帮助国防部实现更好的成本、进度和绩效成果;更有效、高效地管理其业务系统投资组合;并帮助识别和解决潜在的重复和重叠问题。
零信任网络安全:此外,2022 财年《国防授权法案》指示国防部制定零信任战略、示范架构和实施计划。为此,国防部成立了一个办公室,并发布了几份文件,以指导该机构在未来几年内采用零信任原则。具体来说,2022 年 1 月,国防部在国防部首席信息官办公室内成立了零信任组合管理办公室,以加快采用零信任的步伐。随后,国防部发布了以下文件:
2022 年 7 月,国防部更新了其 “零信任参考架构”。该文件将成为指导该机构实施零信任框架的权威信息来源。此外,参考架构还概述了开发以数据为中心的方法以加强网络安全的最终状态愿景和战略。
2022 年 10 月,该部门发布了 “零信任战略”。该战略描述了推进零信任概念开发的必要指导,包括所需能力和活动的需求开发、采购和部署。
2023 年1 月,国防部发布了《零信任能力执行路线图—行动方针1》(COA 1)。此外,为加快零信任的采用,国防部正在制定补充能力路线图行动方针,包括那些将涵盖商业和政府所有的基于云的企业服务(即分别为COA 2 和COA 3)的行动方针。COA 1 路线图描述了所有国防部组织在2027 年前实现计划的零信任目标的时间表。
后续将继续监督国防部为解决如何管理IT投资而采取的行动,包括通过这一系列年度报告(根据《美国法典》第10 编第3072条规定)和对提高国防部效率和效力的改革进行审查(根据《2021财年国家发展法案》规定)。此外,我们还将监督国防部在业务系统现代化、业务转型高风险领域方法和采用零信任网络安全方面所做的努力。
几个国防部IT业务项目报告了成本增加和进度延误的情况,并报告了绩效方面喜忧参半的进展。
有六个项目没有按照OMB的要求全面报告绩效数据。此外,几个项目没有按照国防部的要求制定经批准的网络安全战略。落实之前提出的有关绩效报告和网络安全规划的建议,对于改善项目问责制和降低成本、进度和绩效受到不利影响的风险至关重要。在开发软件的项目中,有4 个项目没有按照国防部的要求并根据GAO的《敏捷指南》展示敏捷指标和管理工具的使用情况。解决这一问题对于确保国防部获得有关其软件开发工作的可靠信息至关重要。
天极智库聚焦网络安全相关领域,聚集网络安全职能部门、行业主管部门、科研院所、相关企业和专家学者的力量,组织开展政策研判、事件分析、技术研究、学术交流,为国家网络安全工作提供支撑,增强国家网络空间安全防御能力,提升国家关键信息基础设施安全保障能力和水平。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...