从OpenAI职位看未来网络安全技术发展方向

摘要

回想23年前选择网络安全行业仅仅靠一篇关于蓝色代码病毒的分析文章,虽然全篇代码看不懂,但那时已经感觉到网络安全在未来几十年将贯穿所有行业,除非哪个行业不使用计算机。如今AI人工智能的强势爆发,网络安全依然是主力, 下面将从OpenAI提供的与安全相关的职位中来看看未来网络安全技术的发展方向。

OpenAI职位

OpenAI官方网站总共提供了178个职位,其中与安全相关的职位是11个,其中有一个职位在三个不同国家招聘, 其余的全部在加利福尼亚州旧金山总部。去重后的职位如下:

- 内部风险调查员

- 人工智能安全与隐私研究工程师

- 隐私研究工程师

- 安全推理研究工程师

- 安全研究工程师

- 模型安全研究科学家

- 安全工程师(检测与响应)

- 安全产品和平台软件工程师

内部风险调查员

职位评估:对综合能力要求较高,同时具备开发、数据分析、跨部门沟通能力和建模能力。

该职位主要提前发现和预判公司内部出现的一些安全风险问题, 需要的能力包括:

数据分析,对不同来源的数据做自动化关联和分析,提前发现潜在的安全风险。

开发、维护和增强内部的威胁指标、建立威胁用例场景。

调查可疑活动, 需要跟法律、人力资源部门进行沟通合作。
根据木桶法则,改进公司内部安全短板, 需要跟多部门合作。

职位年薪: 22万美元(158万人民币)+股权

人工智能安全与隐私研究工程师

职位评估: 对学历要求较高,通常为:计算机科学、人工智能、机器学习或相关领域博士学位。在成员推理、隐私保护ML、对抗性攻击领域需要具备丰富经验。需要精通Python和PyTorch或TensorFlow机器学习框架。

做的具体工作包括:

设计、实施和评估新方法来保护人工智能模型和系统免受数据提取和模型反转攻击等威胁。
与后期训练团队合作，将隐私保护技术融入到AI模型开发中。
带头研究和实施解决方案，以主动减轻与数据中毒、会员推理攻击等相关的风险。
与跨职能团队密切合作，为模型部署建立安全和隐私最佳实践和指南

职位年薪: 29.5万-44万美元(212万-316万人民币)

隐私研究工程师

职位评估: 该职位跟算法息息相关, 需要具备两个硬性条件: (1).具备很强的编程能力。(2).具备大型分布式系统工作经验。

做的具体工作包括:

设计隐私保护机器学习算法、增强AI模型的隐私保障以及研究模型性能和数据隐私之间的权衡。
为AI系统开发和部署制定隐私标准和指南,并开展探索性研究以减轻AI和机器学习对隐私造成的意外后果。
与各部门合作,将隐私增强方法集成到AI系统中。

职位年薪: 29.5万-44万美元(212万-316万人民币)

安全推理研究工程师

职位评估:该职位涉及开发创新的机器学习技术，突破基础模型的安全理解和能力的极限, 重点关注领域包括提高基础模型准确推理安全性、价值观和文化规范问题的能力，改进审核模型，推动快速政策改进。编程语言仍然以Python为主。

做的具体工作包括:

开展应用研究，提高基础模型准确推理人类价值观、道德、伦理和文化规范问题的能力，并将这些改进的模型应用于实际的安全挑战。
开发和完善人工智能调节模型，以检测和减轻已知和新出现的人工智能滥用和滥用模式。
与政策研究人员合作，调整和迭代内容政策，以确保有效预防有害行为。
为多模式内容分析研究做出贡献，以增强审核能力。
开发和改进自动数据标记和增强、模型训练、评估和部署的流程，包括主动学习过程、校准和验证数据刷新例程等。
实验并设计有效的红队技术来检验危害预防系统的稳健性并确定未来改进的领域。

职位年薪: 24.5万-44万美元(176万-316万人民币)

安全研究工程师

职位评估: 该职位的目标是提高AI模型的网络安全的能力,重点领域是识别源代码中的问题、二进制分析、补丁生成、日志分析、威胁情报分析和自动化安全事件响应。具备较强的软件开发能力，包括系统编程以及 Python、Golang 或类似语言中的至少一种。

做的具体工作包括:

开发提高人工智能模型稳健性的技术。
开发威胁模型、系统和方法来衡量模型的网络安全能力。
推动OpenAI和其它生态系统中采用 AI 安全方法。
与 OpenAI 的同事合作进行安全研究。
与安全和人工智能研究社区合作，包括通过网络安全资助计划。
尝试采用新的工具和技术来扩大公司内部实施的安全措施的有效性, 确保安全解决方案具备稳健性和可扩展性。

职位年薪: 29.5万-44万美元(212万-316万人民币)

模型安全研究科学家

职位评估: 该职位属于AI领域的高级研究员, 将为AI安全制定研究方向, 除了保证AI系统更安全, 还将主导开展一些研究项目。

做的具体工作包括:

对 RLHF、对抗性训练、稳健性等 AI 安全主题进行最前沿的技术研究。
在 OpenAI 的核心模型训练中实现新方法，并在 OpenAI 的产品中推出安全改进。
制定研究方向和策略，使人工智能系统更加安全、更加协调、更加稳健。
与跨职能团队（包括 T&S、法律、政策和其他研究团队）协调和合作，以确保产品符合最高安全标准。
积极评估和了解模型和系统的安全性，识别风险领域并提出缓解策略。

职位年薪:24.5万-44万美元(176万-316万人民币)

安全工程师(检测与响应)

职位评估: 该职位主要专注于检测和响应的所有方面, 包括:基础设施和运营, 对编程语言有一定要求,至少要熟悉常用的脚本语言,包括:Python、Bash、PowerShell或类似语言。属于多面手角色。

做的具体工作包括:

构建用于管理检测规则生命周期的工具。
制定、衡量和调整检测规则，以确保有效且可持续的运营。
自动化手动响应流程。
确保 OpenAI 端点队列的可见性和控制力（macOS、Windows）
推动身份访问和管理 (IAM)、设备管理、生产力软件以及我们对公共云环境（例如 AWS、Microsoft Azure）的使用方面的改进。

职位年薪:20万-24.5万美元(144万-176万人民币), 有股权。

安全产品和平台软件工程师

职位评估:该职位的目标是构建安全系统, 包括:检测基础设施、身份系统、保证基础设施安全。编程语言要求精通Python或Golang语言; 熟悉用于代码审查、安全测试和漏洞评估的工具和方法; 具有威胁模型、风险评估和安全协议等安全实践经验。

做的具体工作包括:

研究能够提高产品安全性和效率的新兴技术和方法。
为现有安全工具设计和实施新功能，以增强功能和用户体验。
定期评估安全工具和框架，确定需要改进或升级的领域。
实施安全措施，防范未经授权的访问、数据泄露和其他网络威胁。
排除故障并解决安全工具的问题，包括故障、错误和性能瓶颈。
尝试新的工具和技术来扩大公司内部实施的安全措施的有效性和效果，确保安全解决方案的稳健性和可扩展性。

职位年薪: 24.5万-31万美元(176万-223万人民币),有股权

总结

1.关于安全技术

传统的安全技术, 例如:二进制分析、补丁生成、日志分析、威胁情报分析和自动化安全事件响应、逆向分析技术依然重要, 也是基础。

2.关于编程语言

Python和Golang编程语言成为当前和经后的主流编程语言, 一个主导科学计算、另一个主导分布式系统效率提升。个人预测未来Rust编程语言也将成为主流, 因为Rust构建的程序实在是 —— 太稳定。

3.关于AI安全

RLHF（Reinforcement Learning from Human Feedback）、对抗性训练、差分隐私、联邦学习、数据投毒防御、成员推断攻击防御、模型反演防御可信执行防御、AI治理和合规性将是提高模型性能和安全性广泛应用的技术, 这些技术共同构成了一个全面的AI安全体系，旨在防止各种潜在的威胁和攻击，确保AI系统的安全性、可靠性和隐私保护。