Chinasoft参会特辑 | 参会心得（三）

在CCF中国软件大会这样的重要活动中，与会者们通过分享和交流不断积累宝贵的经验和知识。经过前两次分享，我们相信大家已经获得了丰富的收获。现在，让我们继续期待第三次分享，深入了解同学们的报告和心得。这次分享将为我们带来崭新的灵感和启示，让我们一同开始吧！

黄萱菁老师介绍了大模型的基本原理和评估体系。大模型的训练过程包括基座训练、指令微调和人类反馈，具备情景学习、思维链、涌现能力和强学习能力等特点。黄老师的团队进行了多轮大语言模型的评测，包括任务为核心的HELM评测和以人为核心的AGIEval评测。

香港中文大学的贺品嘉老师研究了大语言模型在加密文本下的安全性。他发现通过"加密对话"可以绕过大模型的安全防护机制，产生有危害性的回复。贺老师的研究探索了非自然语言是否可以满足对齐，并发现使用系统提示、示例样本以及加密用户输入的指令再解密模型的回复可以绕过部分安全防护机制。此外，他的团队还发现了一种名为SelfCipher的加密方式，与大模型对话时可以更好地绕过安全防护机制。

华为的万锐媛老师介绍了华为对大模型辅助工具开发的重视。由于需要构建一个LLM辅助系统来辅助测试脚本代码生成，万老师带领团队形成了一个具体的代码需求，发动了全公司的资源，每个部门的专家都参与提供部门高质量的测试代码来构建数据集，从而完成工具的训练、调优。

信工所刘哲老师表示目前GUI测试面临着应用场景多样、页面复杂以及重复探索、覆盖率低等问题，刘老师结合GPT提出了GPTDroid，通过将GUI页面信息传递给LLM，Prompt输入提取的静态上下文GUI页面和迭代测试过程的动态上下文，让LLM产生测试脚本并执行，不断将应用反馈传递给LLM，迭代整个过程。并且将出现的错误也反馈给GPT，及时进行动态调整，以达到更高的代码覆盖率。

by 史一哲

范铭老师对于移动应用的隐私安全问题进行了报告，目前新兴的移动应用形态——小程序，缺乏相应的合规检测工具。范铭老师团队针对三种违规行为进行了分析：数据收集超标、数据传输违规和数据使用越权。首先是对隐私政策的自动化提取和分析，主要利用NLP技术进行隐私使用声明提取分析，包括隐私政策的内容完整性和合规性，然后利用静态分析技术对应用的隐私收集、传输行为进行识别，对于应用隐私收集行为的合规性进行分析。

霍玮老师对于嵌入式设备的漏洞挖掘问题进行了介绍，首先从从典型漏洞模式看嵌入式设备，嵌入式设备固件的安全漏洞层出不穷，污点类漏洞是嵌入式固件的一类典型漏洞，其中比较关键的部分是需要漏洞要素（source、sink和sanitizer）以及要素关系，传统的污点分析方法存在的问题主要是大量集中于检测规则，不断改善分析的准确性和效率，但是难以挖掘定制化的污点信息。由于嵌入式固件中蕴含丰富的领域语义信息，所以可以利用这些语义信息进行语义增强，由于程序代码的模糊性和多样性，只利用静态分析会存在较多的误报和漏洞，所以霍玮老师团队借助大模型来辅助理解语义，可以有效提升分析效果。

张令明副教授介绍了其课题组近年来利用大模型在面向复杂软件系统的缺陷检测和修复方面的探索和经验，主要包括LLM与模糊测试结合、自动化软件修复以及代码生成的相关工作的思路。

张老师介绍了其团队基于大模型的软件修复的一系列工作，比如AlphaRepair和Repilot等。其中AlphaRepair首次将自动程序修复的问题转化为大模型擅长的完形填空任务，并证实这种方法在效果上明显优于传统技术并可以直接支持跨语言修复。最后在代码生成领域，张老师主要介绍了其团队的EvalPlus工作，这一工作针对代码生成的正确性问题，使用了差分功能测试、测试套件测试和多轮反馈提示输出的方案，有效提高了ChatGpt的代码生成正确性。