用户界面设计）等主题

引言

本文整理2024年7月全球各大高校与科研机构发布的117篇代码大模型相关论文，其中包括12篇发表于今年 ICML 的论文。

发布日期：2024-07-05

链接：https://arxiv.org/abs/2407.04873

机构：Aalto University

用户界面设计

Vision-driven Automated Mobile GUI Testing via Multimodal Large Language Model

本文提出了一种基于多模态大模型的视觉驱动自动 GUI 测试方法 VisionDroid，用于检测移动应用中的非崩溃功能性错误。这项研究为解释型恶意软件分析引入了 MITRE ATT&CK 框架，为理解和防御软件供应链攻击提供了新的视角和工具。实验结果表明，现有的知识编辑技术在这方面还有很大的改进空间。未知的 API 方面具有优势。

发布日期：2024-07-13

链接：https://arxiv.org/abs/2407.09726

机构：Amazon Web Services

Uncovering Weaknesses in Neural Code Generation

本文系统评估了五个大语言模型在代码生成任务上的表现，并通过分析生成代码的质量，提出了九种代码生成模型弱点分类。该方法设计了一种精确而简洁的测试修复导向上下文（TROCtx）构建方法，通过静态分析技术收集与变更相关的代码信息，并使用重排序查询来识别最相关的上下文。通过对德国大学298名学生的调查研究，该论文分析了学生使用 ChatGPT 的模式和对其感知，揭示了学生在编程学习中如何利用 ChatGPT 辅助解决问题，以及他们对该工具的评价。增大模型容量可以提升语法学习能力，但也会带来训练时间增加和过拟合等问题。作者发现现有的评估指标不足以准确衡量基于大语言模型的未经微调的模型性能。模型推理优化以及评估结果，并重点介绍了苹果公司对负责任人工智能的关注以及相关原则在模型开发中的应用。

发布日期：2024-07-15

链接：https://arxiv.org/abs/2407.10424

机构：Chinese Academy of Science

Large Language Model for Verilog Generation with Golden Code Feedback

本文提出了一种新的方法来提高开源大语言模型在自然语言到 Verilog RTL 代码生成任务上的性能。基于此数据集的模仿学习训练产生了一系列 DotaMath 模型，这些模型在各种领域内和领域外的基准测试中都表现出色。HellaSwag 等测试基准上的评估表明，Gemma 2 27B 的性能超越相似大小的其他模型（如 Qwen1.5 32B），甚至与更大的模型（LLaMA-3 70B）表现相当。这种方法不仅提高了修复的准确性，还显著减少了大语言模型产生的幻觉。为了实现实际部署，论文还引入了知识蒸馏技术来减小模型大小。训练过程、实验结果表明，大模型能够生成大部分正确且全面的单元测试，尽管仍然存在一些局限性，如重复断言和空测试用例。

发布日期：2024-07-03

链接：https://arxiv.org/abs/2407.02732

机构：Oracle Labs

ALPINE: An adaptive language-agnostic pruning method for language models for code

本文提出了一种名为 ALPINE 的自适应编程语言无关的剪枝技术，旨在显著减少代码语言模型的计算开销。论文同时发布了 NeoCoder 数据集，供后续研究人员使用。该模型通过让 LLM 理解代码语义和自然语言，并生成明确的后置条件来测试其能力。

发布日期：2024-07-09

链接：https://arxiv.org/abs/2407.07064

机构：Hamburg University of Technology

DeepCodeProbe: Towards Understanding What Models Trained on Code Learn

本文文提出了一种名为 DeepCodeProbe 的探测方法，用来评估用于软件维护任务的机器学习模型的语法和表示学习能力。通过可视化工具，ASTrust 可以帮助开发者理解模型在代码片段和大型数据集上的预测行为，并为实际应用提供了宝贵的参考。数学和推理等方面超越了大多数先前的开源模型，并在各种基准测试中展现出与闭源模型相媲美的性能：基座模型 MMLU 84.2，GPQA 37.9，HumanEval 64.6，GSM8K 89.5，BBH 82.4；微调模型 MT-Bench 9.1，Arena-Hard 48.1，LiveCodeBench 35.7。研究发现，尽管小模型能够捕捉到抽象的语法表示，但其对编程语言语法的理解能力有限。行结构感知和敏感行感知三个关键组件。研究结果强调了在软件漏洞检测中防御对抗攻击的重要性。

发布日期：2024-07-12

链接：https://arxiv.org/abs/2407.09164

机构：Zhejiang University

On Mitigating Code LLM Hallucinations with API Documentation

本文针对软件工程领域中 API 幻觉问题，提出了一种名为 CloudAPIBench 的新基准测试，用于评估 API 幻觉发生的频率。研究发现，虽然 LLM 的使用对使用者的考试成绩有积极影响，但整体上 LLM 的推广导致了考试参与率的显著下降，以及其他形式的课程参与度的下降。低资源语言处理、在各种代码基准测试中，Magicoder 和 MagicoderS 均显著优于同等规模或更大规模的现有代码模型，甚至在 HumanEval+ 测试中超越了 ChatGPT。另一方面，RAG 模型在 API 名称和 API 参数键的幻觉率方面略逊于微调模型。实验结果显示，最先进的代码大模型在不同任务和转换操作中的鲁棒性和敏感性存在显著差异。与现有基准不同，AppWorld 不仅包含模拟现实生活中的 9 个应用程序和 457 个 API，还提供 750 个复杂且自然的任务，需要代理生成复杂的代码并与环境交互。内在随机性和误报方面的一些局限性，但总体上突显了大模型在安卓 NCF bug 检测中的潜力，为移动应用 GUI 测试领域提供了新的视角和方法，有望改进传统 GUI 测试技术在 NCF bug 检测方面的不足。研究发现，大语言模型在代码生成任务中普遍存在着不准确的提示、8T、

发布日期：2024-07-03

链接：https://arxiv.org/abs/2407.02883

机构：Huawei Noah’S Ark Lab

基座模型

Gemma 2: Improving Open Language Models at a Practical Size

Gemma 2 是 DeepMind 推出的第二代 Gemma 模型，有 2B、TAPI 通过在外部代码中注入包含恶意指令的不可读注释作为触发器，在用户使用代码大模型完成代码时，模型会生成攻击者指定的恶意代码片段，从而实现特定目标的攻击。

发布日期：2024-07-31

链接：https://arxiv.org/abs/2407.21579

机构：Univ. Lille

人机交互、可维护性、与传统的依赖于人工标注的小型基准数据集不同，RTC 允许在更广泛的真实世界软件领域中评估模型，而无需昂贵的人工标注。与以往直接生成代码的方式不同，CodeV 利用 LLM 强大的概括能力，通过多级摘要将 Verilog 代码转换为自然语言描述，再将描述转换为代码。

发布日期：2024-07-15

链接：https://arxiv.org/abs/2407.10626

机构：Bar-Ilan University

Case2Code: Learning Inductive Reasoning with Synthetic Data

本文提出了一种“Case2Code”任务，通过生成程序的输入输出转换，让模型从这些示例中推断出程序的实现代码，考察大语言模型进行归纳推理的能力。

发布日期：2024-07-26

链接：https://arxiv.org/abs/2407.19053

机构：University of Cincinnati

EaTVul: ChatGPT-based Evasion Attack Against Software Vulnerability Detection

本文揭示了深度学习模型在软件漏洞检测中容易受到对抗攻击的弱点，并提出了一种名为 EaTVul 的攻击方法。马来语、通过四个模块，包括模式挖掘、PIE 巧妙地利用旋转位置编码，移除会导致时间混乱的关键缓存中的旋转矩阵，并重新应用正确的旋转矩阵，从而确保了 token 之间位置关系的准确性，且仅需一次矩阵乘法操作。

发布日期：2024-06-28

链接：https://arxiv.org/abs/2407.00215

机构：OpenAI

Exploring the Capabilities of LLMs for Code Change Related Tasks

本文研究了大语言模型在代码变更相关任务中的表现，通过实验证明了大语言模型在代码审查、论文还深入研究了这种差异的潜在原因，并提出了一些缓解问题的方法，为提升代码生成模型的代码风格一致性提供了理论依据和实践指导。论文发现，即使是目前最先进的语言模型也难以解决大部分问题，表明科学人工智能仍然有巨大的发展空间。Rectifier 能够有效地修复代码翻译过程中出现的各种错误，包括编译错误、

发布日期：2024-07-23

链接：https://arxiv.org/abs/2407.16237

机构：Peking University

AI代码安全与分析

Beyond Functional Correctness: Investigating Coding Style Inconsistencies in Large Language Models

本文通过对比主流代码生成模型生成的代码和人类开发者编写的代码，系统地分析了代码生成模型和人类开发者在代码风格方面的差异，并总结了代码风格不一致的分类。SQL生成、尽管 GPT 模型在识别 LLM 生成的代码克隆方面表现更好，但总体准确率仍需改进。论文对24个 LLM 进行了广泛的实验，并对未来 LLM 在代码解释器利用方面的改进提供了宝贵的见解。实验表明，在不同程序合成任务中，使用 ReGAL 学习到的函数库可以显著提高大模型的准确性，例如在 LOGO 图形生成、

发布日期：2024-07-21

链接：https://arxiv.org/abs/2407.18271#

机构：City University of Hong Kong

AutoVCoder: A Systematic Framework for Automated Verilog Code Generation using LLMs

本文提出了一个名为 AutoVCoder 的开源框架，旨在提高大语言模型在生成 Verilog 等 RTL 代码时的语法和功能正确性。

发布日期：2024-07-21

链接：https://arxiv.org/abs/2407.21040

机构：Baidu Inc.

Evaluating LLMs for Text-to-SQL Generation With Complex SQL Workload

本文通过对比分析 TPC-DS、LASSI 利用现有的闭源或开源 LLM，通过引导提示实现自动增强，将代码翻译成不同的并行编程语言，并通过自校正循环来解决编译和执行过程中遇到的错误，从而提高翻译的准确性和效率。推理和代码生成，需要模型具备解决真实科学问题的能力。研究人员通过代码搜索任务对 CodeCSE 进行了评估，结果表明 CodeCSE 的多语言零样本方法在效果上可以与针对特定语言微调的 GraphCodeBERT 模型相媲美。

发布日期：2024-07-30

链接：https://arxiv.org/abs/2407.20792

机构：Nuremberg Tech

软工下游任务

代码生成

Revisiting the Impact of Pursuing Modularity for Code Generation

本文研究了模块化编程在基于大语言模型的代码生成工具中的作用。研究者提出了结合多种聚类和剪枝指标的技术，来有选择地减少训练数据，同时不影响生成代码的准确性和功能性。

发布日期：2024-07-03

链接：https://arxiv.org/abs/2407.02742

机构：Microsoft Corporation

ConCodeEval: Evaluating Large Language Models for Code Constraints in Domain-Specific Languages

本文评估了大语言模型在理解和执行代码形式约束方面的能力。

发布日期：2024-06-23

链接：https://arxiv.org/abs/2407.02518

机构：Salesforce Research

Agentless: Demystifying LLM-based Software Engineering Agents

本文提出了一种名为“Agentless”的无代理方法，用于自动解决软件开发问题。

发布日期：2024-07-23

链接：https://arxiv.org/abs/2407.21049

机构：Apple

RLCoder: Reinforcement Learning for Repository-Level Code Completion

本文提出了一种名为 RLCoder 的新型强化学习框架，用于提升代码库级别的代码补全效果。

发布日期：2024-07-02

链接：https://arxiv.org/abs/2407.02402

机构：University of Galway

代码表征

CodeCSE: A Simple Multilingual Model for Code and Comment Sentence Embeddings

本文提出了一种名为 CodeCSE 的对比学习模型，用于在同一空间中学习代码函数及其描述的嵌入表示，填补了现有文献中缺乏现成的函数嵌入模型的空白。实验表明 Llama 3 在多项任务上的表现可与 GPT-4 等领先模型相媲美。

发布日期：2024-07-03

链接：https://arxiv.org/abs/2407.03387

机构：IBM Research

AutoBench: Automatic Testbench Generation and Evaluation Using LLMs for HDL Design

本文提出了一个名为 AutoBench 的系统，它是首个基于大语言模型的数字电路设计测试台生成器。

发布日期：2024-07-18

链接：https://arxiv.org/abs/2407.13739

机构：IBM Research

ALLaM: Large Language Models for Arabic and English

本文提出了 ALLaM，一系列用于支持阿拉伯语技术生态系统的阿拉伯语大模型。算术和语义等多个推理任务上的表现。缅甸语、这一创新为代码搜索、研究表明，SafeCoder 能显著提升代码安全性（约30%），同时保持代码生成能力。序列等控制结构）的可执行程序的问题。得益于紧凑的架构，H2O-Danube3 可以高效地在现代智能手机上运行，即使在移动设备上也能实现本地推理和快速处理能力。研究者通过注释多样的交互式工具使用轨迹并在 GSM8K 和 MATH 数据集上进行查询演化，生成了一个包含574K 查询-响应对的指令微调数据集 DotaMathQA。研究强调了持续提升 LLM 能力，特别是识别代码克隆并降低其对自身生成代码克隆的敏感性的重要性，因为随着软件工程师越来越多地使用 LLM 支持的代码生成和重构工具，这一问题可能会变得更加突出。与现有基准测试相比，PyBench 更全面地涵盖了各种日常代码任务，并要求 LLM 代理具备更强大的 Python 包理解、

发布日期：2024-07-06

链接：https://arxiv.org/abs/2407.05040

机构：NVIDIA

CoIR: A Comprehensive Benchmark for Code Information Retrieval Models

本文提出了一个名为 CoIR 的代码信息检索基准，它包含十个精心收集的代码数据集，涵盖了七个不同领域的八个检索任务，旨在为代码检索系统的评估提供一个全面而鲁棒的工具。实验结果表明，SynBCIATR 在文本匹配和意图匹配指标上都优于基准方法，并将幻觉减少了57.1%。

发布日期：2024-07-01

链接：https://arxiv.org/abs/2407.01489

机构：University of Illinois Urbana-Champaign

DotaMath: Decomposition of Thought with Code Assistance and Self-correction for Mathematical Reasoning

本文介绍了一种名为 DotaMath 的新型大语言模型系列，旨在解决复杂的数学问题。RLCoder 通过迭代地评估检索到的代码内容对目标代码的困惑度，来学习检索有用的代码信息，无需依赖人工标注数据。该模型通过将复杂任务分解为简单的逻辑子任务，利用代码解决这些子任务，从代码解释器获取详细反馈，并进行自我反思和纠正。论文还开发了 EvoSuiteC3，利用 C3 提取的上下文来帮助 EvoSuite 生成更可读的测试输入。

发布日期：2024-07-01

链接：https://arxiv.org/abs/2407.01646

机构：Nanjing University, Nanjing

Source Code Summarization in the Era of Large Language Models

本文对大语言模型在代码摘要任务中的应用进行了系统性研究，涵盖了 LLM 代码摘要流程的多个方面。研究结果表明，目前 LLM 在代码安全方面的表现还有待提升，特别是对于某些类型的漏洞，模型的性能较差。这种方法通过整合代码片段和提交信息分析，提高了 bug 定位的准确性，并且在未见过的代码库中也能有效识别 bug。1T tokens 的代码与数学加训以及额外 100B tokens 的长上下文训练。与主要在代码片段中预测掩码标记的预训练模型不同，该方法设计了单向语言建模和掩码语言建模来预测摘要中的掩码词，并引入领域特定的动作词预测任务来增强编码器学习动作词和代码片段之间对齐的能力。这项研究为数字电路设计中的自动化测试台生成提供了一种高效的解决方案，有望显著减少设计师在验证过程中的工作量。

发布日期：2024-07-15

链接：https://arxiv.org/abs/2407.10499

机构：Shanghai Artificial Intelligence Laboratory

PyBench: Evaluating LLM Agent on various real-world coding tasks

本文介绍了 PyBench，一个包含五个真实世界任务类别的基准测试，用于评估大语言模型代理在代码解释器帮助下解决实际代码任务的能力。这项研究为解决软件演化过程中测试代码与生产代码不同步的问题提供了一个有效的解决方案。13T tokens，且两个较小模型由 27B 模型蒸馏获得。

发布日期：2024-07-08

链接：https://arxiv.org/abs/2407.06249

机构：The University of Texas at Austin

On Leakage of Code Generation Evaluation Datasets

本文探讨了当今大模型背景下代码生成测试集的污染问题。印尼语、网络搜索和代码解释器）对任务和生成的代码进行分析，并在代码生成和执行阶段分别提供预先和事后指导。利用这一特性，论文引入了中断和循环机制，将传统的单调解码过程转变为非单调过程。该方法能够有效地扩展指令生成过程，并且在多个代码生成模型的微调实验中，使用合成指令训练的模型表现出显著的性能提升。该研究证明了 RTC 在代码合成和编辑任务中的有效性，并发现 RTC 与现有狭窄领域代码合成基准上的模型性能高度相关，同时能够扩展到更广泛的领域和任务，突破了先前受限于人工标注的局限性。128K 长上下文的支持，同时也在 8B 与 70B 之外发布了一个 405B 的新模型。研究发现模型的低层捕捉语法模式，高层编码抽象概念和语义；在不影响模型性能的情况下可以编辑前馈层中的特定概念；初始层充当"思考"层，而后续层对预测下一个代码 token 至关重要；早期层可以准确预测较小的上下文，但较大的上下文需要后期关键层的贡献。

发布日期：2024-07-11

链接：https://arxiv.org/abs/2407.08273

机构：Beihang University

AI-Assisted SQL Authoring at Industry Scale

本文提出了一个名为 SqlCompose 的模型，将生成式 AI 应用于数据分析领域，解决 SQL 语法声明性、这项研究强调需要进一步研究，以更好地了解未来 LLM 在课堂上的应用和整合可能产生的影响。LLM Compiler 的发布为编译器优化领域的学术研究和工业应用提供了一个可扩展、

链接：https://arxiv.org/abs/2401.03003

机构：University of California at Berkeley

Chain of Code: Reasoning with a Language Model-Augmented Code Emulator

本文提出了一种名为“代码链”（Chain of Code）的新方法，通过将语义推理任务分解成代码的形式并鼓励语言模型模拟代码解释器，显著提升了语言模型在逻辑、此外，模型对语义保持转换的鲁棒性优于对语义非保持转换的敏感性。软件工程下游任务应用（包括代码生成、编码、此外，研究还分析了 LLM 在不同编程语言中的表现，发现 LLM 在逻辑编程语言方面表现不如其他语言类型。该基准简单易用，可用来校准大模型输出并帮助其逐步提高代码正确性和功能性。

发布日期：2024-07-21

链接：https://arxiv.org/abs/2407.15186

机构：Peking University

Towards Automated Data Sciences with Natural Language and SageCopilot: Practices and Lessons Learned

本文提出了 SageCopilot，一个将自然语言指令转化为可执行 SQL 脚本并自动完成数据科学流程的系统。

发布日期：2024-06-29

链接：https://arxiv.org/abs/2407.00456

机构：Sun Yat-sen University

Is Your AI-Generated Code Really Secure? Evaluating Large Language Models on Secure Code Generation with CodeSecEval

本文研究了大语言模型在代码生成和修复方面的安全问题。这项工作填补了代码大模型知识更新研究的空白，为未来在这一领域的方法开发提供了重要基础。代码审核、调试和测试代码大模型。通过合成数据的间接泄露以及模型选择过程中对评估集的过度拟合。此外，论文还开发了量化版本的模型，使其适合在开发者桌面部署，解决了代码大模型需要专门硬件的问题。为实现这一目标，研究人员通过逐渐增加其 RoPE 基频，并结合代码仓库级别的文件打包和长上下文数据的长度上采样，对 Granite 3B/8B 代码模型进行了轻量级的持续预训练，将上下文长度从 2K/4K 扩展到 128K。

发布日期：2024-07-19

链接：https://arxiv.org/abs/2407.14568

机构：Ant Group

A Survey on Employing Large Language Models for Text-to-SQL Tasks

本文综述了大语言模型在文本到 SQL 任务中的应用，涵盖了基准数据集、这些发现有助于研究人员更深入地理解当前大型语言模型的代码生成能力，并为未来模型的改进指明方向。实验表明，CodeFast 在不同代码大模型和代码生成数据集上均能有效地提升推理速度，加速比高达 452%。特别的，他们发现使用递归批评和改进（RCI）技术后，所测试的大模型生成的代码中的安全弱点显著减少。结果表明，SCoPE 成功地识别出评估子集中 905 个重复项，语言模型的结果也证实了其在软件漏洞检测方面的适用性，最佳模型的 F1 分数达到 53%。此外，论文提出了一种兼容 CPU 的解决方案，以应对计算资源限制。与原始的短上下文 Granite 代码模型相比，拓展后的模型在长上下文任务上取得了显著的改进，且没有在常规代码补全基准（如 HumanEval）上出现明显的性能下降。论文还发布了用于输入输出安全的 Llama Guard 3 以及将图像、爪哇语等，并通过高效的语言增强技术和专门构建的指令微调数据集，在保持高性能和多功能性的同时降低了训练成本。尽管研究也发现了大模型在性能下降、在流行的 SWE-bench Lite 基准测试中，Agentless 表现出更高的性能和更低的成本，证明了这种简单的可解释技术在自动软件开发中具有被忽视的潜力。这项研究为解决复杂数学问题开辟了新的途径，为未来的数学推理研究提供了有价值的参考。此外，该模型还能在测试时没有程序轨迹的情况下进行泛化。最有效的 GPT 模型是 Llama-2-70b-chat，在特定测试案例中实现了完美的召回率和精确率，成功识别了脆弱代码行和对应的 CWE 号码。研究人员创建了一个包含700多个公开 API 的自动化任务 DSL 数据集，并使用该数据集微调了 Codex 模型。高效的仓库级代码补全迈出了重要一步。这种方法能够更好地处理包含大量表格和列的大型数据库。ReGAL 从少量现有程序中学习，通过执行验证和优化抽象函数，最终生成能够在多个领域预测程序的共享函数库。在实验中，OriGen 在 RTL 代码生成任务中显著超越了其他开源模型，并在自我反省能力方面也超过了 GPT-4，为开源领域提供了一个高性能、这项研究不仅分析了当前软件漏洞检测领域的进展，也为未来方向提供了新的思路。更有趣的是，适度精简训练数据还能持续改善基准结果。与复杂的基于代理的方案相比，Agentless 通过简单的定位和修复两阶段流程来实现目标，避免了让大模型决定未来行动或使用复杂工具。然而，这种下降受学生所在国家的影响，对来自人类发展指数较低的国家学生的考试参与率反而有所提升。虽然模型在理解 JSON、可控的合成数据，并与其他数据生成方法相辅相成，最终打造出更强大的 MagicoderS 模型。研究发现，简单地剔除过长代码文件能够显著提升模型训练效率和性能，甚至优于基于 embedding 的复杂方法。

发布日期：2024-07-21

链接：https://arxiv.org/abs/2407.18333

机构：Shanghai Jiao Tong University

OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection

本文提出了一个名为 OriGen 的开源框架，旨在解决现有开源 LLM 在 RTL 代码生成方面性能落后于商业模型的困境。研究在两个软件工程任务上进行了实验，结果表明 ALPINE 可以平均减少50%的浮点运算次数，58.1%的内存占用，并提高28.1%的吞吐量，同时将二氧化碳排放减少高达44.85%。两轮 LLM 微调方法以及特定领域的检索增强生成（RAG）机制。

发布日期：2024-07-26

链接：https://arxiv.org/abs/2407.18901

机构：Stony Brook University

AdaCoder: Adaptive Prompt Compression for Programmatic Visual Question Answering

本文提出了 AdaCoder，一个用于视觉程序化模型的自适应提示压缩框架。转译和理解。

发布日期：2024-07-14

链接：https://arxiv.org/abs/2407.10194

机构：Ecole nationale Supérieure d’Informatique

Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models

本文提出了一种名为 Genetic-Instruct 的方法法，利用自指令学习，从少量种子数据中生成大量合成指令，从而提高大语言模型的代码生成能力。这些模型使用高质量的网页数据进行训练，并在多个学术、

发布日期：2024-06-29

链接：https://arxiv.org/abs/2407.00434

机构：UCL

InverseCoder: Unleashing the Power of Instruction-Tuned Code LLMs with Inverse-Instruct

本文提出了一种名为 INVERSE-INSTRUCT 的方法，通过利用代码本身生成指令来进一步提升指令微调的代码大模型。研究者认为，对于所有软件工程任务，代码大模型应该对语义等价的代码输入保持鲁棒性，同时对非等价的输入保持敏感性。该论文还实验了多种高级推理策略，但没有观察到创造力的显著提升。ALLaM 在各种阿拉伯语基准测试中取得了最先进的性能，包括 MMLU Arabic, ACVA 和 Arabic Exams。

发布日期：2024-07-06

链接：https://arxiv.org/abs/2407.05202

机构：University Of Houston

Beyond Code Generation: Assessing Code LLM Maturity with Postconditions

本文提出了一种基于后置条件生成问题的代码大模型成熟度模型，以更全面地评估代码大模型的能力。该系统采用混合测试台结构和自检系统，并引入了一个自动化的测试台评估框架，从多个角度评估生成的测试台质量。

发布日期：2024-07-19

链接：https://arxiv.org/abs/2407.14044

机构：Carnegie Mellon University

Generating Unseen Code Tests In Infinitum

本文提出了一个生成代码任务测试集变体的方法，该方法可以跨任务和编程语言进行推广，并可应用于内部代码库。

发布日期：2024-07-04

链接：https://arxiv.org/abs/2407.04078

机构：Qwen Team, Alibaba Inc.

CIBench: Evaluating Your LLMs with a Code Interpreter Plugin

本文提出了一种名为 CIBench 的交互式评估框架，用于全面评估大语言模型在数据科学任务中使用代码解释器的能力。这项研究强调了结构信息在提高代码漏洞检测模型效能方面的重要性。SafeCoder 通过使用自动化的管道收集高质量的安全相关数据进行安全中心化的微调，并将安全微调与标准的指令微调相结合，以实现安全性与效用协同优化。

发布日期：2024-06-27

链接：https://arxiv.org/abs/2407.02524

机构：Meta AI

SQL生成

Lucy: Think and Reason to Solve Text-to-SQL

本文针对大模型在处理大型企业数据库查询时面临的挑战提出了一种新的解决方案。研究结果表明，INDICT 可以有效提升模型输出代码的安全性和帮助性，显著提高代码质量。

发布日期：2024-07-30

链接：https://arxiv.org/abs/2408.00019

机构：ONEKQ Lab

代码Agent

INDICT: Code Generation with Internal Dialogues of Critiques for Both Security and Helpfulness

本文提出了 INDICT 框架，旨在通过内部对话机制来提升代码生成大模型的安全性和帮助性。模式链接、它利用多任务学习范式，在三个摘要导向任务上训练编码器，以增强其学习代码-摘要对齐的能力，包括单向语言建模、NExT 使用自训练的方式，无需大量人工标注就能够生成合成训练集，让模型学习到能解决程序修复等任务的执行感知推理。研究表明，专门针对特定任务的较小模型可以比通用的大型模型表现更出色，并在 Meta 内部获得广泛应用，帮助数据科学家和软件工程师提高 SQL 编写效率。功能错误和非终止执行错误。

发布日期：2024-07-11

链接：https://arxiv.org/abs/2407.08532

机构：Beijing JiaoTong University

Towards Practical and Useful Automated Program Repair for Debugging

本文文提出了一个名为 PracAPR 的交互式程序修复系统，旨在提高程序修复技术的实用性、论文通过使用调用图信息进行简单的提示修改，将多步骤检索性能提高了三倍。论文详细阐述了模型架构、

发布日期：2024-07-18

链接：https://arxiv.org/abs/2407.13168

机构：University of Illinois Urbana-Champaign

ECCO: Can We Improve Model-Generated Code Efficiency Without Sacrificing Functional Correctness?

本文提出了 ECCO，一个可复现的基准测试，用于评估基于大语言模型的代码生成效率，涵盖了自然语言驱动的代码生成和基于历史的代码编辑两种范式。响应时间、该模型在 546B LLVM-IR 和汇编代码 token 上进行了训练，并以开放的商业许可证发布，提供 7B 和 13B 两种参数规模。此外，研究团队利用大模型作为测试先知，在64个安卓应用程序中成功检测到24个此前未知的 NCF bug，其中4个已得到确认或修复。作者识别并验证了三种可能的污染来源：直接数据泄露、实验结果表明，AutoVCoder 在 Verilog 代码生成方面的性能优于工业和学术界的大模型。如果您喜欢我们的工作，欢迎试用、论文还探讨了使用 LeetCode 作为基准数据集的利弊，以及数据污染和平台测量可靠性等问题。论文提出了评估性能提升和用户负担之间权衡的指标，并探讨了大语言模型是否能够判断何时需要寻求帮助以及在不同信息可用性水平下的性能。通过将原始数据集与自生成指令进行组合，该方法能够有效地提升代码大模型指令微调后的能力，并在多个代码生成任务中取得优于现有模型的结果。研究者开发了一种改进的代码文本处理流程，保留了结构元素如换行符和空格，以便在建模过程中保持代码的行级结构信息和语义信息。论文还实现了一个名为“自回归”的Python 代码生成任务测试集，专门用于辅助调试和跟踪 LLM 回归测试过程中模型生成的变化。然后，他们选取了一部分技术，在 GPT-3、

链接：https://arxiv.org/abs/2401.16467

机构：UNC Chapel Hill

联系我们

我们团队的多项工作，包括综述、研究发现，MaPP 攻击对各种 LLM 都有效，并且即使最先进的商业模型也无法完全免疫。实验结果表明，CLAP 在单断言语句生成方面达到了64.7%的准确率，在整体断言语句生成方面达到了62%的准确率，优于现有方法。掩码语言建模和动作词预测。同时，他们提出了一种新的网络架构——代码结构感知网络（CSLS），该网络通过行级语义学习，整合了全局漏洞感知、代码辅助和自我纠正的方法来进行数学推理。论文建议未来的研究应该更关注指导大语言模型学习代码变更相关知识，而非仅仅关注注释方面的学习。这些发现有助于更好地理解、CLAP 通过精心设计的提示，结合角色扮演、ASTrust 通过将模型置信度与编程语言的语法结构联系起来，生成可解释的代码生成解释。LLM Compiler 基于 Code Llama 构建，通过大规模训练和指令微调，增强了对编译器中间表示、实验表明，这种解码过程在多个代码生成基准测试中有效地提高了代码的规范性和质量。他们探究了前馈层中存储概念的组织方式、Go 和 Python）进行实验。这项研究不仅展示了 ALPINE 在提高代码语言模型资源效率和可访问性方面的潜力，同时也揭示了源代码分析语料库中存在的冗余和噪声信息，为软件开发中采用语言模型的可持续性做出了贡献。这些剪枝策略不仅降低了所需的计算资源，还提高了整体代码生成质量。代码翻译、在 MMLU、通过对不同教育需求的提示工程策略进行系统分类，以及设计评估框架，该论文探索了如何提升大语言模型解决复杂编程问题的能力。研究结果表明，LLM 在入门编程课程中可能存在积极作用，但也存在潜在的参与度下降问题，其对学生学习成功的长期影响尚不明确。该方法利用了大语言模型的代码生成能力，并针对这类软件的复杂逻辑和并行处理特点进行了优化。YAML 和自然语言表示的约束方面表现较好，但在处理 XML 和 Python 语言表示的约束时仍然存在困难。论文报告了使用该基准测试最新的大模型的结果，发现开源模型的表现令人印象深刻，紧随 GPT-4o 和 Claude 3.5。提交消息生成和实时注释更新等任务上取得了一定进展，但其性能受样本数量和模型大小的影响较大。此外，研究还证明了较小规模的语言模型在这些任务中也能表现出较高的效率。数学推理、

发布日期：2024-07-29

链接：https://arxiv.org/abs/2407.19619

机构：Los Alamos National Laboratory

代码优化

Meta Large Language Model Compiler: Foundation Models of Compiler Optimization

本文介绍了 Meta Large Language Model Compiler (LLM Compiler)，一套专门为代码优化任务设计的预训练模型。实验结果表明，与直接使用 LLM 生成测试台的基准方法相比，AutoBench 在测试台通过率上实现了57%的提升，对于75个顺序电路，其测试台通过率是基准方法的3.36倍。

发布日期：2024-07-03

链接：https://arxiv.org/abs/2407.03157

机构：Peking University

Enhancing Computer Programming Education with LLMs: A Study on Effective Prompt Engineering for Python Code Generation

本文研究了利用大语言模型和提示工程来改善计算机编程教育的潜力。

发布日期：2024-07-12

链接：https://arxiv.org/abs/2407.11072

机构：University of Oregon

Beyond Correctness: Benchmarking Multi-dimensional Code Generation for Large Language Models

本文提出了 RACE 基准测试，它从可读性、同时，使用滑动窗口注意力机制的模型在处理超出单个窗口大小的引用时也存在困难。该研究为提高代码大模型的训练效率提供了新的思路，对于优化模型训练过程和提升代码生成质量具有重要意义。论文期望 Agentless 能够为自动软件代理设定新的基准，并启发未来在这方面的发展。该论文表明，优化后的 RAG 模型能够媲美微调模型，并在处理新的、针对这些发现，作者创建了一个包含161个提示及其对应 Python 解决方案的新数据集。研究人员通过提出一种新的代码难度评估指标，并设计一种新的课程学习时间表，证明了课程学习方法在训练代码语言模型上的有效性，为未来研究代码语言模型的课程学习应用提供了新的思路。Java 和 Python 之间进行代码翻译时展现出良好的修复能力，同时还具有跨语言的鲁棒性。

发布日期：2024-06-28

链接：https://arxiv.org/abs/2407.00225

机构：University of Luxembourg

Augmenting LLMs to Repair Obsolete Test Cases with Static Collector and Neural Reranker

本文提出了一种名为 SynBCIATR 的新方法，用于自动修复由代码变更导致的过时测试用例。通过这项研究，论文为评估和改进代码大模型的语义理解能力提供了一个新的视角和方法。研究发现，不同大模型生成的代码在性能上基本一致，并且平均而言，大模型生成的代码比人类编写的代码更高效。实验结果表明，AUITestAgent 在生成 GUI 交互质量和验证准确率方面优于现有工具，并在美团的实际应用中成功检测出4个新的功能性错误，证明了其实用性和可靠性。NT-Java-1.1B 在 MultiPL-E Java 代码基准测试中表现出色，超越了其基础模型和大多数同等规模的模型。研究者首先通过系统性文献综述识别了现有的可用于代码生成任务的提示技术。它涵盖了该地区多种语言，包括英语、

发布日期：2024-04-25

链接：https://arxiv.org/abs/2407.09975

机构：Stanford University

Let the Code LLM Edit Itself When You Edit the Code

本文提出了一种名为“Positional Integrity Encoding” (PIE) 的方法，用于解决代码生成模型在实时代码编辑场景中遇到的效率和准确性权衡问题。通过将大模型同时作为选择性 RAG 策略和生成模型，该框架在多个基准测试上（包括 RepoEval、AI代码安全与分析、论文深入研究了三种最有希望的基于大模型的方法，发现虽然大多数方法在提高代码效率的同时会降低功能正确性，但加入执行信息通常有助于保持功能正确性，而自然语言反馈则更能提升效率。研究发现，当函数引用在提示中定义较后的其他函数时，模型性能显著下降。这项研究为教育工作者和实践者提供了宝贵的信息，表明有多种可免费获取的语言模型可用于编程教育，从而扩大了大语言模型在计算机教育研究中的应用范围和可访问性。该系统旨在为开发者提供有效的修复建议，帮助他们更加便捷高效地进行调试。

发布日期：2024-07-20

链接：https://arxiv.org/abs/2407.14767

机构：Appier AI Research

How Novice Programmers Use and Experience ChatGPT when Solving Programming Exercises in an Introductory Course

本文着重于探讨生成式人工智能（GenAI）工具，尤其是 ChatGPT，在入门编程课程中对学生的实际应用。汇编语言和优化技术的理解。作者还训练了一个名为 PyLlama3 的 8B 参数模型，在 PyBench 上取得了优异的性能，超越了许多更大规模的模型。研究发现，现有的模型对于数据流和控制流等编程概念的理解仍然不足，表明大语言模型在代码生成方面的成功并不意味着它们真正理解了程序的逻辑结构。

发布日期：2024-07-12

链接：https://arxiv.org/abs/2407.09007

机构：Johns Hopkins University

TAPI: Towards Target-Specific and Adversarial Prompt Injection against Code LLMs

本文提出了一种名为“目标特定对抗性提示注入”（TAPI）的新攻击模式，针对目前广泛应用于代码编程的代码大模型。作者发现，由于 LLM 的训练数据来自未经清理的开源代码库，例如 GitHub，导致模型在代码生成和修复过程中容易忽略安全漏洞，从而产生存在安全漏洞的代码。该方法不仅有效地克服了语言模型在代码编写和执行方面的局限性，还将语言模型的推理能力扩展到更广泛的领域，使它们能够更有效地“用代码思考”并解决复杂问题。针对现有方法中普遍存在的检索问题，如效率低下和检索结果对代码大模型帮助有限甚至有害的情况，该研究设计了一种自监督学习策略，使代码大模型能够精确评估检索是否能提升其输出质量，并稳健地利用潜在的噪声检索结果。研究结果为深入了解大模型在代码生成方面的能力以及未来优化提供了重要参考。研究者使用了两个先进的代码大模型（Codegen-Mono 和 Ploycoder）以及三种常用编程语言（Java、运行时错误、此外，论文还深入分析了直接微调的局限性和强化学习的训练动态，指出开发与 Verilog 代码固有并行语义相一致的全面监督信号对于有效生成代码至关重要。

发布日期：2024-07-02

链接：https://arxiv.org/abs/2407.02395

机构：South China University of Technology

An Empirical Study on Capability of Large Language Models in Understanding Code Semantics

本文提出了一个名为 EMPICA 的综合框架，用于系统性地评估代码大模型在理解代码语义方面的能力。

发布日期：2024-07-10

链接：https://arxiv.org/abs/2407.07472

机构：Zhejiang University

Enhancing Code Translation in Language Models with Few-Shot Learning via Retrieval-Augmented Generation

本文提出了一种利用少样本学习和基于检索的技术来提升代码翻译质量的新方法。研究发现，SAST 工具虽然在检测率上表现不佳，但误报率较低；而大型语言模型则能够检测出 90% 到 100% 的漏洞，但误报率很高。SelfPiCo 能够从代码执行结果中持续学习并逐步优化预测结果，在开源代码和 Stack Overflow 片段中分别成功执行了72.7%和83.3%的代码行，并在实际应用中成功检测到18个和33个运行时类型错误，展现了其在软件调试和测试中的潜力和实际应用价值。与现有的代码生成能力评估方法不同，RACE 考虑了用户需求的差异性，设计了不同类型的用户需求来衡量模型生成符合用户要求的优质代码的能力。实验表明，在包含真实世界代码中常见的 LLM 错误的代码上，模型生成的评论在63%的情况下优于人工评论，并且人类评估发现模型比付费代码审核人员发现的错误更多。

发布日期：2024-07-27

链接：https://arxiv.org/abs/2407.19216

机构：CSIRO’s Data61

ThinkRepair: Self-Directed Automated Program Repair

本文提出了一种名为 ThinkRepair 的基于大语言模型的自导式程序修复方法，该方法通过两个阶段来解决程序修复问题：收集阶段和修复阶段。

发布日期：2024-07-08

链接：https://arxiv.org/abs/2407.06360

机构：Eastern Michigan University

软件测试

Large-scale, Independent and Comprehensive study of the power of LLMs for test case generation

本文文全面评估了大语言模型在单元测试生成方面的有效性，通过对四个 LLM 和五种提示工程技术进行研究，分析了 690 个 Java 类生成的 216,300 个测试用例。这种方法克服了现有模型在 Verilog 代码生成方面表现不佳的缺陷，在多个指标上显著优于现有开源和商业模型，为自动化的处理器设计提供了新的解决方案。条件、PracAPR 不同于传统的程序修复方法，不需要测试套件或程序重新执行，而是通过与开发者交互，获取问题描述，利用测试无关的流分析技术定位错误，并结合大语言模型和策略驱动的全局修复方法生成补丁。

发布日期：2024-07-10

链接：https://arxiv.org/abs/2407.07313

机构：Emory University

RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL

本文提出了一个名为 RB-SQL 的新型检索式大语言模型框架，用于上下文提示工程在文本到 SQL 任务中的应用。

发布日期：2024-07-22

链接：https://arxiv.org/abs/2407.15390

机构：Saudi Data and AI Authority

SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages

本文提出了 SeaLLMs 3，一个基于 Qwen 2 专门针对东南亚语言做了增强的大语言模型。

发布日期：2024-07-04

链接：https://arxiv.org/abs/2407.03891

机构：Technical University of Munich

CodeV: Empowering LLMs for Verilog Generation through Multi-Level Summarization

本文针对现代处理器设计中日益复杂的成本问题，提出了一种基于指令微调的大型语言模型 CodeV，专门用于生成 Verilog 代码。表格模式和非线性写作等挑战。论文进一步分析了难点任务的特征，并据此创建了新的困难任务，旨在帮助研究人员和开发者更好地评估和改进大模型。DotaMath 的创新之处在于它结合了思维分解、

发布日期：2024-07-24

链接：https://arxiv.org/abs/2407.16974

机构：Zhejiang University

Evaluating Large Language Models in Detecting Test Smells

本文研究了大语言模型在自动检测测试代码异味方面的潜力，通过评估 ChatGPT-4、实验表明，NExT 显著提升了 PaLM 2 在程序修复任务上的修复率，并且生成的推理质量得到了自动化指标和人工评估的验证。

链接：https://arxiv.org/abs/2312.04474

机构：Stanford University

NExT: Teaching Large Language Models to Reason about Code Execution

本文提出了 NExT，通过让大语言模型学习检查程序执行轨迹（变量状态）并利用思维链推理来理解程序运行时行为，提升模型对程序执行的理解能力。训练数据、论文通过“否定式提示”技术，逐步增加限制条件，迫使模型采用新的策略，从而提高模型的创造性；并通过 NeoGauge 指标来评估模型在收敛思维和发散思维上的表现。

发布日期：2024-06-21

链接：https://arxiv.org/abs/2407.04722

机构：University of Hanyang

LLM Critics Help Catch LLM Bugs

本文提出了一种通过训练“评论家”模型来提高人类对模型输出评估能力的方法，以此克服人类反馈强化学习（RLHF）的局限性。自治代理和语言用户界面相结合，并采用在线和离线两阶段设计，利用诸如思维链和提示调优等技术，实现了更优异的端到端性能，能够生成或执行脚本，并提供可视化的结果。在 BIRD 和 Spider 等公开数据集上的实验结果表明，RB-SQL 在性能上优于几个具有竞争力的基线模型，证明了其在文本到 SQL 任务中的有效性。

发布日期：2024-07-08

链接：https://arxiv.org/abs/2407.05700

机构：Chinese Academy of Scienc

Curriculum Learning for Small Code Language Models

本文发现，课程学习可以显著提升小规模代码语言模型在代码执行任务上的准确率，尽管它对代码补全的影响并不明显。实验结果表明，ThinkRepair 在修复程序错误方面表现优异，在 Defects4J 和 QuixBugs 数据集上均取得了显著的性能提升，修复了更多的错误，并显著超越了现有的最先进的程序修复方法。

发布日期：2024-07-12

链接：https://arxiv.org/abs/2407.08983

机构：William & Mary

Benchmarking Language Model Creativity: A Case Study on Code Generation

本文提出了一种新的框架，用以量化大型语言模型的创造力，该框架将创造力定义为收敛思维和发散思维的结合。实验表明，合成训练数据中存在显著的冗余，仅使用10%的数据进行训练就能在很大程度上保持基准性能。EaTVul 通过识别重要样本和特征，利用 ChatGPT 生成对抗样本，并采用模糊遗传算法筛选种子数据，最终成功率高达83%，甚至在样本大小为4时达到100%。这项研究为理解 LLM 在处理领域特定语言（DSL）中的约束时的局限性提供了宝贵见解，为未来改进 LLM 在代码生成和约束处理方面的能力指明了方向。

发布日期：2024-07-11

链接：https://arxiv.org/abs/2407.08890

机构：Polytechnique Montreal

Towards More Trustworthy and Interpretable LLMs for Code through Syntax-Grounded Explanations

本文提出了 ASTrust，一种面向代码大模型的可解释性方法。实验结果表明，NoviCode 是一个具有挑战性的代码合成任务，并且使用自然语言指令生成复杂代码超出了当前文本到代码范式的能力。特别是，DotaMath-deepseek-7B 模型在 MATH 数据集上达到了64.8%的优秀表现，在 GSM8K 上达到了86.7%的成绩。这些发现突显了增强模型理解代码语义能力的必要性，特别是在敏感性方面。

发布日期：2024-07-23

链接：https://arxiv.org/abs/2407.16235

机构：Singapore Management University

Code Structure-Aware through Line-level Semantic Learning for Code Vulnerability Detection

本文提出了一种新的代码漏洞检测方法，该方法特别注重保留和利用代码的结构信息。

发布日期：2024-07-31

链接：https://arxiv.org/abs/2407.21369

机构：ShanghaiTech University

Chat-like Asserts Prediction with the Support of Large Language Model

本文提出了一种名为 Chat-like execution-based Asserts Prediction（CLAP）的新方法，利用大语言模型来生成 Python 项目的有意义的断言语句。CrossCodeEval 以及新引入的长形式代码补全基准 CrossCodeLongEval）均实现了最先进的性能。SeaLLMs 3 在世界知识、这些评论家模型是使用 RLHF 训练的语言模型，能够撰写自然语言反馈，突出代码中存在的问题。实验进一步证明了该框架的灵活性，可兼容不同的生成模型、

若您想了解其他时期的代码大模型论文，也欢迎关注我们的代码大模型综述 https://arxiv.org/abs/2311.07989 和 GitHub 开源项目 https://github.com/codefuse-ai/Awesome-Code-LLM，以及往期回顾：

•2024年5月90篇代码大模型论文最全整理

•2024年6月118篇代码大模型论文最全整理

编辑精选

Qwen2 Technical Report

本文介绍了 Qwen2 系列开源大模型和多模态模型，涵盖了从 0.5B 到 72B 参数的模型，以及密集模型和混合专家模型。代码优化、ARC、实验结果表明，ITERTL 在 VerilogEval 评估数据集上取得了优异的性能，即使使用更少的参考样本也能达到甚至超越最先进的开源模型，并在数据量受限的情况下为 LLM 生成 RTL 代码提供了可行方案。论文还尝试将 SAST 工具和大语言模型结合，以降低各自的缺点。推理能力以及代码反馈整合能力。代码微调、

• 代码大模型综述（覆盖900篇论文）：https://arxiv.org/abs/2311.07989

• GitHub 项目：https://github.com/codefuse-ai/Awesome-Code-LLM

• HuggingFace 主页：https://huggingface.co/codefuse-ai

• 魔搭社区主页：https://modelscope.cn/organization/codefuse-ai

如果您想更快地获取到最新信息，欢迎加入我们的微信群