当前比赛LLM · Agent · NLP

Autonomous Software Engineering Agent

推荐专业:AI / Computer Science / 软件工程 / Machine Learning / Data Science难度:进阶

Google - The Gemma 4 Developer Agent Competition

基于 Gemma 4 构建软件工程智能体,为真实 Python 仓库生成并验证代码补丁。

页面更新:。赛程变更以官方 Timeline 为准。

核对官方 Rules / Timeline 返回当前比赛
Team Merger2026年11月25日
Final Submission2026年12月2日
预计结果2026年12月9日

直接回答

Google - The Gemma 4 Developer Agent Competition 是一场以Autonomous Software Engineering Agent为核心的 Kaggle 比赛,参赛者根据公开数据训练方案并按官方指标提交结果。

适合专业与项目难度

AIComputer Science软件工程Machine LearningData Science难度:进阶

真实 Python 仓库修复、工具工程和测试适合计算机与软件工程;模型后训练、代码检索与验证设计对应 AI、机器学习和数据科学。

为什么评为进阶?

可从官方示例和少量任务起步,但需组合依赖环境、检索、工具调用、时间预算与可复现验证;LoRA 或强化学习属于更深路线。

等级说明:需要专业建模方法、可靠验证或多个工程环节,并完成可解释的对照实验。

建议具备的基础

  • Python、Git diff 与 pytest 基础
  • Linux/Docker、依赖管理与日志调试
  • LLM 工具调用和基础验证设计

可以从哪里开始

先用官方 sample_submission 在少量公开任务上跑通配置、sandbox 和补丁验证;固定任务划分后,再比较提示词、代码图检索和可选 LoRA。

专业与难度由本站根据项目文档分析,面向基线复现与对照实验;具体门槛取决于承担的任务和项目深度。 这不是 Kaggle 官方评级。

先把任务说清楚

Agent 需要读取真实 Python 仓库的问题描述,在固定代码快照中定位相关函数、调用工具修改代码,并输出可应用的 Git diff。官方以补丁是否通过验证测试判断每个任务是否解决,因此代码检索、规划、修改与测试必须形成闭环。公开开发任务提供参考补丁和测试;隐藏评测不向 Agent 提供答案。

LLMAgentNLP

输入

  • 129 个公开开发任务:问题描述、仓库、base_commit、参考补丁与测试补丁
  • 来自 FastAPI、Rich、Requests 和 HTTPX 的仓库快照、代码图与语义向量
  • 离线依赖 wheels、sample_submission 与 HARNESS_README;隐藏测试约 120 个任务

输出

  • 包含根目录 agent.yaml 的 submission.zip,以及可选提示词、skills 和 LoRA adapters
  • 每个任务的 unified Git diff;评测流程生成含 prediction 的 submission.parquet
  • 按固定任务划分统计的通过率、超时率、工具轨迹和失败案例

技术路线

  1. 基线

    环境与配置基线

    从官方 sample_submission 起步,固定基座模型与依赖,在少量任务上跑通 Agent、sandbox、补丁提取与测试。

  2. 检索

    仓库导航与工具闭环

    比较文件搜索、语义检索和代码图,保留定位依据与工具轨迹,处理命令失败和非法路径。

  3. 验证

    任务划分与错误分析

    隔离保留验证任务的参考补丁,按任务或仓库划分,报告通过率并区分定位、补丁、测试和超时错误。

  4. 实验

    预算内的对照改进

    逐项比较提示词、检索、上下文管理、子 Agent 和可选 LoRA,在 12 小时总预算下核验收益与打包结构。

组队时间窗口

Team Merger deadline
2026年11月25日
Final submission deadline
2026年12月2日
比赛结束日期
官方结束日期待核验
预计结果日期
2026年12月9日,Final Submission 后增加 7 个自然日

预计结果日期用于时间适配,不代表官方奖项发布日期或结果承诺。

规则与提交信息

公开分类
agent
最大队伍人数
5
评价指标
逐任务 PASS/FAIL:通过验证测试的任务比例
提交文件
submission.zip(根目录必须有 agent.yaml)
运行上限
全部任务共 12 小时,含 sandbox 初始化,不含补丁验证时间
  • 最多 5 人组队;报名与组队截止为 2026-11-25 UTC 23:59(北京时间次日 07:59),最终提交为 2026-12-02 UTC 23:59。
  • 每日最多提交 1 次,最终最多选择 2 份;合并队伍需满足官方总提交次数限制。
  • 提交 submission.zip,根目录必须包含 agent.yaml;评测生成的 submission.parquet 是输出文件。
  • 每个 Agent 与子 Agent 均须使用 gemma-4-31b-it-qat-w4a16-ct;LoRA adapters 可选。
  • 工具调用、skills 与文件访问遵循官方 harness 和 sandbox 限制;外部数据及获奖开源义务以 Rules 为准。
  • 论文赛道独立提交,截止为 2026-11-12 UTC 23:59,不能替代本预测赛道的 Agent 提交。

比赛状态、Rules、提交限制和赛程可能变化,请以 Kaggle 官方页面为准。

资料说明:用于理解任务和公开方案,不代表实时排名、最终成绩或结果承诺。

公开研究资料

以下图表基于公开页面整理,用于理解公开方案与讨论主题。数据会变化,不作为成绩、排名或结果承诺。

Gemma 4 开发者智能体比赛速览
官方任务、组队人数、提交限制与 UTC 赛程;只介绍给定 URL 的预测赛道。 · 官方出处
Gemma 4 仓库输入、Agent 补丁与验证流程
上传 ZIP 配置,由 Agent 生成 Git diff,再由评测测试验证;Parquet 是评测输出。 · 官方出处
Gemma 4 逐任务 PASS FAIL 评分教学示意
5 个假设任务中 3 个通过,比例为 60%;仅为指标示意,不是官方榜或团队成绩。 · 官方出处

协作重点与可交付成果

协作重点

  • 代码检索与代码图
  • Agent 工具与提示词
  • sandbox 评测
  • LoRA 与后训练实验

项目产出

  • 可运行的 Agent 配置与 ZIP 打包校验
  • 代码检索和工具调用模块
  • sandbox 评测与版本固定脚本
  • 补丁、执行日志、对照实验及可复现 README

复盘与面试可以讲什么

  • 为什么生成代码不等于通过任务验证
  • 文件搜索、语义向量和代码图各提供什么证据
  • 如何隔离参考补丁并防止公开开发集过拟合
  • 多 Agent 或 LoRA 的收益是否值得额外时间与算力

适合用途

留学申请考研/科研求职竞赛履历主页成果

官方规则与赛程

团队、资格、数据、模型、代码共享和提交方式以单场 Rules 最新内容为准。

https://www.kaggle.com/competitions/gemma-4-developer-agent

站内下一步

添加微信,咨询竞赛与项目方案

先发送项目名称和一句需求,确认起步方向;需要辅导时再讨论支持内容与费用。

添加后发送:Kaggle 项目咨询

微信二维码
展开完整咨询模板(可选)