直接回答
Google - The Gemma 4 Developer Agent Competition 是一场以Autonomous Software Engineering Agent为核心的 Kaggle 比赛,参赛者根据公开数据训练方案并按官方指标提交结果。
适合专业与项目难度
真实 Python 仓库修复、工具工程和测试适合计算机与软件工程;模型后训练、代码检索与验证设计对应 AI、机器学习和数据科学。
为什么评为进阶?
可从官方示例和少量任务起步,但需组合依赖环境、检索、工具调用、时间预算与可复现验证;LoRA 或强化学习属于更深路线。
等级说明:需要专业建模方法、可靠验证或多个工程环节,并完成可解释的对照实验。
建议具备的基础
- Python、Git diff 与 pytest 基础
- Linux/Docker、依赖管理与日志调试
- LLM 工具调用和基础验证设计
可以从哪里开始
先用官方 sample_submission 在少量公开任务上跑通配置、sandbox 和补丁验证;固定任务划分后,再比较提示词、代码图检索和可选 LoRA。
专业与难度由本站根据项目文档分析,面向基线复现与对照实验;具体门槛取决于承担的任务和项目深度。 这不是 Kaggle 官方评级。
先把任务说清楚
Agent 需要读取真实 Python 仓库的问题描述,在固定代码快照中定位相关函数、调用工具修改代码,并输出可应用的 Git diff。官方以补丁是否通过验证测试判断每个任务是否解决,因此代码检索、规划、修改与测试必须形成闭环。公开开发任务提供参考补丁和测试;隐藏评测不向 Agent 提供答案。
输入
- 129 个公开开发任务:问题描述、仓库、base_commit、参考补丁与测试补丁
- 来自 FastAPI、Rich、Requests 和 HTTPX 的仓库快照、代码图与语义向量
- 离线依赖 wheels、sample_submission 与 HARNESS_README;隐藏测试约 120 个任务
输出
- 包含根目录 agent.yaml 的 submission.zip,以及可选提示词、skills 和 LoRA adapters
- 每个任务的 unified Git diff;评测流程生成含 prediction 的 submission.parquet
- 按固定任务划分统计的通过率、超时率、工具轨迹和失败案例
技术路线
- 基线
环境与配置基线
从官方 sample_submission 起步,固定基座模型与依赖,在少量任务上跑通 Agent、sandbox、补丁提取与测试。
- 检索
仓库导航与工具闭环
比较文件搜索、语义检索和代码图,保留定位依据与工具轨迹,处理命令失败和非法路径。
- 验证
任务划分与错误分析
隔离保留验证任务的参考补丁,按任务或仓库划分,报告通过率并区分定位、补丁、测试和超时错误。
- 实验
预算内的对照改进
逐项比较提示词、检索、上下文管理、子 Agent 和可选 LoRA,在 12 小时总预算下核验收益与打包结构。
组队时间窗口
- Team Merger deadline
- 2026年11月25日
- Final submission deadline
- 2026年12月2日
- 比赛结束日期
- 官方结束日期待核验
- 预计结果日期
- 2026年12月9日,Final Submission 后增加 7 个自然日
预计结果日期用于时间适配,不代表官方奖项发布日期或结果承诺。
规则与提交信息
- 公开分类
- agent
- 最大队伍人数
- 5
- 评价指标
- 逐任务 PASS/FAIL:通过验证测试的任务比例
- 提交文件
- submission.zip(根目录必须有 agent.yaml)
- 运行上限
- 全部任务共 12 小时,含 sandbox 初始化,不含补丁验证时间
- 最多 5 人组队;报名与组队截止为 2026-11-25 UTC 23:59(北京时间次日 07:59),最终提交为 2026-12-02 UTC 23:59。
- 每日最多提交 1 次,最终最多选择 2 份;合并队伍需满足官方总提交次数限制。
- 提交 submission.zip,根目录必须包含 agent.yaml;评测生成的 submission.parquet 是输出文件。
- 每个 Agent 与子 Agent 均须使用 gemma-4-31b-it-qat-w4a16-ct;LoRA adapters 可选。
- 工具调用、skills 与文件访问遵循官方 harness 和 sandbox 限制;外部数据及获奖开源义务以 Rules 为准。
- 论文赛道独立提交,截止为 2026-11-12 UTC 23:59,不能替代本预测赛道的 Agent 提交。
比赛状态、Rules、提交限制和赛程可能变化,请以 Kaggle 官方页面为准。
资料说明:用于理解任务和公开方案,不代表实时排名、最终成绩或结果承诺。
公开研究资料
以下图表基于公开页面整理,用于理解公开方案与讨论主题。数据会变化,不作为成绩、排名或结果承诺。
协作重点与可交付成果
协作重点
- 代码检索与代码图
- Agent 工具与提示词
- sandbox 评测
- LoRA 与后训练实验
项目产出
- 可运行的 Agent 配置与 ZIP 打包校验
- 代码检索和工具调用模块
- sandbox 评测与版本固定脚本
- 补丁、执行日志、对照实验及可复现 README
复盘与面试可以讲什么
- 为什么生成代码不等于通过任务验证
- 文件搜索、语义向量和代码图各提供什么证据
- 如何隔离参考补丁并防止公开开发集过拟合
- 多 Agent 或 LoRA 的收益是否值得额外时间与算力
适合用途
官方规则与赛程
团队、资格、数据、模型、代码共享和提交方式以单场 Rules 最新内容为准。
https://www.kaggle.com/competitions/gemma-4-developer-agent

