Skip to content

SJTU-jCourse/bench

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 

Repository files navigation

选课社区 AI Coding 大测评

选课社区是典型的前后端分离项目,项目规模适中(前后端代码行数 2w 行左右),涉及到经典的 Web 前后端技术场景。通过本次测评,可以检验 AI Coding 模型在选课社区项目中的实际效果,进而延展出各模型和 AI Coding 工具在 Web 开发场景中的能力。

测评内容

本次测评主要针对选课社区项目中的前端代码进行 AI Coding 测评。具体测评为:在前后端整体的代码目录下,只有后端项目的代码,在工具中使用一定 prompt 要求工具的 agent 根据后端代码,生成完整的前端代码,并且保证前端代码能够正常运行。

具体的评分点如下:

  1. 基础正确性:生成的前端代码能够正常运行,并且能够通过生产构建。记为 10 分。
  2. 接口正确性:生成的前端代码能够正确调用后端接口,并且能够正确处理后端接口返回的数据。每个接口记为 1 分。
  3. 页面美观性:生成的每个页面应该保持相同的 UI 风格,并且能够正确展示后端接口返回的数据。每个页面记为 1 分。
  4. 用户交互性:页面中的每个可供用户交互的元素都需要能够正确响应用户操作,并且能够正确调用后端接口。每个交互元素记为 1 分。

About

测试 AI Coding 模型&工具效果

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published