系统建设 EduPerf 教育领域基准测试框架与工具集

[will-ww]

大概几个月前，我们在开源领域发起了 OpenPerf 基准测试框架与工具集的工作，摸索出一个路线。

作为一个重要的基础性工作，可以支持到上层非常多的科研项目与工程，同时结合 BenchCouncil 组织，应该可以发展出一条非常具有特色的系统化工作，包括：

• 一个核心开源项目：EduPerf（包括数据集、任务、基准、评价、标准等）
• 一个国际 Workshop EduBench（明年发起第一届，同时开始接受论文，类似 OpenCS Workshop）
• 一个国际期刊的专刊 TBench（每年组织一期教育的专刊，类似 OpenCS）

欢迎大家提出各种建议与想法~

[will-ww]

这里推荐一下中科院计算所詹剑锋老师他们的 position paper：

• Jianfeng Zhan, Call for establishing benchmark science and engineering, BenchCouncil Transactions on Benchmarks, Standards and Evaluations (TBench), 2021

挺不错的一个框架~