Last Secure Code Benchmark:Vibe Coding 生成的代码安全吗?
Last Secure Code Benchmark 用于评估编程智能体生成代码的安全性。该基准包含 450 项任务,基于 150 个真实漏洞,覆盖七种编程语言和三类场景,从补全函数到构建整个代码仓库。提示只要求实现功能,隐藏测试则同时评估功能与安全性。六种前沿智能体有 73.6% 至 91.3% 的任务通过功能测试;但即便表现最好的模型,也仅在 25.1% 的任务中生成了兼具功能性和安全性的代码。在所有 Vibe Coding 场景中,最佳模型通过的漏洞测试也只有 12%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。