英国 AISI 实测 ESM-2 预训练数据过滤削弱目标能力,约 80 美元算力即可恢复
英国 AISI 实测 ESM-2 预训练数据过滤可削弱目标能力但约 80 美元算力即可恢复
AI 导读
英国 AI Security Institute 的 Chem-Bio 团队从零预训练了 8M 到 3B 参数的 ESM-2 蛋白质语言模型,实测预训练数据过滤对专业科学模型目标能力的影响。测试显示数据过滤会削弱目标能力,而约 80 美元算力即可让这些被削弱的能力恢复。
来源:AIHOT · aisi.gov.uk