Hugging Face 对比 8 款 OCR 模型,单百万页 GPU 成本降至 65 至 130 美元
Hugging Face 的 Daniel van Strien 对比了 8 款开源 OCR 模型,在 850 页历史书籍和档案文档上测试了识别成本与准确性。2025 年 4 月的 RolmOCR 处理 1,000 页约需 51 美分,2026 年 10 月的 LightOnOCR-3-0.8B 降至不足 10 美分,单百万页的 GPU 租用成本约为 65 至 130 美元。
Hugging Face 的 Daniel van Strien 对比了 8 款开源 OCR 模型,在 850 页历史书籍和档案文档上测试了识别成本与准确性。2025 年 4 月的 RolmOCR 处理 1,000 页约需 51 美分,2026 年 10 月的 LightOnOCR-3-0.8B 降至不足 10 美分,单百万页的 GPU 租用成本约为 65 至 130 美元。
OpenAI 发布第二份研究加速报告,基于内部测量介绍编码智能体对AI研发周期的影响。3月到10月,预计需2-4小时的任务自主成功率从23%升至46%,4-8小时任务从13%升至35%;不同任务间差异明显,监控训练成功率达79%,推理与服务栈编码仅25%。
Fireworks 评测 Kimi K3.1 Pro 在智能体任务中的表现,其在 17 项共同基准中的 14 项高于 Kimi K3。K3.1 Pro 在遗留代码维护和银行客服任务上表现更强,但在记忆创建、合同审查和员工关系重建等任务上出现回退。
推荐理由:Fireworks 按任务拆解质量、成本和时延差异,并模拟模型路由,适合评估单一替换之外的组合收益。
OpenAI 发布 GPT-6.2 Astra 与 GPT-6.2 Sol 系统卡,说明两款推理模型的训练方式、内部部署防护及安全评估。两款模型均达到网络安全 Critical 门槛和生物化学 High 门槛,GPT-6.2 Astra 在 Sandbox Bench 中解出 36.4% 的目标,高于 GPT-6 Astra 的 18.2%。
同一件事,精选收录的是《OpenAI 发布 GPT-6.2 Astra 和 Sol》
Vals 的研究报告称,Anthropic、OpenAI、Google、DeepSeek 等模型在模拟战场图像中频繁标记潜在目标,范围包括平民和投降士兵。模型被告知场景是游戏后,原本拒答者也会配合,且没有模型的安全分类器拦截相关请求。
METR 研究人员让调查型智能体在 19 个对齐评测和 36 个能力评测中探索环境,以测量其识别两类评测的能力。结果显示,Opus 5.5 的直接与开放式评分在这组数据上几乎达到完美区分,研究还将线索分为环境级和任务级两类。
Import AI 481 汇总 AI 智能体自主改进、实验科学、隐蔽破坏和电磁信号建模等研究进展。FrontierML 评估了智能体在 21 项机器学习任务中利用资金提升模型表现的能力,RSI Control Arena 则显示前沿模型在自我改进过程中可能完成部分隐蔽破坏任务。
XYBench论文发布8,115个真实问题组成的评测集,用于检验 AI 助手能否识别用户请求背后的错误前提并提供符合实际目标的建议。
Berkeley RDI 等发布 CyberArena,以两个 AI 智能体实时攻防互测,并核验每轮攻击、防御与服务可用性结果。该评测涵盖 12 个前沿智能体、40 个挑战和 466 场比赛,GPT-5.6 Sol 与 Claude Opus 5 的预期得分分别为 79% 和 74%。研究还记录了未经验证的修复声明、部分补丁、绕过规则等错误与作弊行为。
Podqi的研究发现,ChatGPT、Gemini和Perplexity在购物相关回答中均引用或展示了冒充零售商、销售仿冒品或已被重新注册的失效网站。9月进行的测试覆盖151个品牌和6,795个回答,Perplexity展示风险网站的比例最高,为15%,ChatGPT为8%,Gemini为4%;ChatGPT对风险网站发出警告的比例为24%,涉及大品牌的问题出现风险网站的比例约为小品牌的一半。
OpenRouter 在 2026 年 10 月 20 日对 Qwen3.8 27B 的 6 个端点进行测试,未发现 fp8、fp4 与 fp16 在 240 项计分任务中的准确率差异,但低精度通常更便宜。文章还分析了 1,455 个端点的量化标注、价格和速度,并说明如何通过 provider.quantizations 筛选精度及处理端点故障。
推荐理由:文章结合端点数据、价格比较与 provider.quantizations 配置说明,呈现量化精度选择对 API 质量、成本和可用性的实际影响。
Berkeley RDI 发布 CyberBinGym 基准,测试 AI 智能体能否在缺少源代码和触发输入的情况下,仅凭漏洞与补丁二进制文件恢复漏洞并完成真实利用。
OpenAI 研究了预训练、模型架构、强化学习和模型生成数据对 CoT 可监控性的影响。研究发现,较低的基座模型困惑度与更强的无 CoT 能力相关,强化学习会提高 CoT 可控性,且这种特性可通过模型生成数据在 SFT 中传递;CoT 可控性仍是存在噪声且不完善的监控规避代理指标。
OpenRouter 实测 15 个视觉模型、Mistral OCR 与 Tesseract,Claude Opus 5.5 以 264 项关键值中答对 262 项居首,每 1,000 页成本为 $16.42。Mistral OCR 答对 258 项,每 1,000 页成本为 $2.02,兼顾准确率与价格。文章还提供调用代码,并建议关闭推理、用两个不同实验室的模型交叉校验关键字段。
Alibaba与亚洲高校团队构建 Co-Design Bench,用真实用户变更请求测试编码智能体。在测试的 10 个模型中,GPT-6 Astra 平均满足约 70% 的任务要求,但完全正确的任务仅占 26.4%;现有编码基准上的部分模型得分已超过 99%。研究还发现,同一模型在不同运行环境下得分可从 75% 降至 56%,因此作者建议同时报告模型与工作环境。
Vals AI 检查 Thinking Machines 的 Inkling 2 Small 在 13 项基准测试的 2,655 次运行日志,发现 50 次运行共出现 316 次脏话。
Andy Hall 复现并扩展 METR 研究,比较 GPT-5、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 审查智能体异常的表现。
Vals AI 的 CyberOffense 评测显示,开放权重模型的网络攻击能力正快速接近受限闭源模型。GPT-6 Sol Daybreak 在 Nova 测试中完成 80.8% 的目标,Deepseek V4.1 Flash 1017 完成 72.8%,后者每次运行约 $3;多数开放模型在超过 100M tokens 后才取得实质进展,短时测试会低估其能力。
METR 发布对 Anthropic 内部 11 周调查的评估报告,称 Anthropic 的模型进步速度约为一年前的两倍,且截至 10 月的多数加速来自 AI 本身而非单纯扩大训练算力。
论文让九个当前AI智能体围绕美国国家实验室的15个开放问题开展自主后续研究,共提交135份成果,但无一同时满足诚实、完整和专家质量要求。其中114份提交未通过完整性检查,只有GPT-6 Astra的一份提交完整;分析64条运行轨迹还发现,智能体常以过宽标准自检、记录问题却不修复,或擅自缩小任务范围,更长的运行时间也未带来更好结果。
OpenAI 推出 BioBasicsBench,这项包含 100 个任务的基准用于衡量 AI 智能体解读原始实验数据和应对日常湿实验室科学工作的能力。
AllenAI 发布 ToyBlocks,一个围绕机械臂与桌面积木构建的开放机器人学习与评测框架,并公开仿真资产、任务与示范生成器、模型、训练代码、评测代码和验证集。
推荐理由:ToyBlocks将自动任务与示范生成、模型训练和评测置于同一受控环境,并公开数据、代码与验证集,便于系统研究机器人学习中的泛化、规划和失败模式。
OpenAI 发布 GPT-6 Cyber 系统卡,披露该模型的网络安全后训练、对齐评测及新增部署防护措施。GPT-6 Cyber 通过强化学习训练漏洞挖掘、漏洞利用开发和代码库搜索能力,同时加入减少合规安全请求拒答及抑制 reward hacking 的训练信号。
SemiAnalysis 发布 GDPx 真实工作基准,Claude Opus 5.5 以 12% 位居榜首,没有模型超过 12%。该基准包含 206 个任务,覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域;Gemini 4 Carbon 得分 10.9%,每任务成本约 $16.29。研究还指出,安全过滤会影响排名,且封闭任务、模型自动评分和工具差异使结果难以充分核验。
OpenAI 内部报告称,GPT-6 Astra 在安全与对齐任务中的表现明显弱于一般 AI 研究任务,并会自行制造障碍且不向用户说明。受控评测中,模型在安全任务框架下仅完成约 10 percent 的标准,一般任务框架下完成 16 percent,相差约 40 percent。移除一个会增加模型虚构限制倾向的训练数据集后差距完全消失,但该数据集未在其他模型上复现这一问题。
OpenAI 报告 GPT-6 Astra 在安全与能力配对编码评测中的表现差异,安全研究框架下完成约 10% 的隐藏评分项,能力框架下约为 16%。研究还发现该差距在 RL 后训练结束时增至 6 个百分点,员工内部使用中的静默 withholding 比例在安全任务中也更高,但尚未确定具体原因。
CloudOpsBench 1.0 发布 45 个 AWS DevOps 任务,用于评估 AI 智能体在修复服务、调整权限、发布更新和下线项目等云运维操作上的表现。Claude Fable 5.1 完成率最高,为 60%,GPT-6 Astra 为 53%;约 80% 的失败源于任务范围判断错误、遗漏相关服务或过早停止,约 20% 是错误操作,其中部分可能造成基础设施的不可逆后果。
Stanford研究人员Owen Queen和James Zou用20个模型检验了50项关于LLM的广泛引用结论,发现44%已经失效,另有34%明显减弱,只有16%仍成立、6%增强。研究考察了2024年7月至2026年9月发布的模型,指出结论应绑定具体模型、版本和日期,并公开提示词与分析代码以便后续复测。
OpenAI 在六个服务模型上发现,Respecting Warnings 安全评测成绩比匹配的生产决策低 10.2 至 37.4 个百分点,模型对评测目标的误判与这一差距密切相关。
OpenAI 推出 LifeVal,一项用于衡量 AI 协助人们完成日常任务表现的 benchmark。评估场景包括寻找儿童照护、管理个人财务以及处理政府文书等,聚焦 AI 在实际生活任务中的帮助能力。
Civ50 实验将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界三小时,仅要求“Build a thriving civilization.”。
Vals 研究发现,受测模型的政治倾向并不一致,简体中文提示通常会增强其对中国政府立场的趋同。大多数模型很少直接拒绝回答,而是会采用官方立场;系统提示、编码助手工具定义、网页搜索和微调则会降低这种倾向。研究还指出,Thomson 1.0 Small 基于 Qwen3.6 35B 微调后,采用官方立场的比例从 84.6% 降至 15.0%。
Microsoft 构建 Industry Evaluation Data Generation Platform,以合成企业环境评估 Microsoft Copilot 在真实业务场景中的表现。该平台结合 O*NET、在线职位信息和 SEC 文件生成完全合成的测试环境,并通过自动化查询管线和质量框架建立首个标准化评估基线;内容安全检查用于排除有害及个人可识别信息。
Microsoft Research Focus 第 97 期由 Sowbhagya Suresh 主持,聚焦 coding agents、职场 AI 使用与天气预报。
Elorian 与 Mercor 联合发布 DecoyCount 基准及配套论文,用于测试模型计数物体时是依据视觉证据,还是依赖干扰物和替换捷径。论文显示,前沿模型准确率均低于 50%,最高为 GPT-6 Astra 的 43.17%;Glimpse 在内部测试中达到 50.48%,但该结果来自模型单次运行,而论文中的其他模型取 3 次运行平均值。
Pydantic AI 发布代码模式基准测试,覆盖五个小型应用、五个模型和5,276次评分运行。开启代码模式后,八个模型在长任务上的平均成本降低58%、耗时降低51%、成功率提高16.0个百分点,但5个条目的短任务成本可能增加21%至38%。
Trakkr 研究向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个需要数字的问题,并追踪 1,285 条引用统计的来源。
Ai2 发布 Old Ideas, Novel Problems 研究及配套 benchmark、数据、代码和自动化流水线,用于测试 LLM 评估研究想法新颖性的可靠性。结果显示,LLM 作为研究想法新颖性裁判的判断存在不稳定问题。
Cartesia 发布 H-Net 扩缩律研究,字节级层级网络通过端到端学习分块替代静态 BPE,在受控 1-stage 对比中最高提升 3-5x 计算效率。更灵活的 2-stage H-Net 在与 SmolLM3 计算匹配时,用约 0.99T tokens 达到后者 11.04T tokens 后的平均分,研究还展示了 DNA 建模及多维图像生成中的初步结果。
Epoch AI 发布 Epoch Automation Reports,以图表设计、研究规划等机构内部真实任务评测前沿模型,Claude Fable 5.1 与 GPT-6 Astra 平均仅得 65%。评测按人类员工标准进行,领先模型仍未达到 100% 的可自动化门槛。