Black Forest Labs 访谈解读 FLUX 3 的视觉智能训练思路
Black Forest Labs 在访谈中介绍 FLUX 3 如何联合训练图像、视频与声音,以学习物体运动、视角变化和碰撞声音。团队认为普通二维视频可提供不同视角下物体外观的证据;其视频放大器沿用 FLUX 3 骨干,以减少逐帧增强导致的时间闪烁。FLUX Kontext 团队还分享了从关系标注实验到训练数据和模型的数月迭代,以及修复老旧家庭照片的实际用法。
Black Forest Labs 在访谈中介绍 FLUX 3 如何联合训练图像、视频与声音,以学习物体运动、视角变化和碰撞声音。团队认为普通二维视频可提供不同视角下物体外观的证据;其视频放大器沿用 FLUX 3 骨干,以减少逐帧增强导致的时间闪烁。FLUX Kontext 团队还分享了从关系标注实验到训练数据和模型的数月迭代,以及修复老旧家庭照片的实际用法。
Runway 发布 Praxis-1 机器人控制模型,以开放权重和 Apache 2.0 源码形式提供,并允许商业使用。模型接收摄像头图像、文本指令和机器人位置信息,预测环境变化并持续计算控制动作;其在 Nvidia RoboLab-120 上的成功率为 46.2%,实机十项任务共成功 88 次。
美团 LongCat 开源 LongCat-Video-Avatar 1.6,用于单人和多角色音频驱动视频生成。该版本提升了口型与音频同步、面部和身体动作协调及长视频一致性,支持生成超过 10 分钟的视频,并加入端到端推理优化。
Runway 宣布以 Apache 2.0 许可开放 Praxis-1 的权重、推理代码和微调代码,面向机器人开发者与研究人员使用。该模型是一个 27B 参数的 MoE 扩散 Transformer,在 RoboLab-120 上取得 46.2% 成功率,并可通过 GitHub、Hugging Face、vLLM-Omni 和 Runway Dev 获取。
Google DeepMind 宣布 Gemini Omni 1.2 Flash 视频生成模型正式推出,生成的视频片段最长可达 15 秒,720p 视频价格降至每秒 $0.07。模型支持通过对话逐步修改背景、光线和画面比例,并可通过 Gemini API、Google AI Studio、Flow 等渠道使用,所有生成视频都带有 SynthID 水印。
Google DeepMind 开始推出 Gemini Omni 1.2 Flash,并通过 Gemini API 和 Gemini for business 正式全面开放。
Google DeepMind 开始推出 Gemini Omni 1.2 Flash,新增原生 15 秒视频生成、多轮对话式编辑和增强的参考图遵循能力。该版本支持 3 至 15 秒时长选择,720p 视频价格降至每秒 $0.07,较 Gemini Omni 1.1 降低 30%。
推荐理由:文章说明了 Gemini Omni 1.2 Flash 的时长、价格和编辑能力变化,并给出其在 API 与多款 Google 产品中的可用范围。
Google 宣布 Gemini Omni 1.2 Flash 从今日起在 Google Cloud、Flow、Google Vids、Google Ads、Google AI Studio 和 Gemini API 上推出。Gemini App 同时面向所有 Google AI 订阅者开放,Ultra 订阅者可生成 15 秒片段,详情见 http://goo.gle/4kzWTi3。
同一件事,精选收录的是《Google DeepMind 发布 Gemini Omni 1.2 Flash,支持最长 15 秒视频生成》
Pika Labs 基于 MiniMax H3 进行后训练,推出并开源视频生成模型 Pika H3 Flex。该模型将采样步数从 50 步压缩至 6 步,生成时间大幅降低,同时生成质量有所提升。
Google DeepMind 发布 Genie 4 世界模型,支持原生多模态生成与实时交互式世界模拟。模型结合 Gemini Omni、Gemini 3.8 Flash 等能力,可生成环境音效和交互对话,并模拟物理现象、人物动作及多步骤事件。
推荐理由:原文同时呈现了 Genie 4 的能力边界与可信测试反馈,便于理解实时世界模型当前的可用范围。