跳到正文

技术方向

AI 视频 最新动态

AI 生成和理解视频:文生视频模型、视频编辑工具,以及影视创作的新做法。

14 条精选近 30 天 14 条共收录 161 条

更新

AI 视频的精选

11月6日周五第 1–14 条
  1. Hugging Face Blog58

    NVIDIA 发布 Cosmos 3 四个开源世界模型检查点

    NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    借鉴点

    四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。

  2. Google AI Blog60

    Google DeepMind 发布 Gemini Omni 1.2 Flash,支持 15 秒视频并降价 30%

    Google DeepMind 发布 Gemini Omni 1.2 Flash,视频生成时长从 10 秒提升到 15 秒,并已在 Gemini API 和 Gemini for business 全面可用。

    借鉴点

    视频产线可换成先低分辨率草稿、再靠多轮对话改细节、最后升到 1080p 或 4K 的流程,代价是 720p 每秒 $0.07,且快速运动和复杂物理仍是已知短板。

11月5日周四
  1. 掘金78

    用 ffmpeg 帧间差分和 PSNR 定位 AI 视频成片的拼接缝

    作者用 ffmpeg 的 signalstats 滤镜逐帧输出 YDIF 亮度差分,找出异常尖峰,再用前后帧 PSNR 把尖峰分成换镜头接缝和同镜头闪烁,阈值取 25dB。

    借鉴点

    用 ffmpeg signalstats 的 YDIF 逐帧差分找尖峰,再用前后帧 PSNR 区分换镜头与闪烁,门槛取 max(中位+8×MAD, P95×1.5) 防塌陷,可挂进视频产线的发布闸门,代价是只抓高运动切低运动一个方向。

11月4日周三
  1. 掘金72

    逛逛GitHub 盘点 9 个可做知识短片与动画的 GitHub 开源项目

    逛逛GitHub 盘点了 9 个用于制作知识短片和动画的 GitHub 开源项目,覆盖 66 种影片风格的 lemo-opuscar、15 种动态设计风格的 mg-styles-15、32 种插画风格的 anidoodle 等。

    借鉴点

    能拿走 9 个开源项目的仓库地址和各自风格数量,落到视频产线,代价是多数要配 Claude Opus 5.5 或 Claude Code,手绘类还需本地 Node、Chrome、FFmpeg 和配音环境。

11月3日周二
  1. Hacker News · AI 讨论71

    实测 DaVinci Resolve 21.1 通过 MCP 让 AI 完成剪辑全流程

    DaVinci Resolve 21.1 新增 AI Assistance,可通过 MCP 服务器让 Claude、Codex 等工具直接操作剪辑时间线,完成选条、跳剪、加标题和导出。

    借鉴点

    可复用其 MCP 接入 Resolve 的配置步骤与提示词结构,把选条、跳剪、标题、导出串成一条视频产线;前提是付费 Studio 21.1 加 Deepgram 词级时间戳,否则内置转写漏词会让剪辑点错位。

  2. Hacker News · AI 讨论80

    Mago Studio 开源本地 AI 视频编辑器,通过 ComfyUI 在本机 GPU 渲染

    Mago Studio 发布开源桌面版 AI 视频编辑器,项目和视频留在本机,渲染走自己的 GPU 上的 ComfyUI,登录后也可用 Mago Cloud 渲染。

    借鉴点

    能拿走的是本地渲染的完整配置清单,Windows 向导装 ComfyUI、节点包和 MiniMax H3 系列 LoRA,接自建 ComfyUI 需 v0.34.0 以上、三个节点包和约 54 GB 模型,代价是 NVIDIA 8 GB 显存起步、约 63 GB 磁盘,且脚本与参考图离线需另装本地 LLM 和图像模型组。

11月1日周日
  1. 雷峰网78

    Pika 基于 MiniMax H3 开源 H3 Flex,六步去噪实现音视频联合生成

    Pika 发布基于 MiniMax H3 的衍生模型 Pika H3 Flex,开放两套 LoRA 适配器权重与推理代码,通过六步去噪联合生成画面和同步立体声音频。

    借鉴点

    能拿走的是六步去噪加两套 LoRA 适配器的组合,把 50 步教师模型蒸馏到 6 步且合并适配器后不增加步数,可接到视频产线的草稿筛选环节;代价是要有 MiniMax H3 基础权重和本地推理环境,1080P 以上增强仍得走 Pika API。

10月30日周五
  1. 雷峰网71

    英伟达与 MIT 团队基于 MiniMax H3 开源 4K 视频增强方案 Open-H3-Regenerate-2K

    英伟达与 MIT 的 Efficient-Large-Model 团队在 Hugging Face 发布基于 MiniMax H3 的视频增强项目 Open-H3-Regenerate-2K 权重,推理代码开在 NVlabs/Sana 仓库,支持 2560×1440 的 2K 输出、最高 3840×2160 的 4K 重生成。

    借鉴点

    能拿走的是只训细化 LoRA、主干与 VAE 冻结,再叠社区适配器三步去噪做 2K/4K 重生成;落到视频产线可把低分辨率草稿放大成片,代价是要 B200 级算力和潜空间放大器等社区组件配合。

  2. Hacker News · AI 讨论78

    Kinoloom 发布本地 AI 电影工作室,8 GB 显卡跑 LTX-2.5 与 MiniMax H3

    Kinoloom 是一个跑在单台 Windows PC 上的本地 AI 电影工作室,作者称在 8 GB 显存的 RTX 3070 上跑起了 22B 的 LTX-2.5 和约 20B 的 MiniMax H3。

    借鉴点

    能拿走的是 8 GB 卡跑 22B 视频模型的三招,单模型独占 GPU 租约、权重留内存按需流式上卡、在 latent 空间接长镜头;代价是 Windows 独占、64 GB 内存和 211 GB 权重,且只在一台机器上测过。

10月29日周四
  1. Reddit · r/artificial74

    商汤开源 27B 模型 SenseNova Code2Video,用写代码方式生成视频并公开生产日志

    商汤开源 Code2Video,一个基于 Qwen3.8-27B 微调的 27B 模型,不直接生成像素,而是为每个镜头写程序、渲染、看帧后改代码。文字、公式和图表数字从源数据输入,避免乱码;每个元素是命名对象,改一处只需小编辑而非整段重生成。

    借鉴点

    能拿走 skill 文件、需求转 brief 模板和含消息与工具调用的生产日志,复刻写代码渲染再改的产线;代价是只适合动效与图表类视频,实拍风格不适用。

10月28日周三
  1. Hacker News · AI 讨论78

    OpenMontage Drama Studio 开源可自托管短剧 AI 工作室

    charlie-w 发布 OpenMontage Drama Studio,一个可自托管的 Web 工作室,把一句话创意经剧本、角色、场景、道具、分镜与镜头、配音、剪辑七个阶段做成短剧或短视频。

    借鉴点

    可照搬它的七阶段流水线拆分和角色/场景/道具参考图复用机制,落到视频产线;代价是图像视频要走火山引擎 Seedream/Seedance 付费 API,S3 和模型 key 都得自备。

10月20日周二
  1. 掘金87

    HeyGen 开源 HyperFrames:写 HTML 就能渲染确定性视频,专为 AI Agent 设计

    HeyGen 开源 HTML 转视频框架 HyperFrames,把视频合成写成普通 HTML 文件,用 data-start、data-duration、data-track-index 标注时间和轨道,动画用 GSAP 等可 seek 库编写,渲染时无头 Chrome 逐帧截图再由 FFmpeg 编码,同样输入得到同样帧。

    借鉴点

    视频源码改成纯 HTML 加 data-* 时间轨道,动画用可 seek 的 GSAP 时间线,无头 Chrome 逐帧截图再 FFmpeg 编码,能接进视频产线的 CI 回归;代价是需 Node.js 22+ 和 FFmpeg,且 387 个未关闭 Issue 要先对照自己场景。

  2. 爱范儿71

    VAST 开源实时世界模型 EdenLive,含 5B/14B 权重与 EdenGolem skill

    VAST 开源实时生成式渲染器 EdenLive,同时放出 5B、14B 模型权重(各含双向生成与少步流式生成两个版本)、实时流式推理代码、EdenGolem v0.1 和前端工作台,并公开技术报告。

    借鉴点

    能拿走 5B/14B 权重、流式推理代码和 EdenGolem skill,把交互状态与画面渲染拆开,接进游戏灰盒或具身数据增强流程;代价是要自备上游交互系统维护规则,长时复杂交互尚未验证。

  3. AWS Machine Learning Blog58

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock,支持按时间段输出结构化视频元数据

    TwelveLabs 的 Pegasus 1.5 视频语言模型已在 Amazon Bedrock 上线,可分析整段视频并按用户定义的分段条件返回带起止时间的 JSON 元数据。

    借鉴点

    能拿走按 segment_definitions 定义字段、一次请求返回带起止时间的 JSON 分段,直接接进视频产线做切片和打标;代价是单请求最长 2 小时、S3 上限 2 GB,且需在 us-west-2 开通模型权限。