跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

44 条精选近 30 天 35 条共收录 296 条

更新

精选归档 · 第 3 页

10月14日周三第 41–44 条
  1. Google DeepMind62

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,今日起通过 AI Studio 和 Gemini API 向开发者与企业开放,Google AI Ultra 订阅者可在 Antigravity 使用,Gemini 应用和 Search 的 AI Mode 面向 Ultra 与 Pro 订阅者开放。

    借鉴点

    可借鉴的是把 .agents/skills 规则本加一段目标交给模型整夜自主跑,换来 ADK 会话准备时间降 40%、冷导入快 21%;前提是能接受无人值守改生产代码并逐条审 PR。

  2. Google AI Blog60

    Google 发布 Gemini 4 Argon,API 定价每百万输入 token 2 美元

    Google 发布前沿模型 Gemini 4 Argon,面向开发者、企业、科研人员和消费者全球开放,API 介绍价每百万输入 token 2 美元、输出 10 美元,缓存输入享 95% 折扣。

    借鉴点

    可借鉴的是把 .agents/skills 规则本加一段目标交给模型夜间自主跑优化,ADK 会话准备时间降 40%、冷导入快 21%;前提是已有可跑的基准和测试兜底。

10月7日周三
  1. Google DeepMind78

    Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个把文本、代码、图像、视频和音频映射到统一嵌入空间的端侧多模态嵌入模型,采用 Apache 2.0 许可,参数量 740M。

    借鉴点

    可把本地 RAG 的检索层换成单一多模态嵌入模型,文本 270M、视觉 170M、音频 300M 按需加载,MRL 截到 128 维省 6 倍存储;代价是需自行接 LiteRT 或 transformers.js 部署。

10月6日周二
  1. Mistral AI62

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态、月底开放权重

    Mistral 发布 Mistral Large 4 公开预览,可通过 Mistral Studio 的 API 试用,权重定于本月底放出。该模型为 1 万亿参数原生多模态模型,激活参数 520 亿,在 3800 块 NVIDIA Grace Blackwell GPU 上从零训练,训练数据覆盖 160 多种语言。

    借鉴点

    可借鉴的是其 RL 训练栈设计:共享可组合接口把单轮对话、科学解题、安全对齐、长程工具调用放进同一次训练,验证侧混用奖励模型、单测、LLM 判官;代价是 3k GPU 规模与每天约 330 亿 token 的吞吐,本地复现门槛高。