跳到正文
  1. Hugging Face Blog71

    Phonon TTS 发布端侧语音模型,登顶 Hugging Face Open TTS 榜单

    Phonon TTS 发布可在设备本地运行的小型语音模型,无需服务器和网络,提供约 65 MB 和 75 MB 两个尺寸,覆盖英语、法语、德语、西班牙语和葡萄牙语。

    借鉴点

    能拿走 ptts 多后端推理框架和 Transformers 里约 200 行的模块化接入写法,把 TTS 落到本地模型部署与端侧语音产线,代价是要自己处理 flow matching 训练不稳定和声音张量预计算。

  1. 掘金75

    给 AI 装上耳朵:离线语音识别与唤醒的国内环境踩坑实录

    作者复盘本地 AI 中控的离线语音识别与唤醒实践,记录三个坑及修法。

    借鉴点

    能拿走模型候选列表顺序即优先级加环境变量逃生舱、HF_ENDPOINT 镜像、GitHub 走 REST API 下 release、SAPI5 零子进程播报;落到本地模型部署和语音产线,代价是唤醒率与音质仍需本机实测。

  1. 掘金78

    Agent 语音引擎从 CosyVoice2 zero-shot 换成 GPT-SoVITS 微调,说话人余弦 0.06 升到 0.89

    作者给 QQ 上的 Agent 做固定角色语音回复,先用 CosyVoice2 zero-shot 加频响补偿做到够用,再用自写脚本量出说话人余弦只有 0.06–0.09、底噪抖动达 30dB 的天花板。

    借鉴点

    可拿走一套 TTS 量化脚本(人声厚度、底噪 p10、说话人余弦)和 GPT-SoVITS v2 微调参数,把固定角色音色从 zero-shot 换成训练进权重,代价是要 100s 级清洗音源并接受 seed 抖动。

  1. 掘金88

    VoiceStudio 搭配 VoxCPM 2 本地配音教程:参考音频清洗、分段与质检全流程

    作者用 VoiceStudio 加 VoxCPM 2 在本地搭出一套可商用的中文配音流程,给出图形界面和 Mac 上 mlx-audio 两条路线。

    借鉴点

    能拿走参考音频清洗流程(HTDemucs 分离加 DeepFilterNet3 降噪、停顿低于语音 25 dB 的门禁)、每段不超 100 字只在句末切、ASR 对稿超 0.15 换种子重试,落到视频产线和本地模型部署;代价是 Mac 上单进程串行跑,参考不干净会整段返工。

  2. 掘金78

    从零搭建 QQ「大肥鱼」AI 机器人:NapCat 加 AstrBot 串起 DeepSeek、语音与飞书 Agent

    作者用一台 Ubuntu 服务器、两个 Docker 容器和五个自写插件,把 NapCat(OneBot v11)、AstrBot 4.29.3、DeepSeek deepseek-flash、本地 Whisper、Edge TTS 和 DSH Agent 串成一条 QQ 机器人链路,并给出可复制的命令与配置。

    借鉴点

    能拿走 NapCat+AstrBot 双容器串联、modalities 显式声明、Whisper 强制中文加 loudnorm 归一化、TTS 前正则清洗这几处具体配置,落到本地模型部署和知识沉淀线;代价是 QQ 自动化有封号风险,NapCat 重启要重扫码。

  1. Hugging Face Blog68

    NVIDIA 发布 Nemotron 3.5 Transcribe 语音模型与 Granary v2 数据管线

    NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合进一个 checkpoint,支持 40 种语言转写、31 种语言与英文互译、13 种语言说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。

    借鉴点

    可拿走 Granary v2 四阶段数据管线和 NeMo Speech 微调配方(编码器+投影训练、LoRA 调语言模型、按解码结果选 checkpoint),落到本地模型部署与知识沉淀线;代价是需自备至少 100 条真实标注片段做选点,且通用英文 WER 会小幅上升。

  2. 掘金78

    用 MOSS 生图、TTS 和 ffmpeg 把历史故事做成竖屏视频的完整流水线

    作者用 MOSS 开放平台的生图与 TTS 接口加 ffmpeg,把法拉第与爱迪生的历史故事做成 1080×1920 竖屏视频,全程不开剪辑软件。

    借鉴点

    能拿走分镜 JSON 加三个脚本的纯命令行流水线,按实测音频时长反推时间线、ASS 烧字幕、ffmpeg zoompan 运镜,落到视频产线;代价是生图水印需 OpenCV inpaint 本地处理,concat 清单必须写绝对路径。

  1. Hacker News · AI 讨论78

    Poldi 开源本地离线语音助手,面向小显存消费级硬件

    RhinoDevel 在 GitHub 开源 Poldi,一个完全跑在本地硬件上的语音对话助手,用 C# 写服务端,配 Node.js 免手客户端和网页客户端,支持唤醒词、打断回答和终端模式。

    借鉴点

    能拿走一套低显存本地语音助手的完整配置,含各档模型对应的量化版本与采样参数、分类器与记忆模型分开加载、keepLoaded 关掉后用快照换显存;落到本地模型部署这条线,代价是要自己装 SearXNG、Caddy 和一堆编译依赖。

  1. 掘金78

    Windows 桌面语音唤醒从 Vosk ASR 迁移到 sherpa-onnx KWS 的实践复盘

    作者把 Windows Electron 桌面语音助手的唤醒方案从 Vosk Grammar 模式换成 sherpa-onnx 的 KeywordSpotter 加 Silero VAD,唤醒判定从识别文本的字符串匹配变成声学 token 序列精确匹配。

    借鉴点

    能拿走 KWS 阈值三档、400ms 宽限期、预卷环形缓冲和 numThreads=1 这几个具体配置,换掉用 ASR 文本匹配做唤醒的链路;代价是 VAD 挡不住旁人真语音,还得另加声纹或文本过滤。

  2. AWS Machine Learning Blog58

    AWS 用实测 Q_max 和 T_total 推导 SageMaker 上 Kokoro-82M 的自动扩缩容阈值

    AWS 机器学习博客给出在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M 并实测推导自动扩缩容参数的方法,用 Q_max(单实例在 SLO 内能承受的最高并发)和 T_total(一次扩容端到端耗时)两个测量值算出扩容阈值、缩容阈值和两个冷却时间。

    借鉴点

    能拿走一套五命令链 drift/qmax/ttotal/plan/validate,用实测并发上限和扩容耗时反推扩缩容阈值与冷却时间,落到本地模型部署线;代价是要跑约 36 分钟压测并占用 GPU 配额,样本容器还钉着有已知漏洞的旧 PyTorch。

  3. AWS Machine Learning Blog60

    AWS 用 SageMaker AI 上的 Kokoro TTS 为 AI 智能体流式输出低延迟语音

    AWS 介绍在 Amazon SageMaker AI 上托管 Kokoro-82M 语音合成模型,把智能体产出的每个句子即时送入合成,而不是等整段回复生成完再开始。

    借鉴点

    能拿走逐句切分流式合成、双向 WebSocket 会话复用和二进制与 JSON 控制帧混传三段代码,落到语音产线和本地模型部署;代价是要自建带 bidirectional-streaming 标签的容器,且示例镜像锁了旧版 PyTorch。

  1. Hugging Face Blog60

    IBM 发布 Granite Speech 5.0 系列语音模型

    IBM 更新 Granite Speech 系列,新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。

    借鉴点

    三个模型按精度、端侧速度、说话人归属分工选型,2B 版支持 2000 词关键词偏置和语言 ID 提示词,代价是关键词表要自己维护、格式化输出得在提示词里显式要求。

  1. Hugging Face Blog72

    IBM 发布 Granite Switch 4.1:单端点同时提供对话、决策与语音转写

    IBM 发布 Granite Switch 4.1,8B 和 30B 两个版本在同一个托管端点上同时提供对话、通用与安全决策、语音转写能力。模型组合了新的通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13 等模型的 Guardian aLoRA,以及 OpenASR 榜首的 Granite-Speech-5.0-Turbo-CTC,整体显存占用约等于基座模型本身。

    借鉴点

    把通用决策、安全决策和 ASR 三个 aLoRA 挂到同一基座、共享 KV cache,显存约等于基座本身;自组 Switch 模型需自己训 aLoRA,Adapter SDK 尚未放出。

已经到底了