Hacker News · 首页· giarec·· 16 天前精选AI 评分74
spinf 开源 spinf-serve 推理服务器，单次读取内容批量打分
Show HN: Spinf-serve – inference server for bulk scoring and decisions
AI 导读
spinf 开源 Apache 2.0 的 spinf-serve 推理服务器，一次读取内容即可对同一段文本回答多个分类与抽取问题，每个答案输出选项概率而非生成文本。
借鉴点
可把批量分类从逐题重读改成一次读取多分支打分，拿到每个选项的概率和 floor_p 做阈值判断；代价是需 24GB 显卡和 fp8 支持，且只适合吞吐不适合单请求延迟。
来源：Hacker News · 首页 · github.com