跳到正文
掘金· lucas_AI·· 13 天前AI 评分49

国防科大发布中文军事新闻信息抽取基准 CMNIE:1.3 万条标注揭示零样本 LLM「找得到但对不齐」

LLM 做信息抽取「找得到但对不齐」:1.3 万条中文军事新闻标注揭示了什么

AI 导读

国防科大发布中文军事新闻信息抽取基准 CMNIE,含 1.3 万实例,在统一 schema 下联合标注 7 类事件、10 类论元角色、7 类实体和 8 类关系。评测显示零样本 LLM 能定位相关语义单元,但在精确 span 边界匹配上大量失分,精确与宽松匹配口径的差距被系统量化。微调 schema 条件生成在关系抽取上取得最佳表现。

来源:掘金 · juejin.cn