Hacker News · AI 讨论· 50kIters·· 12 天前AI 评分58
论文称约两成返回 200 的网页不含正文,建议抓取工具按实际内容而非状态码判定
Twenty Percent of all 'ok' web responses AI gets are not okay
AI 导读
一项新论文估算,静态客户端收到的 200 状态响应中 20.9% 不含页面正文,而是应用空壳、机器人验证、封禁页、错误或占位页以及部分内容。研究在三天内用基础抓取程序和可执行 JavaScript 的浏览器测试了 10,307 个网址,按实际取回内容而非 HTTP 状态码分类,空壳页与错误/替代页合计占失败的三分之二以上。
来源:Hacker News · AI 讨论 · unite.ai