跳到正文
热点事件历史事件

论文称约两成200响应无正文

1 篇报道1 个报道来源11 天前更新

先了解这件事

AI 综述

一项新论文估算,静态客户端收到的 HTTP 200 状态响应中,20.9% 不含页面正文,实际返回的是空壳页、机器人验证、封禁页、错误或占位页以及部分内容。研究在三天内用基础抓取程序和可执行 JavaScript 的浏览器测试了 10,307 个网址,按实际取回内容而非状态码分类;空壳页与错误/替代页合计占失败的三分之二以上。 论文据此建议抓取工具按实际内容而非状态码判定页面是否可用。

AI 根据报道生成 · 11 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. Hacker News · AI 讨论
    论文称约两成返回 200 的网页不含正文,建议抓取工具按实际内容而非状态码判定

    一项新论文估算,静态客户端收到的 200 状态响应中 20.9% 不含页面正文,而是应用空壳、机器人验证、封禁页、错误或占位页以及部分内容。研究在三天内用基础抓取程序和可执行 JavaScript 的浏览器测试了 10,307 个网址,按实际取回内容而非 HTTP 状态码分类,空壳页与错误/替代页合计占失败的三分之二以上。