AWS Machine Learning Blog· Daxeshkumar Patel·· 13 天前精选AI 评分58
AWS 用 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容
Prepare web content for Amazon Bedrock Knowledge Bases with Crawl4AI
AI 导读
AWS 发布教程，演示用开源 Python 爬虫 Crawl4AI 把网页抓取并整理成 Markdown 加 metadata sidecar 写入 S3，再由 Amazon Bedrock Knowledge Bases 的 S3 数据源完成解析、分块、嵌入和索引。
借鉴点
能拿走一套 Crawl4AI 抓取加 S3 metadata sidecar 再触发 ingestion 的流水线，换掉自己写爬虫清洗网页的活；代价是 sidecar 限 10 KB、分块策略建库后改不了，失败不报警。
来源：AWS Machine Learning Blog · aws.amazon.com