AI News
商业产业 Hacker News AI 2026-08-29T21:39 正文 ok 307 words

2026 年 AI 网页抓取现状

英文标题：🔶 Show HN: AI Agents for Osint/Sigint

文章认为，约 75% 的网页是面向人类展示的动态 HTML 数据库记录，AI Agent 获取网页数据的技术已从 RAG 发展到长上下文 LLM。作者指出，当前依赖浏览器自动化、computer-use 和 Agentic 爬虫的方案，仍面临大规模成本线性增长、幻觉以及上下文污染和提示注入等问题。其提出的 Makra 采用“记忆化驱动的知识与数据检索”，通过复用已记忆的网站布局，将后续提取成本降至向量查询，并试图以传统爬虫式提取降低幻觉风险。作者称，其内部浏览器 harness 可配置代理、提取结构化及表格数据，成本约为此前方案的十分之一。
打开原文相关 3 · 机会 1
media75.4 KB

中文

2026 年 AI 网页抓取现状

发布 · 2026 年 8 月 27 日 · Ritwik

75% 的网页都是动态的。它们本质上是以 HTML 形式呈现的数据库记录，为人类而构建。

对于 Agent 而言，这个问题曾通过以下方式得到解决：

  1. RAG 是第一代方案（2024 年）
  2. 随后，长上下文 LLM 将其带到了一个全新的层次（2025 年）

快进到 2026 年，我们基本上是在把任何内容、所有内容都塞进上下文窗口；把 Nvidia 推向月球。

这包括 claws、浏览器/computer-use，以及 Agentic 爬虫和抓取器。它们让数据检索变得更容易，但成本始终没有下降。在底层，这些方案仍依赖长上下文 LLM。

而这正是它们的不足之处：

  • 大规模成本：对于大型数据集，成本会按每个页面线性增长。
  • 幻觉：LLM 容易产生幻觉。
  • 上下文污染和提示注入。

现在让我向你展示我们构建的方案：

  1. 记忆化驱动的知识与数据检索

这是一个仍在开发中的持续学习 harness 实现，专注于 Browser-use。

MakraExaFirecrawl

大型请求的正确性与成本对比

Makra、Exa 与 Firecrawl 的正确性相对于平均美元成本的散点图。成本越低越靠左。

覆盖 20 个网站的 400 个页面

在类似 Makra 的记忆化引擎之上构建应用，可以解决上述全部 3 个问题：

  • 更低的大规模成本：随着布局被记忆化，成本会降低至一次向量查询。
  • Makra 像传统爬虫一样提取数据。因此，幻觉？理论上不存在。
  • 你的 Agentic 循环只需要处理其所关心的 DOM 节点：更多信号，更少噪声。

我们构建了一个内部 浏览器 harness（目前仅支持只读），可为你完成以下工作：

  1. 启动浏览器实例并配置代理。
  2. 从网页中提取任意结构化或表格数据。
  3. 而且，你可以用此前所有方案十分之一的成本完成这些工作。

立即试用：/playground

English / 原文

The State of AI Web Scraping in 2026

LAUNCH · AUG.27.2026 · Ritwik

75% of the web is dynamic. Basically database records presented in HTML. Built for humans.

For Agents, this problem was solved by:

  1. RAG was the first generation (2024)
  2. And then, long-context LLMs took it to a completely new level (2025)

Fast-forward to 2026, and we're basically dumping anything and everything into the context windows; taking Nvidia to the moon.

This consists of claws, browser/computer-use, and agentic crawlers, and scrapers. These have made it easier to retrieve data, but the cost has stayed the same. Underneath, these still rely on long-context LLMs.

And, here's where they fall short:

  • Cost at scale: for large datasets, cost grows linearly on a per-page basis.
  • Hallucinations: LLMs are prone to hallucinations
  • Context pollution and prompt injection

Let me now show you what we have built:

  1. Memoization-driven Knowledge and Data Retrieval

It's an work-in-progress implementation for a continual learning harness focusing on Browser-use.

MakraExaFirecrawl

Large-request correctness versus cost

Scatter plot of correctness against average USD cost for Makra, Exa, and Firecrawl. Lower cost is toward the left.

400 pages across 20 sites

Building applications on top of a memoization-engine like Makra solves all 3 of these problems:

  • Lower cost at scale: as layouts are memoized, cost comes down to a vector query.
  • Makra extracts data like a traditional scraper. So, hallucinations? Theoretically, none.
  • Your agentic loop only has to deal with the DOM nodes it's concerned with: More signal, less noise.

We have built an in-house browser harness (read-only for now) that does the following for you:

  1. Spins up a browser instance and sets up proxies.
  2. Extracts any structured or tabular data from the web for you.
  3. And you can do all this at 1/10th the cost of all the other previous generations.

Try it out in: /playground