每日AI简报

每日 AI 简报 · 2026-10-10

6 个部分约 14 分钟本文 5636 字
PART 01

今天两件事。一件是把一堆文本变成能按意思检索的向量,另一件是在云端跑一批真浏览器去拿没有 API 的页面。前者决定你的知识库查得准不准,后者决定你能不能绕开反爬。两个都支持个人注册,今天就能跑起来。

PART 02

Voyage AI:把文档切块变成可检索的向量

段 1 · 是什么

它替你把文本转成向量,也替你给候选结果重新排序。你不再需要自己挑 embedding 模型、定维度、写重排逻辑。

段 2 · 多少钱

取自官方定价文档,核验日期 2026-10-10,美元(美国区口径)。

| 模型 | 单价(每百万 tokens) | 免费额度 || --- | --- | --- || voyage-4-large | $0.12 | 每账号前 2 亿 tokens || voyage-context-4 | $0.12 | 每账号前 2 亿 tokens || voyage-4 | $0.06 | 每账号前 2 亿 tokens || voyage-4-lite | $0.02 | 每账号前 2 亿 tokens || rerank-3 | $0.05 | 每账号前 2 亿 tokens || rerank-3-lite | $0.02 | 每账号前 2 亿 tokens || voyage-multimodal-3.5 | 文本 $0.12,图像 $0.60 / 十亿像素 | 2 亿文本 tokens 加 1500 亿像素 |

要逐条看的坑:

待确认:官方定价文档首段把 voyage-code-3 也算进 2 亿免费额度,但旧模型表里 voyage-code-3 标 $0.18 / 百万且注明无免费 tokens,两处口径不一致。本期按旧模型表的数字写,实际额度以控制台账单为准。

段 3 · 适合谁

你需要把一批散乱文本变成能按语义检索的库,并且愿意自己维护切块和索引。

具体判断标准是查询形态。如果你的查询就是「找包含这几个词的段落」,全文检索就够用,不用上向量。只有当查询词和原文用词对不上、又必须按意思找的时候,向量检索才有增量收益。理由很简单:向量检索解决的是同义表达问题,它对精确字段没有帮助。

另一类是重排场景。你已有召回结果,但真正相关的那条排在第 7、第 8 位,这时 rerank 值得一加。官方估算口径下,100 篇文档、每篇加查询共 500 tokens 的一次请求约 $0.0025。

段 4 · 局限

段 5 · 上手路径

  1. 先量体量再选档。用 SDK 的 count_tokens 先统计全部语料,超过 2 亿就按 $0.02 的 lite 档估钱,别拿 large 直接试。
  2. 切块压到 512 tokens 以内,落盘时保留 chunk 序号和来源。这样后面加了压缩或改了切块策略还能重算。
  3. input_type 显式传值,不要留空。入库时传 document,检索时同一模型传 query。同一份文本用两种 input_type 生成会得到不同向量,别混用。
  4. 要省存储就压维度。voyage-4 系列与 3.5、3-large、code-3 支持 2048、1024、512、256 四档,默认 1024。还可以把 output_dtype 设成 int8 或 binary 做量化,binary 的返回长度是维度的八分之一。
  5. 大批量必须分批。官方示例用 128 条一批,配指数退避处理 429。要整批便宜 33% 就走 Batch 接口,12 小时完成窗口,代价是用不了免费额度。
  6. 单次调用看返回的 usage.total_tokens,这是唯一能自己核账的数。

段 6 · 来源

Voyage AI 定价文档 https://docs.voyageai.com/docs/pricing ,限速文档 https://docs.voyageai.com/docs/rate-limits ,向量接口参考 https://docs.voyageai.com/reference/embeddings-api 。核验日期 2026-10-10。

02 / 配图
PART 03

Browserbase:在没有 API 的网站上跑一批真浏览器

段 1 · 是什么

它替你在云端开浏览器、挂代理、处理验证码,然后给你一个连接地址。你用 Playwright 或 Selenium 连上去跑脚本,跑完销毁。省掉的是自建浏览器集群、维护代理池、对抗指纹检测这三件事。

段 2 · 多少钱

均取自官方定价页,核验日期 2026-10-10,币种美元。官网以 $ 标价,未见地区切换,按美国区口径。

| 档位 | 月费 | 并发 | 含浏览器小时 | 超出单价 | 数据保留 || --- | --- | --- | --- | --- | --- || Free | $0 | 3 | 1 小时 | 不可用 | 7 天 || Developer | $20 | 25 | 100 小时 | $0.12 / 小时 | 30 天 || Startup | $99 | 100 | 500 小时 | $0.10 / 小时 | 30 天 || Scale | 定制 | 250+ | 用量计价 | 用量计价 | 30 天以上 |

按调用计价的三项,以 Developer 档为例。Fetch 前 1000 次免费,之后 $1 / 千次,走代理 $4 / 千次,开 Extract 后 $4 / 千次、带代理 $7 / 千次。Search 前 1000 次免费,之后 $7 / 千次。代理流量含 1 GB,超出 $12 / GB。

要逐条看的坑:

段 3 · 适合谁

你要抓的目标站同时满足几条时,它才划算:站在 Cloudflare 之类的防护后面,需要登录态,页面必须执行 JS 才有内容。

反过来也要说清:如果目标站是静态 HTML,或者本身有官方 API,那就别开浏览器。同样一笔钱,抓静态页走 Fetch 的调用量比开浏览器大一到两个数量级。

段 4 · 局限

段 5 · 上手路径

  1. 先估并发,再估流量。并发约等于目标 QPS 乘单页平均耗时。想跑 1 QPS、每页 60 秒,就要 60 路并发,直接超过 Developer 档的 25 路,这是最常见的算错点。
  2. 建会话时显式传 timeout,不要吃默认值。抓取类任务压到 300 秒以内,长任务才考虑接近 6 小时上限。
  3. 固定 region。抓国内或东南亚站点切 ap-southeast-1,抓欧洲切 eu-central-1,能省下可观的往返时间。
  4. 需要登录态的站复用 contextId,别每次重新登录。
  5. 用 userMetadata 打标签,再用 List Sessions 的 q 参数找回历史会话。元数据上限 512 字符,只支持字符串精确查询,数字和布尔值都要转成字符串。
  6. 监控会话状态枚举。状态有 PENDING、RUNNING、ERROR、TIMED_OUT、COMPLETED 五种,TIMED_OUT 是要单独告警的那一种,它意味着你按小时付了钱但任务没跑完。

段 6 · 来源

Browserbase 定价页 https://www.browserbase.com/pricing ,创建会话接口 https://docs.browserbase.com/reference/api/create-a-session 。核验日期 2026-10-10。Fetch 与 Search 的接口路径本期未逐一核验,价格与 RPS 取自定价页与官方 FAQ。

03 / 配图
PART 04

实战流程:抓取到带引用的回答

把两个工具串成一条最小可用链路,数据流向是「抓取、切块、向量化、重排、回答」。

  1. 输入一批目标 URL。用 Browserbase Fetch 批量取正文,静态页不要开浏览器会话。
  2. 输出每个 URL 一段正文,连同 URL、抓取时间、会话 ID 落盘。会话 ID 留着对账。
  3. 输入正文,按 512 tokens 切块,每块带上 chunk 序号和来源 URL。输出 chunk 列表。
  4. 输入 chunk 列表。调 Voyage 向量接口,input_type 传 document,每批 128 条,落盘向量与文本的对应表。
  5. 输入一句查询。用同一模型、input_type 传 query 生成向量,本地算相似度取前 50 个候选。
  6. 输入 50 个候选加原查询,调 rerank-3 重排,取前 5。
  7. 输入前 5 段加原查询,交给模型按固定字段输出。输出带 URL 和 chunk 序号的回答。

成本要分项说。已知的部分:向量化在 2 亿 tokens 内免费,超出后按 lite 档 $0.02 / 百万 tokens;抓取按 Fetch 调用和浏览器小时计价,静态页 $1 / 千次,动态页 $0.12 / 小时。待确认的部分:你的语料总量、目标站里有多少必须开浏览器、每轮检索要重排多少候选。这三项没量体之前,总价算不出来。

04 / 配图
PART 05

可复制的提示词

你是检索结果整理员。下面给你 5 段候选文本和 1 条查询。 只输出 JSON,字段固定为 answer、sources、uncertain 三个。 answer 用三句以内回答查询,只能使用候选文本里出现的信息。 sources 是数组,每项含 url 和 chunk_id,必须取自候选文本自带的元数据,不许自己编。 uncertain 写你判断不了的点以及原因,没有就留空字符串。 候选文本里没出现的数字、日期、编号,一律不要写进 answer。 查询:{{query}} 候选文本:{{chunks}}

验证标准:抽 3 条查询跑一遍。逐条检查 sources 里的 URL 能打开,chunk_id 和落盘文件对得上,answer 里每个数字都能在候选文本里找到。有一条对不上就重跑,不要手工改答案。

PART 06

边界声明

本期两个工具都未在你的账号中部署,价格与限速均来自官方页面,未做性能实测。Browserbase 的实际通过率和 Voyage 的检索命中率,要用你自己的语料跑一遍才有数。价格均为美元口径,不含地区税费差异。