每日AI简报每日 AI 简报 · 2026-10-10
6 个部分约 14 分钟本文 5636 字
PART 01
今天两件事。一件是把一堆文本变成能按意思检索的向量,另一件是在云端跑一批真浏览器去拿没有 API 的页面。前者决定你的知识库查得准不准,后者决定你能不能绕开反爬。两个都支持个人注册,今天就能跑起来。
PART 02
Voyage AI:把文档切块变成可检索的向量
段 1 · 是什么
它替你把文本转成向量,也替你给候选结果重新排序。你不再需要自己挑 embedding 模型、定维度、写重排逻辑。
段 2 · 多少钱
取自官方定价文档,核验日期 2026-10-10,美元(美国区口径)。
| 模型 | 单价(每百万 tokens) | 免费额度 || --- | --- | --- || voyage-4-large | $0.12 | 每账号前 2 亿 tokens || voyage-context-4 | $0.12 | 每账号前 2 亿 tokens || voyage-4 | $0.06 | 每账号前 2 亿 tokens || voyage-4-lite | $0.02 | 每账号前 2 亿 tokens || rerank-3 | $0.05 | 每账号前 2 亿 tokens || rerank-3-lite | $0.02 | 每账号前 2 亿 tokens || voyage-multimodal-3.5 | 文本 $0.12,图像 $0.60 / 十亿像素 | 2 亿文本 tokens 加 1500 亿像素 |
要逐条看的坑:
- 免费额度是每个账号一次性的总量,不是每月重置,用完就按单价走。
- 重排的计费口径不是只算文档。官方公式是「查询 tokens 乘文档数,再加所有文档 tokens 之和」。
- 多模态图有上下限。小于 5 万像素的图会被放大后按 5 万像素收费,大于 200 万像素的图会被压缩后按 200 万像素收费,单图费用落在 $0.00003 到 $0.0012 之间。
- Batch 接口打 33% 折扣,但官方明确写了批量用量不抵扣免费额度,也不享受免费 tokens。
- Files 接口存批量任务文件另收 $0.05 / GB / 月,文件 30 天后自动删除。
待确认:官方定价文档首段把 voyage-code-3 也算进 2 亿免费额度,但旧模型表里 voyage-code-3 标 $0.18 / 百万且注明无免费 tokens,两处口径不一致。本期按旧模型表的数字写,实际额度以控制台账单为准。
段 3 · 适合谁
你需要把一批散乱文本变成能按语义检索的库,并且愿意自己维护切块和索引。
具体判断标准是查询形态。如果你的查询就是「找包含这几个词的段落」,全文检索就够用,不用上向量。只有当查询词和原文用词对不上、又必须按意思找的时候,向量检索才有增量收益。理由很简单:向量检索解决的是同义表达问题,它对精确字段没有帮助。
另一类是重排场景。你已有召回结果,但真正相关的那条排在第 7、第 8 位,这时 rerank 值得一加。官方估算口径下,100 篇文档、每篇加查询共 500 tokens 的一次请求约 $0.0025。
段 4 · 局限
- 单次请求的硬顶。输入列表最多 1000 条文本;单请求总 tokens 上限按模型分档,lite 档 100 万,voyage-4 与 3.5 档 32 万,large 与 code-3 档 12 万。取列表长度和总 tokens 里先到的那一个。
- 限速是账号级的。默认档 2000 RPM,TPM 按模型从 200 万到 1600 万不等,超限直接返回 429。升档门槛按已计费消费算:加支付方式到 Tier 1,累计付满 $100 到 Tier 2(限速翻倍),付满 $1000 到 Tier 3(3 倍)。免费 tokens 不计入升档消费。
- 多项目会互相挤占。组织级限速是所有项目共享的,项目级限速之和可以超过组织级,那种情况下一个项目跑满会压到另一个项目的实际速率。
- 输出可靠性的边界。向量只保证意思相近,不保证事实正确。金额、日期、编号、人名这类必须精确匹配的字段,它一定会漏,得靠结构化过滤或全文索引兜底。
- 截断默认开启且不报错。truncation 默认 true,超长文本会被静默截掉,你拿到的是一段被切过的文本的向量。要发现这种问题只能自己先做 token 统计。
- 依赖条件。要装 SDK 或自己发 HTTP 请求,要配 API key。input_type 不填也能跑,但那等于放弃官方的检索优化。
段 5 · 上手路径
- 先量体量再选档。用 SDK 的 count_tokens 先统计全部语料,超过 2 亿就按 $0.02 的 lite 档估钱,别拿 large 直接试。
- 切块压到 512 tokens 以内,落盘时保留 chunk 序号和来源。这样后面加了压缩或改了切块策略还能重算。
- input_type 显式传值,不要留空。入库时传 document,检索时同一模型传 query。同一份文本用两种 input_type 生成会得到不同向量,别混用。
- 要省存储就压维度。voyage-4 系列与 3.5、3-large、code-3 支持 2048、1024、512、256 四档,默认 1024。还可以把 output_dtype 设成 int8 或 binary 做量化,binary 的返回长度是维度的八分之一。
- 大批量必须分批。官方示例用 128 条一批,配指数退避处理 429。要整批便宜 33% 就走 Batch 接口,12 小时完成窗口,代价是用不了免费额度。
- 单次调用看返回的 usage.total_tokens,这是唯一能自己核账的数。
段 6 · 来源
Voyage AI 定价文档 https://docs.voyageai.com/docs/pricing ,限速文档 https://docs.voyageai.com/docs/rate-limits ,向量接口参考 https://docs.voyageai.com/reference/embeddings-api 。核验日期 2026-10-10。
02 / 配图
PART 03
Browserbase:在没有 API 的网站上跑一批真浏览器
段 1 · 是什么
它替你在云端开浏览器、挂代理、处理验证码,然后给你一个连接地址。你用 Playwright 或 Selenium 连上去跑脚本,跑完销毁。省掉的是自建浏览器集群、维护代理池、对抗指纹检测这三件事。
段 2 · 多少钱
均取自官方定价页,核验日期 2026-10-10,币种美元。官网以 $ 标价,未见地区切换,按美国区口径。
| 档位 | 月费 | 并发 | 含浏览器小时 | 超出单价 | 数据保留 || --- | --- | --- | --- | --- | --- || Free | $0 | 3 | 1 小时 | 不可用 | 7 天 || Developer | $20 | 25 | 100 小时 | $0.12 / 小时 | 30 天 || Startup | $99 | 100 | 500 小时 | $0.10 / 小时 | 30 天 || Scale | 定制 | 250+ | 用量计价 | 用量计价 | 30 天以上 |
按调用计价的三项,以 Developer 档为例。Fetch 前 1000 次免费,之后 $1 / 千次,走代理 $4 / 千次,开 Extract 后 $4 / 千次、带代理 $7 / 千次。Search 前 1000 次免费,之后 $7 / 千次。代理流量含 1 GB,超出 $12 / GB。
要逐条看的坑:
- 浏览器小时按会话存活时长算,不是按实际干活时长。会话开着不关,一样计费。
- 免费档不给验证码破解,隐身模式从付费档起才是 Basic 级,Advanced 级要到 Scale 档。
- 免费档控制台只保留 7 天会话数据,排查线上问题别拖过一周。
- Model Gateway 走的是市场价加你的调用量,不属于套餐内额度,这部分开销要单独估。
- 官方 FAQ 有个换算:免费档 1 小时约等于 3000 次页面级任务。这是官方典型值,不是你的实测值。
段 3 · 适合谁
你要抓的目标站同时满足几条时,它才划算:站在 Cloudflare 之类的防护后面,需要登录态,页面必须执行 JS 才有内容。
反过来也要说清:如果目标站是静态 HTML,或者本身有官方 API,那就别开浏览器。同样一笔钱,抓静态页走 Fetch 的调用量比开浏览器大一到两个数量级。
段 4 · 局限
- 并发是硬上限。免费 3 路、Developer 25 路、Startup 100 路。并发用满时新会话进入排队,不会自动降速。
- 限速按项目算,不是按 key 算。文档和定价页都标了 Search 2 RPS、Fetch 5 RPS(每项目)。同一项目下多发一个 key 不会提高限额。
- 会话时长要自己设。接口的 timeout 参数允许 60 秒到 21600 秒(6 小时),默认取项目配置的 defaultTimeout。定价页给免费档标的却只有 15 分钟 / 会话,两者关系本期未在你的账号里实测,按项目配置理解。
- 区域只有四个。us-west-2 是默认,另有 us-east-1、eu-central-1、ap-southeast-1。
- 输出可靠性的边界。验证码、指纹、登录态是持续攻防,官方文档里隐身能力也分 Basic 和 Advanced 两级,没有承诺过某类站点长期可通过。目标站一改前端,你的脚本就会开始失败,失败重试要自己写。
- 依赖条件。要 API key,要自己写 Playwright 或 Selenium 客户端。另外官方文档在 keepAlive 一处写的是「Hobby 档及以上」,而定价页的档位名是 Free、Developer、Startup、Scale,两处命名对不上,本期按定价页档位理解。
段 5 · 上手路径
- 先估并发,再估流量。并发约等于目标 QPS 乘单页平均耗时。想跑 1 QPS、每页 60 秒,就要 60 路并发,直接超过 Developer 档的 25 路,这是最常见的算错点。
- 建会话时显式传 timeout,不要吃默认值。抓取类任务压到 300 秒以内,长任务才考虑接近 6 小时上限。
- 固定 region。抓国内或东南亚站点切 ap-southeast-1,抓欧洲切 eu-central-1,能省下可观的往返时间。
- 需要登录态的站复用 contextId,别每次重新登录。
- 用 userMetadata 打标签,再用 List Sessions 的 q 参数找回历史会话。元数据上限 512 字符,只支持字符串精确查询,数字和布尔值都要转成字符串。
- 监控会话状态枚举。状态有 PENDING、RUNNING、ERROR、TIMED_OUT、COMPLETED 五种,TIMED_OUT 是要单独告警的那一种,它意味着你按小时付了钱但任务没跑完。
段 6 · 来源
Browserbase 定价页 https://www.browserbase.com/pricing ,创建会话接口 https://docs.browserbase.com/reference/api/create-a-session 。核验日期 2026-10-10。Fetch 与 Search 的接口路径本期未逐一核验,价格与 RPS 取自定价页与官方 FAQ。
03 / 配图
PART 04
实战流程:抓取到带引用的回答
把两个工具串成一条最小可用链路,数据流向是「抓取、切块、向量化、重排、回答」。
- 输入一批目标 URL。用 Browserbase Fetch 批量取正文,静态页不要开浏览器会话。
- 输出每个 URL 一段正文,连同 URL、抓取时间、会话 ID 落盘。会话 ID 留着对账。
- 输入正文,按 512 tokens 切块,每块带上 chunk 序号和来源 URL。输出 chunk 列表。
- 输入 chunk 列表。调 Voyage 向量接口,input_type 传 document,每批 128 条,落盘向量与文本的对应表。
- 输入一句查询。用同一模型、input_type 传 query 生成向量,本地算相似度取前 50 个候选。
- 输入 50 个候选加原查询,调 rerank-3 重排,取前 5。
- 输入前 5 段加原查询,交给模型按固定字段输出。输出带 URL 和 chunk 序号的回答。
成本要分项说。已知的部分:向量化在 2 亿 tokens 内免费,超出后按 lite 档 $0.02 / 百万 tokens;抓取按 Fetch 调用和浏览器小时计价,静态页 $1 / 千次,动态页 $0.12 / 小时。待确认的部分:你的语料总量、目标站里有多少必须开浏览器、每轮检索要重排多少候选。这三项没量体之前,总价算不出来。
04 / 配图
PART 05
可复制的提示词
你是检索结果整理员。下面给你 5 段候选文本和 1 条查询。 只输出 JSON,字段固定为 answer、sources、uncertain 三个。 answer 用三句以内回答查询,只能使用候选文本里出现的信息。 sources 是数组,每项含 url 和 chunk_id,必须取自候选文本自带的元数据,不许自己编。 uncertain 写你判断不了的点以及原因,没有就留空字符串。 候选文本里没出现的数字、日期、编号,一律不要写进 answer。 查询:{{query}} 候选文本:{{chunks}}
验证标准:抽 3 条查询跑一遍。逐条检查 sources 里的 URL 能打开,chunk_id 和落盘文件对得上,answer 里每个数字都能在候选文本里找到。有一条对不上就重跑,不要手工改答案。
PART 06
边界声明
本期两个工具都未在你的账号中部署,价格与限速均来自官方页面,未做性能实测。Browserbase 的实际通过率和 Voyage 的检索命中率,要用你自己的语料跑一遍才有数。价格均为美元口径,不含地区税费差异。