每日AI简报

今天我们聊两条互补的腿

6 个部分约 11 分钟本文 4539 字
PART 01

今天我们聊两条互补的腿。一条按 token 租开源模型，还允许你拿自己的数据微调；一条给每次提示词改动打分。合起来是一条能自己算清成本的路线。

PART 02

Together AI：推理和微调放进同一张预付账单

段 1 · 是什么

它替你把两件事干了：按 token 调用几十个开源模型，以及用你自己的数据微调其中一部分。省掉的步骤是自己租 GPU、装推理框架、维护服务进程。

段 2 · 多少钱

官方定价页口径，美国区，美元，核验日期 2026-10-12。

推理按 1M token 计，输入输出分开算。低价档几例：DeepSeek V4 Flash 0731 输入 $0.14、输出 $0.28；gpt-oss-120B 输入 $0.15、输出 $0.60；GLM-5.3-Flash 输入 $0.15、输出 $0.50。Llama 3.3 70B 是输入输出各 $1.04。

缓存输入单独标价，多数模型约为输入价的十分之一。GLM-5.3-Flash 缓存输入 $0.03。

微调按 1M token 计价。官方定价页当前展开的是 LoRA 档：Qwen3.5 9B 监督微调 $0.34 / 1M，DPO $0.84 / 1M，起收 $4.00。整表最低消费普遍在 $4.00。

独占吞吐按 $0.05 / PTU / 分钟计，每个 PTU 每分钟给多少 token 随模型不同。

GPU 集群按卡按小时：H100 按需 $3.99、抢占式 $1.99；H200 按需 $5.99。预留 91 到 180 天，H100 可降到 $3.19。

沙箱按 $0.0446 / vCPU / 小时、$0.0149 / GiB 内存 / 小时；代码解释器 $0.03 / 会话，单会话 60 分钟。

要注意的坑逐条写：

  1. 没有免费额度。官方计费文档写得很直白：平台要求首笔最少充值 $15，之后每笔最少 $5，全额预付，余额归零即停接口。
  2. Full fine-tuning 与 LoRA 在定价页是两个分页签，本次只读到 LoRA 数字，Full 档单价待确认。
  3. 定价页顶部有一句说明：显示价格对应最低分辨率或时长档位。媒体类模型实际单价会随分辨率、时长、步数变化。
  4. 批处理最多省 50%，但官方只对 whisper-large-v3 明确标了打折，其余模型按标准价，不要默认全打折。

段 3 · 适合谁

你需要为一批固定任务（分类、打标、字段抽取）挑模型，想把候选模型放进同一张账单对比；或者你已经有一份稳定训练集，想让小模型顶掉大模型来压单价。理由：这两件事的共同点是按量计费且不用自己运维，正好是托管推理的强项。

段 4 · 局限

一，额度。serverless 是尽力而为，官方不给固定 RPM 与 TPM 数字，高负载时直接回 429 或 503，客户端必须自己写指数退避。要稳定吞吐只能买 PTU 或独占实例。

二，输出可靠性的边界。LoRA 只改适配器权重，任务一漂它跟着漂。上线前你要拿留出集自己评，平台不替你判断质量。

三，依赖条件。要预付账户与 API key；微调出来的模型挂在独占端点上，而独占端点不吃批处理折扣。

四，口径对比。同类的托管推理各家都在按自己的单位计价，有人按神经元，有人按请求。Together 的差别是模型清单更长、且能把微调与推理放进同一笔预付余额，代价是必须先押 $15，不像部分平台那样能零成本试水。

段 5 · 上手路径

  1. 按最小可用起跑：先 tg files upload train.jsonl 上传，再 tg fine-tuning create --training-file <FILE_ID> --model Qwen/Qwen3.5-9B --lora 起 LoRA 任务，用 tg fine-tuning retrieve <JOB_ID> 看进度。
  2. 训练前先算最低消费。LoRA 起收 $4.00，你的数据量乘单价不足 $4 也按 $4 收。
  3. 打标类任务走批处理压成本。JSONL 每行带 custom_id 当回连键，请求体里 temperature=0、max_tokens=4，因为短输出场景下输出 token 才是成本大头。单批上限 50,000 条、单文件 100 MB、单行 10 MB。
  4. 要延迟保证再买 PTU。按官方两页数字直接折算：MiniMax M3 输入 166,667 TPM/PTU，$0.05 每分钟，折成 1M token 约 $0.30，和它 serverless 的输入列表价基本持平。这是按官方数字做的推导，不是报价。

段 6 · 来源

Together AI 定价页 https://www.together.ai/pricing ；批处理文档 https://docs.together.ai/docs/inference/batch/overview ；计费与额度文档 https://docs.together.ai/docs/billing-credits ；限速文档 https://docs.together.ai/docs/serverless/rate-limits 。以上均核验于 2026-10-12。本期未在你的账号中部署，未做性能实测。

PART 03

Braintrust：给每次提示词改动加一道回归测试

段 1 · 是什么

它把模型的每次调用记成 trace，再让你用代码或 LLM 评委给这些输出打分。省掉的是自己写一套记录、比对、打分、出图的脚手架。

段 2 · 多少钱

官方定价页与文档口径，美国区，美元，核验日期 2026-10-12。

Starter $0 / 月，含 $10 模型额度、1 GB 处理数据、1 万条 score，数据保留 14 天。超出后数据 $4 / GB、score $2.50 / 1k。

Pro $249 / 月，含 $100 模型额度、5 GB 处理数据、5 万条 score，数据保留 30 天。超出后数据 $3 / GB、score $1.50 / 1k，延长保留 $0.50 / GB / 月。

Enterprise 为定制价。自托管只在这一档。

坑有三条。一是模型额度不滚存，当月不用完就作废。二是 Starter 档要用内置模型，账号里得有一个企业邮箱的 owner，或者绑卡。三是数据保留本身是计费项，Starter 只留 14 天，需要按月留存就必须上 Pro。

段 3 · 适合谁

你准备改一版提示词或换模型，但手上没有回归集，只能靠肉眼看几条说还行。理由：评测平台的价值全在可比性，没有固定基线的话，它就只是个日志查看器。

段 4 · 局限

一，额度。1 GB 处理数据 / 月看着够用，但 trace 里一旦带长上下文和附件就消耗很快；单 span 载荷上限 20 MB，附件 URL 一天过期。

二，输出可靠性的边界。LLM 评委自己也会漂，分数只在同一批、同一评分版本内可横向比，不能当绝对真值。官方把 score 定义为被评分的输出，评得对不对要你自己抽查。

三，依赖条件。函数执行限 10,000 次 / 10 秒，查询超时 30 秒，内联代码最长 240 秒，超了要拆。自托管只在 Enterprise 档，且数据面要你自己用 Terraform 部署。

四，口径对比。同类工具的计价单位并不统一，有人按 trace、有人按 observation。Braintrust 把处理数据、score、模型额度拆成三项分开计费，好处是每一项都能单独压，坏处是预算得按三项分别估，不能只盯一个总数字。

段 5 · 上手路径

  1. 先建 dataset 再建 eval，别先接线上。训练集与留出集分开，评分脚本固定版本号。
  2. 用 autoevals 或自定义 scorer 都能打分，但要先把每千条 score 的价格写进预算：Starter 超 1 万条后 $2.50 / 1k。
  3. 线上只开 trace 加抽样评分。不要每条都跑 LLM 评委，评分和模型额度都是计费项。
  4. 真有数据驻留需求再考虑自托管。数据面由你自己出的 Terraform 部署，AWS 走 ECS 与 EC2，GCP 与 Azure 走 K8s，控制面仍在官方手里。

段 6 · 来源

Braintrust 定价页 https://www.braintrust.dev/pricing ；计划与限制 https://www.braintrust.dev/docs/plans-and-limits ；自托管文档 https://www.braintrust.dev/docs/admin/self-hosting 。以上均核验于 2026-10-12。本期未在你的账号中部署，处理数据的精确计费口径未逐一实测。

Braintrust eval dashboard
PART 04

实战流程：从候选模型到微调上线

  1. 先估规模。按日调用量算出月 token 数与 trace 条数，再对照两家的计费项，确认落在哪个档位。
  2. 收集输入。把要处理的历史记录导成 JSONL，每条给一个稳定 id。
  3. 上传训练集。tg files upload train.jsonl 拿到 FILE_ID。
  4. 造评测基线。在 Braintrust 建 dataset，人工抽 100 条写好期望输出。
  5. 跑候选。用批处理把两三个模型跑同一批输入，temperature=0、max_tokens=4。
  6. 打分比对。结果导入 Braintrust，用同一个 scorer 横比，看通过率与单条成本。
  7. 决定路线。分数接近就选单价低的；差距明显就上 LoRA 微调，训完挂独占端点再跑同一套评测。
  8. 记账。批处理只对成功响应计费，失败请求不收钱；但取消任务不退还已经生成的成功响应费用。
PART 05

今天的可复制提示词

你是数据工程师。我给你一批原始记录，每条含 id 和正文。 请输出可直接提交给 Together Batch API 的 JSONL，每行一个对象，字段固定： - custom_id 取原始 id - method 为 POST - url 为 /v1/chat/completions - body 内 model 固定，temperature 为 0，max_tokens 为 4 - messages 由一条 system 和一条 user 组成 - system 只允许返回给定标签之一，user 放正文 要求：custom_id 与原始 id 一一对应且不重复。不要输出任何解释文字。不合法的行直接丢弃，并在末尾单独统计。最后给一行汇总：总行数、各标签条数。 验证标准：拿三条样本先跑一次 tg batches submit，状态能进到 IN_PROGRESS，而不是卡在 VALIDATING 失败。任务完成后下载结果，核对 custom_id 能百分之百回连原始记录、无重复、无缺行。再人工抽检 20 条，标签与你的判断一致率低于九成，就说明这份提示词还不能用。
PART 06

边界声明

本期两个工具都未在你本人的账号中部署，未做性能与计费实测。全部价格取自官方页面，核验日期 2026-10-12，美国区美元。金额可能随时区、税费与套餐调整变化，实际下单前请以官网当日数字为准。Together 的 Full fine-tuning 单价、Braintrust 处理数据的精确计入口径未逐一核到，已在正文标注为待确认。