派工到底省了什麼 1/7

三臂受控實驗|現況報告

派工到底省了什麼——三臂實驗現況報告

Claude 新鮮 token,以獨力為 1.00

A
獨力
1.00×
B
自家子代理
3.98×
C
MiniMax 工兵
1.09×

完成度 5/12 筆(A 2/B 2/C 1)

產生時刻:2026-08-21 17:01|資料來源:drafts/bench-lifeos-arms/results-lifeos/
上游對照:巴哲(WizerdBaChe)bench-claude-arms 2026-08-20 論文|程式 MIT、資料與文件 CC BY 4.0

左右滑動或按方向鍵換頁

一、這個實驗在問什麼(白話版)

派工兵這件事,直覺上是「找人幫忙比較省」。實際上不一定。

主 session 自己動手做完一件事,吃掉的是一份 Claude 額度。改成寫一張施工卡、 把工作發包給子代理,額度會變成幾份:施工卡要寫、工兵的回報要讀、 成果要驗收,而工兵自己也在燒同一本帳。所以「發包」可能比「自己做」還貴。

巴哲 2026-08-20 已經量過這件事,結論是委派吃掉 5.268 倍 token、2.368 倍成本, 而且沒有減輕主模型的脈絡負擔(1.200 倍),要任務放大到 1.50 倍以上才划算。

但他的實驗有一個我們用得上、他卻量不到的缺口:他的工兵全是 Claude 自家的子代理, 帳記在同一本上。本環境 2026-08-19 起的預設是派 mini-agent(MiniMax M3), 那是另一本帳、另一份月費。他的 5.268 倍講的是「總 token」, 對我們而言大半根本不落在 Claude 額度上。

所以本實驗把同一份契約跑三種做法:

做法 白話
A主 session 獨力做完自己做
B主 session 出施工卡,發包給 Claude 自家子代理找同事幫忙,錢從同一個口袋出
C主 session 出施工卡,發包給 MiniMax M3 工兵找外包,錢從另一個口袋出

要回答的一句話:把工作移到別本帳上,Claude 這邊真的省下來了嗎,代價是什麼。

⚠️ 兩邊都是月費吃到飽(MiniMax 那本 NT$1,500/月),所以錢不是決策變數。 真正稀缺的是那個六條 LINE 線共用的 Claude 額度視窗——報告裡的美金是照 API 價目表換算的名目價,不是實付。

二、兩種跑法:Windows 原版與 macOS 港版

同一份契約有兩個版本,因為原版綁死 Windows。

巴哲原版(win) 我們的港版(mac)
技術棧C# WinForms on .NET 8(net8.0-windowsPython 3 標準庫,GUI 用 tkinter
建置檢查dotnet build -c Releasepython3 -m compileall -q .
命令列進入點BatchRenameStudio.exepython3 batch_rename_studio.py
契約規則 1–16原文逐字不動
輸入 rules.json/輸出 plan.json原格式逐字不動
封存測試集與評分器holdout/score.pyscore_lifeos.py,只改兩處平台綁定,G1/G2/G3 判定逐字未動
臂數兩臂(C1 獨力/C3 委派)三臂(多一個 MiniMax 外包臂)
每臂筆數n=4n=4(進行中)

改動只有四處,全在外殼:GUI 框架、建置指令、進入點、regex 引擎語法轉換。 之所以損失比看起來小,是因為封存測試打的是工具吐出來的 plan.json, 判定對象是資料不是語言——真正綁死 Windows 的只有殼。

代價要講清楚:換棧之後工作量不完全等價,我們的 A/B 與他的 C1/C3 關係由「可直接對照」降為「同量級參考」。但本實驗的主問題(C 相對 A、B 的位置) 完全落在我們自己三臂之間,不受這件事影響。

還有兩個平台差異值得記:

  • 脈絡視窗實測 1,000,000modelUsage.contextWindow),不是 200,000。 「怕爆脈絡才要委派」這個直覺在這個環境不成立——委派的門檻是分工經濟,不是容量。
  • 移植時抓到一個評分器缺口:G3 原本檢查有沒有 .csproj 檔,Python 專案永遠不可能滿足, 每一臂會固定少一分。已改成等價問法(有沒有原始碼真的在用 tkinter 做 GUI)。 這個改動由技術棧決定,不是看了成績才調的。

三、目前跑到哪

跟巴哲並排:委派比自己做貴幾倍

三組共用同一把尺,所以棒子長度可以跨組直接比。虛線=獨力 1.00×,落在線左邊的做法比自己做便宜。

Claude 額度 token倍(以獨力為 1.00)
獨力(基準)n=2
1.00×
巴哲 C3/自家子代理(C# 版)n=4
5.27×
我們 B/自家子代理n=2
3.98×
我們 C/MiniMax 工兵n=1
1.09×

他量的是總 token(含子代理),我們量的是與額度直接相關的新鮮 token——同方向但不是同一把尺。

名目成本倍(以獨力為 1.00)
獨力(基準)n=2
1.00×
巴哲 C3/自家子代理(C# 版)n=4
2.37×
我們 B/自家子代理n=2
3.33×
我們 C/MiniMax 工兵n=1
1.46×

兩邊都照 API 價目表換算的名目價,訂閱制下都不是實付金額。

主線峰值脈絡倍(以獨力為 1.00)
獨力(基準)n=2
1.00×
巴哲 C3/自家子代理(C# 版)n=4
1.20×
我們 B/自家子代理n=2
1.16×
我們 C/MiniMax 工兵n=1
1.17×

兩邊問的是同一件事:委派有沒有減輕主模型的脈絡負擔。

並排不等於可直接對照:巴哲跑 C# WinForms、每臂 n=4 已完成;我們跑 Python 港版,多數臂還沒跑滿 n=4,倍數是觀察值不是結論。

四張圖:同一份工作,三種做法的代價

每張圖以當下最大值為滿格;切到本頁才長出來,每臂目前的筆數標在名字後面。

Claude 新鮮 token

跟額度視窗直接相關的那一份——這條實驗真正在省的東西

A/獨力n=2
206,072
B/自家子代理n=2
819,890
C/MiniMax 工兵n=1
224,867
名目 US$美金

照 API 價目表換算的名目價,訂閱制下不是實付

A/獨力n=2
4.95
B/自家子代理n=2
16.49
C/MiniMax 工兵n=1
7.25
牆鐘分鐘

從開跑到收工的實際時間,含子代理跑的那一段

A/獨力n=2
18.3
B/自家子代理n=2
38.8
C/MiniMax 工兵n=1
62.4
主線峰值脈絡token

主 session 吃到最滿的那一刻——委派本來被期待能壓低它

A/獨力n=2
128,622
B/自家子代理n=2
149,532
C/MiniMax 工兵n=1
150,603

逐筆結果(每補完一筆就重跑本表)

run 做法 Claude 新鮮 token 名目 US$ 牆鐘 請求數 子代理請求 主線峰值脈絡 契約分
A-01A獨力205,1294.7918.1 分360127,463100%
A-02A獨力207,0165.1218.5 分410129,781100%
A-03A獨力待跑待跑待跑待跑待跑待跑待跑
A-04A獨力待跑待跑待跑待跑待跑待跑待跑
B-01B自家子代理488,91710.8815.5 分12166122,728100%
B-02B自家子代理1,150,86322.0962.1 分179130176,335100%
B-03B自家子代理待跑待跑待跑待跑待跑待跑待跑
B-04B自家子代理待跑待跑待跑待跑待跑待跑待跑
C-01CMiniMax 工兵224,8677.2562.4 分710150,603100%
C-02CMiniMax 工兵待跑待跑待跑待跑待跑待跑待跑
C-03CMiniMax 工兵待跑待跑待跑待跑待跑待跑待跑
C-04CMiniMax 工兵待跑待跑待跑待跑待跑待跑待跑

← 左右滑看其餘欄位(第一欄固定不動)

完成度:5/12 筆。未跑完的格子寫「待跑」不寫 0——空目錄評出來的 0 分會被讀成「這一臂做不出來」,那是假資料。

分臂彙總(以 A 臂為 1.00)

n Claude 新鮮 token 平均 相對 A 名目 US$ 平均 主線峰值脈絡平均 契約分
A/獨力2206,072.501.00×4.95128,622100%
B/自家子代理2819,8903.98×16.49149,531.50100%
C/MiniMax 工兵1224,8671.09×7.25150,603100%

← 左右滑看其餘欄位(第一欄固定不動)

⚠️ 每臂最少只有 1 筆,還不到 n=4。n=4 vs n=4 的 Mann-Whitney 下限是 p=2/C(8,4)=0.0286,低於 4 筆在組合上就不可能達到 p<0.05——所以上面的倍數是觀察值不是結論,不得拿去改派工預設。

四、目前看到的三件事(是觀察,不是結論)

第一,發包給自家子代理最貴。 B 臂在 Claude 額度上吃掉 3.98 倍, 名目成本 3.33 倍。方向與巴哲的結論一致(他量到 token 5.268 倍、成本 2.368 倍), 倍率比他更陡——量到的東西不同(他算總 token,我們算與額度直接相關的新鮮 token), 而且我們的施工卡把工作切給多個子代理,切得愈細、複述契約的次數愈多。 兩邊都指向同一件事:在自家池子裡發包,帳單會膨脹一倍以上。

第二,發包給 MiniMax 幾乎不花 Claude 額度。 C 臂只比獨力多 9%。 那 9% 是施工卡與驗收的成本——主 session 還是得寫卡、讀回報、驗收, 只是工兵那一段的算力搬到別本帳上了。

第三,代價出現在時間與脈絡,不在錢。 C 臂跑了 62.4 分鐘, 是獨力(18.3 分)的 3.41 倍;主線峰值脈絡 150,603, 反而比獨力(128,622)還高——因為工兵的產出要讀回主線驗收。 B 臂也一樣(149,532,1.16 倍)。所以「派工兵可以減輕主線脈絡」這個直覺, 兩種發包方式都不成立,跟巴哲在委派上量到的 1.200 倍是同一個現象。

五、限制(讀這份報告前必須知道)

  1. 筆數不足。 每臂 n=4 才有可能達到 p<0.05(Mann-Whitney 下限 p=2/C(8,4)=0.0286)。 現在的倍數只是觀察值,不得拿去改 rules/model-dispatch.md 的派工預設
  2. 品質那一半還沒做。 契約層目前三臂都是滿分,但巴哲研究裡最重要的限制就是 「契約層滿分、GUI 層卻交出連資料夾都載不進去的介面」。每一筆都要人工開一次 GUI 才算數。
  3. MiniMax 側量不到 token。 CLI 不回報、log 沒有計數器、額度表那兩個 *_time 欄位 實測是倒數毫秒不是餘額。C 臂只量得到請求數。
  4. 美金是名目價,訂閱制下不是實付金額。
  5. 共用額度池與共用機器是兩回事。三臂跑在服役中的帳號店面上(伊森 2026-08-21 13:22 核可), 那是額度軸;另外它們與五條 session 同住一台 M2,那是機器資源軸—— 2026-08-21 15:45 全線被砍是後者,與額度無關。

六、下一步

  • 補完剩下的筆數,每補一筆就重跑 tools/report_lifeos.py,本報告的表格自己長。
  • 12 筆到齊後跑人工 GUI 篩檢,把品質那一半補上。
  • 兩件都齊了才動 rules/model-dispatch.md