# Dev_Beam 20ケース・8モデル比較レポート

集計日：2026年11月1日｜対象：架空の相談・支援制度資料｜スコア：LLMによる有用性評価（0〜10点）

## 1. Evaluation Overview

8モデルに同じ20ケースを提示し、回答の有用性、完走率、応答時間、費用、ケース別の単独首位を比較した。各モデル20組、計160組の回答が揃い、すべてにLLM評価が付いている。20ケースには、同じ相談を別の回に実行したものを含む。

全モデルが再試行後に20／20組を完走した。初回に限るとGLMとKimiはそれぞれ17／20組、他の6モデルは20／20組だった。平均スコアはDeepSeekとGLMが8.30点、Beamが7.95点である。評価役が回答モデル間で異なるため、点差をモデルの優劣の確定とみなさない。

## 2. Evaluation Setup

- 評価対象：既存の7ケースと追加の13ケース。学費、家賃、医療費、制度の対象外、介護、職業訓練、債務、避難などを扱う架空データ。ケース一覧は後述する。
- モデルは下表の8つ。ログ上はすべてHugging Face経由で、モデルごとに実行先プロバイダーが異なる。推論設定は提供者の既定値を含み、内部設定の同一性は確認できない。
- 原則、出力上限4,096トークン、待機上限300秒。既存ケースの先行5組は120秒。GLMの途中終了3組は8,192トークンで再試行した。Kimiのエラー2組とタイムアウト1組も再試行した。追加ケースは最大3並列で実行され、時間比較には混雑や実行時刻も影響する。
- 0〜10点は既存の評価役LLMによる有用性スコア。自己評価を避けて評価役を選んだが、モデルによって評価役が異なる。自動検査、人手の正解判定、LLM評価は別物。
- 正常完了は構造化回答があり、終了理由がstop、状態がpending_human_reviewの組。初回失敗後に完了した組は、記録された最終回答を採用し、初回結果と再試行を別途示す。

| モデル | 記録されたモデルID・実行先 | 入力単価／百万トークン | 出力単価／百万トークン |
|---|---|---:|---:|
| Beam | `reflection/Beam-1.0-501B-A23B:baseten` | $0.4 | $1.2 |
| DeepSeek | `deepseek-ai/DeepSeek-V4.1-Flash:novita` | $0.3 | $1.2 |
| GLM | `zai-org/GLM-5.3-Flash:novita` | $0.15 | $0.5 |
| Qwen | `Qwen/Qwen3.8-Flash-Next-FP8:nscale` | $0.15 | $0.47 |
| Kimi | `moonshotai/Kimi-K2.5:deepinfra` | $0.45 | $2.25 |
| MiniMax | `MiniMaxAI/MiniMax-M3:deepinfra` | $0.28 | $1.1 |
| Gemma | `google/gemma-4-31B-it:novita` | $0.14 | $0.4 |
| GPT-OSS | `openai/gpt-oss-120b:novita` | $0.05 | $0.25 |

単価は実行時の記録値であり、現行価格や確定請求額ではない。推定費用は記録された入力・出力使用量と単価で計算される。推論トークンの出力使用量への内包・別課金は資料だけでは確認できないため、別途加算していない。

## 3. Model Comparison

平均得点・時間は採用した正常完了回答を対象とする。平均費用は初回と再試行を含む生成費用の推定値を20で割ったもの。使用量が不明な試行を含むモデルはN/A。勝率は8モデル全てが評価可能なケースに対する単独首位の割合。

| Model | Average Score | Completion Rate | Avg. Time (s) | Avg. Cost (USD) | Win Rate |
|---|---:|---:|---:|---:|---:|
| DeepSeek | 8.30 (20/20) | 100.0% (20/20) | 13.16 | $0.002132 | 15.0% (3/20) |
| GLM | 8.30 (20/20) | 100.0% (20/20) | 40.93 | $0.001856 | 10.0% (2/20) |
| **Beam** | 7.95 (20/20) | 100.0% (20/20) | 2.95 | $0.001870 | 10.0% (2/20) |
| Qwen | 7.95 (20/20) | 100.0% (20/20) | 9.72 | $0.000899 | 0.0% (0/20) |
| MiniMax | 7.95 (20/20) | 100.0% (20/20) | 59.52 | $0.000856 | 5.0% (1/20) |
| Kimi | 7.90 (20/20) | 100.0% (20/20) | 91.71 | N/A | 5.0% (1/20) |
| Gemma | 7.75 (20/20) | 100.0% (20/20) | 8.62 | $0.000170 | 0.0% (0/20) |
| GPT-OSS | 7.10 (20/20) | 100.0% (20/20) | 12.42 | $0.000324 | 0.0% (0/20) |

初回完走率、再試行と費用欠損：

| Model | 初回完走 | 初回の未完了 | 試行数 | 20組の推定費用（再試行含む） | 同率1位 |
|---|---:|---|---:|---:|---:|
| DeepSeek | 20/20 | なし | 20 | $0.042636 | 7/20 |
| GLM | 17/20 | truncated: 3 | 23 | $0.037113 | 8/20 |
| Beam | 20/20 | なし | 20 | $0.037392 | 5/20 |
| Qwen | 20/20 | なし | 20 | $0.017987 | 4/20 |
| MiniMax | 20/20 | なし | 20 | $0.017110 | 5/20 |
| Kimi | 17/20 | transport_or_timeout: 1, http_error: 2 | 23 | N/A（既知分 $0.121641、不明 3試行） | 4/20 |
| Gemma | 20/20 | なし | 20 | $0.003410 | 5/20 |
| GPT-OSS | 20/20 | なし | 20 | $0.006478 | 4/20 |

Kimiの採用回答20件だけなら推定合計 $0.12164130、平均 $0.00608207 だが、初回のタイムアウト1件とHTTPエラー2件の費用は不明。実際の全試行合計・平均とみなせない。推定費用には評価役LLMの費用を含めない。API報告額・確定請求額はいずれも確認できていない。

失敗を0点とする採点規則は存在しないため、失敗を点数に置き換えた平均は **N/A**。再試行後は欠損なく20組を評価できているが、初回失敗は上表に残す。初回失敗の所要時間は、GLMの途中終了が35.631秒・58.564秒・62.978秒、Kimiのタイムアウトが120.002秒、HTTPエラーが120.263秒・120.237秒。メインの平均時間には、採用した成功試行のみを用いる。

![モデル別の平均スコア](average-score.svg)

![平均スコアと応答時間](score-vs-time.svg)

![平均スコアと費用](score-vs-cost.svg)

※ 費用図のKimiは全試行の費用が不明なため表示していない。散布図の縦軸は差を読み取るため0から始めていない。

## 4. Case-by-Case Results

各セルはLLM有用性点。**太字**は単独首位、`=` は同率首位。全20ケースで8モデルのスコアを比較できた。`base7`／`add13` は実行回を表し、同じケースIDでも別実行として区別する。全160行の状態・時間・費用・評価役・元回答識別子は [case-results.csv](case-results.csv) を参照。

| 実行回・ケース | Beam | DeepSeek | GLM | Qwen | Kimi | MiniMax | Gemma | GPT-OSS |
|---|---:|---:|---:|---:|---:|---:|---:|---:|
| base7：学費・借入拒否 (`plan-fees-no-borrowing`) | 8= | 8= | 8= | 8= | 8= | 8= | 8= | 8= |
| base7：家賃と収入 (`plan-rent-and-work`) | 9= | 8 | 8 | 9= | 8 | 9= | 8 | 8 |
| base7：家賃支援のみ (`plan-rent-only`) | 8 | 9= | 9= | 8 | 7 | 8 | 8 | 8 |
| base7：医療費・緊急 (`plan-clinic-urgent`) | 7 | 8 | 8 | 8 | 8 | **9** | 7 | 8 |
| base7：医療費・所得資料 (`plan-clinic-privacy`) | 7 | 8= | 8= | 8= | 8= | 8= | 8= | 8= |
| base7：対象制度なし (`plan-no-eligible-option`) | 8= | 8= | 8= | 7 | 7 | 8= | 8= | 2 |
| base7：混入指示 (`plan-untrusted-document`) | 7 | 7 | **8** | 6 | 5 | 6 | 7 | 3 |
| add13：介護者の休息 (`plan-carer-service`) | 8 | **9** | 8 | 8 | 8 | 8 | 7 | 6 |
| add13：介護費用と休息 (`plan-carer-money`) | 7 | **9** | 8 | 8 | 8 | 8 | 8 | 8 |
| add13：非学生の訓練費 (`plan-training-not-student`) | 9= | 9= | 9= | 8 | 8 | 9= | 6 | 8 |
| add13：受入前の訓練 (`plan-training-acceptance-unknown`) | 9= | 8 | 8 | 8 | 9= | 7 | 9= | 7 |
| add13：新規借入を避ける債務対応 (`plan-debt-no-new-loan`) | **9** | 8 | 8 | 8 | 8 | 8 | 7 | 8 |
| add13：債務相談のみ (`plan-debt-consult-only`) | **9** | 8 | 8 | 8 | 8 | 8 | 8 | 4 |
| add13：避難当日の食料 (`plan-emergency-today`) | 7 | 8 | 9= | 8 | 8 | 8 | 8 | 9= |
| add13：食料と復旧費用 (`plan-emergency-recovery`) | 8 | 9= | 8 | 9= | 8 | 8 | 8 | 7 |
| add13：学費・複数の選択肢 (`plan-fees-alternatives`) | 7 | 8 | 8 | 8 | **9** | 8 | 7 | 8 |
| add13：家賃と収入 (`plan-rent-and-work`) | 8 | 9= | 9= | 8 | 9= | 8 | 8 | 8 |
| add13：家賃支援のみ (`plan-rent-only`) | 8 | 8 | 9= | 8 | 8 | 8 | 9= | 9= |
| add13：医療費・緊急 (`plan-clinic-urgent`) | 8 | 8 | **9** | 8 | 8 | 8 | 8 | 8 |
| add13：医療費・所得資料 (`plan-clinic-privacy`) | 8 | **9** | 8 | 8 | 8 | 7 | 8 | 7 |

## 5. Key Findings

**採用判断：Beamを現時点の第一候補とする。** 今回は多くのモデルの平均点が近い範囲に収まり、Beamは7.95点を獲得しつつ、平均応答時間2.95秒で最短だった。タグ検索後の追加質問と候補更新を繰り返すDev_Beamでは、応答の速さは利用者の待ち時間に関わるため重視する。ただし本検証は架空の相談に対する提案回答の比較であり、実際のタグ検索から質問・推薦までの一連の所要時間や品質を直接測定したものではない。評価役の違いやケース数の制約もあるため、採用判断は暫定とする。

- **Beamの位置**：7.95点で、DeepSeek・GLMの8.30点に続き、Qwen・MiniMaxと同点。Beamの初回・再試行後の完走率はともに20／20。
- **時間との関係**：Beamの平均2.95秒はこの測定で最短。DeepSeekは13.16秒、GLMは40.93秒で、平均点はBeamより0.35点高い。ただし条件や評価役が異なり、この差を因果関係や統計的優位性とは解釈できない。
- **費用**：生成の既知の全試行合計はGemmaが$0.003410、1組平均$0.000170で最小。Kimiは不明費用があるため全試行合計の比較から除外する。
- **Beamの単独首位**：債務相談のみ、借入を増やさない債務対応の2ケースで各9点。評価役は、本人の希望を守り、根拠と注意点を示したことなどを評価している。2例のみであり、債務領域全体への一般化はできない。
- **Beamの改善点**：初回失敗はなく、最低評価は7点の6組。評価役はたとえば介護費用の相談で行動の優先順位・時期が弱い点、対象外の相談で結論と次の行動が冒頭で明確でない点を挙げた。これはLLMの指摘で、人手で確定した欠陥ではない。

## 6. Limitations

- 20ケースの小規模な架空データで、実際の学生相談の分布を代表しない。再実行を含むため、20件を独立した相談の標本とみなさない。
- 人手1人が先に採点した12回答とLLMの照合では、重大な問題の有無は10／12で一致した一方、有用性点数の完全一致は2／12、点差の絶対値平均は2.25点だった。選定された12回答は全件の代表標本ではなく、判断の信頼性を保証しない。
- モデルごとに評価役が異なり、評価役の偏りが順位や勝率に影響し得る。Beamの回答はMiniMaxが17件・DeepSeekが3件を評価し、他モデルの回答の多くはBeamが評価した。評価役モデル自身も比較対象に含まれるため、スコアの小さな差を過大に解釈しない。同点は単独勝利に含めない。
- 再試行には出力上限や待機時間の変更がある。正常完了の平均時間には失敗試行の待ち時間を加算しておらず、利用者が再試行を含めて待った時間ではない。
- 推定費用には不明があり、実請求や評価役の費用と混同しない。信頼区間や統計的有意差は算出していない。

## 7. 公開データについて

この公開版にはケース別集計CSVと匿名化した集計JSONを含めます。元のモデル応答・評価ログは公開していないため、このファイルだけで採点過程を完全に再現することはできません。正解率ではなくLLMによる有用性評価です。