FC
69問FactConsolidation
更新された事実を、正しく答える。
81.5%KMC · 正答率
Kagura Memory Cloud81.5%
mem06.5%
file2.5%
KMCは81.5%。最新の事実を扱う課題で、高い正答率を示しました。
MEMORY BENCHMARKS
AIの記憶を、精度とコストで比べる。
対象バージョン v0.135.0以降 測定日 2026年11月6日 135問・1,494回の回答実行
Kagura AIの記憶基盤「Kagura Memory Cloud」を、mem0・Claude Codeのファイルメモリーと比較しました。事実の上書きと、会話履歴の活用。2つのベンチマークから、得意なことと費用の関係を見ていきます。
2つのテストで見る、記憶の精度。
小規模・大規模の条件を平均した正答率。バーはすべて0〜100%の同じ尺度です。
LME
66問LongMemEval
過去の会話を、回答につなげる。
88.6%KMC · 正答率 *
Kagura Memory Cloud88.6%
mem084.1%
file78.0%
KMCは約88.6%。mem0に対する精度の非劣性を満たしました。
* 今回使用した問題群のスコアであり、各ベンチマークの全問題に対する公式スコアではありません。LMEの値は、レポート内の丸め済み数値から計算した概算です。KMCのLME精度がmem0を上回ることは、統計的には確認されていません。
このスコアは、何を測っている？
「覚えている」だけでなく、必要な情報を正しく回答に使えるかを評価します。
FC｜事実の保持と上書き
番号付きの事実リストを読み、指定された事実を答えるテストです。一般知識と矛盾する内容や、後の情報による上書きも含みます。
イメージ例（実際の出題ではありません）
「窓口は田中さん」→「窓口は佐藤さんに変更」
いまの窓口は？ → 佐藤さん常識や古い記録より、保存された最新の事実を優先できるか。
LME｜会話履歴の活用
過去の会話に含まれる情報を使って答えるテストです。会話をまたぐ情報の統合、知識の更新、ユーザーやアシスタントの発言、時間関係を扱います。
イメージ例（実際の出題ではありません）
別の日の会話に、旅先・日程・宿の条件が分かれている。
旅行の希望をまとめて → 会話をつないで回答複数の会話から、必要な情報を集めて答えられるか。
精度と費用を、セットで見る。
FCでは高精度とコスト増のトレードオフ。LMEでは、精度の非劣性と回答コストの削減を確認しました。
FC：精度を重視する選択
1.62×mem0に対する回答コスト
正答率はmem0の6.5%に対し、KMCは81.5%。回答コストは約62%増えています。最新の事実を正確に答える価値と、追加費用をあわせて判断する結果です。
1回答セッションあたり
mem0$0.048KMC$0.077
LME：精度を保ちながら、費用を抑える
0.84×mem0に対する回答コスト
正答率はmem0の約84.1%に対し、KMCは約88.6%。10ポイントの許容差で非劣性を満たし、回答コストは約16%低い結果でした。精度の優位性は未確認です。
1回答セッションあたり
mem0$0.107KMC$0.090
回答時のモデル利用費用です。記憶の書き込み・構築費用、サービス利用料を含む総費用ではありません。キャッシュの再利用と実行順序にも左右されます。
会話履歴の、どの使い方に強い？
LMEの内訳です。各分類は4〜24問と少なく、順位は参考値です。分類ごとの優位性を統計的に確認した結果ではありません。
| 評価項目 | 問題数 | mem0 | file | KMC |
|---|---|---|---|---|
| 知識の更新 | 12 | 91.7% | 62.5% | 87.5% |
| 複数セッションをまたぐ質問 | 24 | 79.2% | 77.1% | 93.8% |
| アシスタントの発言 | 4 | 75.0% | 87.5% | 75.0% |
| ユーザーの発言 | 11 | 81.8% | 81.8% | 90.9% |
| 時間関係の推論 | 15 | 90.0% | 86.7% | 83.3% |
結果を読むための検証条件。
対象バージョンはv0.135.0以降です。掲載スコアの測定にはv0.135.0を使用しました。
- 比較した構成
- KMC v0.135.0（出荷プラグイン）、mem0ai 2.2.1 + mem0-mcp-server 0.2.1、Claude Codeのファイルメモリー。fileは今回構築した方式で、ファイルメモリー全般の性能を示すものではありません。
- 回答側のモデル
- 全方式でClaude Code 2.1.311・claude-opus-5-5を使用。予定した1,494回の実行がすべて完了し、問題の除外はありません。
- スコアの集計
- 問題ごとに、各規模の構築結果を平均し、小規模・大規模を等しく重み付け。FCは69問、LMEは66問です。
- 書き込み方法の違い
- KMCはDeepSeekを使うClaude Codeエージェントとプラグインで記憶を書き込み、mem0はセッション全体から抽出します。mem0とfileの記憶ストアは前回構築分を再利用しています。
- FCの再現性
- 各方式につき、記憶の構築は小規模2回・大規模2回。KMCの小規模の成績は構築ごとに97.1%と55.1%でした。問題単位の信頼区間は、この構築間のばらつきを十分に反映しません。
- 評価の独立性
- KMCの開発者が自ら実施した評価です。問題は過去の検証で閲覧済みで、FCの開発用問題は評価問題と履歴を共有しています。第三者による独立評価ではありません。