自作スキルを作って良し悪しを測る手順

結論

スキルが呼ばれたことと、期待どおりの結果が出たことは別です。skill-creatorは、スキルを新しく作る・直す・そして効き目を測るための公式スキルです。作って終わりにしないための道具だと考えてください。

測るべきものは2つある

スキルが働いているかを知るには、2つを別々に見る必要があります。1つは、使ってほしい場面でちゃんと呼ばれるか。もう1つは、呼ばれたときに期待どおりの結果が出るか。

どちらも確かめ方は同じで、比較です。現実的な頼み方をいくつか用意し、スキルがある状態とない状態で同じことを頼み、結果を見比べます。このとき、新しいセッションで試すことが大事です。スキルを書いたときの会話が残っていると、その文脈が指示の書き漏れを埋めてしまい、穴が見えなくなります。

skill-creatorが自動化してくれること

この比較の作業を、Claude Codeの中で回してくれるのがskill-creatorです。公式ドキュメントによると、次のことをします。

• テストケース: 頼み方・入力ファイル・期待する動きを、スキルのフォルダ内のevals/evals.jsonに保存します
• 独立した実行: テストごとに別の作業役を立て、毎回まっさらな状態から実行し、トークン量と所要時間を記録します
• 採点: 期待した動きが満たされたかを判定し、根拠とともにgrading.jsonに書き出します
• 比較: スキルあり・なしの合格率、時間、トークンをbenchmark.jsonにまとめます
• 版の比較: 2つの版を伏せて比べ、直したことが改善なのかを確かめます
• 説明文の調整: 発動してほしい頼み方・してほしくない頼み方を作り、当たり具合を測って説明文の直しを提案します

スキル自体は/plugin install skill-creator@claude-plugins-officialで導入します。

前提条件

• 測りたいスキルが手元にあること
• 現実的な頼み方を数個、自分で用意できること
• 導入後にRun /reload-plugins to activate.と表示された場合は、そのコマンドを実行すること

手順

1. /plugin install skill-creator@claude-plugins-officialで導入します
2. 有効化を促す表示が出たら/reload-pluginsを実行します
3. 「〇〇スキルをskill-creatorで評価して」のように頼みます
4. 案内に沿ってテストケースを書きます。頼み方と、期待する動きを具体的に書いてください
5. 実行結果（合格率・時間・トークン）を見て、スキルを直すか判断します
6. 直したら、版の比較で「本当に良くなったか」を確かめてからコミットします

検証の考え方

数字が出たからといって、良くなったとは限りません。見るべきは、合格率の伸びと、それに払ったトークン・時間の釣り合いです。合格率がわずかに上がるだけで実行時間が大きく延びるなら、その改善は割に合わないかもしれません。

発動しない問題と、結果が悪い問題を混同しないでください。前者は説明文の直し、後者は指示の直しです。原因が違えば直す場所も変わります。

限界と注意

比較で測れるのは、用意した頼み方の範囲だけです。テストケースが偏っていれば、結果も偏ります。実際に自分が使う言い回しを入れておいてください。

もう1点、評価は実行を伴うため、時間とトークンを消費します。毎回の小さな修正で回すのではなく、方針を変えたときに回す使い方が現実的です。

学習上の注意

「スキルが呼ばれた」ことを成功と見なすと、質の悪いスキルを抱え続けることになります。呼ばれたかと、役に立ったかを分けて見る。この習慣は、スキルに限らずAIの使い方全般に効いてきます。