skill-creator

Skill Creator

新しいスキルを作成し、反復的に改善していくためのスキルです。

高レベルでは、スキル作成プロセスは次のように進みます。

• スキルに何をさせたいかと、どう実現するかを大まかに決める
• スキルのドラフトを書く
• いくつかのテストプロンプトを作成し、スキルにアクセス可能なエージェント（Claude/Codex）で実行する
• ユーザーが結果を定性的・定量的の両面で評価できるよう支援する
  • 実行がバックグラウンドで進んでいる間に、定量評価がなければドラフトする（すでにあればそのまま使うか、必要に応じて修正する）。その後、ユーザーに説明する（既存の評価がある場合は、その既存評価を説明する）
  • eval-viewer/generate_review.py スクリプトを使って結果をユーザーに提示し、定量メトリクスも確認できるようにする
• ユーザーの結果評価からのフィードバックに基づいてスキルを書き直す（定量ベンチマークで明らかな欠陥が見えた場合も反映する）
• 納得できるまで繰り返す
• テストセットを拡張し、より大きな規模で再試行する

このスキルを使うときのあなたの仕事は、ユーザーがこのプロセスのどこにいるかを見極め、各段階を前進させることです。たとえばユーザーが「X 向けのスキルを作りたい」と言ったなら、意図の絞り込み、ドラフト作成、テストケース作成、評価方法の設計、すべてのプロンプト実行、そして反復まで支援できます。

一方で、ユーザーがすでにスキルのドラフトを持っている場合もあります。そのときは、ループの評価/反復フェーズから直接始められます。

もちろん、常に柔軟に対応してください。ユーザーが「大量の評価は不要だから、まず一緒に感覚的に進めたい」と言うなら、その進め方で構いません。

そしてスキル完成後には（ただし順序は柔軟で構いません）、スキルのトリガーを最適化するために、専用スクリプトで description 改善を実行できます。

大丈夫ですね？ では進めましょう。

ユーザーとのコミュニケーション

skill creator は、コーディング用語への習熟度が幅広い人に使われる可能性があります。最近ようやく広まり始めた流れですが、Claude の力に触発されて配管工がターミナルを開き、親や祖父母が「npm のインストール方法」を検索するような状況も起きています。一方で、ユーザーの大半は比較的コンピューターに慣れているはずです。

そのため、文脈の手がかりに注意して、伝え方を調整してください。デフォルトの感覚としては次のとおりです。

• 「evaluation」や「benchmark」は境界線上だが、使ってよい