「社会的インパクト評価ハンドブック」をJANPIAのウェブサイトで公開していますので、ご参照ください。また、JANPIAでは採択された資金分配団体向けに評価に関する研修等も実施しており、事業実施の際には受講いただくことができます。
＞JANPIAウェブサイト｜評価指針・評価ハンドブック等（外部リンク）
事業実施の結果生みだされる成果の可視化のために、数値目標を結果測定は有用です。定量的に示すことができる事業計画と評価計画の検討が望まれます。休眠預金活用事業では社会的インパクト評価を取り入れており、詳細はJANPIAウェブサイトに掲載している評価指針をご参照ください。
＞JANPIAウェブサイト｜評価指針・評価ハンドブック等（外部リンク）
事務手続きフローにおけるご不明点については、実行団体は資金分配団体の担当プログラムオフィサー（PO）へ、資金分配団体はJANPIAの担当プログラムオフィサー（PO）へお問合せください。加えて、助成システムについては、以下の助成システムサポートセンターへお問合せいただくことも可能です。
＞JANPIAウェブサイト｜助成システムサポートセンター（質問受付フォーム）（外部リンク）
事前評価の目的は、事業の必要性・妥当性を検証し、事業計画を改善することです。事業で解決したい課題の成り立ちや問題構造を俯瞰的に把握し、事業を実施する地域の対象ニーズを改めて把握します。その上で、事業目標を達成するために、適切な戦略がたてられているかを関係者と検証します。具体的には、関係者分析や事業設計図の作成を行い、事業計画書へそれらの内容を反映し、事業関係者で検証します。
JANPIAで作成している実行団体向け評価ハンドブック～事前評価 事業設計図編～、～事前評価評価小項目編から～が、ヒントになりますので、ご参照ください。
▽実行団体向け評価ハンドブック
https://www.janpia.or.jp/dormant-deposits/ongoing/guideline/（外部リンク）
中間評価の目的は、活動内容や実施体制を見直し、事業を改善することです。具体的には、事前評価で設定したアウトプットを測定し、アウトカムの発現の兆しを確認し、活動は計画通り進んでいるか、想定していた支援対象者に届いているか、事業設計図は見直しが必要か、実施体制やマネジメントは適切か、支援対象者や関係者のニーズに変化はあるか、インプットは計画通りに調達できているか等の観点から、実施状況の適切性を評価します。評価を踏まえ、残りの事業期間で、アウトカムの達成見込みを高めるためにどのように事業計画を改善すべきか検証するための調査等を実施するほか、事業期間終了後の活動の持続性を担保するための取組（組織基盤強化や環境整備等）についても計画の見直しを行い、事業計画書を必要に応じて修正します。
事後評価の目的は、事業成果の測定を行い、事業の価値判断を行い、学びを抽出することです。「事業の価値の判断」とは、課題やニーズ、事業運営管理の適切性、課題やニーズに対する事業設計の整合性、成果の達成状況の全てを振り返り、事業の妥当性を検証することをさします。具体的には、アウトプットとアウトカムの測定を行い、成果の達成状況を評価します。加えて、波及的・副次的・想定外のアウトカムや事業の効率性の観点からもアウトカムの実績を評価します。これらの事業成果を整理したら、事業の成功要因と課題について分析をします。その後、結論として、全ての評価要素を振り返り、課題の分析・事業設計の分析・実施状況の分析・アウトカムの分析の結論を根拠とともに記載します。その後、有益な提言、知見、教訓を整理し、事業より抽出された学びが、社会課題の解決に広く活用することを目指します。
追跡評価の目的は、通常枠の場合は、解決に時間を要する社会課題に係る事業の場合に、事業期間終了後、一定期間の後に、事業の中長期的成果や波及効果等の把握、事後までの評価の妥当性等の検証等を行うために実施するものです。 活動支援枠の場合は、事業終了後、一定期間の後に、活動支援プログラムの成果や担い手の育成・自立状況の把握、活動支援プログラムの有効性等の検証等を行うために実施します。
追跡評価の要否については、実行団体と資金分配団体、支援対象団体と活動支援団体と、それぞれJANPIAを含めた協議の上、個別に決定することとします。
下記のような点を確認しながら、事業の特性に合った指標を設定することが大切です。
○目的に合った指標か
何のために測定するのか、測定目的にあった指標かを確認します
○測定可能な指標か
設定した指標は、誰もが同じように測定できる内容に具体化されているかを確認します
○比較可能な指標か
同じ分野ですでに広く使われている指標が存在する場合には、その指標が使えるかを検討します。環境の違いを考慮する必要性はありますが、自分たちの事業を、ほかの団体が行ってきた実績と比較して評価することができます。
○管理可能な指標か
ひとつの事象を測るための指標の数が多すぎると、情報過多になり解釈が難しくなる恐れがあります。指標が多すぎると感じる場合には、目標の抽象度が高すぎたり、関係者間の共通認識を十分に形成できない可能性が出てきますので、目標を細分化することも検討します。
短期アウトカム指標とは、事業実施中や事業終了時に、短期アウトカムの達成の度合いをどのように測るかを示すものです。短期アウトカムに対して、どのような判断基準であれば「アウトカムを達成した」といえるのか、具体的な状況に落とし込むことで、指標を導き出します。指標を設定する際には、たとえば、５W１H（対象、種類、量、質、時期、地域・場所）のような具体的な判断基準を意識して設定します。短期アウトカムを測定する指標がその分野で確立されていない場合には、「信頼性」「妥当性」「感度」の観点から、設定する指標を検討します。信頼性は繰り返し同じ測定方法で測定した際に、一貫した解釈が可能な程度、妥当性は測定しようと意図しているものを実際に測定できている程度、感度は短期アウトカムの変化や差異を捉える程度を指します。
適切な指標が定まらない時には、短期アウトカムの変化を多面的に捉え、お互いの測定尺度の弱点を補うように検討します。特に、短期アウトカムの変化や差異の質を捉えるためには複数の指標設定が有効です。また、新しい取組みを行う事業では、事業期間をとおして指標の見直しを行い、より的確に短期アウトカムを捉える指標を開発していくことが求められます。短期アウトカム指標は、収集するデータの特定に基づいて定量あるいは定性データを選択します。定量と定性データのどちらかに偏りすぎず、それぞれの特徴を理解して短期アウトカムの変化を捉えるようにします。
データ収集のために受益者にアンケートやインタビューなどの調査をする際は、倫理的な側面にも十分に配慮する必要があります。
調査を行う際には、倫理的な問題についても十分に配慮し、対象者の人権の尊重やプライバシーの保護、被りうる不利益への十二分な配慮を行うことが大切です。
また、社会調査ではさまざまな個人情報を扱います。調査協力者（アンケートやインタビューの回答者）の権利が守られていない場合や、個人情報が適切に管理されていない場合は、たとえ調査者に悪気がなくても、「調査暴力」になり得ます。意図せぬ「暴力」がおこらないよう、調査への協力依頼をきちんと行い、調査協力者に伝えるべき内容をおさえておくことが大切です。
詳細は、JANPIAのホームーページで公開されている〈参考資料集〉をご確認ください。
▽参考資料集