事業評価の方法TOP > 付録 | |
付録:関係者からよせられた感想と質疑応答 |
今回の評価方法と評価結果は、評価報告会の開催や評価報告書の発行により公表された。それらを見た関係者からはさまざまな感想や質問がよせられた。以下はそれらの感想や質問である。質問には私からの回答もあわせてしめす。 感想
質問と回答質問:報告書を見ても、誰が事業にかかわったのか、顔がよく見えないのですが?回答:今回の報告はあくまでも「評価」の報告であり、事業そのものの報告ではありません。作成された報告書も評価の方法や結果について記載したものであり、事業のそのものの内容や結果をくわしく報告するものではありません。個々の事業の実施プロセスや、誰がどのようなプロセスでどのようにかかわったか、現地の写真などにつきましては、それぞれの事業の報告書にくわしく記載されています。活動内容そのものを紹介するためには、活動報告会を別途開催する必要があるとおもいます。 質問:3年前はどうだったのですか? 3年間で何が変わったのですか? 具体的な数値がないのですが?回答:3年前の状況と3年間で何が変わったかにつきましては、報告書の第3章「評価6項目による事業別評価『実績確認』」に簡潔にまとめてありますのでご覧ください。 質問:「提言」をもっと具体的に記載した方がよいのではないでしょうか?回答:提言の要点は第5章「教訓と提言」に記載してあります。これにつきましても、今回はあくまでも評価であり、計画の原案を立案するというものではありませんので、評価結果にもとづいて要点のみを簡潔に記載してあります。 質問:今回の評価報告を受けて、一番感じたのは評価が主観的であるということです。実際に現地に行った方はその変化を目の当たりにしていますが、日本から支援している立場からすると、例えば環境が改善されたと言っても、何がどう改善されたのかがわからないと思います。全てを理解するのは難しいですが、例を挙げることでその評価の質は向上するのではないでしょうか。住民の声を載せることも1つの案です。回答:評価が主観的にならずできるだけ客観的になるように、評価チームのメンバーに外部からも参加していただくとともに、「多角評価法」「ネットづくり」「衆目評価」を併用しました。ただし100%客観的な評価は不可能です。何がどう改善されたかにつきましては、その要点は「実績確認」の項に記載されていますが、くわしくはそれぞれの事業の報告書に記載されています。住民の声は報告書の「現地調査結果」の項に掲載してあります。 質問:報告書の表紙に副題をつけた方が、より内容が明確になるのではないでしょうか?わかりやすさを優先するのであればつけた方がよいとおもいます。 評価報告会では、出席者の皆さんにも「衆目評価」をおこなっていただいた。そのときにだされた質問は以下の通りである。 質問:B県でずっと活動をつづけていこうという意見をもっている人はどうすればよいのですか?回答:とりあえず、衆目評価図解にあらわれているもっともちかい項目に高得点をいれてください。その上で、図解に記載されていない内容については別紙に記入してください。図解からもれおちている内容・意見につきましては、計画立案のために活用していくことになります。 質問:パソコン関連の支援を高く評価したいのですがどうすればよいでしょうか?回答:それに一番ちかい項目に高得点を入れてください。そのうえで、別紙の感想・コメント欄にご意見を記入しておいてください。ご意見は今後の計画立案のために活用していきます。 質問:多くの質問がありましたが、この評価の意義があまりわかりませんでした。様々な評価方法があるかとは思いますが、選んだ5つ以外がすべて0点になるのはあまり好ましくない気がします。評価というよりは優先順位を決めるにすぎないのではないかと思います。回答:今回演習した「衆目評価」は評価手法の一種であり、これが唯一の手法であるとのべているわけではありません。問題意識をふかめ、評価に参加していただくために演習をおこないました。選んだ5つ以外を0点にしない方法もありますが、こまかくなりすぎるので今回はおこないませんでした。また、そもそも評価とは価値の順位を決めることです。 質問:衆目評価は、「評価チームの評価」を評価する作業ということでしょうか? 少しわかりにくかったですが。それとも「評価」を自分の価値基準で序列化するということでしょうか?回答:「評価チームの評価」を評価する作業ではありません。「衆目評価」は、「多角評価」の要点をさらに評価する方法であり、その具体的な進め方は、まず、だされた各項目の価値を自分の基準で順位づけします。そのつぎに、参加者全員の投票結果を集計し、集団(組織)の総体としての評価結果をあきらかにします。これが多様な人々の「多様な目」による評価結果となり、「多角評価」を補完し発展させる役割を果たします。 質問:報告書の中で「目標達成度の5段階評価」がよくわかりません。何の目標に対する5段階評価なのか? 突然でてくる感じがします。回答:「目標達成度」とは、「評価6項目」のなかでは「有効性」に相当します。しばしば誤解が生じているので、「有効性」とは言わずに「目標達成度」と言った方がよいでしょう。これは、計画立案時にたてたプロジェクト目標がどの程度達成されたかを評価したものであり、それぞれの目標は、報告書の表の中の計画欄に記載されています。 質問: 3ヶ年計画の段階の情勢と、現在の情勢のちがいによるプロジェクトニーズの若干のギャップを感じました。3ヶ年実施中に、方向性・内容のダイナミックな見直しはできるものでしょうか。回答:今回は、事業終了時評価をおこないましたが、今回の評価方法は、事業の中間評価でも利用することできます。事業の途中でモニタリングと中間評価をおこない、必要に応じて計画を修正するのがのぞましいとおもいます。 質問:1時間で6つの事業の評価を聞くというのは時間が短すぎてよくわかりません。その状態でさらに評価チームの評価を評価するのに欲求不満になます。回答:評価報告会には時間的制約があります。その中でできるだけ効率をあげるために、今回の「多角衆目評価法」は有益でした。もしこの方法をつかっていなかったならば、説明にもっと時間がかかり、複雑でわかりにくい報告会になったとおもいます。現在までのところ、「多角衆目評価法」以外にもっと効率をあげる方法は見あたりません。 評価報告会以後にだされた質問は以下の通りである。 質問:評価の内容に疑問があります。評価の内容が評価できません。回答:今回の評価は、既存の「評価5項目による評価」などを強化し、十分な研究の上にたって評価法を開発し、関係者の協力と参画のもとで実現することができました。まず、この経緯を再度ご確認ください。 質問:評価報告書は、計画→活動実績確認→評価だが、本来は活動による成果(目指した効果)が入るべき。つまり、具体的な目標がなかった。回答:活動による「成果(目指した効果)」は、「6項目評価による事業別評価の結果」に記載されています。もう一度報告書をよく読んでください。また今回の評価は、今後の計画立案のための基礎資料をつくることを目標としておこないました。基礎資料を作成するという具体的な目標がはじめからあったわけです。 質問:各事業のファクトとマイナスをたして2で割るような結論は意味がない。回答:「ファクトとマイナスをたして2で割る」ようなことは一切しておりません。もう一度「評価の方法」をよく読んでください。今回もちいた「多角衆目評価法」は「多角評価」「ネットづくり」「衆目評価」から構成されており、十分な研究の上にたって手法を開発し、そのプロセスを公開した上で、その手順にしたがって結果をだしています。「多角衆目評価法」により、様々な観点(基準)からの、多様な人々による評価を、図解をつかって効率的実務的に実施することが可能になりました。「意味がない」というのはまったくの誤解です。 質問:限られた情報の範囲の中で、到達すべき目標そのものが適切であったかどうかを見定め、目標達成への取り組み方とプロセスの是非を論じ、成果を判断するのは大変に難しいことだと思います。回答:たしかにその通りです。しかし、かぎられた条件であっても、事業の評価は、あらたな事業展開をめざす上でさけては通れない重要なステップです。そのためには、できるだけ効率のよい評価活動をおこなわなければならず、今回「多角衆目評価法」をあらたにモデル化し実践しました。これにより以前よりはすぐれた評価が実務的にできるようになりました。しかし今後とも、あたえられた条件のもとで最大の効果をあげるために、評価法の研究開発はつづけていくべきでしょう。 質問:個別戦略や短期的な目標などについては、立案した部署が、立案戦略の実施結果について自己評価をして報告し、理事会などででそれを議論するという方法ならばできるのではないかと思います。必要があれば、その内容の妥当性を客観的な見地に立てる人が検証するのも良いと思います。回答:たしかに、そのような「自己評価」は重要であり、今日までもよくおこなわれてきており、今後とも実施すべきことでしょう。しかし、「自己評価」だけですと主観的な評価になってしまいますので、現在では、「自己評価」にくわえて第三者(外部者)による客観的評価をおこなうことと、情報を一般に公開することがごく普通におこなわれるようになってきています。 コメント 上記にしめしたように、評価方法と評価結果を公開したところ多数の感想や質問がよせられた。これらの感想や質問は、今後、評価手法を改善していくために大変有用である。 |
> 事業評価の方法TOP |