付録:関係者からよせられた感想と質疑応答

 今回の評価方法と評価結果は、評価報告会の開催や評価報告書の発行により公表された。それらを見た関係者からはさまざまな感想や質問がよせられた。以下はそれらの感想や質問である。質問には私からの回答もあわせてしめす。

感想

  • 内容についてほとんど知識がなかったのでとても勉強になりました。
  • 計画・実施・評価までの大変な作業をよくやっていると思います。
  • 評価事業については、すばらしい作業だと思います。今後は、レポート作成・まとめをしていくことも大切ですが、大きな方向性をつくり上げていくことが課題だと感じました。
  • 現地の人の独立心を尊重しながら自立支援の活動を行うことが最も重要だと私は考えている。すべての活動は現地の為であり、最終的には現地の人々の意志にまかせるべきである。徐々に撤退を考えながら地域のために生かすことを考えるべきだと思う。
  • 現地の人々のために何をすべきか、優先度は会員によって考え方が違うので、今回の会員による衆目評価は良い取り組みだと思いました。
  • それぞれについて、いろいろな評価・価値判断があるとおもうので、「今後検討することが重要だと思うこと」をのべさせてもらった。

質問と回答

質問:報告書を見ても、誰が事業にかかわったのか、顔がよく見えないのですが?

回答:今回の報告はあくまでも「評価」の報告であり、事業そのものの報告ではありません。作成された報告書も評価の方法や結果について記載したものであり、事業のそのものの内容や結果をくわしく報告するものではありません。個々の事業の実施プロセスや、誰がどのようなプロセスでどのようにかかわったか、現地の写真などにつきましては、それぞれの事業の報告書にくわしく記載されています。活動内容そのものを紹介するためには、活動報告会を別途開催する必要があるとおもいます。

質問:3年前はどうだったのですか? 3年間で何が変わったのですか? 具体的な数値がないのですが?

回答:3年前の状況と3年間で何が変わったかにつきましては、報告書の第3章「評価6項目による事業別評価『実績確認』」に簡潔にまとめてありますのでご覧ください。
 ただし、今回の報告はあくまでも評価の報告であり、事業そのものの報告ではないため、3年間の具体的な変化などにつきましては簡略にしてあります。もっとくわしい数値などは、それぞれの事業の報告書に記載されています。

質問:「提言」をもっと具体的に記載した方がよいのではないでしょうか?

回答:提言の要点は第5章「教訓と提言」に記載してあります。これにつきましても、今回はあくまでも評価であり、計画の原案を立案するというものではありませんので、評価結果にもとづいて要点のみを簡潔に記載してあります。
 今後、今回の評価結果を基礎資料として、あらたな計画の立案をおこなうことになります。

質問:今回の評価報告を受けて、一番感じたのは評価が主観的であるということです。実際に現地に行った方はその変化を目の当たりにしていますが、日本から支援している立場からすると、例えば環境が改善されたと言っても、何がどう改善されたのかがわからないと思います。全てを理解するのは難しいですが、例を挙げることでその評価の質は向上するのではないでしょうか。住民の声を載せることも1つの案です。

回答:評価が主観的にならずできるだけ客観的になるように、評価チームのメンバーに外部からも参加していただくとともに、「多角評価法」「ネットづくり」「衆目評価」を併用しました。ただし100%客観的な評価は不可能です。何がどう改善されたかにつきましては、その要点は「実績確認」の項に記載されていますが、くわしくはそれぞれの事業の報告書に記載されています。住民の声は報告書の「現地調査結果」の項に掲載してあります。

質問:報告書の表紙に副題をつけた方が、より内容が明確になるのではないでしょうか?

わかりやすさを優先するのであればつけた方がよいとおもいます。

 評価報告会では、出席者の皆さんにも「衆目評価」をおこなっていただいた。そのときにだされた質問は以下の通りである。

質問:B県でずっと活動をつづけていこうという意見をもっている人はどうすればよいのですか?

回答:とりあえず、衆目評価図解にあらわれているもっともちかい項目に高得点をいれてください。その上で、図解に記載されていない内容については別紙に記入してください。図解からもれおちている内容・意見につきましては、計画立案のために活用していくことになります。

質問:パソコン関連の支援を高く評価したいのですがどうすればよいでしょうか?

回答:それに一番ちかい項目に高得点を入れてください。そのうえで、別紙の感想・コメント欄にご意見を記入しておいてください。ご意見は今後の計画立案のために活用していきます。

質問:多くの質問がありましたが、この評価の意義があまりわかりませんでした。様々な評価方法があるかとは思いますが、選んだ5つ以外がすべて0点になるのはあまり好ましくない気がします。評価というよりは優先順位を決めるにすぎないのではないかと思います。

回答:今回演習した「衆目評価」は評価手法の一種であり、これが唯一の手法であるとのべているわけではありません。問題意識をふかめ、評価に参加していただくために演習をおこないました。選んだ5つ以外を0点にしない方法もありますが、こまかくなりすぎるので今回はおこないませんでした。また、そもそも評価とは価値の順位を決めることです。

質問:衆目評価は、「評価チームの評価」を評価する作業ということでしょうか? 少しわかりにくかったですが。それとも「評価」を自分の価値基準で序列化するということでしょうか?

回答:「評価チームの評価」を評価する作業ではありません。「衆目評価」は、「多角評価」の要点をさらに評価する方法であり、その具体的な進め方は、まず、だされた各項目の価値を自分の基準で順位づけします。そのつぎに、参加者全員の投票結果を集計し、集団(組織)の総体としての評価結果をあきらかにします。これが多様な人々の「多様な目」による評価結果となり、「多角評価」を補完し発展させる役割を果たします。
 今回、評価報告会で「衆目評価」の演習をおこなったのにはつぎの理由があります。
 出席者みずからが作業をおこない、評価に参加していただくことにより、NGOの事業に関して、問題意識をふかめ疑問点を明確にしていただくことができ、参画型の評価が実現できます。受け身で話をきいているだけのときよりも、能動的に作業をおこなうことにより、感想や・コメント・意見・アイデアなども出やすくなります。特に、図解(チャート)はその人を触発する効果があることがしられています。
 「衆目評価」の作業は、評価に参加するだけでなく、このような啓発のための「ひきがね」として利用することもできます。実際、多数の啓発的意見をあつめることができました。

質問:報告書の中で「目標達成度の5段階評価」がよくわかりません。何の目標に対する5段階評価なのか? 突然でてくる感じがします。

回答:「目標達成度」とは、「評価6項目」のなかでは「有効性」に相当します。しばしば誤解が生じているので、「有効性」とは言わずに「目標達成度」と言った方がよいでしょう。これは、計画立案時にたてたプロジェクト目標がどの程度達成されたかを評価したものであり、それぞれの目標は、報告書の表の中の計画欄に記載されています。

質問: 3ヶ年計画の段階の情勢と、現在の情勢のちがいによるプロジェクトニーズの若干のギャップを感じました。3ヶ年実施中に、方向性・内容のダイナミックな見直しはできるものでしょうか。

回答:今回は、事業終了時評価をおこないましたが、今回の評価方法は、事業の中間評価でも利用することできます。事業の途中でモニタリングと中間評価をおこない、必要に応じて計画を修正するのがのぞましいとおもいます。

質問:1時間で6つの事業の評価を聞くというのは時間が短すぎてよくわかりません。その状態でさらに評価チームの評価を評価するのに欲求不満になます。

回答:評価報告会には時間的制約があります。その中でできるだけ効率をあげるために、今回の「多角衆目評価法」は有益でした。もしこの方法をつかっていなかったならば、説明にもっと時間がかかり、複雑でわかりにくい報告会になったとおもいます。現在までのところ、「多角衆目評価法」以外にもっと効率をあげる方法は見あたりません。
 また、「評価チームの評価」を評価するというのは誤解です。今回の評価は、評価6項目による「多角評価」、その要点をまとめる「ネットづくり」、それらをふまえた「衆目評価」という手順になっています。これらの手順を素直にふめば、事業の評価を迅速にすすめることができ、また、関係者が評価に参加することもできます。

 評価報告会以後にだされた質問は以下の通りである。

質問:評価の内容に疑問があります。評価の内容が評価できません。

回答:今回の評価は、既存の「評価5項目による評価」などを強化し、十分な研究の上にたって評価法を開発し、関係者の協力と参画のもとで実現することができました。まず、この経緯を再度ご確認ください。
 また今回の評価は、その結果を、今後の事業計画立案のために役立てること目標にしています。「評価できない」とただ否定するのではなく、評価報告書をよくよんで、それをたたき台にして、建設的な意見を積極的にだしていただくことが重要です。今回のような評価報告が発表されたことにより、これに触発されて感想や意見がでやすくなっているはずです。皆さんからだされたご意見は今後の計画立案のために活用していくことになります。

質問:評価報告書は、計画→活動実績確認→評価だが、本来は活動による成果(目指した効果)が入るべき。つまり、具体的な目標がなかった。

回答:活動による「成果(目指した効果)」は、「6項目評価による事業別評価の結果」に記載されています。もう一度報告書をよく読んでください。また今回の評価は、今後の計画立案のための基礎資料をつくることを目標としておこないました。基礎資料を作成するという具体的な目標がはじめからあったわけです。

質問:各事業のファクトとマイナスをたして2で割るような結論は意味がない。

回答:「ファクトとマイナスをたして2で割る」ようなことは一切しておりません。もう一度「評価の方法」をよく読んでください。今回もちいた「多角衆目評価法」は「多角評価」「ネットづくり」「衆目評価」から構成されており、十分な研究の上にたって手法を開発し、そのプロセスを公開した上で、その手順にしたがって結果をだしています。「多角衆目評価法」により、様々な観点(基準)からの、多様な人々による評価を、図解をつかって効率的実務的に実施することが可能になりました。「意味がない」というのはまったくの誤解です。

質問:限られた情報の範囲の中で、到達すべき目標そのものが適切であったかどうかを見定め、目標達成への取り組み方とプロセスの是非を論じ、成果を判断するのは大変に難しいことだと思います。

回答:たしかにその通りです。しかし、かぎられた条件であっても、事業の評価は、あらたな事業展開をめざす上でさけては通れない重要なステップです。そのためには、できるだけ効率のよい評価活動をおこなわなければならず、今回「多角衆目評価法」をあらたにモデル化し実践しました。これにより以前よりはすぐれた評価が実務的にできるようになりました。しかし今後とも、あたえられた条件のもとで最大の効果をあげるために、評価法の研究開発はつづけていくべきでしょう。

質問:個別戦略や短期的な目標などについては、立案した部署が、立案戦略の実施結果について自己評価をして報告し、理事会などででそれを議論するという方法ならばできるのではないかと思います。必要があれば、その内容の妥当性を客観的な見地に立てる人が検証するのも良いと思います。

回答:たしかに、そのような「自己評価」は重要であり、今日までもよくおこなわれてきており、今後とも実施すべきことでしょう。しかし、「自己評価」だけですと主観的な評価になってしまいますので、現在では、「自己評価」にくわえて第三者(外部者)による客観的評価をおこなうことと、情報を一般に公開することがごく普通におこなわれるようになってきています。
 このような時代の潮流をかんがみ、今回の事業評価では、評価の客観性をますために外部から2名の人に評価チームにくわわっていただきました。また、あらたに「多角衆目評価法」を開発・実施し、できるだけ評価に客観性をもたせるように努力したわけです。
 一方で、評価方法と評価結果をすべて公表し、つまり情報を公開し、非常に多くの方々のご意見をうかがうこともおこないました。
 これらの努力により、従来の「自己評価」だけの段階よりも質の高い評価をおこなうことができたわけです。

コメント

 上記にしめしたように、評価方法と評価結果を公開したところ多数の感想や質問がよせられた。これらの感想や質問は、今後、評価手法を改善していくために大変有用である。
 ただし、よせられた質問の中にはあきらかな誤解も存在した。それは、そもそも評価の基本的な意味がまだよく認識されていないことと、日本の組織では一般的に、「事業の評価」はあまりおこなわれてきておらず、その手法も未発達であったことが原因しているだろう。
 そもそも評価とは、価値を判断することであり、具体的には情報のランクづけ(格づけ)をすることである。そして評価をおこなうと、多種多量な情報は要約され、あらたな行動ビジョンが生まれる。それは、評価により、あらたな価値体系が生じ、関係者の間で合意が形成されるからである。
 結局、質の高い評価をおこなうためのポイントは、多角的な観点(基準)に基づく、多様な人々(目)による評価を、効率的実務的におこなうということにつきる。
 より客観的な質の高い評価をおこなうための一つのポイントは、できるだけ多角的な観点(基準)から評価をおこなうことである。評価の観点(基準)が一つしかないとその評価は非常にかたよったものになってしまう。しかし、だからと言って評価の観点が20も30もあっては実務的に処理ができない。今回しめした「6項目」が妥当なところだろう。もう一つのポイントは、評者として、できるだけことなる立場の人に、できるだけたくさんあつまってもらうことである。評者が一人しかいなかったらその評価はその人の主観になってしまう。しかし、評価チームのメンバーとして20人も30人もの人々をあつめては実務的に収拾がつかなくなってしまう。評価チームの人数は今回のように約7人とするのが妥当だろう。ただし、メンバーの年齢・性別・職業などをできるだけばらつかせ、外部からもメンバーにくわわってもらうのがよい。そして、ひとつの組織としては、評価活動よりも、事業そのものの推進に労力をさかなかればならないのであるから、評価そのものには膨大な労力をかけることはできず、できるだけ短時間で質の高い評価をおこなわなければならない。
 このような考え方を実践するための具体的な技法として、「多角評価」と「衆目評価」を今回モデル化し、実務性効率性をあげるために「図解」を利用したというわけである。

> 事業評価の方法TOP
2005年9月25日発行
Copyright (C) 田野倉達弘