BAPPENAS
PEDOMAN EVALUASI DAN INDIKATOR KINERJA PEMBANGUNAN
KEDEPUTIAN EVALUASI KINERJA PEMBANGUNAN BADAN PERENCANAAN PEMBANGUNAN NASIONAL TAHUN 2009
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
KATA PENGANTAR Sesuai mekanisme yang disepakati, hasil Kegiatan Unit Kerja Eselon II (UKE II) di Bappenas
dilaporkan perkembangannya sejak awal,
pertengahan, hingga tahap akhir. Buku ini merupakan perbaikan dan pemutakhiran laporan kegiatan di atas, dan melengkapi publikasi lain yang berkaitan dengan evaluasi sebagai hasil kegiatan Kedeputian
Evaluasi
Kinerja
Pembangunan
(EKP)
khususnya
Direktorat Evaluasi Kinerja Sektoral (EKPS). Buku ini disusun dengan tujuan utama agar isinya dapat menjadi referensi bagi Dit.EKPS, dan secara umum, Bappenas. Isi buku dapat pula digunakan oleh masyarakat luas, khususnya mereka yang terkait dalam kegiatan penyusunan rencana pembangunan dan mereka yang akan melakukan monitoring & evaluasi (Monev), dan diharapkan dapat menjadi tambahan masukan dan bahan pertimbangan dalam berbagai kegiatan tersebut. Dalam konteks itu, telah dilakukan usaha untuk memperoleh dan mengerti struktur penulisan RPJMN 20042009 dan RKP 2005-2009 khususnya dalam hal kesinambungan kebijakan, tujuan program, sasaran, dan indikatornya. Usaha itu dilakukan melalui pemetaan 15 (Lima belas) Bab dalam RPJMN 20042009 dan RKP Tahunan mulai 2005 hingga 2008. Kesemua Bab tersebut dipilih karena kebetulan juga merupakan spesialisasi staf di lingkungan Direktorat EKPS. Hasil pemetaan itu telah disajikan dalam Suplemen Buku Mapping Sasaran dan Indikator Pembangunan Dalam RPJMN 2004-2009 dan RKP 2005–2009; yang disusun dan dipublikasikan terpisah pada tahun 2008.
ii
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Meskipun sederhana, buku ini (Beserta Suplemennya) diharapkan dapat dimanfaatkan dan digunakan sebagai salah satu tambahan referensi dalam proses penyusunan berbagai dokumen perencanaan. Disadari pula bahwa isi buku ini masih memerlukan banyak perbaikan dan koreksi di sana-sini. Untuk itu kami berharap kiranya semua pihak berkenan menyampaikan masukan dan disampaikan kepada Direktorat Evaluasi
Kinerja Pembangunan Sektoral, Bappenas
(Melalui e-mail atau Fax yang tertera pada sampul belakang buku ini). Terima kasih dan penghargaan kami sampaikan kepada semua pihak yang ikut serta dalam menyusun, memproses pemetaan dan menguraikan indikator kinerja, serta memberi masukan dalam berbagai bentuk koreksi dan komentar, sehingga publikasi ini dapat terwujud. Jakarta,
Desember 2009
Deputi Evaluasi Kinerja Pembangunan
DR. Ir. Dedi M Masykur Riyadi
iii
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
DAFTAR ISI Kata Pengantar Daftar Isi Daftar Tabel Daftar Gambar Ringkasan Eksekutif
ii iv vi vii viii
Bab 1 Pengantar 1.1. Latar Belakang 1.2. Tujuan 1.3. Sistematika Penulisan
1 1 4 5
Bab 2 Telaah Litaratur: Evaluasi & Indikator Kinerja Pembangunan 2.1. Pengantar 2.2. Sistem Evaluasi 2.2.1. Konsep dan Definisi Monev 2.2.2. Pembagian Peran dan Tanggung Jawab 2.2.3. Data dan Kemampuan Evaluasi 2.3. Cara-cara Evaluasi Kinerja 2.4. Generic Logic Model 2.5. Konsep dan Definisi Indikator Kinerja 2.5.1. Pengukuran Kinerja 2.5.2. Persyaratan Indikator
8 8 9 9 18 19 20 23 29 30 32
Bab 3 Review RPJMN dan RKP 34 3.1. Struktur Penulisan dan Indikator kinerja dalam RPJMN dan RKP 34 3.2. Evaluasi atas Sasaran Bab 37 3.2.1. Tinjauan Umum 37 3.2.2. Telaah atas Sasaran Kesehatan 40 3.2.3. Telaah atas Sasaran Keluarga Berencana 44 3.3. Evaluasi atas Kegiatan Pokok Program 48 Bab 4 Indikator Kinerja Pembangunan 4.1. Pengantar 4.2. Penyusunan Indikator Kinerja 4.3. Tahapan Penyusunan Indikator 4.3.1. Persiapan Penyusunan Indikator 4.3.2.Penyusunan Daftar Indikator
iv
56 56 58 60 60 61
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
4.3.3.Pendefinisian Indikator 4.3.4.Penentuan Indikator 4.3.5.Validasi Indikator 4.4. Metode Penyusunan Indikator Outcome 4.4.1.Penentuan Indikator Outcome Diawali dengan Penentuan Statement Indikator 4.4.2.Penentuan Indikator Outcome dengan Pendekatan OIIWA 4.5. Aplikasi Logic Model dalam Exercise Penyusunan Beberapa Program RPJMN
62 62 63 63 64 67 71
Bab 5 Kesimpulan dan Rekomendasi 5.1. Pengantar 5.2. Kesimpulan 5.3. Rekomendasi 5.4. Tindak Lanjut yang Diperlukan
90 90 90 91 93
Daftar Pustaka
96
v
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
DAFTAR TABEL Tabel II.1.
: Perbedaan Monitoring dan Evaluasi
Tabel II.2.
: Gambaran Monitoring dan Evaluasi, di Beberapa
14
Negara: Colombia, Brazil, Chile dan Mexico
16
Tabel III.1.
: Daftar Variabel Sektor Kesehatan
42
Tabel III.2.
: Daftar Variabel Sektor Keluarga Berencana
46
Tabel III.3.
: Daftar Variabel Kegiatan Pokok Sektor Keluarga Berencana
Tabel IV.1.
49
: Penerjemahan Permasalahan menjadi Pernyataan Outcome
64
Tabel IV.2.
: Contoh Penyusunan Outcome Bidang Pendidikan
Tabel IV.3.
: Aplikasi Logic Model 1: Program Perbaikan Gizi Masyarakat
Tabel IV.4.
74
: Aplikasi Logic Model 2: Program Keluarga Berencana
Tabel IV.5.
77
: Aplikasi Logic Model 3: Program Pengembangan Pemasaran Pariwisata
Tabel IV.6.
66
81
: Aplikasi Logic Model 4: Program Pendidikan Dasar Sembilan Tahun
87
vi
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
DAFTAR GAMBAR Gambar I.1.
: Siklus Manajemen Perencanaan Pemerintah
Gambar II.1.
:
3
Tipe Variabel dan Indikator terkait sebagai dasar kinerja Monitoring & Evaluasi
18
Gambar II.2.
: Bentuk Sederhana Logic Model
24
Gambar II.3.
: Program Action Logic Model
25
Gambar II.4.
: Ketidaklinearan Program
27
Gambar II.5.
: Simple Logic Model
28
Gambar II.6.
: Berbagai Refleksi Logic Model
29
Gambar III.1.
: Struktur Penulisan RPJMN 2004-2009
34
vii
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
RINGKASAN EKSEKUTIF Hasil Kegiatan Koordinasi Direktorat Evaluasi Kinerja Sektoral Tahun Anggaran 2008 diwujudkan dalam 2 (dua) buku: 1) Buku Evaluasi dan Indikator Kinerja Pembangunan, dan 2) Suplemen Buku: Mapping Sasaran dan Indikator Pembangunan Dalam RPJMN 2004-2009 dan RKP 2005- 2009. Kedua buku tersebut disusun sebagai persiapan awal penyusunan RPJMN 2010-2014 berdasarkan gambaran umum evaluasi atas dokumen RPJMN 2004-2009 dan dokumen RKP 20052008. Secara umum, buku ini membahas konsep, cara, dan manfaat evaluasi. Di samping itu, secara khusus juga mengemukakan cara mengukur capaian kebijakan, program dan kegiatan pokok, melalui pembentukkan indikator kinerja. Secara singkat juga disajikan bahasan diskusi dan ulasan atas berbagai pilihan evaluasi yang mungkin dilakukan. Dalam konteks itu, contoh bahasan dilakukan dengan memperhatikan struktur penulisan dan isi RKP 2009. Pada dasarnya, dokumen yang akan dijadikan rujukan adalah RPJMN dan RKP, yang sandingan sasaran dan indikator serta telaah singkatnya disajikan dalam Supplemen Buku: Mapping Sasaran dan Indikator Pembangunan Dalam RPJMN 2004-2009 dan RKP 2005- 2009. Lima belas Bab dalam RPJMN 2004-2009 yang dipetakan dalam Supplemen Buku
menunjukkan
kesinambungan antar
tujuan,
sasaran, dan indikatornya; serta benang merah antar program dan kegiatan pokoknya dari tahun ke tahun. Dari hasil pemetaan dan gambaran umum atas RPJMN 2004-2009 yang disajikan dalam bentuk Matriks Sandingan (Lihat Supplemen Buku) dikenali beberapa keadaan yaitu: 1) Kesinambungan program dan kegiatan pokok serta viii
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
sasaran tidak terlihat dengan jelas; 2) Sasaran untuk berbagai level (Agenda, prioritas, program, dan kegiatan) tidak selalu saling terkait, atau belum terumuskan dengan pasti; dan 3) Sasaran banyak yang bersifat kualitatif dan belum jelas ukurannya. Dalam menyusun perencanaan penyusunan kebijakan, program, dan kegiatan pembangunan perlu dilakukan dalam suatu proses yang berkesinambungan. Proses diawali dengan kesepakatan menentukan indikator kinerja pada masing-masing tahap/tingkat penyusunan, dimulai dari penentuan indikator impact, outcome, output, hingga
input.
Sebelum
kesepakatan
diperoleh,
formulasi
rumusan
permasalahan seyogyanya sudah terstrukur dan dibahas. Kemudian disusun strategi, prioritas, dan fokus pembangunan, sebagai upaya dan solusi
untuk
memecahkan
permasalahan.
Jadi,
penentuan
permasalahan merupakan proses awal sebelum menentukan indikator
impact/dampak. Kemudian secara berurutan ditentukan indikator lainnya, hingga akhirnya tersusun kegiatan pokok, dan secara teoritis, dapat diperkirakan besar alokasi anggaran/input yang diperlukan.
CATATAN:
Agar tidak menimbulkan pertanyaan, perlu dicatat bahwa: Sebagian besar isi buku ini diselesaikan ketika Buku Pedoman Penyusunan RPJMN 2010-2014 BELUM disusun atau diterbitkan dan dokumen RPJMN 20102014 BELUM dirampungkan. Buku inipun BUKAN merupakan buku pedoman evaluasi dan penyusunan indikator RPJMN 2010-2014, tetapi lebih merupakan tambahan referensi/pengetahuan dalam berbagai kegiatan perencanaan.
ix
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
1 Pengantar 1.1.
Latar Belakang
Sesuai dengan amanat PP No. 40 Tahun 2006 tentang Tata Cara Penyusunan Rencana Pembangunan, maka pada awal tahun suatu periode lima tahunan, Bappenas sudah harus menyiapkan Konsep Rancangan Awal RPJMN. Hal ini yang terjadi ketika Bappenas menyusun dokumen Rencana Pembangunan Jangka Menengah (RPJMN)
2010-2014,
sejalan
dengan
selesainya
masa
bakti
Pemerintahan SBY-JK dan berakhirnya masa kerja Kabinet Indonesia Bersatu. Kemudian, selambat-lambatnya 3 (tiga) bulan setelah pelantikan Presiden terpilih, Bappenas harus menyelesaikan dokumen tersebut yang sudah terkait dan merupakan turunan Visi dan Misi Presiden terpilih hasil Pemilu Oktober 2009. Sesuai dengan peraturan perundangan yang ada, isi RPJMN 2010-2014 mengacu kepada RPJPN 2005-2025, sekaligus merupakan kelanjutan pelaksanaan kegiatan RPJMN 2004-2009 yang belum dapat dirampungkan. Dalam kaitan itu, telaah atas Sasaran Bab dalam dokumen RPJMN 2004-2009 menunjukkan bahwa banyak sasaran yang tidak terukur atau dapat terukur tetapi sulit diperoleh data/informasinya. Oleh karena itu seyogyanya ketika menyusun rencana pembangunan (Kebijakan, sasaran, program, dan kegiatan) dilakukan melalui proses yang bertahap, terstruktur dan terencana baik. Dengan demikian, rencana pembangunan tersebut akan mudah dimonitor dan dievaluasi 1
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
karena indikator atau
ukurannya tersedia, sehingga capaian
kebijakan dan program serta kegiatan dapat diikuti perkembangan dan pencapaiannya. Review atas apa yang dikerjakan beberapa negara, menunjukkan bahwa monitoring dan evaluasi yang dilakukan oleh suatu badan atau organisasi pemerintah manapun tidak menyeluruh dan mendetil, karena sangat besar cakupan kerja dan biayanya. Pada umumnya monitoring dan evaluasi dilakukan untuk kebijakan atau program atau bahkan hanya isu penting dari beberapa sektor tertentu. Kalaupun seluruh program pemerintah dievaluasi, kedalamannya bervariasi, atau secara umum, sehingga analisa lebih mencakup evaluasi atas suatu program (Berjalan baik atau tidak). Analisis lebih mendalam biasanya dilakukan khusus untuk isu atau program besar. Hal ini diuraikan dalam Bab II mengenai Studi Literatur. Selanjutnya, telah diketahui secara luas bahwa siklus manajemen perencanaan Pemerintah mencakup 4 (empat) hal yaitu; Planning,
Budgeting, Implementing, dan Monitoring & Evaluation. Siklus tersebut disajikan pada Gambar I.1 (Castro, 2007). Empat elemen tersebut merupakan juga siklus kerja Bappenas. Budgeting dan Implementing lebih merupakan pekerjaan yang bersifat koordinasi baik dengan Departemen Keuangan maupun dengan Kementerian/Lembaga (K/L). Isi dari UU No. 17 Tahun 2003 dan UU No. 25 Tahun 2004 memastikan bahwa Bappenas lebih merupakan Perencana dan Evaluator. Dalam hal Anggaran, tugas Bappenas lebih kepada mengkoordinasikan alokasi atau rencana penggunaan Anggaran, serta Koordinasi rencana
2
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
kegiatan pembangunan yang akan dilakukan K/L dengan alokasi budget sesuai resource envelope yang ada. Upaya monitoring penggunaan alokasi anggaran telah dilakukan di Bappenas dengan dasar UU No. 39 Tahun 2004. Namun sesuai dengan formulasi UU tersebut, data dan informasi yang dikumpulkan lebih merupakan laporan penggunaan anggaran/uang daripada substansi capaian pembangunan yang melibatkan indikator kinerja program dan pelaksana program (K/L). Di masa yang akan datang, mungkin dapat
dibangun
satu
mekanisme
atau
sistem
yang
akan
memudahkan untuk melakukan evaluasi, paling tidak, atas capaian kegiatan pembangunan dan akan lebih baik lagi bila mencakup kebijakan dan program, yang pelaksanaannya dilakukan bersama oleh Bappenas, K/L dan dunia usaha. Gambar I.1. Siklus Manajeman Perencanaan Pemerintah
Management Cycle of Government (Draft report; M.F.Castro, 2007)
2
1
Budgeting
3
Planning
Implementation
4
M&E 2
Sumber : Draft Report, M.F. Castro, 2007
3
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Gambar I.1 menunjukkan bahwa hasil monitoring dan evaluasi akan menjadi dasar penyusunan rencana pembangunan siklus berikutnya. Oleh karena itu, seyogyanya, disamping evaluasi yang dilakukan pada waktu tengah dan akhir tahun jangka menengah, dilakukan juga monitoring dan evaluasi secara tahunan.
1.2.
Tujuan
Buku ini membahas cara dan mekanisme dalam mengevaluasi kebijakan, program dan kegiatan serta sasaran termasuk menyusun indikator kinerja dalam suatu dokumen perencanaan. Dengan demikian diharapkan dapat dimengerti cara apa yang mungkin dapat dilakukan ketika suatu evaluasi dampak, outcome, atau output perlu dilakukan. Telah diketahui bahwa selama ini Bappenas hanya melakukan upaya evaluasi kinerja pembangunan yang tidak terstruktur dan tidak kontinyu. Selama ini yang dilakukan hanya sebatas tingkatan melaporkan hasil pembangunan seperti yang tertuang dalam Lampiran Pidato Presiden. Metode evaluasi yang dibahas dalam buku ini menyertakan contoh aplikasi sederhana berdasarkan isi dokumen RPJMN 2004-2009. Sementara itu, dalam Suplemen Buku Mapping Sasaran dan Indikator Pembangunan Dalam RPJMN 2004-2009 dan RKP 2005-2008, dapat dilihat bahwa mengenali dan memahami kaitan, benang merah, dan alur kebijakan, program dan kegiatan serta sasaran RPJMN 20042009 dan RKP 2005-2008; sungguh tidak mudah. Apalagi mencermati dan menyimpulkan perkembangan dan apa yang telah terjadi dalam
4
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
kemajuan penyusunan dokumen perencanaan pembangunan nasional selama beberapa tahun terakhir, jelas tidak mudah dikenali secara runtut. Pada bagian tertentu buku ini, RKP 2009 juga akan disinggung tetapi lebih kepada strukturnya dan tidak secara luas atau menyeluruh. Seperti diketahui, RKP 2009 disusun dengan cara yang relatif serupa dengan
penyusunan
RPJMN
2010-2014,
sehingga
perencanaan
kebijakan dan program serta indikator kinerja dalam kedua dokumen tersebut akan lebih terstruktur, terencana, dan mudah dimonitor perkembangan dan dapat dievaluasi capaiannya. Karenanya, buku ini diharapkan dapat menjadi bahan pertimbangan untuk menyusun kegiatan, program dan prioritas pembangunan, sekaligus menentukan indikator pembangunan (Input, output, dan outcome) dalam menyusun RPJMN dan RKP.
1.3.
Sistematika Penulisan
Bab 1 merupakan pengantar dan penjelasan umum yang mencakup uraian tentang Pengantar, Latar Belakang dan Tujuan penyusunan Buku ini. Diuraikan pula tentang Struktur Penulisan RPJMN 20052009 yang sudah baik, namun masih perlu disempurnakan sehingga mampu mengukur kinerja pembangunan secara pasti. Dengan demikian, capaian maupun gap (Perbedaan antara sasaran dan capaian) akan mudah dikenali dan mudah dianalisis dengan tajam. Bab 2 merupakan suatu telaah literatur yang menguraikan secara singkat teknik dan metoda evaluasi berdasarkan pengalaman dan 5
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
pengertian yang pernah dilakukan dan ditulis dalam berbagai literatur atau referensi, tentang evaluasi kinerja program pemerintah, baik yang pernah dilakukan perseorangan, perguruan tinggi maupun negara lain. Fokus utama adalah uraian mengenai bermacam indikator kinerja yang dikaitkan dengan berbagai cara evaluasi yang pernah dilakukan secara menyeluruh, ringkas dan sederhana, maupun yang dilakukan hanya terhadap isu penting dan menonjol. Review atas RPJMN 2004-2009 dipaparkan secara umum pada Bab 3, termasuk tentang Struktur Penulisan, dan Evaluasi atas Sasaran dan Program Pembangunan. Dalam bab ini juga dicermati dokumen RKP 2005, 2006, 2007 dan 2008, menurut Sasaran dan Kegiatan Pokok beberapa program yang dianggap penting, besar, atau rumit. Selanjutnya dalam Bab 4 diuraikan tentang pengertian Indikator dan tingkatan Indikator kinerja dalam kaitannya dengan pengertian umum dan aplikasi pembentukkannya pada dokumen RPJMN 20042009 dan RKP 2009. Seperti telah diketahui, struktur penulisan dokumen RKP 2009 berbeda dengan tahun-tahun sebelumnya. Di mulai dari RKP 2009, format penulisan dokumen perencanaan mulai berubah. Oleh karena itu uraian dalam Buku ini mengacu kepada struktur prioritas dan program
RKP 2009. Secara garis besar,
penulisan RKP 2010 dan dokumen RPJMN 2010-2014 struktur dan formatnya sudah sinkron dengan struktur RKP 2009. Dapat dipastikan bahwa dalam dua RKP terakhir itu, perbedaan antara isi dokumen anggaran dengan dokumen perencanaan sudah tidak terlihat.
6
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Pada bagian akhir, yaitu di Bab 5, disajikan Kesimpulan dan Rekomendasi
bagi
pemangku
kepentingan
dalam
konteks
perencanaan. Hal itu terkait dengan wujud iklim kerja yang tepat untuk
membangun kinerja pembangunan yang terukur, formulasi
perencanaan yang berarti bagi pembangunan Indonesia, dan meningkatkan akuntabilitas penggunaan dana publik.
7
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
2
Telaah Literatur:
Evaluasi & Indikator Kinerja Pembangunan 2.1.
Pengantar
Management Cycle of Government seperti digambarkan oleh MF.Castro (2007) merupakan
bagian dari suatu proses yang
berkesinambungan dari 4 (empat) hal yaitu, Planning, Budgeting,
Implementing, dan Monitoring & Evaluation (Lihat Gambar I.1.). Dari berbagai referensi dapat disimpulkan bahwa konsep dan definisi Monitoring dan Evaluasi
(Selanjutnya
disebut:
Monev) dapat
didefinisikan sendiri oleh pihak yang menggunakannya (Pemerintah, misalnya) sesuai dengan fungsinya sebagai alat bantu dalam memperoleh informasi tentang kualitas kinerjanya. Hal ini juga digunakan
untuk
memutakhirkan
proses
perencanaan
dan
pembiayaan termasuk integritasnya. Dengan demikian, monev yang berkualitas adalah yang menggunakan satu bahasa dan satu pengertian untuk penggunaan dan pengaplikasian alat yang digunakan dalam monev termasuk konsep dan definisinya. Jadi diperlukan suatu sistem evaluasi yang mantap dan terstruktur. Bila tidak, maka monev akan menimbulkan masalah baru dan kebingungan, karena ketidakseragaman pengertian dan akibatnya tidak mungkin digunakan secara berkelanjutan.
8
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
2.2.
Sistem Evaluasi
Menurut berbagai sumber, hal penting yang harus diperhatikan dalam suatu sistem evaluasi seyogyanya menyangkut kejelasan akan:
Konsep dan Definisi Monev
Pembagian peran dan Tanggung jawab
Kapasitas dan Komitmen
Ketiga topik bahasan tersebut diuraikan secara singkat di bawah ini. 2.2.1.
Konsep dan Definisi Monev
Oleh karena fokus kegiatan lebih banyak ke arah melakukan evaluasi maka dalam penulisan ini, titik berat pembicaraan lebih diarahkan kepada evaluasi daripada monitoring. Namun pengertian dan uraian tentang Monitoring dan Evaluasi dilihat dari berbagai pendekatan dan dari berbagai sumber, tetap akan disinggung, dijabarkan dan diuraikan di bawah ini. Evaluasi, dari sudut konsep program, banyak macamnya (Carter McNamara,1997-2008), dan ditujukan untuk berbagai keperluan. Hal yang baik dilakukan adalah menyusun suatu evaluasi yang realistik dan praktis, sehingga tidak bertele-tele, membingungkan, dan sulit dimengerti.
Selain menunjukkan capaian, evaluasi juga dapat
berfungsi sebagai alat verifikasi apakah suatu kebijakan, program, atau kegiatan, dapat berjalan sesuai dengan rencana. Ketika menyusun atau merencanakan suatu evaluasi beberapa hal perlu
9
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
diperhatikan sehingga kesiapan dan keberlangsungan kegiatan evaluasi dapat terpelihara, sebagai berikut: 1.
Perlu dipastikan apa tujuan melakukan evaluasi. Bila pertanyaan dibalik, hasil evaluasi akan digunakan untuk apa? Untuk memutuskan atau menentukan sesuatu?
2.
Perlu
diketahui
hasil
evaluasi untuk
keperluan
atau
konsumsi siapa? 3.
Macam informasi dan data apa yang diperlukan? Karena hasil evaluasi akan berguna bagi pengambilan keputusan selanjutnya atau untuk gambaran capaian dari pelaksanaan rencana yang selama kurun waktu tertentu sudah dilakukan. Dalam hal ini, misalnya, informasi dan data yang berkaitan dengan input, aktivitas, dan output. Juga tujuan, kekuatan, dan kelemahan dari kebijakan, program atau kegiatan yang dievaluasi. Demikian pula manfaat, kegagalan, capaian, dan penjelasan yang terkait.
4.
Perlu diperhatikan juga sumber dan bentuk informasi dan data yang diperlukan. Apakah dari Badan Statistik, atau cukup dari pencatatan data di Kementerian/embaga; dan dalam bentuk hard atau soft copy, contact person, dsb.
5.
Apakah pengumpulan data harus dilakukan dengan cara khusus, misalnya case study, survei skala kecil, daftar pertanyaan
yang
diperlukan,
atau
hanya
observasi
sederhana. Apakah harus menyelenggarakan diskusi dalam
Focus Group, atau sekedar tanya jawab dengan staf atau pegawai yang terkait.
10
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
6.
Tidak kalah pentingnya adalah jadwal waktu, kapan informasi dan data tersebut harus sudah terkumpul? Mengapa
harus
informasi
dan
data
tertentu
yang
dikumpulkan dan bukan yang lainnya?. Monitoring dilakukan secara terus menerus atau permanen dan juga secara komprehensif. Cakupannya juga luas, dan bisa termasuk semua kegiatan pemerintah atau pembangunan. Pada umumnya, kegiatan monitoring sangat memanfaatkan data kuantitatif sehingga mampu melakukan perbandingan capaian indikator yang ditelaah dalam konteks manajemen dalam suatu unit kerja, organisasi, rencana kerja, program, atau kegiatan. Hasil monitoring yang dilakukan secara berkala dan tepat waktu dapat segera mengenali kegagalan, keterhambatan dalam konteks perkembangan atau kemajuan pelaksanaan suatu program atau kegiatan. Dengan demikian suatu
corrective action, dapat segera dilakukan antar unit kerja pelaksana atau antar para penanggungjawab terkait. Jadi monitoring juga merupakan wujud dari suatu sistem kerja yang saling terhubung yang dapat mengamankan fungsi manajemen dan hasil kerja. Sayangnya, informasi kinerja dalam proses monitoring sering tidak mampu menentukan hubungan kausal (Timbal balik) yang mungkin justru diperlukan untuk menjelaskan capaian, kegagalan, atau ketidaktercapaian. Dapat dipastikan bahwa monitoring bukan alat atau
cara
yang
tepat
untuk
mengenali
faktor
apa
yang
mempengaruhi atau bagaimana suatu kebijakan/program/kegiatan dapat terhambat guna mencapai hasil/target/sasaran yang diinginkan. Misalnya, apa yang mempengaruhi pencapaian kualitas hidup, 11
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
pendapatan, tingkat kematian penduduk, derajat kesehatan bayi dan balita, peningkatan jumlah usaha kecil dan menengah (UKM) di suatu daerah, atau lain sebagainya; karena yang dapat melakukan hal tersebut adalah suatu kegiatan evaluasi. Jadi, berbeda dari monitoring, evaluasi, hanya dilakukan secara selektif dan tidak terus menerus. Jelasnya, evaluasi merupakan suatu alat
assessment atas perencanaan/rencana yang sedang berlangsung atau sudah selesai/rampung guna memastikan relevansi, efektifitas, efisiensi, dampak, dan bahkan keberlangsungannya. Maksud lain dari pelaksanaan evaluasi adalah penggunaan lessons learned, dalam suatu proses pengambilan keputusan. Dengan demikian, secara teknis evaluasi
dapat
dirancang
dengan
baik
sehingga
mampu
menunjukkan hubungan kausal misalnya antara intervensi publik dengan dampaknya, apakah positif, negatif, antisipasi, atau sama sekali di luar dugaan. Perbedaan lain antara monitoring dan evaluasi dapat dilihat dari karakteristik pelaksanaannya, karena evaluasi lebih fokus pada analisa dan bersifat lebih kompleks daripada monitoring. Karenanya, evaluasi biasanya memerlukan lebih banyak biaya dan waktu yang lebih panjang, serta kemampuan analisa teknis yang lebih tinggi dari pada monitoring. Dengan demikian, tidak seperti monitoring, evaluasi harus ditentukan dan dilakukan secara stratejik, dan tidak harus komprehensif. Evaluasi pada masa kini, umumnya terfokus pada tiga aspek yaitu:
Output (Kuantitas dan kualitas hasil kebijakan/program /kegiatan) 12
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Outcome
(Akibat
langsung/Intermediate
effect
kepada
penerima manfaat)
Impact (Jangka panjang/long-term, cakupan dan kemajuannya luas/widespread
improvement di kalangan masyarakat/
society). Meskipun
monitoring
dan
evaluasi
keduanya
sama-sama
digunakan untuk menunjukkan akuntabilitas, namun cara dan cakupannya berbeda. Selain itu, monitoring lebih merupakan laporan jangka pendek/report dengan cara pengambilan kesimpulan yang lebih sederhana daripada evaluasi. Ketika melakukan evaluasi seringkali diperlukan cara atau metodologi yang cukup canggih, seperti Rapid Asessment misalnya, ataupun analisa statistik yang cukup sulit. Pada dasarnya evaluasi harus bisa menunjukkan capaian dan
GAP (Selisih antara target/sasaran dengan capaian Evaluasi). Berikut ini disarikan dan disajikan perbedaan antara monitoring dan evaluasi yang diambil dari Castro (2007).
13
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel II.1. Perbedaan Monitoring dan Evaluasi Monitoring
Evaluation
Objective
- Establishing progress against expected goals
- Analyzing why intended results were or were not achieved
Questions
- What is the level of advance vs. reference value?
-Was the result obtained? -Why -How relevant, sustainable and effective is?
Scope
Comprehensive
Selective
Methodology
- Translates objectives into performance indicators and targets -Measures performance by linking activities, resources, targets, responsible and results.
- Assesses specific causal contributions of activities to results (attribution)
Temporality
-Continuous
- Not permanent
Use
-Report progress to managers -Clarify programs objectives -Early alerts of problems -Control -Accountability
-Incorporate lessons learned -Highlight strategic alternatives -Accountability -Scientific knowledge
Sumber : Castro (2007)
Berbagai negara telah melakukan berbagai cara monitoring dan evaluasi seperti diperlihatkan dalam Tabel II.2. Tidak ada yang persis sama, namun beberapa prinsip umum bisa dikenali dan diuraikan pada kolom pertama. suatu
negarapun
Dari Tabel II.2. , nampak bahwa tidak ada
yang
melakukan
evaluasi
atas
rencana
pembangunannya secara menyeluruh dan mendetil. Sebagai contoh, Australia hanya mengevaluasi isu dan program penting saja yang memang harus ditangani pada suatu saat (Australian Government Report, 2003 ). Ketika
evaluasi
kebijakan/program/kegiatan
dilakukan, pada dasarnya kita melakukan suatu
pembangunan review dan
menganalisis kinerja hal yang dievaluasi tersebut sesuai dengan pencapaian sasaran atau target yang telah ditentukan pada
14
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
awal
penyusunan
rencana
program.
Ukuran
capaian
sasaran/target merupakan pilihan atas variabel-variabel yang dapat diturunkan dari tujuan pelaksanaan kebijakan/program/kegiatan itu. Bila itu merupakan bagian dari suatu strategi atau kebijakan utama, maka capaiannya harus merupakan bagian dari variabel yang menunjukkan
hasil
pelaksanaan
kebijakan/program/kegiatan
tersebut. Seperti diketahui secara luas, hirarki susunan atau tahapan suatu perencanaan pembangunan bisa dimulai dari strategi atau kebijakan, yang diterjemahkan menjadi berbagai program, dan dilaksanakan dalam berbagai kegiatan. Jadi masing-masing tahapan atau tingkatan itu mempunyai sasaran yang ditunjukkan atau diwakili oleh satu atau berbagai variabel. Pada langkah selanjutnya, salah satu variabel ditentukan menjadi indikator yang mampu mengukur keberhasilan kebijakan/program/kegiatan tersebut. Dengan demikian, capaian masing-masing
tahap
atau
tingkatan
(level)
dapat
perkembangannya/dimonitor dan pasti dapat dievaluasi.
15
diikuti
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel II.2. Gambaran Monitoring dan Evaluasi, di Beberapa Negara: Colombia, Brazil, Chile dan Mexico Colombia
Brazil
Chile
Mexico
Main Responsible Agency
National Planning Department
Ministry of Planning and Budgeting
Ministry of Finance
National Evaluation Commission
Normative support
Constitution, law and national policy
Laws and regulations
No
Law
Links with budget
In progress
In progress
Yes
No
Monitoring
Comprehensiv e National Development Plan
Pluri-Annual Presidential goals, selected programs
Social programs, Presidential goals
Evaluation
Rapid assessments and impact evaluations
Accountabili ty Where is M& E heading to
To Congress and citizens Consolidating M&E System Performancebased budgeting, MTEF
Impact evaluations mainly of social programs, desk reviews of selected programs To Congress
Annual Budget programs Presidential goals Desk reviews and impact evaluations
To Congress
To Congress
Integrating human resources to performancebased budget
M & E System
Performancebased budgeting
Sumber: Castro (2007)
16
Impact evaluations
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Dengan memperhatikan Tabel II.1 dan Tabel II.2, jelas terlihat peran indikator dalam evaluasi. Selanjutnya Gamber II.1 di bawah ini menunjukkan bahwa peranan indikator demikian strategisnya sebagai ukuran kinerja, sehingga penetapan indikator menjadi prasyarat penting dalam melakukan evaluasi, karena keberhasilan dan kegagalan dapat diukur dengan menggunakan indikator kinerja. Adapun macam indikator yang relevan tentu disesuaikan dengan tingkatannya, yaitu impact, outcome, output atau input. Gambar II.1 di bawah ini, merupakan contoh jenis variabel dan indikator terkait Performance-Based Monitoring and Evaluation yang mungkin digunakan dalam evaluasi di sektor kesehatan. Walaupun tidak saling terkait atau menggambarkan suatu isu, namun untuk masing-masing jenis indikator, diberikan contoh sesuai dengan level atau tingkatannya.
17
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Gambar II.1. Tipe Variabel dan Indikator Terkait sebagai Dasar Kinerja Monitoring & Evaluasi Impacts
- Reduction in the infant mortality rate in -
Outcomes
Outputs
Activities
Inputs
benefited districts Reduction on childhood diarrhea disease rates
- Increased in potable water service coverage (# of new households with access).
- # of Kms of constructed network - # of implemented Water and Sanitation Plans (WSP)
- # of designed water and sanitation plans (WSP) - # of approved MSP credits to districts
-
Amount of disbursed resources. Technical personnel trained on the formulation of WS plans for service provision
Sumber: Castro ( 2007)
2.2.2. Pembangian Peran dan Tanggung Jawab Agar para pelaksana pekerjaan monitoring dan evaluasi mampu bersinergi ketika melaksanakannya, diperlukan suatu sistem dan mekanisme kerja yang jelas, rapi, dan saling melengkapi. Dengan demikian suatu pembagian
peran dan tanggung jawab mutlak
diperlukan oleh seluruh pemangku kepentingan kegiatan monitoring dan evaluasi. Dalam konteks monitoring dan evaluasi kinerja rencana pembangunan, pembagian peran dan tanggung jawab dapat ditentukan antar unit kerja di Bappenas, dan antar Kementerian Lembaga sektoral. Sama pentingnya dengan pembagian peran dan tanggung jawab antara pemerintah pusat dan pemerintah daerah. 18
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
2.2.3. Data dan Kemampuan Evaluasi Untuk memperoleh hasil maksimal dari suatu kegiatan monitoring dan evaluasi, perlu diperhatikan ketersediaan data dan kemampuan evaluasi para pihak yang terkait. Demikian pula, kapasitas, perhatian, dan komitmen yang setara antar pemangku kepentingan terkait dengan data manajemen dan komunikasi data. Esensinya, perbaikan dan penataan (Reform) akan budaya koordinasi kerja dan keterkaitan jaringan data dan informasi antar unit kerja dalam institusi Bappenas maupun antara Bappenas dengan K/L akan sangat diperlukan. Dengan demikian, suatu sistem evaluasi seyogyanya merupakan suatu sistem yang solid dan berkaitan erat dengan Sistem Informasi dan Pengolahan Data yang dapat diandalkan, misalnya dengan Pusdatin Bappenas atau K/L terkait. Alur komunikasi data yang demikian perlu segera dibangun sehingga data dan informasi yang diperlukan oleh unit kerja yang bertanggung jawab tentang urusan Monitoring dan
Evaluation ataupun Direktorat Sektoral yang terkait, akan dengan mudah diakses atau diambil. Idealnya sistem ini juga dapat mengakses
Data Base K/L lain khususnya yang tersedia di Badan Pusat Stratistik (BPS). Telah disinggung di atas bahwa monitoring dan evaluasi mampu berperan dalam perencanaan, alokasi pendanaan/budgeting, dan pelaksanaan pembangunan; dengan syarat reform atau penataan kembali mekanisme kerja harus terjadi. Reform ini mencakup pergeseran dari model tradisional, yaitu lembaga negara sebagai tujuan; menjadi suatu konsep baru dimana mereka justru menjadi alat 19
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
untuk mencapai tujuan bernegara.
Hal ini juga memerlukan
modifikasi kelembagaan budget. Dengan demikian, tiga hal dalam
expenditure management harus dibedakan, yaitu disiplin fiskal, alokasi sesuai dengan prioritas, dan operasi yang efisien dalam mencapai
output. (Bonnefoy, 2003; Eggerston, 1990; Campos and Pradhan, 1996; dan World Bank, 1996 ).
2.3.
Cara-cara Evaluasi Kinerja
Menurut Mayston (2003), cara evaluasi kinerja yang umum dilakukan biasanya menggunakan metoda Multivariate Regression Analysis atau
Data Development Analysis. Dua cara ini biasa digunakan untuk educational evaluation karena banyak kompleksitas dalam variabelvariabel pendidikan, namun baik untuk kinerja audit yang kontinyu. Selain itu, cara Iterative Generalised Least Square (IGLS) juga banyak dilakukan meskipun tidak terlalu umum. Untuk para pengambil keputusan, yang biasa dilakukan adalah menyelenggarakan evaluation research. Namun cara ini memerlukan daftar pertanyaan yang cukup serius, dan karenanya tidak flexibel, perlu waktu luas, namun seringkali hasilnya kurang relevan.
Qualitative evaluation strategies sebenarnya lebih diperlukan karena dapat menjelaskan secara flexibel. Prasyarat untuk hal ini adalah metodologinya harus sesuai dengan permasalahan yang diteliti. Selanjutnya riset lanjutan dapat dilakukan sebagai tindak lanjut dari hasil evaluasi terdahulu. Informal evaluation, juga sering dilakukan secara casual, impressionistic, intuitive, dan subjective appraisal. Pada akhirnya dilakukan suatu formal evaluation, yaitu suatu evaluasi yang
20
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
terstruktur dengan memperhatikan ukuran-ukuran inputs, outputs,
outcomes, dan impacts atau dampak dari hal yang diteliti. Untuk melakukan monitoring, lebih tepat menggunakan quantitative
indicators guna mengetahui capaian atau hasil yang diinginkan. Hal ini harus dilakukan pada waktu tertentu, secara regular, sehingga
corrective action dapat dilakukan dan sekaligus dapat dipastikan pula kaitan antara penanggungjawab, fungsi manajemen pelaksanaan, dan hasil yang dicapai. Untuk kejelasan aplikasi perkembangan pelaksanaan evaluasi dalam lingkup pemerintahan, berikut ini disajikan contoh Laporan Evaluasi Pemerintah Australia Tahun 2008 (The Report on Government
Services):
Contoh Evaluasi Pemerintah Hasil evaluasi Pemerintah Australia dituangkan dalam publikasi yang berjudul The Report on Government Services 2008, dan diterbitkan dalam 2 (dua) buku. Buku I antara lain mereview isu tentang Early
Childhood,
Education
and
Training,
Justice
dan
Emergency
Management. Buku 2 mencakup review tentang Health, Community Services, dan Housing. Masing-masing isu dibahas dalam kerangka bahasan berikut:
Profile
Framework of performance indicators
Key performance indicator results
Future directions in performance reporting
21
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Jurisdictions‟ comments
Definitions of key terms and indicators
Evaluasi serupa itu telah dilakukan sejak tahun 1993. Pada awalnya, disadari bahwa laporan itu berguna untuk meningkatkan efektifitas dan efisiensi pengeluaran anggaran untuk pendidikan, kesehatan, dan layanan masyarakat. Namun kemudian banyak pendapat yang menyatakan bahwa laporan itu juga berfungsi sebagai sumber informasi kinerja dan juga berguna untuk bahan penyusunan kebijakan selanjutnya. Dalam rentang waktu 13 tahun, perbaikan dan perluasan cakupan evaluasi dalam laporan terus menerus dilakukan. Baru pada beberapa tahun terakhir, review tentang cross-cutting issues juga dibahas dalam laporan, seperti pada bagian tentang Layanan Masyarakat (Community Services). Dalam buku tersebut juga dievaluasi keterkaitan antara children‟s services dan education. Contoh Indikator Salah satu contoh indicator impact
yang digunakan Pemerintah
Australia dalam The Report on Government Services (2008) adalah
proportion of children enrolled in preschool sebagai indikator yang memastikan bahwa semua keluarga di Australia mempunyai akses yang sama/equitable untuk memperoleh layanan prasekolah/preschool
services. Definisi indikator ini adalah proporsi anak dalam kelompok usia yang menjadi target preschool, yang memanfaatkan layanan
preschool. Dua ukuran digunakan, yaitu: •
Persentase anak yang bersekolah di preschool pada tahun sebelum dimulainya sekolah mainstream/ fulltime schooling
•
Persentase anak balita yang bersekolah di preschool.
22
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tingginya proporsi anak yang menggunakan layanan preschool merupakan indikasi tingginya ketersediaan layanan
preschool.
Indikator ini tidak memberikan informasi tentang preferensi para orangtua dalam menggunakan layanan preschool, atau faktor lain, seperti usia mulai masuk sekolah yang dapat mempengaruhi partisipasi sekolah di tingkat preschool.
2.4.
Generic Logic Model
Pengertian
Logic
diagram/bagan
Model
atau
bagaimana
model
suatu
logika,
adalah
suatu
kebijakan/program/kegiatan
diharapkan dapat bekerja baik. Dengan kata lain, juga merupakan gambaran hubungan antara aktivitas dan hasil. Menurut sebagian orang, model logika hanya dipakai dalam proses evaluasi, namun sebenarnya tidak sesempit itu, karena penggunaan model logika penting
dan
menolong
ketika
diaplikasikan
kedalam
proses
perencanaan, formulasi dan penyusunan kebijakan/program/kegiatan, manajemen pelaksanaan program dan bahkan dalam komunikasi dan koordinasi. Jadi model logika adalah:
Suatu gambaran sederhana dari kebijakan/program/kegiatan, inisiatif, atau intervensi yang merupakan respon dari suatu keadaan tertentu.
Inti
dari
rangkaian
perencanaan,
komunikasi dan koordinasi.
23
evaluasi,
manajemen,
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Sesuatu yang menunjukkan hubungan yang masuk akal antar berbagai hal yang meliputi sumber yang diinvestasikan, kegiatan yang dilakukan, dan manfaat atau perubahan yang dihasilkan.
Logic Model atau Model Logika, juga sering disebut sebagai program theory (Weiss, 1998), program's theory of action (Patton, 1997), atau model yang masuk akal tentang bagaimana seharusnya suatu program bekerja
(Bickman, 1987, p. 5). Selain itu, adapula yang
mengartikannya sebagai refleksi underlying rationale dari suatu program atau inisiatif (Chen, Cato & Rainford, 1998-9; Renger & Titcomb, 2002). Secara singkat dan sederhana, sebenarnya model logika adalah suatu MAP atau PETA dari cara berpikir, atau Road
Map
cara
pikir
dalam
menyusun
atau
memformulasikan
kebijakan/program/inisiatif/kegiatan. Bentuk umum/standar suatu model logika disajikan pada Gambar II.2, yang secara sederhana menggambarkan urutan kejadian yang diperkirakan akan terjadi sebagai manfaat atau perubahan atau dampak. Gambar II. 2. Bentuk Sederhana Model logika
Sumber : http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html
24
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Kotak-kotak input, output, dan outcome menunjukkan hubungan logis antar:
Sumberdaya atau investasi untuk melaksanakan program
Kegiatan atau aktivitas yang dilakukan dalam pelaksanaan program
Perubahan atau manfaat yang merupakan hasil pelaksanaan program
Secara lebih detil, Gambar II.3. menyajikan tahapan perkembangan mulai dari perencanaan, implementasi, dan evaluasi dari suatu program dan operasi hubungan yang terjadi antar Input, Output, dan
Outcome, dan Impact. Gambar II.3. Program Action Logic Model
Sumber : http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html 8 University of Wisconsin-Extension, Program Development and Evaluation
25
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Berikut adalah berbagai pengertian tentang model logika dan manfaatnya untuk berbagai keperluan atau tahapan: Perencanaan Model Logika merupakan sebuah kerangka kerja dan proses perencanaan untuk menjembatani kesenjangan antara kondisi saat ini dan kondisi yang diinginkan. Model logika memberikan struktur pemahaman terhadap situasi yang mengarahkan pada kebutuhan inisiasi, hasil akhir yang diharapkan dan bagaimana investasi dikaitkan dengan aktivitas orang-orang yang ditargetkan dengan maksud untuk mencapai hasil yang diharapkan. Manajemen Program Model logika menggambarkan hubungan antara sumber daya, aktivitas dan outcomes. Model logik berperan sebagai dasar untuk membangun rencana manajemen yang lebih detail. Dalam kurun waktu implementasi, model logika digunakan untuk menjelaskan, merunut dan memonitor operasi, proses dan fungsi. Evaluasi Model logika adalah langkah pertama dalam melakukan evaluasi. Model logika membantu dalam menentukan kapan dan hal apa yang dievaluasi sehingga sumber daya evaluasi digunakan secara efektif dan efisien. Melalui evaluasi, kita mengetes dan memverfikasi kenyataan dari sebuah teori program. Modul logika membantu kita untuk fokus pada proses dan pengukuran outcome yang tepat. Beberapa orang berpikir bahwa model logika adalah sebuah model evaluasi, karena begitu banyak evaluator yang menggunakannya.
26
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Namun, model logika bukanlah model evaluasi tetapi cara ini sangat membantu dalam melakukan evaluasi. Komunikasi Komunikasi adalah kunci kesuksesan dan keberlanjutan. Secara sederhana, penggunaan grafik yang jelas akan membantu dalam mengkomunikasikan program ataupun usulan, baik itu kepada staf, pihak yang mendanai program ataupun stakeholder lainnya. Bila ditelaah lebih jauh, program tidak mungkin hanya memiliki hubungan linear saja, justru, hubungan antar program biasanya tidak linear, seperti gambaran berikut (Gambar II.4.). Gambar II.4. Ketidaklinearan Program
Programs are not linear!
INPUTS
Program investments What we invest
OUTPUTS Activities
What we do
OUTCOMES
Participation
Who we reach
Short
Medium
What results
Sumber: http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html. University of Wisconsin-Extension, Program Development and Evaluation
Berikut ini diberikan beberapa contoh aplikasi model logika.
27
Longterm
11
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Contoh 1: SITUATION:
Di suatu Pemerintah Daerah (Level country) perlu
dilakukan suatu Needs Assessment. Ini disebabkan oleh sebagian besar orangtua murid yang melaporkan bahwa mereka mengalami kesulitan dalam melakukan kewajibannya sebagai orang tua sehingga akibatnya, mereka merasa sangat tertekan/stressed. Gambar II.5 menjelaskan peta (Model logika sederhana) hubungan antar tataran
inputs, ouputs, dan outcomes, guna mengenali siapa saja yang terlibat, apa yang harus dilakukan, siapa sasarannya, dan berbagai tahap capaian yang diharapkan, yang pada akhirnya mencapai hasil akhir berupa terbentuknya ketahanan keluarga. Gambar II.5. Simple Logic Model
Simple logic model SITUATION: During a county needs assessment, majority of parents reported that they were having difficulty parenting and felt stressed as a result
INPUTS Staff
Money
Partners
Research
OUTCOMES
OUTPUTS
Parents increase knowledge of child dev
Develop parent ed curriculum Deliver series of interactive sessions
Parents better understanding their own parenting style
Targeted parents attend
Parents gain skills in effective parenting practices
Facilitate support groups
Parents identify appropriate actions to take
Parents use effective parenting practices
University of Wisconsin-Extension, Program Development and Evaluation Sumber : ttp://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html
Selain contoh di atas,
Improved childparent relations
Strong families
9
gambaran model logika bisa beragam
tergantung kompleksitas permasalahannya. Gambaran itu bisa saja
28
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
secara sederhana linear, namun mungkin juga menjadi rumit apabila kasusnya cukup ekstrim.
Beberapa bentuk refleksi kompleksitas
permasalahan itu disajikan pada Gambar II.6., berikut ini. Gambar II.6. Berbagai Refleksi Model logika
What does a logic model look like?
• Graphic display of boxes and arrows; vertical or horizontal
– Relationships, linkages
• Any shape possible
– Circular, dynamic – Cultural adaptations; storyboards
• Level of detail – Simple – Complex
• Multiple models Sumber : http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html University of Wisconsin-Extension, Program Development and Evaluation
2.5.
13
Konsep dan Definisi Indikator Kinerja
Tatanan input, output, outcome dan impact yang telah diuraikan di atas, sebenarnya merupakan cermin tingkatan/level/pembagian tahapan formulasi suatu rencana mulai dari identifikasi permasalahan, cara mengatasinya, mana yang perlu diintervensi segera, kebijakannya apa, kegiatannya apa, hingga berapa biaya yang diperlukan. Masing– masing tahapan yang direncanakan itu, dapat diukur capaiannya. Ukuran untuk masing-masing tahapan adalah indikator sesuai sasaran atau target yang disepakati bersama oleh para pemangku kepentingan, sehingga capaian atau kinerja masing-masing level
29
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
dapat dievaluasi. Uraian tentang pengukuran kinerja, dan kriteria penentuan indikator dibahas dalam beberapa bagian berikut ini. 2.5.1.
Pengukuran Kinerja
Kata kinerja seringkali meliputi istilah-istilah seperti penyelesaian, pencapaian, realisasi ataupun pemenuhan. Sebagian besar dari istilah tersebut menunjukkan hal yang bersifat obyektif yaitu tercapainya suatu tujuan karena suatu tindakan publik, tetapi ada juga yang bersifat lebih subyektif yang menunjukkan tingkat kepuasan atas suatu
tindakan.
Umumnya,
literatur-literatur
ekonomi
dan
manajemen publik menekankan pada hal yang bersifat obyektif, karena selain mempunyai implikasi langsung terhadap masyarakat juga kepuasan yang bersifat subyektif lebih sulit untuk diukur (Schiavo-Campo dan Sundaram, 2000). Pengukuran kinerja merupakan upaya membandingkan tujuan yang ingin
dicapai
pada
waktu
yang
telah
ditentukan
dengan
perkembangan pencapaian yang sedang diamati pada suatu waktu atas suatu materi perencanaan yang ditunjukkan oleh suatu indikator. Menurut berbagai sumber, indikator adalah: Suatu alat ukur untuk menggambarkan tingkatan capaian suatu sasaran atau target
yang
telah
ditetapkan
ketika
melakukan perencanaan awal, dan dapat merupakan
variabel
kualitatif.
30
kuantitatif
atau
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Mackay (2008) menjelaskan indikator kinerja (Performance indicators) sebagai ukuran mengenai masukan, kegiatan, keluaran, hasil dan dampak dari kegiatan-kegiatan pemerintah. Level indikator dapat saja sangat tinggi, yakni dalam arti mengukur kinerja pemerintah terkait dengan SPM (Sasaran Pembangunan Milenium) misalnya atau rencana pembangunan nasional, atau dalam arti mengukur kegiatan dan keluaran kementerian/lembaga pemerintah. Indikator berguna untuk
menetapkan
target
kinerja,
untuk
menilai
kemajuan
pencapaian target tersebut, serta untuk membandingkan kinerja dari unit kerja/organisasi/kementerian/lembaga yang berbeda. Berdasarkan materi perencanaan yang disusun, ukuran kinerja merupakan suatu hirarki yang menurut kerangka logika, bisa dibedakan menjadi beberapa tingkatan. Bila dimulai dari level terbawah yaitu (Bappenas, 2004), urutannya adalah: 1.
Indikator Masukan (Input). Indikator ini mengukur jumlah sumber daya yang dipergunakan seperti anggaran (dana), SDM, peralatan, material, dan masukan lain, yang dipergunakan untuk melaksanakan kegiatan.
2.
Indikator Keluaran (Output). Indikator ini digunakan untuk mengukur keluaran yang langsung dihasilkan dari suatu pelaksanaan kegiatan, baik berupa fisik maupun non fisik.
3.
Indikator Hasil (Outcome). Indikator ini digunakan untuk mengukur capaian dari berbagai kegiatan dalam suatu program yang
telah
selesai
dilaksanakan
atau
indikator
yang
mencerminkan berfungsinya keluaran berbagai kegiatan pada jangka menengah.
31
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
4.
Indikator
Dampak
(Impacts).
Indikator
ini
menunjukkan
pengaruh, baik positif maupun negatif, yang ditimbulkan dari pelaksanaan kebijakan/program/ kegiatan dan asumsi yang telah digunakan. 2.5.2. Persyaratan Indikator Persyaratan indikator bisa bermacam-macam menurut berbagai sumber dan keperluannya. Di bawah ini disajikan dua konsep persyaratan indikator yang umum dipakai, diketahui dan harus diperhatikan. Menurut persyaratan SMART,
penentuan suatu indikator harus
memperhatikan hal berikut: 1.
Simple - Sederhana: Indikator yang ditetapkan sedapat mungkin sederhana
dalam
pengumpulan
data
maupun
dalam
penghitungan untuk mendapatkannya. 2.
Measurable - Dapat diukur: Indikator yang ditetapkan harus merepresentasikan informasi dan jelas ukurannya.
3.
Attributable - Bermanfaat: Indikator yang ditetapkan harus bermanfaat untuk kepentingan pengambilan kebijakan.
4.
Reliable - Dapat dipercaya: Indikator yang ditentukan harus dapat didukung oleh pengumpulan data yang baik, benar dan teliti.
5.
Timely - Tepat Waktu: Indikator yang ditentukan harus dapat didukung oleh pengumpulan data dan pengolahan data serta
32
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
pengemasan informasi yang waktunya sesuai dengan saat pengambilan keputusan yang dilakukan. Selain
menggunakan
kriteria
SMART,
alternatif
lain
adalah
menggunakan SPICED. dalam The State of Queensland, Department
of Natural Resources and Water, 2007; Roche (1999) menjelaskan pilihan kriteria SPICED sebagai penyaring untuk memastikan agar indikator terpilih dapat memberikan hasil yang maksimal. Penyaring SPICED adalah sebagai berikut: 1.
Subjective, yaitu berdasarkan pendapat para ahli ataupun pengalaman yang dapat menguatkan pemilihan atas indikator.
2.
Participatory, yaitu penyusunan indikator dilakukan bersamasama dengan melibatkan berbagai pihak yang berkompeten dalam mengukur indikator tersebut.
3.
Interpreted
and
Communicable,
yaitu
perlu
adanya
penjelasan lebih lanjut untuk indikator yang bersifat lokal dan tidak berlaku umum. 4.
Cross-checked and compared, yaitu melakukan cross-checked dengan cara membandingkan dengan indikator lain yang menggunakan nara sumber, metode ataupun peneliti yang berbeda.
5.
Empowering, yaitu memberdayakan kelompok masyarakat dalam penyusunan dan penilaian indikator.
6.
Diverse and disaggregate, yaitu perlu kecermatan dalam menentukan indikator yang bersifat pengelompokan seperti pengelompokan berdasarkan jenis kelamin (pria dan wanita).
33
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
3 Review RPJMN dan RKP
3.1.
Struktur Penulisan dan Indikator Kinerja dalam RPJMN dan RKP
Secara umum struktur penulisan atau nomenklatur RPJMN 2004-2009 dapat digambarkan sebagai berikut: Gambar III.1. Struktur Penulisan RPJMN 2004-2009
34
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Dalam Bab ini, diuraikan dan didiskusikan, aplikasi penentuan indikator pada Bab sebelumnya dengan menggunakan RPJMN 20042009. Seperti diketahui, berdasarkan nomenklatur penulisan RPJMN 2004-2009, visi dan misi presiden terpilih pada Oktober 2004 dijabarkan ke dalam agenda pembangunan nasional. Masing-masing agenda pembangunan nasional dijabarkan lagi ke dalam prioritasprioritas pembangunan untuk menjawab sasaran setiap agenda pembangunan. Prioritas-prioritas pembangunan ini kemudian menjadi Bab dalam RPJMN 2004-2009. Penelusuran dan evaluasi terhadap berbagai Bab dalam RPJMN 2004-2009 menunjukkan bahwa sasaran telah ditetapkan, dan diwujudnyatakan melalui program-program pembangunan. Setiap program memiliki sasaran program yang hendak dicapai dan kegiatan pokok yang akan dilakukan. Hasil pencermatan menunjukkan bahwa secara umum, penulisan RPJMN
2004-2009
sudah
terstruktur
dengan
baik
sehingga
memudahkan pembacanya untuk mengikuti pola penulisan dan dengan mudah menemukan serta mengenali sasaran dan tujuan masing-masing kebijakan sektoral maupun program. Bahkan daftar kegiatan pokok pada masing-masing Bab juga tersedia. Namun pada kenyataannya, tidak semua Bab mengadopsi struktur itu, sehingga isi masing-masing bagian Bab tidak konsisten atau sejalan dengan bagian Bab lainnya, padahal mereka saling terkait. Karenanya benang merah yang menghubungkan struktur tersebut antar Bab, tidak secara mudah dapat dikenali dan dimengerti, apalagi dilihat. Ini bukan masalah benar atau salah, tetapi lebih merupakan suatu proses pembelajaran yang dilalui ketika kolaborasi dan koordinasi diperlukan dalam penyusunan dokumen perencanaan pembangunan.
35
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Untuk mengevaluasi capaian RPJMN 2004-2009, maka sasaran masing-masing Bab ditelaah. Kemudian diusahakan untuk mengenali variabel-variabel yang mungkin dapat dijadikan indikator kinerjanya. Dari exercise yang dilakukan, disadari bahwa banyak Bab sektoral yang sulit dipastikan indikator kinerjanya. Kalaupun ada indikatornya, banyak Bab yang sasarannya sulit diukur karena bersifat kualitatif ataupun sulit dicari datanya. Sehingga, mengukur keberhasilan target atau sasaran juga sulit dilakukan, apalagi mengevaluasi kemajuan atau pencapaiannya. Namun ada beberapa Bab, khususnya yang termasuk dalam lingkungan Sumber Daya Manusia (Contohnya, Bab mengenai Kesehatan dan Kependudukan/KB), dapat dengan mudah dikenali indikator kinerjanya. Artinya, bukanlah tidak mungkin untuk menentukan indikator kinerja yang solid, kuantitatif sifatnya, dan datanya dapat dengan mudah diperoleh dari tahun ke tahun. Disamping itu, data dan informasi yang diperlukan itu tidak hanya terbatas dapat diperoleh dari Sensus dan Survey yang dilakukan oleh Badan Pusat Statistik (BPS) tetapi juga dari Sistem Pencatatan dan Pelaporan (Recording and Reporting System) pada masing-masing organisasi K/L, baik yang berasal dari pusat maupun daerah (Provinsi misalnya). Diketahui bahwa dokumen perencanaan yang kita miliki dalam melaksanakan pembangunan
jangka panjang, menengah, dan
pendek/tahunan; adalah RPJPN, RPJMN, dan RKP. Review singkat atas dokumen RPJMN dan RKP akan diuraikan berikut ini. Disamping itu, telaah atas strukturnya dan bagaimana cara mengevaluasinya juga akan dicakup dalam uraian Bab ini, namun karena keterbatasan
36
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
lebar halaman, maka matriks-matriks yang digunakan untuk mereview, dapat dilihat pada Suplemen Buku ini yaitu: Mapping Sasaran dan Indikator Pembangunan Dalam RPJMN 2004-2009 dan RKP 2005-2009.
3.2.
Evaluasi atas Sasaran Bab
Dalam bagian ini, diuraikan hasil review atas beberapa Bab sektoral ditinjau secara umum. Bahasan secara khusus atas Bab Kesehatan dan Bab KB dimaksudkan sebagai contoh uraian yang sektoral yang masih dapat diukur kinerjanya dengan cukup mudah. Diskusi dalam Bab ini, pada dasarnya dilakukan berdasarkan Matriks-matriks yang disajikan pada Suplemen Buku: Mapping Sasaran dan Indikator Pembangunan Dalam RPJMN 2004-2009 dan RKP 2005- 2009. 3.2.1.
Tinjauan Umum
Secara umum, dapat dikatakan bahwa keterkaitan antara Sasaran RPJMN 2004-2009 dengan sasaran program dalam dokumen yang sama seringkali tidak jelas terlihat, atau tidak dapat diuraikan per program. Hal ini selanjutnya semakin kabur keterkaitan satu dan lainnya ketika sasaran program dalam RKP disandingkan dengan RPJMN. Meskipun sudah dikemukakan di Bab sebelumnya, struktur penulisan sudah jelas dan terstruktur baik, namun dari segi isi tulisan, keterkaitan dan kesinambungan tersebut tidak jelas terlihat atau bahkan kabur sama sekali. Katika pencermatan dilakukan pada level kegiatan pokok untuk masing-masing program, juga jelas terlihat bahwa keterkaitan antar 37
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
kegiatan setiap tahun atau bahkan dengan sasaran programnyapun seringkali kabur atau meragukan. Ekspektasi demikian pada beberapa bab mungkin memang sulit terpenuhi, seperti pada bab yang menguraikan tentang perencanaan Kebudayaan, Hukum, dan Diskriminasi. Bahkan dalam Bab Sarana dan Prasarana yang selalu dibicarakan secara luas sebagai Sektor yang mudah diukur keberhasilan dan pencapaiannya, ekpektasi akan keterkaitan dan solidnya ukuran kinerja ternyata tidak dapat dikenali dan terpenuhi (Lihat bab terkait Sarana dan Prasarana dalam Suplemen Buku: Mapping Sasaran dan Indikator Pembangunan Dalam RPJMN 20042009 dan RKP 2005- 2009). Berkaitan dengan evaluasi atas sasaran dan program, maka selain memperhatikan pemetaan atas sasaran dan program dalam RPJMN 2004-2009, juga perlu diperhatikan sasaran bab dan sasaran program dalam RKP. Dari pemetaan tersebut didapatkan beberapa hal antara lain: 1.
Ketidaksinambungan dalam perumusan sasaran lima tahunan (RPJMN) dengan sasaran tahunan (RKP). Sesuai dengan hierarkhi dari RPJMN 2004-2009 tersebut, seharusnya tiap-tiap sasaran, mulai dari sasaran agenda, sasaran bab, sasaran program dan kegiatan pokok memiliki level kinerjanya masing-masing. Semakin ke bawah, tentunya level kinerjanya semakin bersifat operasional. Namun, masih dijumpai
dalam
dokumen
perencanaan
tersebut
ketidaksinambungan dalam perumusan sasaran. Sasaran bab RPJMN seharusnya dapat diturunkan/breakdowned menjadi sasaran program RPJMN, tetapi yang terjadi pada beberapa
38
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
bab dalam RPJMN 2004-2009 adalah sasaran program RPJMN justru tidak dapat ditentukan. 2.
Tingkat variasi kedalaman dari bab-bab dalam RPJMN 2004-2009
sangat
tinggi.
Variasi
kedalaman
atau
kedetilan yang paling nyata dapat dilihat pada sasaran yang ingin dicapai di setiap bab. Pada bab-bab tertentu ada yang menjelaskan di level outcome, tetapi di bab-bab lain ada yang cukup sampai di level output saja. Hal ini menjadikan, dokumen RPJMN 2004-2009 menjadi tidak selaras, setara dan sesuai antar bab. Kesimpulannya, dokumen RPJMN 2004-2009 tidak siap untuk dievaluasi. 3.
Program dan kegiatan memiliki level yang sama. Dalam mendefinisikan program atau kegiatan sering dirasakan terlalu luas atau sebaliknya. Apabila program didefinisikan terlalu luas akan menyulitkan dalam menentukan level kinerjanya, begitu juga dengan kegiatan. Sedangkan bila didefinisikan terlalu sempit, maka akan menyebabkan rancu dengan level kinerja di bawahnya (nama program sama dengan level kegiatan)
4.
Program
tidak
terkait
secara
langsung
dengan
kegiatan-kegiatannya. Masih ditemui adanya beberapa keluaran dari kegiatan-kegiatan yang tidak berkaitan dengan pencapaian sasaran program. Pada hakikatnya, kegiatan merupakan wujud dari pelaksanaan suatu program, sehingga keluaran dari kegiatan tersebut seharusnya berkontribusi langsung terhadap pencapaian sasaran program.
39
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
3.2.2. Telaah atas Sasaran Kesehatan Untuk Sektor Kesehatan dengan mudah dapat dikenali 4 (empat) sasaran yaitu: 1.
Meningkatnya umur harapan hidup dari 66,2 tahun menjadi 70,6 tahun;
2.
Menurunnya angka kematian bayi dari 35 menjadi 26 per 1.000 kelahiran hidup;
3.
Menurunnya angka kematian ibu melahirkan dari 307 menjadi 226 per 100.000 kelahiran hidup
4.
Menurunnya prevalensi gizi kurang pada anak balita dari 25,8 % menjadi 20,0 %
Berdasarkan hasil pemetaan dokumen RPJMN dan RKP didapatkan beberapa hal sebagai berikut:
Sasaran
bab
Peningkatan
Akses
Masyarakat
terhadap
Kesehatan yang Berkualitas ditetapkan di level outcome. Terdapat 12 program pembangunan kesehatan, namun sasaran bab tersebut tidak dapat dipilah-pilah ke sasaran program RPJMN. Sandingan Sasaran RPJMN dengan RKP menunjukkan bahwa ke empat sasaran juga merupakan sasaran semua program di sektor kesehatan dengan kata lain sasaran tersebut tidak bisa dipilah-pilah menjadi sasaran RPJMN untuk masing-masing program pembangunan sektor kesehatan.
Pada sasaran program dalam RKP mulai tahun 2005-2009, didapati beberapa sasaran untuk program tertentu hanya muncul di satu atau dua tahun saja, tidak secara konsisten 40
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
muncul di setiap tahun, padahal apabila memperhatikan indikator dari sasaran tersebut, merupakan indikator yang penting dan seharusnya muncul setiap tahun. Sebagai contoh adalah pada Program Perbaikan Gizi Masyarakat, sasaran ”Menurunnya kegemukan (Obesitas) menjadi 3% pada balita dan 10% pada orang dewasa” hanya muncul di RKP 2007 saja.
Pada penulisan sasaran program dijumpai ketidakkonsistenan dalam pencantuman target pencapaian. Misalnya, sasaran ”Meningkatnya persentase desa yang mencapai Universal Child Immunization (UCI)”, pencantuman target sasaran hanya disebutkan pada RKP 2007, 2008, 2009, sementara pada RKP 2005 dan 2006 tidak disebutkan.
Selanjutnya sasaran RKP dari masing-masing program, tahun 2005 hingga 2009, disandingkan, dengan sasaran program dalam RPJMN. Kemudian dari semua sasaran tersebut dibuat daftar
variabel-
variabel yang mungkin dapat dijadikan indikator kinerja bagi setiap program. Daftar variabel tersebut adalah sebagai berikut:
41
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel III.1. Daftar Variabel Sektor Kesehatan Program RPJMN 1. Program Promosi Kesehatan dan Pemberdayaa n Masyarakat 2. Program Lingkungan Sehat
Variabel 1. Jumlah keluarga berperilaku sehat
1. Jumah keluarga yang menghuni rumah sehat 2. Jumlah keluarga yang menggunakan air bersih 3. Jumlah keluarga yang menggunakan jamban sehat 4. Jumlah tempat-tempat umum yang memenuhi syarat kesehatan
3. Program Upaya Kesehatan Masyarakat
1. Cakupan persalinan yang ditolong oleh tenaga kesehatan 2. Cakupan pelayanan antenatal 3. Cakupan pelayanan neonatal 4. Cakupan rawat jalan 5. Cakupan kunjungan bayi ke tempat layanan kesehatan 6. Jumlah keluarga miskin yang terlayani di puskesmas
4. Program Upaya Kesehatan Perorangan
1. Jumlah penduduk miskin yang mendapat pelayanan kesehatan di rumah sakit 2. Jumlah rumah sakit yang melaksanakan pelayanan gawat darurat yang memenuhi standar mutu 3. Jumlah rumah sakit yang melaksanakan pelayanan Obstetrik & Neonatus esensial Komprehensif (PONEK) 4. Jumlah rumah sakit yang terakreditasi
5. Program Pencegahan dan Pemberantasa n Penyakit
1. Jumlah desa yang mencapai Universal Child Immunization (UCI) 2. Jumlah Case Detection Rate TB 3. Angka penemuan Accute Flaccid Paralysis pada anak usia kurang 15 tahun 4. Case fatality rate DBD 5. Case fatality rate diare 6. Persentase ODHA (Orang Dengan HIV AIDS) ditemukan dan mendapat pengobatan
42
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Program RPJMN
Variabel 7. Persentase penderita malaria yang diobati dari yang ditemukan
6. Program 1. Angka prevalensi kurang gizi pada balita Perbaikan Gizi 2. Persentase ibu hamil yang mendapat tablet Fe 3. Persentase bayi yang mendapat ASI Eksklusif Masyarakat 4. Persentase balita yang mendapatkan Vitamin A 7. Program Sumber Daya Kesehatan
1. Jumlah tenaga kesehatan terlatih di desa siaga 2. Jumlah tenaga medis dan para medis di daerah terpencil/tertinggal 3. Proporsi rumah sakit kabupaten/kota yang memiliki tenaga dokter spesialis dasar 4. Persentase guru, dosen dan instruktur bidang kesehatan yang ditingkatkan kemampuannya
8. Program Obat dan Perbekalan Kesehatan
1. Ketersediaan dan pemerataan obat esensial nasional 2. Ketersediaan obat esensial generik di sarana pelayanan kesehatan 3. Ketersediaan obat untuk buffer stock di kabupaten/kota, propinsi dan pusat untuk penduduk sasaran Askeskin/Jamkesmas 4. Ketersediaan obat untuk pelayanan kesehatan pada saat bencana / KLB
9. Program Pengawasan Obat dan Makanan
1. Persentase jumlah sampel yang memenuhi syarat 2. Jumlah pemeriksaan sarana produksi dalam rangka cara pembuatan obat yang baik (CPOB) 3. Persentase peredaran produk pangan yang memenuhi syarat 4. Tercegahnya penyalahgunaan dan penggunaan yang salah dari obat keras, NAPZA dan bahan berbahaya lainnya
10. Program Pengembanga n Obat Asli Indonesia 11. Program Kebijakan dan Manajemen
1. Jumlah produk obat bahan alam Indonesia bermutu tinggi 2. Standarisasi tanaman obat bahan alam Indonesia 1. Jumlah peraturan dan perundang-undangan di bidang pembangunan kesehatan; 2. Jumlah penanggulangan krisis kesehatan dan masalah kesehatan yang tertangani dengan cepat.
43
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Program RPJMN Pembanguna n Kesehatan
Variabel 3. Jumlah klaim pelayanan kesehatan bagi masyarakat miskin yang terverifikasi
12. Program 1. Jumlah penelitian yang dapat digunakan untuk pengembangan pembangunan kesehatan Penelitian 2. Jumlah kebijakan yang dikembangkan dari hasil dan penelitian dan pengembangan kesehatan Pengembanga n Kesehatan
3.2.3.
Telaah atas Sasaran Keluarga Berencana
Contoh lain adalah
Sasaran Sektor Keluarga Berencana (KB),
terkendalinya pertumbuhan penduduk dan meningkatnya keluarga kecil berkualitas ditandai oleh 7 (tujuh) capaian, yaitu: 1.
Menurunnya
rata-rata
laju
pertumbuhan
penduduk
menjadi sekitar 1,14 persen per tahun; tingkat fertilitas total menjadi sekitar 2,2 persen per perempuan; persentase pasangan usia subur yang tidak terlayani (unmet need) menjadi 6 persen 2.
Meningkatnya peserta KB laki-laki menjadi 4,5 persen
3.
Meningkatnya
penggunaan
metode
kontrasepsi
yang
efektif serta efisien 4.
Meningkatnya
usia
perkawinan
pertama
perempuan
menjadi 21 tahun 5.
Meningkatnya partisipasi keluarga dalam pembinaan tumbuh-kembang anak
44
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
6.
Meningkatnya
jumlah
Keluarga
Pra-Sejahtera
dan
Keluarga Sejahtera-I yang aktif dalam usaha ekonomi produktif 7.
Meningkatnya penyelenggaraan
jumlah
institusi
pelayanan
masyarakat
keluarga
berencana
dalam dan
kesehatan reproduksi. Berbeda dengan Sektor Kesehatan di atas, ke tujuh Sasaran tersebut merupakan tujuan semua program namun sasaran tersebut juga dapat dipilah dan dipadankan untuk masing-masing program sektor KB dalam dokumen RPJMN 2004-2009; dan kemudian menjadi sandingan bagi sasaran masing-masing program dalam masing-masing dokumen RKP tahun 2005 hingga tahun 2009. Langkah selanjutnya, adalah mencermati masing-masing sasaran program dalam RPJMN dan RKP, dan dicoba untuk mengenali berbagai variabel yang mungkin dapat dijadikan indikator kinerja bagi masing-masing program, sepanjang kurun waktu 2005 hingga 2008. Daftar variabel tersebut adalah sebagai berikut:
45
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel III.2. Daftar Variabel Sektor Keluarga Berencana Program RPJMN
Variabel
1. Program Keluarga Berencana
1. Laju Pertumbuhan Penduduk
2. Program Kesehatan Reproduksi Remaja
1. 2. 3. 4.
2. Total Fertility Rate 3. Unmetneed
4. Peserta KB baru (PB) laki-laki 5. Peserta KB aktif (PA) laki-laki 6. Jumlah PUS yang menggunakan alat kontrasepsi jangka panjang 7. Peserta KB baru (PB) 8. Peserta KB aktif (PA) 9. Peserta KB baru (PB) miskin 10. Peserta KB aktif (PA) miskin 11. Jumlah tempat pelayanan KB non pemerintah 12. Jumlah tempat pelayanan KB yang memberikan promosi dan konseling 13. Jumlah alat kontrasepsi yang tersedia bagi rakyat miskin 14. Persentase besarnya pembiayaan program KB dalam APBN yang ditujukan bagi rakyat miskin 15. Jumlah desa/kelurahan yang terjangkau pelayanan KB 16. Jumlah desa/kelurahan di daerah tertinggal, terpencil dan perbatasan yang terjangkau pelayanan KB Usia kawin pertama perempuan Kebijakan pelayanan kesehatan reproduksi remaja Angka perkawinan penduduk usia remaja Persentase remaja yang memperoleh informasi tentang kesehatan reproduksi 5. Angka kehamilan usia remaja 6. Jumlah kasus PMS dan HIV/AIDS pada remaja 7. Jumlah PIK-KRR 8. Jumlah Pendidik Sebaya (orang) 9. Jumlah Konselor Sebaya (orang) 10. Jumlah sosialisasi dan KIE KRR 11. Jumlah PIK-KRR percontohan 12. Jumlah provinsi yang mengembangkan Center of
excellent
13. Jumlah SDM PIK-KRR yang berkualitas 14. Tingkat utilisasi PIK-KRR 15. Tingkat sustainabilitas PIK-KRR
46
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Program RPJMN
Variabel
3. Program Ketahanan dan Pemberday aan Keluarga
1. Jumlah keluarga balita yang aktif dalam kegiatan BKB 2. Jumlah keluarga remaja yang aktif dalam kegiatan BKR 3. Jumlah keluarga lansia yang aktif dalam kegiatan BKL 4. Jumlah keluarga Pra-sejahtera dan keluarga sejahtera I yang aktif dalam usaha ekonomi produktif 5. Jumlah keluarga Pra-S dan KS-I 6. Jumlah keluarga yang dapat mengakses informasi 7. Jumlah kelompok BKB, BKR dan BKL percontohan di kecamatan 8. Jumlah Toga/Toma yang berpartisipasi dalam kegiatan advokasi, promosi dan KIE program KB 9. Jumlah KIE program KB dan KS melalui media massa dan media luar ruang di Pusat, Provinsi dan Kab/Kota 10. Status pembentukan jejaring kerja yang aktif di setiap tingkatan wilayah 11. Jumlah tenaga pengelola dan kader yang terlatih dalam bidang KIE ketahanan dan pemberdayaan keluarga
4. Program Penguatan Pelembaga an Keluarga Kecil Berkualitas
1. Jumlah Institusi Masyarakat dalam pelayanan KB dan kesehatan reproduksi 2. Persentase pasangan usia subur (PUS) yang ber-KB secara mandiri 3. Kualitas pelayanan KB dan kesehatan reproduksi 4. Jumlah tempat pelayanan KB non pemerintah 5. Persentase peserta KB mandiri dari peserta KB aktif 6. Kualitas data dan informasi dalam sistem kependudukan dan keluarga 7. Jumlah petugas lapangan tingkat kecamatan dan desa (PLKB/PKB) 8. Jumlah advokasi dan KIE tentang Program KB nasional 9. Jumlah Pembantu Petugas Keluarga Berencana\Desa (PPKBD) 10. Jejaring kerja yang aktif dengan mitra kerja di setiap tingkatan wilayah 11. Status pengelolaan sistem informasi program KB nasional yang berbasis data mikro individu keluarga 12. Jumlah desa/kelurahan yang menggunakan hasil
47
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Program RPJMN
Variabel pendataan keluarga sebagai dasar pembinaan pengelolaan operasional program KB lini lapangan 13. Status penyelenggaraan sistem informasi dan monitoring manajemen Program KBN di Pusat, Provinsi dan Kab/Kota 14. Jumlah penggerak KB desa yang dibina
3.3.
Evaluasi atas Kegiatan Pokok Program
Dokumen RKP juga memuat rincian kegiatan pokok yang merupakan penjabaran pelaksanaan masing-masing Program Pembangunan. Dokumen
RKP
juga
Kementerian/Lembaga
memuat
kegiatan
dan
aktivitas
yang kegiatan rincinya dituangkan dalam
dokumen RKAKL. Mulai tahun 2005, kesinambungan dan keterkaitan antara dokumen perencanaan yaitu RKP dan dokumen anggaran (RKAKL) terus menerus diperbaiki dan ditingkatkan. Keterkaitan tersebut, refleksi terbaiknya, tentu dapat dilihat dalam dokumen RKP tahun 2008 dan 2009. Bahkan dalam tahun 2009 diharapkan, bukan hanya terkait namun sudah merupakan rincian yang serupa dan sama.
48
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Berdasarkan sandingan kegiatan pokok dari dokumen RKP tahun 2005-2009 didapatkan inventarisasi variabel-variabel yang mungkin untuk dijadikan indikator. Berikut ini adalah contoh variabel-variabel yang mungkin untuk dijadikan indikator dari sektor Keluarga Berencana. Tabel III.3. Daftar Variabel Kegiatan Pokok Sektor Keluarga Berencana Variabel Kegiatan Pokok 2006 2007 2008 1. Program Keluarga Berencana 1. Kebijakan 1. Jumlah 1. Jumlah 1. Jumlah dalam desa/kelurah keluarga keluarga akses an yang miskin yang miskin yang pemerataa terjangkau tersasar tersasar n pelayanan kegiatan kegiatan pelayanan KB jaminan jaminan KB yang 2. Jumlah TKBK penyediaan penyediaan dikembang 3. Jumlah pelayanan pelayanan kan pelayanan KB KB 2. Kebijakan informasi, 2. Jumlah 2. Jumlah KIE dalam konseling, penyediaan penyediaan pelayanan KB/KR alat alat KB yang terhadap kontrasepsi kontrasepsi dikembang akseptor KB bagi bagi kan pria keluarga keluarga 3. Kebijakan 4. Jumlah KIE, miskin miskin dalam advokasi, 3. Jumlah 3. Jumlah mendorong KIP/Konseling program KB pelayanan peran serta dalam berkualitas konseling KIE masyarakat pelayanan yang KB dalam KB dilaksanaka 4. Status pelayanan 5. Status n melalui peningkatan KB yang pengembang jalur perlindungan dikembang an materi, swasta/instit hak-hak kan media dan usi non reproduksi 4. Jumlah perluasan pemerintah individu keluarga cakupan 4. Jumlah 5. Jumlah miskin yang dalam pelayanan tempat tersasar pelayanan KIE pelayanan kegiatan KB 5. Status KB penyediaan 6. Jumlah peningkatan pemerintah pelayanan pelayanan perlindunga 6. Jumlah KB kontrasepsi n hak tempat 2005
49
2009 1. Jumlah keluarga miskin yang tersasar kegiatan jaminan penyediaan pelayanan KB 2. Jumlah penyediaan alat kontrasepsi bagi keluarga miskin 3. Jumlah tempat pelayanan KB pemerintah 4. Jumlah tempat pelayanan KB non pemerintah 5. Jumlah pelayanan KIE program KB 6. Kualitas pelayanan KB
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
2005 5. Jumlah kontrasepsi yang tersedia bagi keluarga miskin 6. Tingkat pelayanan klinik KB Pemerintah 7. Jumlah klinik KB pemerintah 8. Tingkat pelayanan tim KB keliling (TKBK) 9. Jumlah TKBK 10. Tingkat pelayanan KB Swasta dan Jumlah tempat pelayanan KB swasta 11. Sarana operasional lapangan 12. Jumlah pencabutan implant 13. Perlindung an penerima layanan KB 14. Jumlah promosi kesehatan reproduksi yang terselengga ra 15. Jumlah advokasi, KIE, dan konseling
Variabel Kegiatan Pokok 2006 2007 2008 hormonal reproduksi pelayanan 7. Jumlah individu KB nonpelayanan pemerintah/ kontrasepsi swasta nonhormonal 8. Jumlah pembinaan terhadap masyarakat dalam pelayanan KB/KR yang mandiri 9. Status pembinaan kualitas sarana dan pelayanan oleh tim jaga mutu dan tim spesialis 10. Jumlah promosi kesehatan ibu, bayi dan anak yang dilaksanakan di kelompok Bina Keluarga 11. Jumlah promosi kesehatan ibu, bayi dan anak yang dilaksanakan di Posyandu 12. Jumlah promosi kesehatan ibu, bayi dan anak yang dilaksanakan di Kelompok KB 13. Jumlah alat kontrasepsi yang tersedia 14. Jumlah
50
2009
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
2005 bidang KB 16. Jumlah advokasi, KIE, dan konseling bidang kelangsung an hidup ibu, bayi dan anak 16. Jumlah advokasi, KIE, dan konseling bidang penanggula ngan masalah kesehatan reproduksi 17. Dukungan administrasi dan operasional program 1. Kebijakan dalam pemerataa n akses pelayanan kesehatan reproduksi remaja bagi remaja dan kelompok sebaya di luar sekolah yang dikembang kan 2. Jumlah promosi kesehatan reproduksi remaja 3. Jumlah advokasi, KIE dan
Variabel Kegiatan Pokok 2006 2007 2008 pelayanan KB Medis Operasi 15. Jumlah pelayanan pencabutan implan 16. Status pelayanan perlindungan bagi akseptor KB
2. Program Kesehatan Reproduksi Remaja 1. Status 1. Jumlah 1. Status pengembang advokasi, penguatan an pusat KIE dan dukungan pelayanan pelayanan dan informasi dan KRR partisipasi konseling 2. Status masyarakat KRR penguatan dalam 2. Jumlah dukungan program KRR pembekalan dan 2. Jumlah PIKprogram KRR partisipasi KRR bagi masyarakat 3. Status pelaksana peningkatan dan perlindungan pengelola hak-hak 3. Jumlah reproduksi pembekalan individu program 4. Jumlah PHR bagi tempat pelaksana pelayanan dan KB pengelola pemerintah 4. Status 5. Jumlah Pengembang tempat an materi, pelayanan
51
2009
1. Jumlah PIKKRR 2. Jumlah advokasi dan KIE Kesehatan reproduksi remaja 3. Tingkat partisipasi masyarakat dalam KRR 4. Kualitas pelayanan KB
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
2005 konseling bagi masyarakat , keluarga dan remaja. 4. Partisipasi masyarakat terhadap penyelengg aran program kesehatan reproduksi remaja 5. Status dukungan administrasi dan operasional program
5.
6.
7.
8.
9.
Variabel Kegiatan Pokok 2006 2007 2008 metoda, dan KB non media pemerintah/s advokasi, KIE wasta dan konseling KRR Jumlah kasus triad narkoba pada remaja Jumlah kasus PMS termasuk HIV/AIDS pada remaja Status penanggulan gan triad narkoba dan PMS melalui kegiatan KRR Jumlah kelompok remaja yang terbina oleh pelayanan KRR Jumlah kelompok sebaya yang terbina oleh pelayanan KRR
2009
3. Program Ketahanan dan Pemberdayaan Keluarga 1. Kebijakan ketahanan dan pemberday aan keluarga yang dikembang kan 2. Jumlah advokasi, KIE dan konseling bagi keluarga
1. Status 1. Status 1. Status 1. Jumlah advokasi pengembanga peningkatan peningkatan dan KIE n bahan akses akses informasi Program KB informasi informasi dan dan pelayanan Nasional tentang pelayanan ketahanan 2. Status pengasuhan ketahanan keluarga peningkatan dan keluarga 2. Jumlah akses informasi pembinaan 2. Jumlah advokasi dan dan pelayanan tumbuhkemba advokasi dan KIE Program ketahanan ng anak KIE Program KB Nasional keluarga 2. Jumlah tenaga KB Nasional 3. Jumlah tenaga 3. Status pendamping 3. Jumlah tenaga pengelola peningkatan kelompok Bina pengelola program pemberdayaan Keluarga di program ketahanan dan dan ketahanan kecamatan ketahanan pemberdayaan keluarga
52
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
2005 tentang pola asuh dan tumbuh kembang anak 3. Jumlah advokasi, KIE dan konseling bagi keluarga tentang kebutuhan dasar keluarga 4. Jumlah advokasi, KIE dan konseling bagi keluarga tentang akses terhadap sumber daya ekonomi 5. Jumlah advokasi, KIE dan konseling bagi keluarga tentang peningkata n kualitas lingkungan keluarga 6. Jumlah pelatihan teknis dan manajemen usaha 7. Jumlah anggota UPPKS 8. Jumlah anggota UPPKS
Variabel Kegiatan Pokok 2006 2007 2008 3. Status dan keluarga yang pengembanga pemberdayaa berkualitas n model n keluarga operasional yang BKBberkualitas Posyandu4. Status PADU di peningkatan seluruh akses kabupaten/kot informasi dan a pelayanan 4. Jumlah ketahanan kabupaten/kot keluarga a yang mengembangk an model operasional BKBPosyanduPADU 5. Status pengembanga n keterpaduan kegiatan Bina Keluarga dengan usaha ekonomi produktif dan peningkatan kualitas lingkungan keluarga 6. Jumlah kabupaten/kot a yang mengembangk an keterpaduan kegiatan Bina Keluarga dengan usaha ekonomi produktif dan peningkatan kualitas lingkungan keluarga 7. Jumlah promosi dan sosialisasi kebijakan ketahanan
53
2009 4. Jumlah tenaga pengelola program ketahanan dan pemberdayaan keluarga yang berkualitas 5. Status peningkatan akses informasi pembinaan program ketahanan dan pemberdayaan keluarga
Pedoman Evaluasi dan Indikator Kinerja Pembangunan Variabel Kegiatan Pokok 2005 2006 2007 2008 2009 yang aktif keluarga berusaha 8. Jumlah 9. Jumlah kelompok kader/angg UPPKS yang ota UPPKS didukung oleh yang program menjalani permodalan pendampin mikro dan gan/ pendampingan magang usaha 10. Jumlah 9. Jumlah kelompok penggunaan BKB ATTG pada 11. Jumlah kelompok kelompok UPPKS BKR 10. Jumlah Pusat 12. Jumlah (galeri) ATTG kelompok BKL 13. Jumlah keluarga balita yang aktif dalam kegiatan BKB 14. Jumlah keluarga remaja yang aktif dalam kegiatan BKR 15. Jumlah keluarga lansia yang aktif dalam kegiatan BKL 16. Status dukungan administrasi dan operasional program 4. Program Penguatan Pelembagaan Keluarga Kecil Berkualitas
54
Pedoman Evaluasi dan Indikator Kinerja Pembangunan Variabel Kegiatan Pokok 2005 2006 2007 2008 1. Status 1. Status 1. Status 1. Status pengemban Amandemen penguatan penguatan gan sistem Undangpelembagaan jejaring pengelolaa undang Nomor keluarga kecil operasional lini n dan 10 Tahun 1992 berkualitas lapangan yang informasi tentang serta berbasis 2. Jumlah Perkembanga mekanisme masyarakat tenaga n operasional 2. Status lapangan Kependudukan lini lapangan pengembanga yang dan yang berbasis n jaringan berkualitas Pembangunan masyarakat komunikasi 3. Jumlah Keluarga 2. Status dan kelembaga Sejahtera pengembanga penyediaan an KB yang 2. Status n jaringan data informasi berbasis peningkatan program KB program KB masyarakat kemampuan Nasional Nasional yang telah tenaga dan 3. Status 3. Jumlah mandiri pengelola peningkatan bimbingan dan 4. Status program di KIE-advokasi fasilitasi pengelolaa lapangan program KB program n data dan 3. Jumlah Nasional; 4. Status informasi institusi/lembag 4. Jumlah pendataan keluarga a bimbingan keluarga dan berbasis penyelenggara dan advokasi individu dalam data mikro pelayanan KB program keluarga yang berbasis 5. Status masyarakat pengembanga yang telah n jaringan mandiri komunikasi 4. Status dan peningkatan penyediaan kualitas dan data informasi pengelolaan program KB data dan Nasional. informasi keluarga berbasis data mikro 5. Status pendataan keluarga dan individu dalam keluarga serta pengolahanny a dengan memanfaatka n teknologi informasi.
55
2009 1. Jumlah advokasi dan KIE Program KB Nasional 2. Status peningkatan akses informasi dan pelayanan program ketahanan dan pemberdayaan keluarga 3. Status peningkatan pemberdayaan dan ketahanan keluarga 4. Jumlah tenaga dan kader pengelola program ketahanan dan pemberdayaan keluarga yang berkualitas 5. Status peningkatan akses informasi pembinaan program ketahanan dan pemberdayaan keluarga
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
4 Indikator Kinerja 4.1.
Pengantar
Konsep Monitoring dan Evaluasi (Monev) yang diformulasikan dengan baik dan dapat dengan mudah dimengerti oleh penggunanya akan mampu memperkuat kualitas kinerja serta memperbaiki proses dan atau
tahapan
perencanaan
dan
penyusunan
anggaran,
dan
khususnya integritas keduanya. Namun hal itu tidak akan tercapai apabila tidak ada kesepahaman tentang bahasa yang digunakan, pengertian akan pemanfaatannya, dan penggunaan konsep dan sarana yang ada. Khususnya konsep, telah ditunjukkan dalam berbagai kasus, merupakan hambatan yang cukup mengganggu dalam membangun kegiatan Monev yang berkualitas dan permanen. Telah disinggung pada Bab 2, bahwa pada umumnya evaluasi membutuhkan biaya yang lebih besar dan waktu yang lebih lama bila dibandingkan dengan monitoring. Dengan demikian, evaluasi lebih bersifat selektif daripada menyeluruh seperti monitoring. Perlu diperhatikan bahwa kedua kegiatan tersebut membutuhkan definisi yang jelas untuk setiap variabel ataupun indikator yang digunakan -berikut baseline data yang digunakan untuk setiap indikatornya -dengan maksud agar kinerja dapat dievaluasi dengan baik.
56
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Pada masa kini, akuntabilitas – salah satu unsur Good Governance -merupakan suatu aspek penting dalam perencanaan, artinya apapun rencananya baik kebijakan, program ataupun kegiatan; harus terukur.
Mengukur progress dan capaian, memerlukan suatu alat
ukur atau ukuran, yang direfleksikan dalam pengertian “Apakah tujuan dapat tercapai?”, atau “Apakah sasaran sudah ditentukan?”, sehingga sukses atau kegagalan dapat diketahui dari tercapai tidaknya sasaran tersebut. Adapun sasaran itu berbeda-beda tingkatannya, namun hirarki yang umum adalah, input sama dengan investasi untuk kebijakan/program/kegiatan yang disusun, output sama dengan hasil yang dicapai dalam konteks pelaksanaan, dan
outcome atau hasil dalam konteks dampak pelaksanaan kegiatan (Berakibat lebih luas dari hanya sekedar konsekuensi dari pelaksanaan kegiatan). Menurut berbagai sumber, (Osborne and Gaebler: 1992; Mayston, 2003; Castro, 2007) apapun yang dapat diukur atau terukur, biasanya dapat diselesaikan dengan baik. Sehingga apabila capaian atau hasil tidak dapat diukur, kita sama sekali tidak akan mampu memastikan apakah yang kita laksanakan (Kebijakan/program/kegiatan/strategi dll.) berhasil/sukses, ataukah gagal, artinya tujuan tidak tercapai. Lebih dari itu, bila kita tidak mampu memastikan dan mengenali kesusksesan, bagaimana kita memastikan bahwa yang kita lakukan benar membawa dampak yang baik dan perlu diberi reward. Bila demikian kenyataannya, maka kemungkinan yang diberi reward itu justru sebenarnya suatu kegagalan. Artinya, suatu ketidakberhasilan tidak akan mampu memberikan pengajaran apapun.
Kalaupun
kegagalan itu tidak juga dapat dikenali, lalu bagaimana kita akan
57
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
mengkoreksinya? Akhirnya, bila hasil juga tidak dapat ditunjukkan, maka kita tidak akan pernah berhasil memperoleh dukungan dalam bentuk apapun. Oleh karena itu, guna memastikan ukuran kinerja yang digunakan benar-benar solid dan dapat dipertanggungjawabkan, maka suatu alat bantu untuk memetakan pola pikir awal hingga ekspektasi capaian beserta ukuran-ukurannnya (untuk berbagai tingkatan) ketika kita memformulasikan apapun, termasuk kebijakan, strategi, program, intervensi, kegiatan dan sebagainya; atau suatu cara berfikir yang runtut, sungguh diperlukan. Cara ini, seperti telah disinggung pada Bab 2, dan secara umum disebut sebagai Model Logika.
4.2. Penyusunan Indikator Kinerja Dengan
modal
Model
Logika,
indikator
kinerja
dari
suatu
rencana/plan dapat dengan mudah disusun dan ditentukan. Sesuai tingkatannya, indikator kinerja jelas posisinya sebagai alat ukur yang sahih di level kebijakan, program, ataukah kegiatan, mungkin juga
input atau anggarannya. Definisi dan konsep tataran itu dapat dilihat dan diekstraksikan dari uraian Bab dalam dokumen RPJMN 20042009 atau dokumen RKP tahunan. Dalam kaitan itu, perlu dipastikan kesamaan pandang atau persepsi masing-masing sasaran. Dengan kesamaan
tersebut
dapat
disepakati
macam
indikator
yang
digunakan. Selain itu, harus disepakati pula arti dan maksud pemilihan kata-kata yang digunakan dan istilah dalam masing-masing tatanan. Misalnya,
58
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
definisi anak usia sekolah, konsep tumbuh kembang anak, definisi pekerja keluarga yang tidak dibayar, pengertian ibu rumah tangga yang pernah mengikuti pelatihan KUB. Untuk menentukan indikator kinerja perlu disepakati berbagai konsep dan definisi tentang indikator yang akan disepakati bersama, misalnya apa yang dimaksud dengan: •
Tujuan/Goal. Apakah ini berada pada level impact?
•
Apakah impact juga merupakan dampak yang dicapai oleh
outcome dalam waktu panjang/lama? •
Apakah tujuan/objectives difokuskan pada pemanfaat hasil kegiatan pembangunan atau bagaimana? Apakah itu sama dengan outcomes?
•
Apakah kegiatan/activities pasti merupakan indikator
output. Apakah output juga merupakan hasil pengukuran beberapa kegiatan? Apabila Indikator
Kinerja sudah ditentukan, konsekuensi dari
kesepakatan atas indikator akan menunjukkan hal berikut: •
Indikator yang disepakati merupakan bahasa yang dimengerti semua orang.
•
Penentuan outcome, menunjukkan kemampuan untuk membedakan „apa yang dikerjakan” dengan “hasil/capaian”.
•
Indikator yang disepakati akan meningkatkan pengertian para pemangku kepentingan akan kebijakan/program/kegiatan yang dievaluasi.
•
Indikator yang disepakati menjadi acuan dan petunjuk dalam monitoring dan evaluasi serta membantu evaluator agar tetap fokus pada apa yang dievaluasinya.
59
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
•
Membantu menuju perbaikan dalam perencanaan dan manajemen.
•
Memantapkan maksud dan tujuan yang ingin dicapai.
•
Menjaga keterkaitan dan kesesuaian antar berbagai kebijakan/program/kegiatan di berbagai kondisi dan situasi serta level yang berbeda..
•
Koordinasi kerja terjaga karena alur pikir berada dalam tataran yang sama.
•
Mampu memantapkan penentuan urutan prioritas dan alokasi pendanaan.
•
Memudahkan dan membangun iklim kerja yang baik bagi para evaluator.
4.3.
Tahapan Penyusunan Indikator
Memperhatikan persyaratan indikator, terdapat beberapa hal yang perlu diperhatikan ketika menyusun indikator, yaitu indikator yang akan dipergunakan harus jelas dan dapat dipahami oleh setiap orang, serta ketersediaan data yang mudah diperoleh dan akurat.
Oleh
sebab itu, dalam penyusunan indikator perlu dilaksanakan melalui beberapa tahapan penyusunan, yang diuraikan di bawah ini. 4.3.1. Persiapan penyusunan indikator Persiapan penyusunan indikator dilakukan dengan tujuan menyusun berbagai pilihan data yang tersedia untuk dipastikan kesesuaiannya sebagai indikator dari suatu materi perencanaan. Oleh karena itu,
60
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
dalam
rangka
persiapan
penyusunan
indikator,
diperlukan
pemahaman tentang materi perencanaan yang sedang dilakukan. Hal yang perlu mendapat perhatian dan dipersiapkan dalam tahap ini adalah cara penyusunan sasaran dan cara perkiraan pencapaian kemajuannya, pengidentifikasian permasalahan yang menghambat pencapaian sasaran dan hal-hal yang dibutuhkan dalam evaluasi secara mendalam dan berkesinambungan. 4.3.2. Penyusunan daftar indikator Penyusunan daftar indikator dilakukan dengan tujuan menentukan suatu indikator berada dalam tingkatan (level) yang mana. Banyak indikator yang potensial untuk dipakai sebagai indikator output atau indikator outcome saja. Namun ada juga beberapa indikator yang dapat dipakai sebagai indikator output adan indikator outcome sekaligus. Namun demikian, hanya beberapa indikator saja yang tepat dan bermanfaat. Oleh karena itu dalam penentuan indikator perlu pendekatan yang ekstra hati-hati, sehingga tidak salah dalam penentuannya. Pada saat penyusunan daftar indikator beberapa hal yang perlu mendapat perhatian, antara lain: a.
Langsung. Indikator yang disusun harus sedekat mungkin dengan sasaran yang ingin dicapai
b.
Jelas maksud dan tujuan. Hal ini karena menyatakan hal apa yang akan diukur.
c.
Cukup. Indikator harus dapat menjawab pertanyaan yang muncul dalam pengukuran hasil yang diharapkan
61
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
d.
Kuantitatif. Dalam penentuan indikator dapat dinyatakan dalam bentuk numerik
e.
Praktis. Indikator yang ditentukan datanya dapat diperoleh dengan mudah
f.
Dapat diandalkan. Pertimbangan terakhir dalam penentuan indikator adalah data yang tersedia merupakan data akurat dan dapat diandalkan untuk penentuan kebijakan
4.3.3. Pendefinisian indikator Pendefinisian indikator dilakukan dengan tujuan memberikan batasan pada suatu indikator yang akan dipakai sebagai ukuran dari suatu materi perencanaan. Pendefinisian indikator perlu diperhatikan: (1) menghindari
pernyataan
umum,
(2)
dapat
menggambarkan
perubahan yang diinginkan, (3) secara jelas menggambarkan cakupan yang berubah, (4) identifikasi target perubahan secara jelas, dan (5) identifikasi pengaruh perubahan yang terjadi. 4.3.4. Penentuan Indikator Dalam
penentuan
indikator,
maka
indikator-indikator
yang
mempunyai bobot yang rendah harus dihilangkan dan penentuan indikator dilakukan secara selektif, serta penentuan indikator dilakukan hanya pada indikator yang dapat mewakili secara langsung dengan sasaran yang akan dicapai. Pada saat penentuan indikator perlu diperhatikan dimensi yang melekat pada data yang dipakai sebagai indikator.
62
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
4.3.5. Validasi indikator Berdasarkan daftar indikator yang telah disusun tersebut, selanjutnya dilakukan penilaian terhadap indikator-indikator yang telah ada. Penilaian terhadap suatu indikator dapat dilakukan melalui beberapa cara, antara lain sensus atau survei. 4.4.
Metode Penyusunan Indikator Outcome
Menurut berbagai referensi, antara lain dari Kusek and Rits (2004), Funnel (2008); proses penyusunan indikator dalam suatu proses perencanaan, selalu dimulai atau diawali dengan penentuan
outcome indicator. Langkah ini merupakan kunci sukses perencanaan yang dapat dievaluasi. Penentuan indikator outcome diawali
dengan
menyepakati
statement
outcome
atau
pernyataan/kalimat outcome berdasarkan permasalahan (Kalimat negatif) atau isu. Dari permasalahan/isu bisa diturunkan beberapa pernyataan tentang outcome atau hasil akhir yang diharapkan (Kalimat positif). Dengan kata lain, isu dan permasalahan yang ada perlu diubah menjadi solusi. Sebagai contoh adalah permasalahan di bidang pendidikan, yaitu “gedung sekolah yang tidak terpelihara dan dibangun dengan menggunakan kualitas material yang rendah”. Kalimat negatif tersebut, kemudian disusun menjadi kalimat outcome yang positif, yaitu “meningkatkan kondisi struktur gedung sekolah sehingga sesuai standar yang berlaku” . Memperhatikan posisi dan peran Bappenas, perlu diperhatikan bahwa dengan menggunakan kalimat positif akan menimbulkan reaksi dan
63
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
respon
yang
lebih
positif
dari
seluruh
pemangku
yang
berkepentingan/stakeholders, karena penentuan indikator outcome merupakan juga suatu proses politis yang membutuhkan konsensus atau kesepakatan bersama dari semua pihak. 4.4.1. Penentuan
Outcome
Indikator
diawali
dengan
penentuan statement indicator Proses penentuan outcomes menurut Kusek and Rist (2004: 59-66): 1) Menerjemahkan
permasalahan
yang
ada
menjadi
beberapa kemungkinan pernyataan outcome yang bernada positif sebagai solusi dari permasalahan tersebut. Berikut adalah tabel yang menerjemahkan permasalahan ke dalam pernyataan outcome. Tabel IV.1. Penerjemahan Permasalahan menjadi Pernyataan Outcome Permasalahan Bangunan sekolah tidak dipelihara dan dibangun dari material yang buruk. Banyak anak dari keluarga di perdesaan yang tidak mampu menempuh jauhnya jarak untuk bersekolah. Sekolah tidak mendidik pemuda dengan materi pelajaran yang dibutuhkan di pasar kerja. Masyarakat miskin semakin terpinggirkan dan tidak mendapatkan pendidikan yang layak.
→
→
→
→
64
Pernyataan Outcome Meningkatkan kondisi struktur gedung sekolah sehingga memenuhi standar yang berlaku. Anak-anak di pedesaan mempunyai akses yang sama terhadap layanan pendidikan Meningkatkan kurikulum sekolah sehingga memenuhi standar pasar kerja. Anak-anak menerima bantuan yang layak yang berhubungan dengan pendidikan
Pedoman Evaluasi dan Indikator Kinerja Pembangunan Sumber: Kusek and Rist (2004: 59-66)
2) Merinci
atau
menajamkan
outcome
ke
dalam
komponen-komponen yang lebih spesifik sehingga menjadi lebih
detil
dan
terukur.
Setiap
outcome
pernyataan
diharapkan hanya untuk memotret satu area peningkatan saja. Misalnya, peningkatan lapangan kerja, perlu diperjelas berdasarkan target group, sektor, persentase perubahan dan kerangka waktu. Setelah diperinci, pernyataan outcome semula,
yaitu
“peningkatan
lapangan
kerja”
menjadi
“meningkatkan lapangan kerja bagi pemuda di sektor pedesaan sebesar 20% pada empat tahun ke depan”. Dengan adanya
ukuran-ukuran
yang
lebih
spesifik,
maka
keberhasilan pencapaian dari suatu outcome menjadi lebih mudah diketahui. 3) Menyusun
rencana
untuk
dalam
mencapai
keberhasilan
menilai
kemungkinan
outcome
yang
telah
ditetapkan. Keberhasilan pencapaian suatu outcome bukan dinilai berdasarkan keberhasilan dalam menyelesaikan suatu kegiatan sampai menghasilkan suatu capaian dalam rentang waktu yang ditetapkan. Keberhasilan pelaksanaan kegiatan belum
tentu
menjamin
pencapaian
outcome
yang
ditetapkan. Dalam proses ini dibutuhkan tindakan untuk mengelola dan mengimplementasi program, menggunakan sumberdaya
dan
memastikan
pemerintah.
65
pemberian
pelayanan
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel IV.2. Contoh Penyusunan Outcome Bidang Pendidikan Outcome Anak usia prasekolah memiliki akses yang lebih baik pada program prasekolah
Outcome
pembelajaran SD dapat ditingkatkan
Indikator 1. Persentase anak di perkotaan yang memenuhi syarat untuk mengikuti pendidikan prasekolah 2. Persentase anak di pedesaan yang memenuhi syarat untuk mengikuti pendidikan prasekolah Persentase siswa kelas 6 yang memperoleh skor 70 % keatas untuk Matematika dan IPA
Baseline 1. Pada tahun 1999, 75 % dari anak berusia 3-5 tahun
Target 1. Pada tahun 2006, 85 % dari anak berusia 3-5 tahun
2. Pada tahun 2000, 40 % dari anak berusia 3-5 tahun
2. Pada tahun 2006, 60 % dari anak berusia 3-5 tahun
Pada tahun 2002, 75 % siswa memperoleh skor 70 % ke atas untuk Matematika dan 61 % siswa memperoleh skor 70 % ke atas untuk IPA
Pada tahun 2006, 80 % siswa memperoleh skor 70 % ke atas untuk Matematika dan 67 % siswa memperoleh skor 70 % ke atas untuk IPA
Sumber: Kusek and Rist (2004:64)
4) Menyusun pernyataan outcome Setelah outcome ditentukan maka penentuan indikator, baseline dan target akan merupakan kelanjutan dari proses
66
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
ini. Tabel di atas merupakan contoh penyusunan outcome di bidang pendidikan
4.4.2. Penentuan Indikator Outcome dengan Pendekatan OIIWA Salah satu cara pendekatan ketika menentukan indikator outcome adalah dengan menggunakan Outcome Is It Working Analysis (OIIWA). Pendekatan ini merupakan suatu cara melakukan analisis outcomes secara sistematis yang disusun berdasarkan teori yang diidentifikasikan dengan menyusun lima building block yang dibutuhkan dalam seluruh sistem outcomes. OIIWA dapat digunakan untuk menyediakan
overview secara komprehensif mengenai outcomes, strategi, hasil, monitoring, evaluasi dan akuntabilitas. Secara khusus, OIIWA memungkinkan kita untuk mengintegrasikan indikator monitoring yang rutin dan sedang berjalan dengan satu level indikator yang lebih tinggi yaitu outcome dalam suatu proses evaluasi. Secara berurutan akan dijelaskan tiap langkah dalam melakukan pendekatan OIIWA, sebagai berikut:
1.
O – Outcomes hierarchy
Bulding block pertama adalah outcomes hierarchies, yaitu dengan menggambarkan hirarki dari outcome untuk nantinya diintervensi. Caranya, mulai dari outcome pada level tertinggi, kemudian turun ke bawah, ke level outcome berikutnya. Hirarki outcome menata outcome-outcome pada level yang
67
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
lebih
rendah
yang
ingin
dicapai
untuk
meningkatkan
pencapaian dari outcome di level yang lebih tinggi. Pada tiap level perlu diajukan pertanyaan mengenai apakah hal ini yang akan menyebabkan suatu outcome tercapai. Beberapa hal penting dalam membuat hirarki adalah:
Gunakan outcome bukan kegiatan. Sebagai contoh, kalimat
“meningkatkan
kebijakan
dan
praktik
institusi” (yang menunjukkan kegiatan) perlu diganti menjadi “peningkatan kebijakan dan praktik institusi” (yang menunjukkan outcome).
Gambarkan outcome sebagai sekumpulan penyebab di dunia nyata, jangan kuatir apakah outcome itu dapat diukur, attributable ataukah anda cukup akuntabel untuk itu.
Outcome
pada
level
yang
lebih
rendah
dapat
berkontribusi pada beberapa outcome di level yang lebih tinggi.
Jangan mengelompokkan outcome, pastikan bahwa di tiap kotak hanya terdiri dari satu pernyataan outcome.
Berlaku prosedur hirarki pada outcome, penempatan sebuah outcome pada tempat yang lebih tinggi dibandingkan
outcome
lainnya,
didasarkan
pada
eksperimen dengan sedikit berimajinasi. Apabila outcome tersebut sudah tercapai, kemudian ajukan pertanyaan untuk outcome di level bawahnya, apakah outcome terdapat
kesulitan
untuk
mencapainya.
Apabila
jawabannya tidak, maka hirarki tersebut sudah benar.
68
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Outcome yang lengkap. Suatu kumpulan outcome dikatakan lengkap apabila secara absolut dibutuhkan untuk mencapai outcome di level atasnya.
Jangan memasukkan pengukuran dalam pembuatan hirarki. Pengukuran baru akan dimasukkan pada tahap berikutnya.
2.
Gunakan lebih dari satu hirarki outcome bila diperlukan.
I – Not-necessarily attributable indicator
Building block kedua adalah kumpulan indikator kemajuan yang telah berhasil diraih dalam rangka meningkatkan
outcome (Pada hierarki outcome). Kumpulan indikator dalam bangunan kedua ini adalah ukuran-ukuran rutin yang dikumpulkan baik oleh Anda sendiri atau orang lain. Tidak terlalu penting apakah berbagai perubahan pada indikatorindikator ini dapat secara tepat diatribusikan hanya pada pengaruh atas intervensi, organisasi, program, atau kebijakan yang Anda lakukan sendiri. Tujuan dari indikator jenis ini hanya
menunjukkan
apakah
secara
umum
outcome
meningkat. Indikator semacam ini dikenal dengan not-
necessarily attributable indicators.
3.
I – Attributable indicators
Building Block ketiga adalah sekumpulan indikator dari outcome dalam hierarki outcome yang dapat dengan mudah diatribusikan. Indikator-indikator ini adalah ukuran-ukuran rutin yang dikumpulkan perencana atau orang lain yang dapat
69
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
diatribusikan kepada apa yang benar-benar dilakukan. Indikator-indikator semacam ini disebut sebagai attributable
indicators. Termasuk di dalamnya adalah apa yang dikenal sebagai output (tergantung pada seberapa luas definisi output yang digunakan). Indikator-indikator semacam ini dikenal sebagai alat dan mereka tidak dimaksudkan untuk berada pada hierarki outcome yang sama tinggi dengan indikatorindikator yang termasuk dalam not-necessarily attributable
indicators atau sebagaimana dijelaskan di atas. Di mana indikator-indikator ini muncul, mereka dapat pula berfungsi sebagai indikator. 4.
W – Whole-intervention high level outcome attribution
design Building
block
keempat
adalah
menjalankan
langkah
pembuktian bahwa suatu hal dapat menyebabkan perbaikan
outcome. Jelas dalam kasus ini ketika indikator attributable berada pada puncak hirarki outcome maka tidak perlu lagi mencari cara lain untuk membuktikan bahwa intervensi akan memperbaiki outcome oleh karena hal ini sudah dilakukan sebagai aliran informasi indikator yang rutin. Pembuktian ini dilakukan
dengan
menggunakan
high-level
outcome
attribution evaluation design, yang menyatakan hal apa saja yang dapat memperbaiki outcome dan mana saja yang tidak.
70
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
5.
A – Additional lower level formative, process and
descriptive Building block kelima adalah menjawab kumpulan riset dan pertanyaan evaluasi untuk membuat hirarki outcome yang disusun, menjadi lebih baik. Dengan menjawab pertanyaanpertanyaan ini, akan membantu dalam menjelaskan intervensi yang dilakukan dan menjadikannya lebih baik di masa depan. Jawaban
dari
pertanyaan
ini,
secara
progresif
akan
meningkatkan keakuratan dari hirarki outcome sebagai peta dari kondisi nyata. Proses ini dilakukan dengan mengambil setiap outcome dari hirarkinya dan memeriksanya untuk melihat pertanyaan-pertanyaan evaluasi apa yang dapat diajukan untuk outcome tersebut. Pertanyaan yang dapat diajukan adalah:
Dari hasil evaluasi sebelumnya atau dari evaluasi yang direncanakan oleh pihak lain, manakah yang dapat memberi pencerahan pada pertanyaan evaluasi ini?
Seberapa layakkah ini untuk menjawab pertanyaan evaluasi?
Berapa besar biaya yang akan dibutuhkan untuk menjawab pertanyaan evaluasi.
4.5.
Aplikasi Model logika dalam Aplikasi Penyusunan Beberapa Program Pembangunan (RPJMN 20042009)
Dalam aplikasi model logika untuk menyusun suatu program, hal yang perlu
diperhatikan
adalah
melaksanakan
71
suatu
aktivitas
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
berbeda dengan mencapai hasil dari penyelesaian suatu aktivitas. Sebagai contoh, data jumlah rapat yang terlaksana atau jumlah pasien yang terlayani dapat memonitor pelaksanaan dan kinerja program, tetapi data tersebut adalah output (Data aktivitas) bukan outcome yang merujuk pada hasil yang diharapkan untuk dicapai di masa depan. Penetapan milestone program ketika mendesain suatu program akan membangun jalan/cara untuk memperoleh data dan membuat penyusun program secara periodik dapat menilai kemajuan program terhadap tujuan yang telah ditetapkan (W.K Kellog Foundation, 2004). Berdasarkan alasan tersebut, maka dalam menyusun model logika perlu
menentukan
outcome terlebih dahulu, sehingga proses
penyusunan program beranjak dari permasalahan yang terjadi kemudian tentukan outcome yang diharapkan, dan terus ke level di bawahnya (Mulai dari outcome sampai dengan input). Pertanyaan yang kemudian dapat timbul adalah mengapa dicontohkan pada level program. Banyak ahli dalam bidang evaluasi setuju bahwa penggunaan dari model logika adalah cara yang efektif untuk memastikan keberhasilan program. Penggunaan model logika pada suatu
program
akan
membantu
dalam
mengorganisasi
dan
mensistemasikan perencanaan program, manajemen dan fungsi evaluasi sebagaimana uraian berikut ini: 1.
Dalam desain dan perencanaan program, model logika menyediakan alat perencanaan untuk menyusun strategi program dan meningkatkan kemampuan untuk secara jelas menjelaskan dan mengilustrasikan konsep dan pendekatan
72
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
program kepada para stakeholders. Model logika dapat membantu dalam penyusunan struktur dan organisasi dari suatu desain program dan juga membangun inself-evaluation. 2.
Dalam implementasi program, model logika membentuk inti atau fokus dari rencana manajemen yang akan membantu dalam mengidentifikasi dan mengumpulkan data yang dibutuhkan
untuk
memonitor
dan
meningkatkan
programming. Penggunaan model logika akan membuat lebih fokus pada pencapaian dan pendokumentasian hasil serta membantu dalam mempertimbangkan dan memprioritaskan aspek-aspek program secara kritis untuk tracking dan pelaporan. 3.
Dalam evaluasi program dan pelaporan strategis, model logika menunjukkan informasi atas program dan kemajuannya terhadap tujuan. (W.K Kellog Foundation, 2004)
Memperhatikan uraian di atas, aplikasi/exercise aplikasi model logika dalam penyusunan rencana pembangunan dapat dicontohkan pada empat program berikut ini, yaitu Program Perbaikan Gizi Masyarakat, Program Keluarga Berencana, Program Pengembangan Pemasaran Pariwisata, Program Pendidikan Dasar Sembilan Tahun (Nama program diambil dari RPJMN 2004-2009)
73
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel IV.3. Aplikasi Model logika 1: Program Perbaikan Gizi Masyarakat Level 1. Impacts/
Uraian
Sukses kriteria
Indikator kinerja Prevalensi gizi kurang pada anak balita
Menurunnya prevalensi gizi kurang pada anak balita dari 25,8 persen menjadi 20,0 persen
Prevalensi gizi kurang pada anak balita menjadi 20,0 persen.
2.Intermedi ate
Meningkatnya masyarakat yang peduli dan melaksanakan perbaikan gizi
Cakupan masyarakat yang berhasil melaksanakan perbaikan gizi mencapai ….%
Cakupan masyarakat yang berhasil melaksanakan perbaikan gizi
3. Immediate
• Meningkatnya persentase ASI eksklusif • Meningkatnya persentase rumah tangga yang mengkonsumsi garam beryodium yang cukup • Meningkatkan persentase balita yang mendapatkan kapsul vitamin A • Meningkatnya persentase ibu hamil yang mendapatkan tablet Fe • Meningkatnya kelompok gizi
Persentase ASI ekslusif mencapai 80 %. Persentase rumah tangga yang mengkonsumsi garam beryodium mencapai 80 %. Persentase balita yang mendapatkan kapsul vitamin A mencapai 80 %. Persentase ibu hamil yang mendapatkan tablet Fe mencapai 90% 1.800 desa mempunyai kelompok gizi
Persentase ASI ekslusif Persentase rumah tangga yang mengkonsumsi garam beryodium Persentase balita yang mendapatkan kapsul vitamin A Persentase ibu hamil yang mendapatkan tablet Fe Jumlah kelompok gizi masyarakat yang aktif
ultimate outcomes
(sasaran program dlm RPJMN 0409)
outcomes
Outcomes
(sasaran program RKP 2009)
74
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian masyarakat yang aktif
Sukses kriteria
Indikator kinerja
masyarakat yang aktif.
4. Outputs Banyaknya • Terlaksananya Meningkatnya pengetahuan masyarakat pendidikan gizi (Keluaran dr gizi masyarakat yang mengikuti masyarakat Kegiatan RKP pendidikan gizi • Terlaksananya Seluruh 09) masyarakat masalah gizi penanganan kurang dan gizi Banyaknya masalah gizi buruk berhasil masalah gizi kurang dan gizi ditangani kurang dan buruk pada ibu dengan baik buruk yang hamil, ibu berhasil menyusui, bayi Penyuluhan kelompok gizi ditangani dan anak masyarakat Banyaknya balita dilaksanakan penyuluhan • Terlaksananya sebanyak yang dilakukan berbagai ……kali/bulan oleh kelompok kegiatan/peny gizi masyarakat uluhan oleh kelompok gizi masyarakat 5. Activities (Kegiatan dlm RKP 09)
6. Inputs (pagu indikatif dlm
Terselenggaran Frekuensi • Peningkatan ya pendidikan pelaksanaan pendidikan gizi gizi masyarakat pendidikan gizi masyarakat; sebanyak …. masyarakat • Penanganan kali Jumlah masalah gizi penanganan kurang dan gizi Tertanganinya seluruh masalah gizi buruk pada ibu masalah gizi kurang dan gizi hamil, ibu kurang dan gizi buruk pada ibu menyusui, bayi buruk pada ibu hamil, ibu dan anak hamil, ibu menyusui, bayi balita. menyusui, bayi dan anak • Perbaikan gizi dan anak balita. melalui balita. Banyaknya pemberdayaan Seluruh desa kelompok gizi masyarakat. memiliki masyarakat kelompok gizi yang terbentuk masyarakat Rp582.000.000 , (pagu
100 persen anggaran terserap pada
75
Persentase penyerapan anggaran
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level RKP 09)
Uraian indikatif RKP 2009) dialokasikan untuk mendanai Program Perbaikan Gizi Masyarakat:
Needs • Persentase balita (permasalaha kekurangan n RKP 09) gizi masih cukup tinggi
Sukses kriteria
Indikator kinerja
akhir tahun 2009
Persentase balita kurang gizi adalah 34,4% tahun 1999, dan 28,02% pada tahun 2005. Terjadi penurunan tetapi masih cukup tinggi ditargetkan tahun 2009 menjadi 20%.
Some causes: • Kurang energi protein pada ibu hamil, bayi, dan balita • Anemia gizi besi • Gangguan akibat kurang yodium • Kekurangan vitamin A • Kurang zat gizi mikro lainnya
76
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel IV.4. Aplikasi Model logika 2: Program Keluarga Berencana Level 1. Impacts/
ultimate outcomes
(sasaran dlm RPJMN 0409)
Uraian
Sukses kriteria
Menurunnya Laju rata-rata laju pertumbuhan pertumbuhan penduduk penduduk per menjadi sekitar tahun; 1,14 persen per Menurunnya tahun tingkat Tingkat fertilitas total fertilitas total per perempuan sekitar 2,2 per perempuan
Indikator kinerja Laju pertumbuhan penduduk Tingkat fertilitas total (TFR)
2. Inter-
Meningkatnya jumlah PA dan PB yang dapat menjalankan KB dengan baik
Seluruh PA dan PB dapat menjalankan KB dengan baik
Jumlah PA dan PB yang menjalankan KB dengan baik
3.
Meningkatnya jumlah peserta KB aktif (PA) dan peserta KB baru (PB) yang terlayani. Meningkatnya jumlah PA dan PB miskin yang terbina. Meningkatnya tempat pelayanan KB memberikan promosi dan konseling, serta terciptanya sistem jaminan ketersediaan alat kontrasepsi (JKK) dan pembiayaan
Jumlah PA menjadi 30,1 juta dan PB menjadi 6 juta Jumlah PA yang terbina mencapai 12,9 juta dan PB miskin 2,9 juta. Jumlah tempat pelayanan KB yang memberikan promosi dan konseling mencapai 70.000 Terpenuhinya kebutuhan alkon bagi seluruh peserta KB.
Jumlah peserta PA dan jumlah PB yang terlayani Jumlah PA dan PB miskin yang mendapat pembinaan Banyaknya tempat pelayanan KB yang memberikan promosi dan konseling Ketersediaan alkon dan pembiayaan program KB Cakupan jumlah desa/kelurahan
mediate outcomes
Immediate Outcomes
(sasaran program RKP 2009)
77
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian
Sukses kriteria
program KB Seluruh terutama bagi desa/kelurahan rakyat miskin terjangkau Meratanya pelayanan KB jangkauan pelayanan KB ke seluruh desa/kelurahan , terutama bagi daerah tertinggal, terpencil dan perbatasan 4. Outputs Terlaksananya Seluruh penjaminan masyarakat (Keluaran dr pelayanan KB miskin Kegiatan RKP berkualitas memperoleh 2009) kepada rakyat pelayanan KB miskin berkualitas Bentuk jejaring Jejaring pelayanan KB pelayanan KB pemerintah pemerintah dan swasta/non dan swasta/non pemerintah pemerintah Terlaksananya berjalan pelayanan KIE dengan baik Masyarakat KB Pelayanan KB yang yang memahami berkualitas dan melaksanakan program KB mencapai …..% Peserta KB yang dapat menjalankan program KB dengan baik mencapai …..%
78
Indikator kinerja dalam pelayanan KB.
Persentase masyarkat miskin penerima pelayanan KB berkualitas yang menjalankana program KB dengan baik Banyaknya jejaring pelayanan KB pemerintah dan swasta/non pemerintah yang berjalan dengan baik Persentase masyarakat yang mendapat pelayanan KIE program KB Persentase peserta KB yang dapat menjalankan program KB dengan baik
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level 5. Activities (Kegiatan dlm RKP 09)
6. Inputs (pagu indikatif dlm RKP 09)
Uraian
Sukses kriteria
Masyarakat • Jaminan miskin yang pelayanan KB menerima berkualitas pelayanan KB bagi rakyat berkualitas miskin. mencapai …...% • Peningkatan Mitra jejaring swasta/non pelayanan KB pemerintah pemerintah yang ikut dan swasta/non dalam pemerintah. pelayanan KB • Pelayanan KIE sebanyak ……. Program KB Sarana dan • Peningkatan prasarana kualitas pelayanan KB pelayanan KB yang berkualitas mencapai …….% dan SDM yang berkualitas dalam pelayanan KB mencapai …..%
Rp 525.000.000.0 00,- (pagu indikatif RKP 2009) dialokasikan untuk mendanai Program Keluarga Berencana (sebesar Rp. 500.000 juta,digunakan untuk
100 persen anggaran terserap pada akhir tahun 2009
79
Indikator kinerja Jumlah masyarakat miskin yang menerima jaminan pelayanan KB berkualitas. Banyaknya mitra swasta/nonpemerintah yang ikut dalam pelayanan KB Jumlah PUS dan peserta KB yang mendapatkan pelayanan KIE program KB Persentase sarana dan prasarana, serta SDM yang berkualitas untuk pelayanan KB Persentase penyerapan anggaran
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian
Sukses kriteria
Indikator kinerja
pelayanan KB bagi msyarakat miskin). Needs • Masih tingginya laju (permasalaha pertumbuhan n RKP 09) penduduk dan jumlah penduduk • Masih tingginya tingkat kelahiran penduduk Some causes: • Rendahnya partisipasi pria dalam ber-KB • Variasi TFR antar daerah yang terlalu lebar • Kecenderunan peningkatan TFR di beberapa daerah
Laju pertumbuhan penduduk 1,49 persen (periode 1990-2000) TFR 2,6 per wanita (SDKI 20022003) TFR terendah sebesar 1,66 di DI Yogyakarta sedang TFR tertinggi sebesar 3,47 di NTT TFR kelompok termiskin sebesar 3,0 sedangkan TFR kelompok terkaya sebesar 2,3. Kecenderungan kenaikan TFR juga terjadi pada daerah yang TFR nya sudah mencapai pada tingkat replacement level.
80
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel IV.5. Aplikasi Model logika 3: Program Pengembangan Pemasaran Pariwisata Level 1. Impacts/ ultimate
outcomes
(sasaran dlm RPJMN 0409)
2.Intermedi ate outcomes (tidak ada dalam RPJMN 04-09 dan RKP 09)
Uraian
Sukses kriteria
Pertumbuhan sektor pariwisata tinggi Kontribusi pariwisata dalam perolehan devisa meningkat Sektor pariwisata menjadi salah satu penghasil devisa besar.
Sektor pariwisata tumbuh 19% pada tahun 2009 Perolehan devisa dari sektor pariwisata menjadi USD 10 miliar pada tahun 2009 Pariwisata menjadi “the big three” dalam perolehan devisa negara di tahun 2009 Di thn 2009, Indonesia berada pada peringkat .... dunia, & ... di Asia Kunjungan wisman thn 2009 .... Jt org Jumlah perjalanan wisnus thn 2009 .... Jt perjalanan Thn 2009, investasi bidang pariwisata meningkat .... % dibandingkan
Masyarakat, baik lokal maupun internasional, semakin aware mengenai daya tarik pariwisata Indonesia Citra pariwisata Indonesia di kalangan wisatawan domestik maupun mancanegara positif Lembaga dan para pelaku
81
Indikator kinerja Pertumbuhan sektor pariwisata Jumlah perolehan devisa dari sektor pariwisata Peringkat sektor pariwisata dlm penghasilan devisa negara
Peringkat Indonesia dlm daftar negara tujuan wisata dunia & Asia Jumlah wisman yang berkunjung ke Indonesia Jumlah perjalanan wisnus % peningkatan investasi swasta di sektor pariwisata
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian
Sukses kriteria
pariwisata mampu bersinergi satu sama lain Investasi di bidang pariwisata meningkat dengan dukungan regulasi yang favorabel di tingkat pusat dan daerah 3. Immediate Outcomes (sasaran program RKP 2009)
4. Outputs (Keluaran dr Kegiatan RKP
Meningkatnya pemanfaatan media elektronik dan teknologi informasi untuk promosi pariwisata; meningkatnya promosi pariwisata MICE, tersedianya dukungan untuk 2 Indonesian Promotion Office (IPO), Terciptanya kerjasama antar lembaga dan antar pelaku pariwisata di dalam dan di luar negeri Pendukungan terhadap 1 IPO terlaksana
Indikator kinerja
thn 2008
Dimanfaatkan nya media elektronik & TI dgn lbh intensif dlm promosi pariwisata Kegiatan promosi pariwisata MICE meningkat pd akhbir ‟09 Pd akhir 2009, tersedia pendukungan utk 2 IPO Sepanjang 2009 terlaksana event kerjasama antar lembaga dan pelaku wisata di dlm dan luar negeri
Frekuensi pemanfaatan media elektronik dan TI untuk promosi pariwisata % peningkatan kegiatan promosi pariwisata MICE Progres Status pendukungan utk 2 IPO Frekuensi event kerjasama antar lembaga dan pelaku pariwisata
Terselenggaran ya pendukungan
Progress status penyelenggara an dukungan
82
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level 09)
5. Activities (Kegiatan
Uraian
Sukses kriteria
1 IPO baru berdiri 15 kegiatan fasilitasi MICE 100 kegiatan promosi melalaui media cetak dan elektronik 48 kegiatan dukungan promosi pariwisata di 33 provinsi Promosi pariwisata di media-media luar negeri terlaksana Promosi pariwisata melalui media-media lokal/nasional terlaksana Publikasi berisi informasi pasar pariwisata Pendukungan pengembanga n kebijakan pemsaran dan promosi pariwisata daerah terlaksana Koordionasi pelaksanaan pemasaran pariwisata
1 IPO yang ada dan pendirian 1 IPO yang baru Terselenggaran ya 15 kegiatan fasilitasi penyelenggara an MICE di dalam negeri dan di luar negeri Terselenggaran ya 100 kegiatan promosi melalui media cetak dan elektronik yang digunakan dalam pemasaran pariwisata Indonesia Terselenggaran ya 48 kegiatan dukungan promosi pariwisata dalam rangka partisipasi event di 33 provinsi
Penyelenggar aan dan
Indikator kinerja thd IPO yang ada Progress status pendirian 1 IPO baru Jumlah kegiatan fasilitasi MICE Jumlah kegiatan promosi Jumlah kegiatan dukungan promosi pariwisata yan telah dilakukan Jumlah event koordinasi pelaksanaan pemasaran pariwisata yang telah terlaksana
Frekuensi penyelanggara
83
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian
dlm RKP 09)
6. Inputs
Sukses kriteria
Pengembanga n IPO Bid. Pariwisata, Perdagangan & Investasi Peningkatan kegiatan MICE Pengembanga n sarana dan prasarana promosi pariwisata; Pendukungan pengembanga n kebijakan pemasaran dan promosi pariwisata daerah Peningkatan promosi pariwisata ke luar negeri; Peningkatan promosi pariwisata dalam negeri; Pengembanga n informasi pasar wisata; Pendukungan pengembanga n kebijakan pemasaran dan promosi pariwisata daerah; Optimalisasi koordinasi pelaksanaan pemasaran pariwisata.
Rp 241.494,8
100 persen
84
Indikator kinerja an IPO Frekuensi kegiatan MICE Jumlah/.jenis sarana & prasana promosi pariwisata yang dikembangka n Frekuensi koordinasi pelaksanaan pemasaran pariwisata
Persentase
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian
Sukses kriteria
(pagu indikatif dlm RKP 09)
(pagu indikatif RKP 2009) dialokasikan untuk mendanai Program Pengembangan Pemasaran Pariwisata: Rp 4 milar utk penyelenggara an & pengembanga n IPO Bid. Pariwisata, Perdagangan dan Investasi Rp 22 miliar utk peningkatan kegiatan MICE Rp 105 miliar utk pengembanga n sarana dan prasarana promosi pariwisata Rp 22 miliar utk pendukungan pengembanga n kebijakan pemasaran dan promosi pariwisata daerah
anggaran terserap pada akhir tahun 2009
Needs (permasalaha n RKP 09)
Pertumbuhan sektor pariwisata rendah Kontribusi sektor
Indikator kinerja penyerapan anggaran
Jumlah kunjungan wisman thn 2004: 5,32jt, 2005: 5,00jt, & 2006: 4,87jt (mengalami pertumbuhan negatif) Perolehan devisa dari kunjungan wisman (dlm juta USD): 2004=
85
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian pariwisata dalam perolehan devisa rendah Beberapa sebab utama: Buruknya citra pariwisata Indonesia Situasi keamanan dalam negeri yang tidak kondusif, terutama akibat terjadinya aksi terorisme
Indikator kinerja 4.797, 2005=4.521, 2005= 4.447 (mengalami) pertumbuhan negatif Tahun 2006: kontribusi sektor pariwisata dlm perolehan devisa adl 6,12% PDB Sukses kriteria
86
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Tabel IV.6. Aplikasi Model logika 4: Program Pendidikan Dasar Sembilan Tahun Level 1. Impacts/ ultimate outcomes (sasaran dlm RPJMN 0409)
2.Intermedi ate outcomes
3. Immediate Outcomes (sasaran program RKP 2009)
Uraian
Sukses kriteria
Indikator kinerja Angka putus sekolah SD 2,06% SMP 1,95%. Menurunnya kesenjangan antar kelompok masyarakat Meningkatnya kualitas pendidikan Rasio murid/kelas dan rasio murid/guru
Tingkat Pendidikan Usia 7-15 Tahun meningkat Rendahnya kesenjangan pen-didikan antar kelompok masyarakat Meningkatnya kemampuan tenaga pendidik Meratanya fasilitas pelayanan pendidikan Meningkatnya Seluruh anak APK, APS dan partisipasi lulusan APM jenjang penidikan Pendidikan pendidikan dasar Menengah menengah melanjutkan ke Meningkatnya pendidikan kualitas tanaga menengah pendidik Menurunnya kesenjangan antara kelompok masyarakat kota dan perdesaan Meningkatnya Mudahnya APK, APS, SD pasrtisipasi dalam 115,6 %, 99,7%, jenjang mengakses 95% dan SMP pendidikan sarana dan 98% dan dasar prasarana 96,64% Meningkatnya pendidikan % pendidik
87
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian
4. Outputs (Keluaran dari Kegiatan RKP 09)
5. Activities (Kegiatan dlm RKP 09)
Sukses kriteria
proporsi 80% tenaga pendidik yang pendidik telah memenuhi memenuhi kualifikasi dan standar standar kualifikasi pendidikan 20% Meningkatnya kesenjangan kesetaraan dan antara kota keadilan dan desa pendidikan antar kelompok masyarakat Sekolah yang menerima dana BOS Buku Pelajaran Sarana dan prasarana sekolah Beasiswa Gedung baru Peralatan sekolah Laboratorium Terselenggaran ya paket A, B, C Peningkatan kualifikasi dan kompetensi pendidik Tunjangan profesi guru
Penyediaan BOS Penyediaan
Indikator kinerja yang mempunyai ijasah D4 dan S1 Kesenjangan antara perkotaan dan perdesaan menurun
% sekolah yang mendapatkan dana bos Jumlah buku yang tersedia % sarana dan prasarana Jumlah murid penerima beasiswa Jumlah Gedung yang dibangun Jumlah peralatan yang tersedia Jumlah Laboratorium yang dibangun Frekuensi penyelenggara an paket Jumlah pendidik yang mengikuti sertifikasi % kenaikan tunjangan
Ketersediaan % pencairan dana dan dana bos Pencairan dana % buku yang
88
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Level
Uraian
Sukses kriteria
buku Pelajaran tepat waktu Rehabilitasi 2. Pelaksanaan sarana dan sesui dengan prasarana standar yang Pemberian ditentukan beasiswa Pembangunan gedung baru Penyediaan peralatan Pembangunan laboratorium Penyelenggara an paket A, B, C Peningkatan kualifikasi dan kompetensi pendidik Tunjangan profesi guru 6. Inputs (pagu indikatif dlm RKP 09)
Pagu dana untuk tahun 2009 Program Wajib Belajar 9 Tahun sebesar Rp. 31.8 triliyun
100 persen anggaran terserap pada akhir tahun 2009
Indikator kinerja tersedia % sarana dan prasarana terbangun % pencairan Dana % Gedung yang dibangun % peralatan yang tersedia % penyelesaian Laboratorium Frekuensi penyelenggara an paket Jumlah pendidik yang mengikuti sertifikasi % pencairan tunjangan Persentase penyerapan anggaran
Needs Rendahnya APS SD 96,4%, APS SMP 81,0 % partisipasi anak Usia 7-15 Tahun putus sekolah 5,6% (permasalaha usia 7-15 tahun n RKP 09) Besarnya jumlah anak putus sekolah Kompetensi pendidik yang rendah
89
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
5 Kesimpulan dan Rekomendasi 5.1.
Pengantar
Dengan berakhirnya pelaksanaan RPJMN 2004-2009,
banyak hal
yang dapat dipelajari dan digunakan dari struktur dokumen perencanaan dan formulasi rencana pembangunan yang terekam dalam dokumen RPJMN 2004-2009, sebagai bahan masukan dalam penyusunan RPJMN selanjutnya. Pada dasarnya isi Buku ini khususnya yang diuraikan dalam Bab 2 hingga Bab 4, dapat dijadikan sebagai kumpulan tambahan referensi dan pengertian khususnya mengenai Model
Logika
dan
penyusunan
indikator
kinerja,
dengan
menggunakan contoh kebijakan, program, kegiatan, dan sasaran pembangunan dalam RPJMN 2004-2009. 5.2.
Kesimpulan
Pencermatan dan mapping atas dokumen RPJMN 2004-2009 serta RKP 2005 hingga 2009 menunjukkan bahwa 3 (tiga) aspek penting yaitu kesesuaian, kesinambungan, dan keterkaitan, merupakan hal penting ketika menyusun suatu dokumen perencanaan, baik jangka menengah maupun jangka pendek (Sebagai pelaksanaan tahunan). Kesesuaian adalah harmonisasi dan keselarasan antar tahapan dalam suatu proses perencanaan, baik per-tahun maupun antar tahun, dalam suatu perencanaan jangka tertentu. Kesinambungan
90
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
adalah proses yang terus menerus dari suatu tahap awal di tahun pertama rencana jangka tertentu hingga tahun atau tahap berikutnya, sehingga pada tahun terakhir, semua tahap sudah terpenuhi, serta tujuan dan sasaran yang ditentukan pada waktu awal penyusunan rencana bisa tercapai. Hal terakhir adalah, Keterkaitan yaitu masing-masing tahapan pembangunan (tahun pertama dan seterusnya) dan strategi, prioritas, fokus, program, dan kegiatan yang dilaksankan harus saling terkait dan berada pada jalur masing-masing namun pada suatu tingkat tertentu saling terkait. Selain itu penentuan suatu indikator dengan pendekatan apapun (SMART ataupun SPICED) merupakan pertimbangan dan langkah baku yang tidak dapat diabaikan ketika mengenali permasalahan, menentukan sasaran, memformulasikan program, dan merancang kegiatan. Dengan demikian ketika merancang suatu dokumen perencanaan hendaknya sekaligus ditentukan mapping indikator terkait sejalan dengan perancangan struktur dokumen tersebut, sehingga di kemudian hari, rencana yang termuat dalam dokumen tersebut dipastikan akan dapat dimonitor dan dievaluasi. 5.3.
Rekomendasi
Berkaitan dengan kesimpulan di atas, maka dalam penyusunan dokumen
perencanaan
pembangunan
perlu
memperhatikan
beberapa hal sebagai berikut: 1.
Evaluasi untuk kepentingan pemerintah harus mengacu kepada dokumen perencanaan yang telah disusun. Untuk itu, 91
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
dalam dokumen perencanaan pembangunan (RPJMN) harus memuat indikator terukur baik yang bersifat kuantitatif maupun yang bersifat kualitatif 2.
Pada setiap tataran sasaran (kebijakan/program/kegiatan) harus mempunyai indikator sesuai dengan tatarannya, dimulai dari indikator input sampai dengan indikator dampak.
3.
Perlu keseragaman pemahaman terhadap indikator pada setiap tataran sehingga program-program pembangunan dalam masing-masing prioritas pembangunan mempunyai tataran yang sama.
4.
Beberapa pengertian perlu disepakati, misalnya: a. Input, dalam hal evaluasi terhadap RPJMN, yang dimaksud input adalah pembiayaan yang dialokasikan dalam pelaksanaan program/kegiatan; b. Output, adalah komponen kegiatan yang terkait langsung dengan pembiayaan termasuk atau dengan kata lain output adalah hasil langsung dari input; c.
Outcome, adalah hasil dari pelaksanaan program yang dilaksanakan melalui berbagai kegiatan yang menjadi indikator tercapainya program tersebut;
d. Impact, adalah hasil palaksanaan berbagai program yang menjadi indikator keberhasilan terhadap prioritas pembangunan. e.
Agar tingkat keberhasilan dapat diketahui perlu adanya baseline data yang dijadikan dasar terhadap sasaran yang ingin dicapai.
92
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
f.
Untuk mengukur tingkat keberhasilan, maka setiap indikator khususnya yang bersifat kualitatif harus merupakan indikator kualitatif yang terukur atau dijadikan kuantitatif.
5.4.
Tindak Lanjut yang Diperlukan
o
Memutakhirkan
Sistem
Database
di
lingkungan
Bappenas. Kesiapan Information Technology di Pusdatin. Demikian juga sistem database di masing-masing Direktorat. Demikian
juga
link
dengan
pusat
data
di
Kementerian/Lembaga terkait, di pusat dan di daerah. Data yang tersedia di masing-masing Direktorat lebih spesifik daripada yang tersedia di Pusdatin serta memiliki akses yang terbuka bagi unit kerja yang memerlukannya. o
Penentuan reporting.
Indikator Indikator
Kinerja dalam
dan
Format
dokumen
data
perencanaan
pembangunan perlu disepakati bersama antara Kedeputian EKP dengan Direktorat sektoral di Bappenas maupun dengan Kementerian/Lembaga. Suatu Format data reporting yang memuat variabel-variabel yang diperlukan guna melakukan penghitungan indikator pembangunan yang disepakati perlu dikembangkan. Dengan demikian secara berkala format tersebut dapat diisi dan dimutakhirkan oleh Direktorat terkait, Pusdatin ataupun Kedeputian EKP sesuai dengan perkembangan terakhir. Selanjutnya akses terhadap informasi ini dapat diatur dan ditentukan kemudian.
93
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
o
Analisa and Disseminasi. Sesuai dengan UU No. 25 Tahun 2006, UU No. 17 Tahun 2003, dan khususnya PP No. 39 Tahun 2007,
maka
secara
berkala
perlu
dilakukan
analisa
sederhana/cepat hingga yang mutakhir secara sektoral. Disamping itu juga dilakukan disseminasi hasil evaluasi tersebut di lingkungan Bappenas dan Sektor terkait. Hal serupa juga perlu dilakukan pada level Provinsi dan Kabupaten
dalam
konteks
memberdayakan
kinerja
Pemerintah Daerah. Dalam kaitan itu, berbagai hal penting seperti misalnya kinerja pelayanan sosial dasar atau kinerja pelayanan publik, dapat di ketahui perkembangannya guna memantapkan
pembagian
peran
pusat
dan
daerah,
termasuk juga peran dunia usaha dan masyarakat sekitar. Dengan adanya Standar Pelayanan Minimum, kegiatan evaluasi akan lebih mudah difasilitasi. o
Peningkatan
Strategi
dan
Kapasitas
untuk
melakukan Monitoring dan Evaluasi. Dalam hal ini, kegiatan
perlu
diutamakan
untuk:
(a)
penyusunan
mekanisme dan petunjuk lanjutan guna menstandarkan ukuran/indikator yang dipakai sebagai acuan evaluasi beserta konsep dan definisinya;
(b) Jaringan kerja dengan
BPS dan lembaga lain yang terkait seperti LIPI guna menyampaikan pertanyaan yang dapat menjadi variabel yang digunakan dalam perhitungan indikator
dan atau
memperoleh data/hasilnya. o
Peningkatan dan Pemantapan Koordinasi Kerja. Koordinasi
antar
Direktorat
perlu
ditingkatkan
dan
dimantapkan. Sehingga masalah dan isu pembangunan yang 94
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
terjadi dan berkembang dapat segera dikomunikasikan baik substansi, pendanaan, dan informasi/data yang terkait. Demikian pula komunikasi data antar Direktorat dapat terjaga sehingga data yang tersedia selalu up to date, reliable, dan timely.
95
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
DAFTAR PUSTAKA Adi Suryabrata, Wismana. 2008. Restrukturisasi Program dan Kegiatan. Paparan dalam Rapat Pimpinan Bappenas 14 November 2008. Bappenas. 2004. Pedoman Penyusunan Indikator, Pemantauan dan
Evaluasi Anggaran Berbasis Kinerja.
Carter, McNamara. 1997-2008. Adapted from the Field Guide to Nonprofit Program Design. Marketing and Evaluation. (http://www.managementhelp.org/evaluation/fnl_eval.htm) Castro, Manuel f. 2007. Indonesia: Towards the Institutionalization of
Evaluation Activities and Tools in Planning and Budgeting Processes. A draft report.
Funnel, Sue. 2008. Program Logic Model Training. Modul Training for Deputy of Performance Evaluation. Jakarta. Joice, Laraine. Developments in Evaluation Research. Journal of Occupational Behaviour. Vol1, No.3, (Jul 1980), pp.181-190. Knowlton dan Phillips. 2008. The Logic Model Guidebook. Sage: Singapore. Kusek, Jody Zall and Ray C. Rist. 2004. Ten Steps to a Results-Based
Monitoring and Evaluation System : a Handbook for Development Practitioners. The International Bank for Reconstruction and Development. The World Bank.
Mackay, Keith. 2008. Membangun System Pemantauan dan Evaluasi,
Untuk Mewujudkan Tata Kelola Pemerintahan yang Lebih Baik. Independent Evaluation Group. The World Bank.
Mayston, D.J. Measuring and Managing Educational Performance. The Journal of the Operational Research Society, Vol.54, No.7 (Jul 2003), pp. 679-691.
96
Pedoman Evaluasi dan Indikator Kinerja Pembangunan
Premchand, A. 1993. Public Expenditure Management. IMF: Washington DC. Roche (1999). The State of Queensland, Department of Natural Resources and Water. 2007. How Do You Choose Indicators to
Measure Social and Economic Changes?
Schiavo-Campo, Salvatore and Pachampet Sundaram. 2000. To Serve
and to Preserve: Improving Public Administration in a Competitive World. Asian Development Bank.
Widianto, Bambang. 2009. Paparan dalam berbagai Rapat/Seminar sepanjang Tahun 2008-2009. W.K. Kellog Foundation. 2004. Using Logic Models to Bring Together
Planning, Evaluation, and Action: Logic Model Development Guide. Battle Creek, Michigan, [pdf], Http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf.
http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html http://www.edtech.vt.edu/edtech/id/eval.html http://www.uwex.edu/ces/lmcourse http://www.uwex.edu/ces/pdande http://www.cdc.gov/eval/index.htm http://ctb.ku.edu/ http://www.innonet.org/ http://www.eval.org/
97