Lessons Learned: Evaluasi Proposal PHK A1

1
Lessons Learned Evaluasi Proposal PHK A1
Dewan Pendidikan TinggiDirektorat Jenderal
Pendidikan TinggiDepartemen Pendidikan
NasionalMei, 2005
2
Program A-1 HibahKompetisi 2005
Kelompok Masuk Masuk Masuk
Kelompok PTN PTS TO-TAL
Umum 59 246 305
Kependidikan 42 22 64
Seni 4 4 8
Vokasi 9 59 68
Hasil Desk Eval. 114 331 445
Kelompok Masuk Masuk Masuk Lolos Lolos Lolos
Kelompok PTN PTS TO-TAL PTN PTS TO-TAL
Umum 59 246 305 27 78 105
Kependidikan 42 22 64 11 5 16
Seni 4 4 8 2 0 2
Vokasi 9 59 68 2 11 13
Hasil Desk Eval. 114 331 445 42 94 136
Kelompok Masuk Masuk Masuk Lolos Lolos Lolos Gagal Gagal Gagal
Kelompok PTN PTS TO-TAL PTN PTS TO-TAL PTN PTS TO-TAL
Umum 59 246 305 27 78 105 32 168 200
Kependidikan 42 22 64 11 5 16 31 17 48
Seni 4 4 8 2 0 2 2 4 6
Vokasi 9 59 68 2 11 13 7 48 55
Hasil Desk Eval. 114 331 445 42 94 136 72 235 309
Disediakan 150 hibah
3
Beberapa kelemahan proposal (1)
Administrasi

• Jumlah halaman melebihi ketentuan (gt 75 lbr)
• Tidak dilengkapi lampiran copy akreditasi
  terakhir
• Akreditasi gt C
• Memalsukan akreditasi
• Diusulkan oleh unit yang salah (mis Program
  Studi)
• Tidak ada lembar pengesahan pimpinan PT

4
Beberapa kelemahan proposal (1)
Administrasi

• Halaman tidak lengkap
• Bab/pasal hilang atau meloncat
• Cover tidak sesuai
• Tabel tidak urut dan penomeran tidak sistematis
• Halaman tak bernomor

5
Beberapa kelemahan proposal (2)
Substansi

• Kepemimpinan dan Komitmen PT
• Tidak diungkapkan visi, misi dan renstra
  institusi
• Tidak ada/lemahnya dukungan/komitmen pimpinan
• Pengembangan Jurusan tidak mengacu RENSTRA
  pengembangan PT
• draft Renstra jika ada
• jika PT tidak/belum menyusun Renstra ? ?
  kesepakatan langkah pengembangan oleh jurusan
• Kebijakan pimpinan dalam pengusulan Jurusan ke
  program A-1 tidak jelas
• tidak dilakukan seleksi internal
• apakah ada dukungan dari keputusan Senat ?, dll

6
Beberapa kelemahan proposal (3)

• Task Force kurang kompeten kurang melibatan
  civitas academica
• kualitas proposal rendah ? pemikiran terlalu
  sempit atau terlalu luas, hipotetikal atau
  bedasar rumor (tanpa dukungan analisis objektif)
• Task Force dapat menjadi embryo pembaharu didalam
  Jurusan atau institusi ? anggota TF pilihan
  terbaik yang penuh dedikasi untuk mengembangkan
  institusi
• Team work dalam TF penting dikembangkan ? hindari
  dominansi pendapat perorangan yang subjective
  atau groundless ideas tanpa hasil analisis data
• Meng-copy proposal Jurusan/Fakultas lain
• mengandalkan konsultan tidak akan meningkatkan
  kapasitas internal dan akumulasi pembelajaran
  (accumulated learning capacity)
• niche atau local needs tidak sama antara satu
  dengan lain jurusan/fakultas

7
Beberapa kelemahan proposal (4)

• Kualitas Evaluasi Diri
• Data sangat minim dan tidak akurat/konsisten
• data hasil rekayasa (karangan) ? jangan
  dilakukan ? bisa digolongkan sebagai kecurangan
• Data yang saling bertentangan/tidak konsisten
• nomor tabel, hasil-hasil analisis data sebagai
  referensi tidak tepat diacu dalam SE
• Mengacu pada tabel yang salah
• Analisis data tidak comprehensive atau lack of
  in-depth analysis ?
• Paparan hanya menarasikan data, tidak disertai
  analisa
• tidak ada alur yang jelas (benang merah) antara
  SE identified problems alternative solutions
  proposed activities
• Pernyataan/analisa yang tidak berdasar (jumping
  into conclusion)
• titipan aktivitas dari dekan atau pimpinan lain
• bukan berbasis rumor tapi sebagai hasil dari
  involvement of all elements (internal
  stakeholders)

8
Beberapa kelemahan proposal (4)

• Tidak mampu mengenali permasalahan utama dan
  penyebabnya (yang terkait dengan LIMO) yang
  dihadapi Jurusan ?
• prioritas permasalahan, pemilahan permasalahan
  porsi jurusan, fakultas atau institusi
• penyesuaian dengan objektif A1
• Penetapan solusi alternatif untuk menyelesaikan
  permasalahan tidak tepat ?
• tidak mempunyai implikasi (terkait) langsung pada
  penyelesaian masalah
• superficial ? tidak menyelesaikan akar masalah
• tidak dapat diukur ? quantitative dan qualitative
  performance indicators

9
Beberapa kelemahan proposal (5)

• Permasalahan utama tidak terkait dengan judul dan
  usulan program ?
• pemilihan dan pemilahan permasalahan yang sesuai
  dengan obyektif PHK A1
• prioritas permasalahan ? sesuai dengan dana dan
  waktu

10
Beberapa kelemahan proposal (5)

• Program yang Diusulkan
• Tidak fokus pada perbaikan kapasitas
  institusional (internal management organization
  serta leadeship) sesuai tujuan A-1
• diskusi, analisis SWOT terhadap permasalahan atau
  elaborasi SE mengarah/fokus pada objective
  coverage PHK A1
• Usulan program tidak terkait dengan hasil
  Evaluasi Diri ?
• Tidak memanfaatkan kekuatan diri dan peluang yang
  ada
• Tidak memperbaiki kelemahan diri dan hambatan
  yang ada
• dikerjakan tim berbeda tanpa komunikasi intensif
  ? diperlukan conductor
• check and recheck ? final touch oleh conductor

11
Beberapa kelemahan proposal (6)

• Tidak berbasis aktivitas namun lebih ke arah
  investasi, misalnya membeli peralatan inventaris
  kantor yang tidak terkait dengan aktivitas
  penyelesaian masalah.
• Indikator kinerja tidak mengukur keberhasilan
  aktivitas yang terkait dan implikasinya pada
  objektif PHK A1 namun mengukur hasil kuantitatif
  investasi saja (mis jumlah buku, alat, dll.)
• Tidak ada keterpaduan (atau kesinambungan)
  program Tahun 1 dan Tahun 2 ? summay table untuk
  2 tahun
• Strategi untuk menjaga keberlangsungan program
  tidak jelas ? umumnya akan menggunakan dana
  rutin universitas perlu inovasi dan kreativitas

12
Beberapa kelemahan proposal (7)

• Mekanisme dan rancangan tidak menggambarkan
  tahapan pekerjaan yang runtun
• skedul aktivitas menempati rentang selama 1 tahun
• singular tidak punya kaitan dengan aktivitas lain
  
• tidak jelas sub-aktivitas yang menunjukkan
  step-by-step mencapai tujuan aktivitas
• Kaitan antara latar belakang, rasional, tujuan,
  mekanisme dan rancangan, jadwal, sumberdaya tidak
  jelas
• Estimasi anggaran tidak berdasar (terlalu tinggi
  atau terlalu rendah)

13
Tips and Tricks (1)

• Diskusi dalam Task Force atau staff meeting
• demokratis ? ketua TF atau pimpinan rapat
  listening more and speaking less
• dominansi 1-2 orang akan mengakibatkan proposal
  kurang komprehensif dan objektif
• Data yang belum ada diungkapkan (menyadari
  kekurangan, indikasikan sebabnya dan ungkapkan
  rencana perbaikannya)
• Perlu dilakukan kajian bolak-balik antara
• permasalahan ? ? akar permasalahan ? ? isu
  strategis ? ? solusi alternatif ? perlu
  ketelitian memilih dan memilah dan mengelompokkan
  pada kelompok yang tepat
• Solusi alternatif atau usulan aktivitas lebih
  melembaga, sustainable dan menjadi embryo
  pengembangan aspek lain ? hasil-hasil PHK A1
  menjadi fondasi pengembangan Jurusan selanjutnya
  ? harus mempunyai sustainability yang tinggi

14
Tips and Tricks (2)

• Aktivitas merupakan satu kesatuan kegiatan yang
  mempunyai output dan outcome yang jelas dan dapat
  diukur dengan suatu indikator kinerja tertentu ?
• pengumpulan data akademik bukan aktivitas
• mengembangkan sistem administrasi akademik
  adalah aktivitas
• Sebuah aktivitas dapat mengandung beberapa
  sub-aktivitas yang relevan ? jika terdapat
  kesamaan sub-aktivitas dengan aktivitas lain
  berarti kedua aktivitas mungkin dapat digabungkan
  ? kaji kembali
• aspek-aspek usulan program aktivitas dalam bentuk
  NARASI
• aspek TUJUAN dalam usulan aktivitas tidak
  dinyatakan dengan indikator kinerja (mis TUJUAN
  - untuk meningkatkan persentase kehadiran dosen,
  mencapai IPK optimal, tersusunnya kalender
  akademik, dll)

15
Tips and Tricks (3)

• Jika akar permasalahan bersifat sangat umum
  (general) ? alternative solutions menjadi tidak
  fokus ? kontribusi aktivitas terhadap
  penyelesaian masalah sangat kecil. Sebaliknya
  akar permasalahan yang sangat spesifik dapat
  menyebabkan kaburnya antara aktivitas dengan
  sub-aktivitas
• cakupan dan implementasi aktivititas sesuai
  kebutuhan dan kapasitas jurusan sendiri ? efisien
  dan efektif. pemanfaatan TA seminimal mungkin
• substansi aktivitas yang sesuai dengan obyektif
  PHK A1
• Indikator kinerja setiap aktivitas bisa
  kualitatif atau kuantitaif asalkan mampu mengukur
  implikasi dari aktivitas terkait. Harus dibedakan
  antara indikator kinerja dengan kemajuan
  (pencapaian) program (progress report) ?
• mis final 100 berarti program selesai
  dilaksanakan ? bukan indikator kinerja
• students dan staffs satisfaction dapat
  digunakan sebagai indikator kinerja

16
Tips and Tricks (4)

• Perlu memperhatikan tahap evaluasi dan pengkajian
  (atau ujicoba) jika aktivitas yang diusulkan
  merupakan sebuah sistem (SOP, SIM, peraturan)
  yang akan digunakan sebagai bagian Internal
  Management Procedure dan mempengaruhi Governance
  jurusan secara keseluruhan ?
• robustness (kehandalan) dan up to date (baru atau
  ketinggalan jaman ?)
• sustainability (keberlanjutan) dan up-dating
  model (pembaharuan)
• Rencana pendanaan program perlu memperhatikan
  kewajaran unit cost selain batasan yang tertera
  dalam guidelines
• perlu survai pasar ? realistis bagi rekanan
  tender ? OE yang baik akan mengurangi kemungkinan
  dana sisa sedangkan mark-up akan merugikan diri
  sendiri
• program tidak dimaknai sebagai income tambahan
  bagi dosen atau institusi
• dana DRK dimanfaatkan secara optimal ? data dan
  laporan pemakaian dana DRK akan diperiksa secara
  khusus

17
Tips and Tricks (5)

• Inga-inga! proposal merupakan satu-satunya alat
  komunikasi antara pengusul dan reviewer ?
  tulislah dengan bahasa dan argumen hasil analisa
  yang baik (ringkas dan jelas) ? mintalah orang
  lain untuk membaca dan mereview proposal sebelum
  dikirim
• Yakinkan bahwa apa yang ditulis difahami oleh
  reviewer
• Cek kembali seluruh copy proposal apakah halaman
  dan syarat-syaratnya sudah lengkap (tidak ada
  halaman yang tercecer di tempat foto copy, sampul
  sudah benar lihat check list dalam panduan)
• Pastikan proposal final sudah siap seminggu
  sebelum batas akhir pengumpulan dan pastikan
  proposal tiba di tangan panitia sebelum batas
  akhir (18 Juli 2005 pukul 17.00 WIB)