Evaluasi

EVALUASI
Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di
dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi
pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya
dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.

Evaluasi memiliki tiga tujuan utama, yaitu :
1. Melihat seberapa jauh system berfungsi
Mencakup kesesuaian penggunaan system terhadap harapan user pada tugas tersebut.
Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada system, untuk melihat
keefektifan system dalam mendukung tugas.
2. Melihat efek interface bagi pengguna
Mencakup aspek dari kemudahan system dipelajari, daya guna dan perilaku user.
3. Mengidentifikasi problem khusus yang terjadi pada system
Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi
kekacauan di antara user. Tujuan ini merupakan aspek negatif dari desain.
Evaluasi Heuristik
          Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di
dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi
pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya
dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.

Evaluasi memiliki tiga tujuan utama, yaitu :
1. Melihat seberapa jauh system berfungsi
Mencakup kesesuaian penggunaan system terhadap harapan user pada tugas tersebut.
Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada system, untuk melihat
keefektifan system dalam mendukung tugas.
2. Melihat efek interface bagi pengguna
Mencakup aspek dari kemudahan system dipelajari, daya guna dan perilaku user.
3. Mengidentifikasi problem khusus yang terjadi pada system
Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi
kekacauan di antara user. Tujuan ini merupakan aspek negatif dari desain.
Ada dua jenis evaluasi.
1. Dalam kondisi percobaan (Laboratory) : Pengujian system ini dilakukan pada ruang
percobaan dengan beberapa kondisi diantaranya :
a. Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik,
cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada
lokasi kerja yang sebenarnya.
b. Operator terbebas dari gangguan yang menghambat pekerjaan.
c.
Beberapa situasi hanya dapat dilakukan di laboratorium, misalnya system yang akan
digunakan ditempatkan pada lokasi yang berbahaya atau terpencil.
d. Dapat memanipulasi situasi untik memecahkan masalah dan melihat penggunaan
presedur atau membandingkan beberapa alternatif perancangan dengan situasi yang
sebenarnya.
e. Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang
sebenarnya dan terdapat orang-orang yang tidak bisa bekerja pada kondisi seperti di
laboratorium.

2.Dalam kondisi lokasi kerja yang sebenarnya : Pengguna pengujian system ini pada lokasi
kerja sebenarnya mempunyai beberapa kondisi, di antaranya :
a. Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan
interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit
dilakukan.
b. Situasi yang lebih “terbuka” antar system dan pengguna.
c. Aneka gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili
situasi sebenarnya.Ada beberapa pendekatan evaluasi yang dilakukan seperti :
1. Evaluating designs
2. Evaluating implementations
3. Query techniques
4. Physiological methods
Evaluasi Usability Testing
    Suatu metoda [dari;ttg] biaya rendah usabilas rancang-bangun yang diusulkan oleh Jakob Nielsen yang menyatakan usabilas itu yang dilakukan sering dengan lebih sedikit peserta, dan skenario penggunaan mendasarkan hasil pengamatan menghasilkan itu hampir [sebagai/ketika] kebaikan, dan dengan ROI lebih baik manakala bandingkan dengan costlier usabilas tradisional [yang] menguji.


Cognitive Walkh Through
          Bertujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan yang
diberikan ke pengguna guna memelajari berbagai tugas yang diberikan. Pendekatan ini
dikemukakan oleh Polson. Dalam pendekatan ini terdapat beberapa isu yang timbul, seperti :
a. Dampak interaksi apakah yang akan terjadi pada pengguna ?
b. Proses kognitif apakah yang dibutuhkan ?
c. Masalah pembelajaran apakah yang mungkin terjadi?
Informasi yang dibutuhkan :
a. Deskripsi dari interface yang dibutuhkan itu.
b. Deskripsi tugas, termasuk usaha yang benar untuk melakukannya dan struktur tujuan
untuk mendukungnya.
Langkah walkthrough :
a. Pilih tugas,
b. Deskripsi tujuan awal dari user,
c. Lakukan kegiatan/aksi yang tepat,
d. Analisis proses keputusan untuk setiap kegiatan.
Contoh :
Memprogram video dengan remote control. Misalkan akan memprogram video ke waktu
dimulai dari jam 18.00 dan berakhir pada jam 19.15 pada saluran 4 pada tanggal 4. Maka
tugas untuk hal tersebut adalah
a. Set waktu awal
b. Set waktu akhir
c. Set channel
d. Set tanggal
Pemodelan User
         Pengguna dari sebuah aplikasi tersebut .

Model Kognitif ( GOMS, CCT, Context Based )
          Model Kognitif adalah sebuah model yang di rancang  dari cara kerja user,untuk mengetahui bagaimana user akan berinteraksi dengan interface
Komponen:
- membentuk beberapa aspek dari pemahaman user, pengetahuan,  maksud dan pemrosesan
- beragam dalam level representasi :rencana dan pemecahan masalah tingkat tinggi, sampai ke aksi motorik tingkat rendah (mis: keypress)
GOMS
(Goals, Operators, Methods, Selection) Rules (dikembangkan oleh Card,Moran dan Newell)
                   Goal / Tujuan : status terakhir yang ingin dicapai, kemudian uraikan dalam sub tujuan.
•                  Operator : aksi pada tingkat paling rendah (untuk menjalankan suatu kegiatan); misal: press key, drag mouse, memindahkan pointer
MeMethods: urutan operator (prosedur) untuk menuntaskan suatu tujuan (satu atau lebih)

     contoh: Memilih kalimat gerakkan mouse ke awal kata, press mouse, tarik ke akhir kata, lepaskan mouse
•   Selection Rules:
- dipakai ketika ada pilihan cara
- ujicoba GOMS untuk memperkirakan metode mana yang digunakan
Contoh: dapat menghapus sebuah kata baik dengan cara ctrl-X ataupun melalui menu tertentu.

 Interpartive Evaluation ( Observasi, Ethnography)
           Ethnography (studi dan sistematik tentang budaya manusia)
Penelitian kontekstual
Studi lapangan
Studi observasi
         Obyektifitas:
Memahami user memahami tujuan dan nilai memahami interaksi individu dan group dalam suatu
budaya memperbaiki sistem bila ada  masalah pada cara yang digunakan saat itu
Teknik : Observasi personal, Audio/video recording, Interview
Observasi : Mengamati user dan lingkungan secara teliti, coba untuk gambarkan aktifitas tsb kepada  seseorang yang belum pernah melihat aktifitas  sebelumnya.
Hal yang menarik untuk diuji: kegiatan individual dan group, budaya yg mempengaruhi kerja,  aspek eksplisit dan implisit pada kerja; misal: lingkungan kerja kantor. Penting pada interview : buat rencana tanya jawab, tetap spesifik, buat interpretasi yang sama dengan user,
rekam interview.

         Secara harfiah kata evaluasi berasal dari bahasa Inggris evaluation; dalam bahasa Arab; al-taqdir; dalam bahasa Indonesia berarti; penilaian. Akar katanya adalah value; dalam bahasa Arab; al-qimah; dalam bahasa Indonesia berarti;nilai.jadi evaluasi merupakan suatu proses menjelaskan, memperoleh dan menyediakan data yang berguna untuk menilai alternative keputusan. Baik pengukuran maupun penilaian sangat esensial bagi pengambilan keputusan.

Pengenalan evaluasi Empiris
Evaluasi empiris adalah proses penilaian dengan cara eksperimen, penelitian, atau observasi. Sedangkan data empiris merupakan data yang ditemukan atau disimpulkan dari sebuah eksperimen
atau penelitian.

Perancangan Eksperimen
Suatu perancangan eksperiment tidak lepas dari rancangan percobaan (dengan setiap langkah tindakan yang betul-betul terdefinisikan) sedemikian rupa sehingga informasi yang berhubungan dengan/atau diperlukan untuk persoalan yang sedang diteliti dapat dikumpulkan. Selain itu desain eksperimen didefinisikan sebagai suatu pengujian atau serangkaian pengujian yang bertujuan untuk melakukan perubahan terhadap variabel-variabel input dari proses atau sistem sehingga dapat meneliti dan mengidentifikasi sebab perubahan dari output.

Keuntungan dalam perancangan eksperimen antara lain;
Perancangan eksperimen dapat digunakan dalam mengidentifikasi kunci keputusan tidak hanya dalam pengendalian proses tetapi juga untuk peningkatan atau perbaikan proses.
Pada pengembangan proses baru di mana data historis tidak tersedia, perancangan eksperimen digunakan pada fase pengembangan karena dapat menunjukkan faktor-faktor yang penting yang akan memaksimumkan hasil dan mengurangi biaya secara keseluruhan.
Perancangan eksperimen dapat membantu mengurangi lead time antara desain dan manufacturing dan menghasilkan desain yang robust (kokoh) terhadap faktor-faktor yang tidak terkontrol.
Kerugian dalam perancangan eksperimen antara lain ;
         Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan menyebabkan hasilnya akan berkurang dan perbedaan setiap individu akan membuat bias hasil.

Partisipasi
         Merupakan keikutsertaan, peranserta tau keterlibatan yang berkitan dengan keadaaan lahiriahnya,berarti Partisipasi dalam evaluasi keikutsertaan dalam melakukan proses penilaian
Bentuk partisipasi atau contohnya antara lain ;
     - Partisipasi harta benda adalah partisipasi dalam bentuk menyumbang harta benda, biasanya berupa alat-alat kerja atau perkakas
      -  Partisipasi tenaga adalah partisipasi yang diberikan dalam bentuk tenaga untuk pelaksanaan usaha-usaha yang dapat menunjang keberhasilan suatu penilaian
   - Partisipasi keterampilan, yaitu memberikan dorongan melalui keterampilan yang dimilikinya kepada anggota masyarakat lain yang membutuhkannya

IRB (Institutional Review Board)
          Merupakan sebuah kelembagaan dewan peninjau ( IRB ), juga dikenal sebagai komite etika independen atau dewan peninjau etik , adalah panitia yang telah ditunjuk secara resmi untuk menyetujui, memantau, dan meninjau biomedis dan perilaku penelitian yang melibatkan manusia . Mereka sering melakukan beberapa bentuk analisis risiko dan manfaat dalam upaya untuk menentukan benar atau tidak penelitian harus dilakukan. Nomor satu prioritas IRB adalah untuk melindungi subyek manusia dari bahaya fisik atau psikologis.

Etika
Etika evaluasi terdiri dari 4 hal, yaitu:
a. Kerahasiaan hasil evaluasi
b. Keamanan evaluasi
c. Intepretasi hasil evaluasi
d. Penggunaan evaluasi
Teknik pengumpulan data
           Dalam penelitian, teknik pengumpulan data merupakan faktor penting demi keberhasilan penelitian. Hal ini berkaitan dengan bagaimana cara mengumpulkan data, siapa sumbernya, dan apa alat yang digunakan.
Metode Pengumpulan data dapat dilakukan dengan cara;
Metode observasi merupakan metode pengumpul data yang dilakukan dengan cara mengamati dan mencatat secara sistematik gejala-gejala yang diselidiki.
Metode kuesioner merupakan suatu teknik pengumpulan data secara tidak langsung (peneliti tidak langsung bertanya jawab dengan responden). Instrumen atau alat pengumpulan datanya juga disebut angket berisi sejumlah pertanyaan-pertanyaan yang harus dijawab atau direspon oleh responden. Responden mempunyai kebebasan untuk memberikan jawaban atau respon sesuai dengan persepsinya.
Metode Triangulasi merupakan cara pemeriksaan keabsahan data yang paling umum digunakan. Cara ini dilakukan dengan memanfaatkan sesuatu yang lain diluar data untuk pengecekan atau sebagai pembanding terhadap data itu.
Metode teknik Studi dokumen merupakan pelengkap dari penggunaan metode obsevasi dan wawancara dalam penelitian kualitatif. Bahkan kredibilitas hasil penelitian kualitatif ini akan semakin tinggi jika melibatkan / menggunakan studi dokumen ini dalam metode penelitian kualitatifnya
Metode wawancara adalah proses tanya jawab dalam penelitian yang berlangsung secara lisan dalam mana dua orang atau lebih bertatap muka mendengarkan secara langsung informasi-informasi atau keterangan-keterangan.

Sumber : http://swulan.blogspot.com/2013/05/evaluasi-adalah-suatu-tes-atas-tingkat.html