MMetopenRingkasan Metodologi Penelitian

Pertemuan 7 · Fase 3 — Metodologi & Rekayasa

Ragam Metodologi & Pengelolaan Open Dataset

Pertemuan ini membahas cara memilih metodologi penelitian yang tepat berdasarkan jenis rumusan masalah (Research Question/RQ) yang sudah dirumuskan sebelumnya, serta cara mencari, memvalidasi, mengkurasi, dan mengelola data — khususnya open dataset — secara etis dan terdokumentasi. Inti pesannya…

42 slide Fase 3 · Metodologi & Rekayasa 📄 PDF sumber

Gambaran Umum

Pertemuan ini membahas cara memilih metodologi penelitian yang tepat berdasarkan jenis rumusan masalah (Research Question/RQ) yang sudah dirumuskan sebelumnya, serta cara mencari, memvalidasi, mengkurasi, dan mengelola data — khususnya open dataset — secara etis dan terdokumentasi. Inti pesannya adalah pergeseran pola pikir dari sekadar “membangun sistem” menjadi “menjawab RQ dengan bukti dari sistem”: metode dan data menentukan validitas jawaban RQ, dan protokol data yang disusun pada pertemuan ini akan menjadi isi Bab 3 proposal.

Poin Kunci untuk Diingat

  • Pendekatan dan metode bukan selera: metode dipilih dari jenis RQ — komparatif/kausal ke eksperimen, desain/rekayasa ke design science + eksperimen, relasional ke survei/analisis data sekunder, deskriptif ke survei/analisis log/studi kasus, eksploratif/“mengapa” ke studi kasus/wawancara; metode yang tidak terpetakan ke RQ mana pun menandakan salah satunya harus direvisi.
  • Pola pikir riset menilai data sebagai produk dan sistem sebagai instrumen/pabriknya: Bab 4 berisi pengukuran dan analisis yang menjawab RQ, bukan sekadar tangkapan layar aplikasi yang berjalan.
  • Eksperimen yang sahih wajib punya variabel bebas, terikat, dan kontrol, baseline yang adil, serta pengulangan — dan harus dapat diulang orang lain, dengan metrik ditetapkan sebelum eksperimen serta lingkungan dikunci.
  • Data dipetakan pada dua sumbu primer/sekunder × kuantitatif/kualitatif, dan satu TA lazim memakai lebih dari satu kuadran, misalnya open dataset untuk pelatihan/pembanding ditambah data lokal primer untuk pengujian.
  • Open dataset tidak langsung dipakai: validasi dulu kualitas isi dan dokumentasinya, cek lisensinya, lacak ke sumber asli dari matriks SotA — dan baca README serta paper asli dataset sebelum menulis satu baris kode.
  • Kebocoran data adalah ancaman validitas terbesar: cegah dengan group split / temporal split, hitung statistik pra-proses hanya dari data latih, dan kunci data uji sampai evaluasi akhir.
  • Kurasi dan pengelolaan data mengikuti prinsip FAIR dan alur yang dapat diaudit: folder raw/ tidak pernah diubah, setiap transformasi berupa skrip, versi dan checksum dicatat, hingga terdokumentasi dalam data card.
  • Pengumpulan data manusia dan open dataset sama-sama terikat etika dan protokol: consent, privasi/anonimitas, minimalisasi, dan keamanan sesuai UU No. 27 Tahun 2022, izin diurus sejak proposal, dan protokol delapan elemen — yang diuji lewat pilot kecil — menjadi isi Bab 3 proposal.

Isi per Bagian

1. Pendahuluan

Capaian Pembelajaran — Metode dan Data

Sub-CPMK Pertemuan 7: setelah pertemuan ini, mahasiswa mampu:

  1. Memilih metodologi penelitian yang tepat sesuai rumusan masalah — kuantitatif, kualitatif, eksperimental, atau rekayasa.
  2. Menerapkan strategi pencarian, validasi, kurasi, dan pengelolaan open dataset secara etis.

Kaitannya dengan CPMK:

  • CPMK1001: Sikap ilmiah dalam merancang solusi — metode dan data menentukan validitas jawaban RQ.
  • CPMK1004: Sikap ilmiah dalam mendokumentasikan — protokol data menjadi isi Bab 3 proposal.

Kilas Balik & Jembatan — Dari Pitch ke Metode

Yang sudah dimiliki mahasiswa dari pertemuan sebelumnya:

  • P5: RQ, Research Objective (RO) yang SMART, dan hipotesis.
  • P6: Pitch lima babak — beserta pertanyaan khas penguji: “Datanya dari mana? Kenapa metode ini?”

Yang dibuktikan pada pertemuan ini:

  • Metode apa yang cocok untuk jenis RQ Anda?
  • Data apa yang menjadi bukti, dan dari mana asalnya?
  • Bagaimana mengelola dan memakai data secara etis?

Babak Solution dalam pitch hanya meyakinkan jika metode dan sumber data dapat dipertanggungjawabkan.

Dari Sistem ke Bukti — Pergeseran Pola Pikir

Pola Pikir Proyek Pola Pikir Riset
Pandangan terhadap TA “TA saya adalah membangun aplikasi X.” “TA saya menjawab RQ dengan bukti dari sistem X.”
Ukuran keberhasilan Aplikasi berjalan. Sistem adalah instrumen; data adalah produknya.
Isi Bab 4 Tangkapan layar. Pengukuran dan analisis.
Pertanyaan penguji / kesimpulan Penguji bertanya: “Lalu apa temuannya?” Kesimpulan menjawab RQ.

Analogi di slide: sistem adalah pabrik, data adalah produk. Penguji menilai mutu produk, bukan hanya kemegahan pabriknya.

2. Ragam Metodologi

Tiga Pendekatan Besar — Creswell & Creswell (2018)

  • Kuantitatif: Mengukur dengan angka; menguji hipotesis / membandingkan. Contoh: akurasi model, waktu respons, skor SUS.
  • Kualitatif: Memahami makna dan alasan; menggali pengalaman dan konteks. Contoh: wawancara pengguna, observasi alur kerja.
  • Campuran: Menggabungkan keduanya — angka menjawab “seberapa”, kata menjawab “mengapa”. Contoh: uji usability + wawancara.

Pendekatan bukan selera; ia ditentukan oleh jenis RQ yang sudah dirumuskan di P5.

Empat Metode Dawson — Riset Komputasi

Menurut Dawson (2009):

  • Eksperimen: Memanipulasi variabel bebas dan mengukur dampaknya pada variabel terikat dalam kondisi terkendali.
  • Survei: Mengumpulkan data dari banyak responden melalui kuesioner atau wawancara terstruktur.
  • Studi Kasus: Menyelidiki satu atau beberapa kasus nyata secara mendalam dalam konteks aslinya.
  • Action Research: Peneliti terlibat langsung memperbaiki praktik di organisasi, lalu merefleksikan hasilnya.

Penekanan Dawson: satu proyek dapat memakai lebih dari satu metode, asalkan setiap metode menjawab sub-RQ yang jelas.

Metode Eksperimen — Kendalikan, Ubah, Ukur

Komponen wajib:

  • Variabel bebas: yang diubah, misalnya arsitektur model.
  • Variabel terikat: yang diukur, misalnya mAP, latensi.
  • Variabel kontrol: yang dijaga tetap, misalnya data, epoch, perangkat.
  • Baseline: pembanding yang adil.
  • Pengulangan: beberapa seed / run.

Studi kasus berjalan di slide:

  • Bebas: YOLO-n dengan vs tanpa modul objek kecil.
  • Terikat: mAP@0,5 untuk objek kecil; latensi (ms).
  • Kontrol: dataset, split, resolusi input, Jetson Orin Nano.
  • Ulangan: 5 seed; uji statistik.

Design Science Research — Riset Berbasis Artefak

Enam aktivitas DSRM menurut Peffers et al. (2007):

  1. Identifikasi masalah →
  2. Tujuan solusi →
  3. Desain & pengembangan →
  4. Demonstrasi →
  5. Evaluasi →
  6. Komunikasi

Kapan cocok:

  • Kontribusi utama berupa artefak: sistem, model, metode, framework.
  • RQ berjenis desain/rekayasa (P5).
  • Paling umum untuk TA Informatika.

Syarat disebut riset:

  • Artefak menjawab masalah nyata dengan celah di pustaka.
  • Ada evaluasi rigor terhadap kriteria terukur.
  • Ada pengetahuan yang dapat dibagikan (Hevner et al., 2004).

Survei & Studi Kasus — Dari Pengguna Nyata

Survei:

  • Menjangkau banyak responden dengan cepat.
  • Instrumen baku lebih kuat: SUS (Brooke, 1996), TAM, UEQ.
  • Perhatikan ukuran sampel dan keterwakilan.
  • Uji coba kuesioner sebelum disebar.

Studi Kasus:

  • Menggali satu konteks secara mendalam, misalnya satu UMKM, satu puskesmas.
  • Data dari wawancara, observasi, dokumen, log.
  • Kekuatan: kaya konteks; kelemahan: generalisasi terbatas.
  • Tulis keterbatasan ini secara jujur (P5).

Memilih Metode Dari RQ — Peta Keputusan

Jenis RQ (P5) Metode Utama Data / Bukti Contoh TA
Komparatif / kausal Eksperimen Metrik kinerja berulang Membandingkan model deteksi
Desain / rekayasa Design science + eksperimen Metrik artefak vs kebutuhan Merancang sistem antrean klinik
Relasional Survei / analisis data sekunder Data numerik banyak sampel Akses LMS vs nilai akhir
Deskriptif Survei, analisis log, studi kasus Statistik deskriptif, pola Pola serangan di log server
Eksploratif / “mengapa” Studi kasus, wawancara Transkrip, catatan observasi Alasan UMKM menolak aplikasi kasir

Jika metode tidak dapat dipetakan ke RQ mana pun, salah satunya perlu direvisi — biasanya RQ-nya.

3. Jenis & Teknik Data

Peta Data Dua Sumbu — Sumber × Bentuk

  • Primer = Anda kumpulkan sendiri untuk RQ ini.
  • Sekunder = sudah dikumpulkan pihak lain untuk tujuan lain.
Kuantitatif Kualitatif
Primer Hasil eksperimen sendiri, skor SUS, waktu tugas, log sistem yang Anda bangun. Transkrip wawancara, catatan observasi, umpan balik terbuka.
Sekunder Open dataset (COCO, UCI), data BPS, data API publik. Ulasan aplikasi, unggahan forum, dokumen kebijakan.

Latihan: Tentukan Kuadran — Diskusi Dua Menit

Enam data yang harus ditentukan sumber dan bentuknya (rincian lengkap ada di bagian Tugas / Worksheet / Latihan):

  1. Waktu inferensi model diukur di laptop Anda
  2. Komentar terbuka pengguna setelah uji coba aplikasi
  3. Dataset ulasan produk dari Hugging Face
  4. Rekaman wawancara dengan admin jaringan kampus
  5. Data curah hujan harian dari portal data pemerintah
  6. Citra UAV yang Anda ambil sendiri lalu dianotasi

Catatan: satu TA sering memakai lebih dari satu kuadran — misalnya dataset publik untuk pelatihan + data primer lokal untuk pengujian.

Kotak Peralatan Data — Enam Teknik Praktis

Teknik Kuadran Cocok untuk Upaya
Eksperimen & benchmark Primer–kuantitatif Membandingkan algoritma, model, konfigurasi Sedang–tinggi
Survei & kuesioner Primer–kuantitatif / kualitatif Evaluasi UX, penerimaan teknologi Sedang
Wawancara & observasi Primer–kualitatif Kebutuhan, alur kerja, alasan Sedang
Log & telemetri sistem Primer–kuantitatif Perilaku pengguna nyata, kinerja jaringan Rendah–sedang
Open dataset Sekunder–kuantitatif ML, data science, benchmark Rendah
API & web scraping Sekunder Data media sosial, harga, ulasan Sedang–tinggi

Eksperimen & Benchmarking — Cara Praktis

Rancangan:

  1. Tetapkan metrik sebelum menjalankan eksperimen.
  2. Pilih baseline yang relevan dan terbaru (matriks SotA).
  3. Kunci lingkungan: versi pustaka, perangkat keras, seed.
  4. Ulangi dan laporkan rerata ± simpangan baku.

Yang selalu dicatat:

  • Spesifikasi perangkat keras.
  • File konfigurasi setiap run.
  • Commit Git kode yang dipakai.
  • Waktu eksekusi dan memori.

Prinsipnya: eksperimen yang tidak dapat diulang oleh orang lain — atau oleh Anda sendiri bulan depan — bukan bukti.

Survei, Wawancara, Observasi — Data Dari Manusia

  • Survei: Instrumen baku lebih baik daripada buatan sendiri; skala Likert konsisten; pilot ke 5 orang dulu.
  • Wawancara: Pedoman semi-terstruktur; rekam dengan izin; transkrip lalu kodekan tema.
  • Observasi: Amati tugas nyata pengguna; catat waktu, kesalahan, kebingungan; think-aloud bila perlu.

Bias yang sering terjadi:

  • Responden hanya teman satu angkatan.
  • Pertanyaan menggiring, misalnya “Apakah aplikasi ini sangat membantu?”
  • Peneliti sendiri yang menjadi moderator sekaligus penilai.

API vs Web Scraping — Menambang Data Daring

API resmi:

  • Data terstruktur (JSON).
  • Ada aturan pakai dan kuota jelas.
  • Lebih stabil dan lebih etis.
  • Pilihan pertama jika tersedia.

Web scraping:

  • Mengambil dari halaman HTML.
  • Rapuh: struktur situs berubah.
  • Wajib cek robots.txt dan Terms of Service.
  • Beri jeda antar-permintaan; jangan membebani server.

Peringatan: data yang dapat diakses publik belum tentu boleh dikumpulkan dan dipublikasikan ulang — bedakan “terlihat” dengan “diizinkan”.

4. Open Dataset

Mengapa Open Dataset? — Kelebihan dan Jebakan

Kelebihan:

  • Hemat waktu pengumpulan.
  • Dapat dibandingkan langsung dengan studi lain.
  • Mendukung reproduksibilitas.
  • Sering sudah beranotasi dan terdokumentasi.

Jebakan:

  • Tidak cocok dengan konteks lokal RQ Anda.
  • Label salah, duplikat, atau bias.
  • Lisensi melarang penggunaan tertentu.
  • Sudah “jenuh”: hasil SotA sulit dilampaui.

Pola umum yang kuat: open dataset untuk pelatihan dan pembanding + data lokal kecil untuk menguji generalisasi pada konteks Anda.

Repositori Open Dataset — Titik Awal Pencarian

Repositori Keunggulan Perhatikan
Hugging Face Datasets NLP, visi, audio; dapat dimuat langsung via pustaka datasets Kualitas bervariasi; cek dataset card
Kaggle Datasets Sangat banyak domain; ada notebook contoh Banyak unggahan ulang tanpa sumber asli
UCI ML Repository Benchmark klasik tabular, terdokumentasi Ukuran relatif kecil
Zenodo Data riset dengan DOI permanen Pencarian kurang terkurasi
OpenML Dataset + tugas + hasil eksperimen terstandar Fokus tabular
Google Dataset Search Mesin pencari lintas repositori Hanya indeks, cek sumber asli
Portal Satu Data Indonesia (data.go.id), BPS Data pemerintah dan statistik Indonesia Format dan pembaruan beragam

Dataset Per Domain — Contoh Rujukan Umum

  • Visi Komputer: ImageNet, COCO; VisDrone (citra drone); ChestX-ray8 (medis).
  • Bahasa & Teks: IndoNLU (benchmark Indonesia); SmSA (sentimen); NusaX (bahasa daerah).
  • Sinyal & Sensor: PhysioNet, MIT-BIH (EKG); UCI HAR (aktivitas); Sleep-EDF (tidur).

Cara tercepat menemukan dataset yang diakui: lihat kolom Dataset di matriks SotA P4. Dataset yang dipakai studi pembanding adalah kandidat utama Anda.

Strategi Pencarian Dataset — Terarah, Bukan Acak

Langkah:

  1. Mulai dari paper pembanding di matriks SotA.
  2. Susun query: tugas + modalitas + domain + “dataset”.
  3. Telusuri repositori dan Google Dataset Search.
  4. Lacak ke sumber asli (paper/halaman resmi), bukan unggahan ulang.
  5. Catat kandidat di kartu evaluasi.

Contoh query di slide:

  • "small object detection" UAV dataset
  • rice pest detection drone images
  • Indonesian sentiment dataset informal
  • network intrusion dataset IoT

Validasi Kualitas Dataset — Sebelum Dipakai

Kualitas isi:

  • Ukuran cukup untuk latih dan uji?
  • Akurasi label — cek sampel acak manual.
  • Keseimbangan kelas dan nilai hilang.
  • Duplikat atau hampir-duplikat.
  • Bias sumber: lokasi, waktu, demografi.

Kelengkapan dokumentasi:

  • Siapa membuat, untuk apa, dan bagaimana?
  • Protokol anotasi dan kesepakatan antar-anotator.
  • Split resmi latih/validasi/uji.
  • Paper rujukan yang wajib disitasi.
  • Kerangka: Datasheets for Datasets (Gebru et al., 2021).

Aturan emas: baca README dan paper asli dataset sebelum menulis satu baris kode.

Lisensi Dataset — Boleh Dipakai Untuk Apa?

Lisensi Makna Singkat Riset TA Komersial
CC0 / Public Domain Bebas dipakai tanpa syarat ✓ ✓
CC BY 4.0 Bebas dengan atribusi ✓ ✓
CC BY-NC Atribusi, non-komersial ✓ –
CC BY-SA Atribusi, turunan harus berlisensi sama ✓ (sesuai lisensi turunan)
Research-only / kustom Sesuai perjanjian penyedia (sesuai perjanjian) –
Tanpa lisensi Hak cipta tetap pada pemilik – –

Catatan khusus: data kesehatan seperti MIMIC mensyaratkan akses terkredensial dan pelatihan etika sebelum diunduh — rencanakan waktunya.

Kartu Evaluasi Dataset — Satu Kartu Per Kandidat

Contoh isian di slide untuk VisDrone:

Isian Contoh: VisDrone
Sumber asli Paper + GitHub resmi penyusun
Modalitas & ukuran Citra & video drone; ribuan citra beranotasi
Label Kotak pembatas 10 kelas objek
Split resmi Ada (latih / validasi / uji)
Lisensi Cek halaman resmi sebelum dipakai
Relevansi RQ Objek kecil ✓, hama –

Keputusan dari contoh tersebut:

  • Pakai sebagai pra-latih untuk objek kecil dari udara.
  • Tidak cukup untuk hama → perlu data lokal primer.
  • Kebutuhan ini menjustifikasi kontribusi dataset di P5.

Alur Kurasi Data — Dari Unduhan ke Siap Pakai

Alur: Unduh & catat versi → Eksplorasi (EDA) → Bersihkan & standardisasi → Split latih/val/uji → Dokumentasi data card

Prinsip kurasi:

  • Folder raw/ tidak pernah diubah.
  • Setiap transformasi = skrip, bukan edit manual.
  • Catat checksum dan versi sumber.

Struktur folder:

  • data/raw/ — unduhan asli
  • data/interim/ — hasil pembersihan
  • data/processed/ — siap latih
  • data/README.md — data card

Split & Kebocoran Data — Ancaman Validitas Terbesar

Sumber Kebocoran Pencegahan
Citra dari video/lokasi yang sama ada di latih dan uji. Group split: per pasien, per lokasi, per sesi.
Normalisasi dihitung dari seluruh data. Hitung statistik pra-proses hanya dari data latih.
Data masa depan dipakai memprediksi masa lalu. Temporal split untuk data deret waktu.
Tuning hyperparameter pada data uji. Kunci data uji sampai evaluasi akhir.

Rujukan di slide: Kapoor & Narayanan (2023) menemukan kebocoran data sebagai penyebab utama klaim ML yang tidak dapat direproduksi di berbagai bidang.

Mengelola Data Riset — Prinsip FAIR

Prinsip FAIR (Wilkinson et al., 2016):

  • Findable: Punya identitas tetap (DOI) dan metadata yang dapat dicari.
  • Accessible: Dapat diunduh melalui protokol terbuka yang jelas.
  • Interoperable: Format standar (CSV, COCO JSON, WAV), bukan format tertutup.
  • Reusable: Lisensi jelas + dokumentasi asal-usul data.

Praktik harian:

  • Cadangan di dua lokasi (lokal + cloud kampus).
  • Versi data dengan DVC atau catatan versi.

Merilis dataset Anda:

  • Unggah ke Zenodo/Hugging Face dengan DOI.
  • Sertakan data card, lisensi, dan cara sitasi.

5. Etika & Protokol

Etika Data Manusia — Empat Prinsip Dasar

  • Persetujuan (Consent): Jelaskan tujuan dengan bahasa sederhana; minta persetujuan eksplisit; beri hak mengundurkan diri.
  • Privasi & Anonimitas: Pakai ID anonim; hapus informasi yang dapat mengidentifikasi individu.
  • Minimalisasi: Kumpulkan hanya data yang benar-benar dibutuhkan untuk menjawab RQ.
  • Keamanan: Simpan terenkripsi; batasi akses; hapus data sensitif sesuai rencana.

Konteks hukum: Indonesia memiliki UU No. 27 Tahun 2022 tentang Pelindungan Data Pribadi. Data wajah, suara, lokasi, dan kesehatan termasuk data pribadi — termasuk dalam riset mahasiswa.

Kapan Perlu Izin? — Cek Sebelum Mengumpulkan

Situasi Izin / Langkah
Melibatkan partisipan manusia (survei, uji pengguna) Lembar persetujuan; konsultasi pembimbing terkait telaah etik
Data kesehatan atau anak-anak Telaah komisi etik penelitian; kerja sama institusi
Data dari instansi / perusahaan Surat izin resmi dan perjanjian penggunaan data
Menerbangkan drone, merekam di ruang publik Izin lokasi / pemilik lahan; patuhi aturan penerbangan
Scraping situs / media sosial Cek ToS, robots.txt; anonimkan akun pengguna

Mengurus izin bisa memakan minggu hingga bulan — masukkan ke jadwal TA sejak proposal.

Protokol Pengumpulan Data — Isi Bab 3 Proposal

Delapan elemen:

  1. Tujuan & sub-RQ yang dilayani.
  2. Sumber / populasi & kriteria inklusi.
  3. Instrumen (alat, kuesioner, sensor).
  4. Prosedur langkah demi langkah.
  5. Jumlah target & justifikasinya.
  6. Kontrol kualitas (anotasi, pilot).
  7. Penyimpanan & keamanan.
  8. Risiko & rencana cadangan.

Uji protokol: protokol yang baik dapat dijalankan oleh orang lain dan menghasilkan data yang setara. Lakukan pilot kecil (misalnya 50 citra atau 5 responden) sebelum pengumpulan penuh.

Contoh Protokol Ringkas — Studi Kasus Berjalan

Rincian contoh ini ada di bagian Contoh / Studi Kasus dari Slide.

6. Studi Kasus & Penutup

Bedah Tiga Skripsi — Metode dan Data

Rincian perbandingan tiga skripsi (AI/Data Science, IMK/UX, Sistem/Jaringan) ada di bagian Contoh / Studi Kasus dari Slide.

Aktivitas: Berburu Dataset — Dua Puluh Menit

Misi dan bonus aktivitas ini dirinci persis di bagian Tugas / Worksheet / Latihan.

Ringkasan & Jembatan — Menuju Ujian Tengah Semester

Intisari Pertemuan 7:

  1. Metode dipilih dari jenis RQ: eksperimen, design science, survei, studi kasus, atau kombinasinya.
  2. Data dipetakan pada dua sumbu — primer/sekunder × kuantitatif/kualitatif — dan dikumpulkan dengan teknik yang sesuai.
  3. Open dataset wajib divalidasi (kualitas, lisensi, kebocoran), dikurasi dengan skrip, dan dikelola menurut prinsip FAIR — semuanya dalam protokol yang etis.

Preview Pertemuan 8: UTS — evaluasi pemahaman metodologi, kajian pustaka, dan perumusan masalah (materi P1–P7).

Referensi Perkuliahan

  • Brooke, J. (1996). SUS: A “quick and dirty” usability scale. Dalam P. W. Jordan et al. (Eds.), Usability Evaluation in Industry (pp. 189–194). Taylor & Francis.
  • Creswell, J. W., & Creswell, J. D. (2018). Research Design: Qualitative, Quantitative, and Mixed Methods Approaches (5th ed.). SAGE.
  • Dawson, C. W. (2009). Projects in Computing and Information Systems: A Student’s Guide (2nd ed.). Addison-Wesley.
  • Gebru, T., et al. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86–92.
  • Hevner, A. R., March, S. T., Park, J., & Ram, S. (2004). Design science in information systems research. MIS Quarterly, 28(1), 75–105.
  • Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), 100804.
  • Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45–77.
  • Republik Indonesia. (2022). Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi.
  • Wilkinson, M. D., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.

Slide ditutup dengan ucapan terima kasih dari Tim Dosen Metodologi Penelitian, Program Studi Teknik Informatika, ITERA.

Istilah & Konsep Kunci

Istilah Definisi Singkat
Pendekatan kuantitatif Pendekatan yang mengukur dengan angka, menguji hipotesis / membandingkan.
Pendekatan kualitatif Pendekatan untuk memahami makna dan alasan, menggali pengalaman dan konteks.
Pendekatan campuran Penggabungan kuantitatif dan kualitatif — angka menjawab “seberapa”, kata menjawab “mengapa”.
Eksperimen (Dawson) Metode yang memanipulasi variabel bebas dan mengukur dampaknya pada variabel terikat dalam kondisi terkendali.
Survei (Dawson) Metode pengumpulan data dari banyak responden melalui kuesioner atau wawancara terstruktur.
Studi kasus (Dawson) Penyelidikan satu/beberapa kasus nyata secara mendalam dalam konteks aslinya.
Action research (Dawson) Peneliti terlibat langsung memperbaiki praktik di organisasi, lalu merefleksikan hasilnya.
Variabel bebas Variabel yang diubah dalam eksperimen, misalnya arsitektur model.
Variabel terikat Variabel yang diukur dalam eksperimen, misalnya mAP atau latensi.
Variabel kontrol Variabel yang dijaga tetap selama eksperimen, misalnya data, epoch, perangkat.
Baseline Pembanding yang adil dalam eksperimen.
Design Science Research (DSR) Riset berbasis artefak dengan enam aktivitas DSRM Peffers et al.: identifikasi masalah, tujuan solusi, desain & pengembangan, demonstrasi, evaluasi, komunikasi.
Data primer Data yang dikumpulkan sendiri oleh peneliti untuk RQ ini.
Data sekunder Data yang sudah dikumpulkan pihak lain untuk tujuan lain.
SUS Instrumen baku usability dari Brooke (1996); contoh instrumen survei baku bersama TAM dan UEQ.
Open dataset Dataset yang sudah dikumpulkan pihak lain dan tersedia untuk dipakai, misalnya COCO dan UCI — termasuk data sekunder kuantitatif.
Kartu evaluasi dataset Formulir satu kartu per kandidat dataset berisi sumber asli, modalitas & ukuran, label, split resmi, lisensi, dan relevansi RQ, yang berujung pada keputusan pakai / tidak.
Datasheets for Datasets Kerangka dokumentasi dataset dari Gebru et al. (2021) untuk menilai kelengkapan dokumentasi.
Kurasi data Alur mengubah unduhan menjadi data siap pakai: unduh & catat versi, EDA, bersihkan & standardisasi, split, dokumentasi data card — dengan folder raw/ tidak pernah diubah dan setiap transformasi berupa skrip.
Kebocoran data (data leakage) Masuknya informasi data uji / masa depan ke proses latih atau pra-proses sehingga validitas dan reproduksibilitas klaim runtuh; dicegah dengan group split, temporal split, statistik hanya dari data latih, dan mengunci data uji.
Group split Pembagian data berdasarkan kelompok (per pasien, per lokasi, per sesi) agar kelompok yang sama tidak tersebar di latih dan uji.
Temporal split Pembagian data berdasarkan waktu untuk data deret waktu, agar data masa depan tidak dipakai memprediksi masa lalu.
Prinsip FAIR Prinsip pengelolaan data dari Wilkinson et al. (2016): Findable, Accessible, Interoperable, Reusable.
Consent (persetujuan) Persetujuan eksplisit dari partisipan setelah tujuan dijelaskan dengan bahasa sederhana, disertai hak mengundurkan diri.
Minimalisasi data Prinsip etika untuk hanya mengumpulkan data yang benar-benar dibutuhkan untuk menjawab RQ.
Protokol pengumpulan data Dokumen isi Bab 3 proposal berisi delapan elemen: tujuan & sub-RQ, sumber/populasi & kriteria inklusi, instrumen, prosedur, jumlah target & justifikasi, kontrol kualitas, penyimpanan & keamanan, risiko & rencana cadangan.
Cohen’s kappa Ukuran kesepakatan antar-anotator yang dipakai pada contoh protokol di slide, dengan target ≥ 0,7 pada 10% sampel.
Matriks SotA Matriks state-of-the-art dari P4; kolom Dataset-nya menjadi cara tercepat menemukan dataset yang diakui, dan baseline terbaru dipilih darinya.

Contoh / Studi Kasus dari Slide

1. Studi Kasus Berjalan — Eksperimen YOLO dan Drone Hama

Contoh yang dipakai berulang sepanjang slide:

  • Eksperimen YOLO: variabel bebasnya YOLO-n dengan vs tanpa modul objek kecil; variabel terikatnya mAP@0,5 objek kecil dan latensi (ms); variabel kontrolnya dataset, split, resolusi input, dan Jetson Orin Nano; ulangannya 5 seed dengan uji statistik.
  • Kartu evaluasi VisDrone: VisDrone dipakai sebagai pra-latih untuk objek kecil dari udara, tetapi tidak cukup untuk hama sehingga perlu data lokal primer — kebutuhan ini menjustifikasi kontribusi dataset di P5.
  • Contoh protokol ringkas untuk studi yang sama:
Elemen Rencana
Tujuan Data uji lokal untuk Sub-RQ 1 (mAP objek kecil) dan Sub-RQ 3 (ablation).
Sumber Sawah di 2 kabupaten mitra; ketinggian terbang 10–20 m; musim tanam berjalan.
Instrumen Drone kamera 4K; GPS; pedoman anotasi 3 kelas hama.
Prosedur Terbang terjadwal pagi; ekspor citra; anotasi oleh 2 anotator.
Jumlah ≥ 1.500 citra; dihitung dari kebutuhan uji per kelas.
Kualitas Cohen’s kappa antar-anotator ≥ 0,7 pada 10% sampel; pilot 50 citra.
Etika & izin Izin pemilik lahan; tidak merekam wajah/rumah; data mentah di server prodi.
Risiko Cuaca → jadwal cadangan; data kurang → augmentasi + VisDrone pra-latih.

2. Bedah Tiga Skripsi — Metode dan Data

Aspek AI / Data Science IMK / UX Sistem / Jaringan
RQ Model mana paling akurat untuk sentimen ulasan informal? Apakah redesain menurunkan waktu tugas pengguna lansia? Seberapa efektif QoS HTB menjaga throughput e-learning?
Metode Eksperimen Eksperimen pengguna + wawancara Eksperimen testbed
Data Open dataset + 500 ulasan lokal beranotasi Waktu tugas, skor SUS, transkrip Throughput, latensi, packet loss
Kuadran Sekunder + primer kuantitatif Primer kuantitatif + kualitatif Primer kuantitatif
Etika Anonimkan nama akun Consent tertulis partisipan Uji di lab, bukan jaringan produksi

3. Contoh Lain yang Disebut di Slide

  • Contoh TA pada peta keputusan: membandingkan model deteksi (komparatif/kausal), merancang sistem antrean klinik (desain/rekayasa), akses LMS vs nilai akhir (relasional), pola serangan di log server (deskriptif), alasan UMKM menolak aplikasi kasir (eksploratif/“mengapa”).
  • Contoh query pencarian dataset: "small object detection" UAV dataset, rice pest detection drone images, Indonesian sentiment dataset informal, network intrusion dataset IoT.
  • Contoh pertanyaan menggiring yang harus dihindari: “Apakah aplikasi ini sangat membantu?”
  • Contoh pilot kecil: 50 citra atau 5 responden sebelum pengumpulan penuh; untuk survei, pilot kuesioner ke 5 orang dulu.

Tugas / Worksheet / Latihan

Di slide disebutkan dua aktivitas latihan:

1. Latihan: Tentukan Kuadran — Diskusi Dua Menit

Tentukan sumber (primer/sekunder) dan bentuk (kuantitatif/kualitatif) untuk enam data berikut:

Data Sumber Bentuk
Waktu inferensi model diukur di laptop Anda ? ?
Komentar terbuka pengguna setelah uji coba aplikasi ? ?
Dataset ulasan produk dari Hugging Face ? ?
Rekaman wawancara dengan admin jaringan kampus ? ?
Data curah hujan harian dari portal data pemerintah ? ?
Citra UAV yang Anda ambil sendiri lalu dianotasi ? ?

2. Aktivitas: Berburu Dataset — Dua Puluh Menit

Misi:

  1. Dari matriks SotA Anda, catat dataset yang dipakai studi pembanding.
  2. Telusuri minimal dua repositori (Hugging Face, Kaggle, UCI, Zenodo, OpenML).
  3. Temukan 3 kandidat dataset untuk RQ Anda.
  4. Isi kartu evaluasi untuk setiap kandidat.
  5. Putuskan: pakai, pakai sebagian, atau perlu data primer?

Bonus: jika perlu data primer, tulis draf protokol dengan delapan elemen — ini akan langsung menjadi bahan Bab 3 proposal.

↑