Pertemuan 7 · Fase 3 — Metodologi & Rekayasa
Ragam Metodologi & Pengelolaan Open Dataset
Pertemuan ini membahas cara memilih metodologi penelitian yang tepat berdasarkan jenis rumusan masalah (Research Question/RQ) yang sudah dirumuskan sebelumnya, serta cara mencari, memvalidasi, mengkurasi, dan mengelola data — khususnya open dataset — secara etis dan terdokumentasi. Inti pesannya…
Gambaran Umum
Pertemuan ini membahas cara memilih metodologi penelitian yang tepat berdasarkan jenis rumusan masalah (Research Question/RQ) yang sudah dirumuskan sebelumnya, serta cara mencari, memvalidasi, mengkurasi, dan mengelola data — khususnya open dataset — secara etis dan terdokumentasi. Inti pesannya adalah pergeseran pola pikir dari sekadar “membangun sistem” menjadi “menjawab RQ dengan bukti dari sistem”: metode dan data menentukan validitas jawaban RQ, dan protokol data yang disusun pada pertemuan ini akan menjadi isi Bab 3 proposal.
Poin Kunci untuk Diingat
- Pendekatan dan metode bukan selera: metode dipilih dari jenis RQ — komparatif/kausal ke eksperimen, desain/rekayasa ke design science + eksperimen, relasional ke survei/analisis data sekunder, deskriptif ke survei/analisis log/studi kasus, eksploratif/“mengapa” ke studi kasus/wawancara; metode yang tidak terpetakan ke RQ mana pun menandakan salah satunya harus direvisi.
- Pola pikir riset menilai data sebagai produk dan sistem sebagai instrumen/pabriknya: Bab 4 berisi pengukuran dan analisis yang menjawab RQ, bukan sekadar tangkapan layar aplikasi yang berjalan.
- Eksperimen yang sahih wajib punya variabel bebas, terikat, dan kontrol, baseline yang adil, serta pengulangan — dan harus dapat diulang orang lain, dengan metrik ditetapkan sebelum eksperimen serta lingkungan dikunci.
- Data dipetakan pada dua sumbu primer/sekunder × kuantitatif/kualitatif, dan satu TA lazim memakai lebih dari satu kuadran, misalnya open dataset untuk pelatihan/pembanding ditambah data lokal primer untuk pengujian.
- Open dataset tidak langsung dipakai: validasi dulu kualitas isi dan dokumentasinya, cek lisensinya, lacak ke sumber asli dari matriks SotA — dan baca README serta paper asli dataset sebelum menulis satu baris kode.
- Kebocoran data adalah ancaman validitas terbesar: cegah dengan group split / temporal split, hitung statistik pra-proses hanya dari data latih, dan kunci data uji sampai evaluasi akhir.
- Kurasi dan pengelolaan data mengikuti prinsip FAIR dan alur yang dapat diaudit: folder
raw/tidak pernah diubah, setiap transformasi berupa skrip, versi dan checksum dicatat, hingga terdokumentasi dalam data card. - Pengumpulan data manusia dan open dataset sama-sama terikat etika dan protokol: consent, privasi/anonimitas, minimalisasi, dan keamanan sesuai UU No. 27 Tahun 2022, izin diurus sejak proposal, dan protokol delapan elemen — yang diuji lewat pilot kecil — menjadi isi Bab 3 proposal.
Isi per Bagian
1. Pendahuluan
Capaian Pembelajaran — Metode dan Data
Sub-CPMK Pertemuan 7: setelah pertemuan ini, mahasiswa mampu:
- Memilih metodologi penelitian yang tepat sesuai rumusan masalah — kuantitatif, kualitatif, eksperimental, atau rekayasa.
- Menerapkan strategi pencarian, validasi, kurasi, dan pengelolaan open dataset secara etis.
Kaitannya dengan CPMK:
- CPMK1001: Sikap ilmiah dalam merancang solusi — metode dan data menentukan validitas jawaban RQ.
- CPMK1004: Sikap ilmiah dalam mendokumentasikan — protokol data menjadi isi Bab 3 proposal.
Kilas Balik & Jembatan — Dari Pitch ke Metode
Yang sudah dimiliki mahasiswa dari pertemuan sebelumnya:
- P5: RQ, Research Objective (RO) yang SMART, dan hipotesis.
- P6: Pitch lima babak — beserta pertanyaan khas penguji: “Datanya dari mana? Kenapa metode ini?”
Yang dibuktikan pada pertemuan ini:
- Metode apa yang cocok untuk jenis RQ Anda?
- Data apa yang menjadi bukti, dan dari mana asalnya?
- Bagaimana mengelola dan memakai data secara etis?
Babak Solution dalam pitch hanya meyakinkan jika metode dan sumber data dapat dipertanggungjawabkan.
Dari Sistem ke Bukti — Pergeseran Pola Pikir
| Pola Pikir Proyek | Pola Pikir Riset | |
|---|---|---|
| Pandangan terhadap TA | “TA saya adalah membangun aplikasi X.” | “TA saya menjawab RQ dengan bukti dari sistem X.” |
| Ukuran keberhasilan | Aplikasi berjalan. | Sistem adalah instrumen; data adalah produknya. |
| Isi Bab 4 | Tangkapan layar. | Pengukuran dan analisis. |
| Pertanyaan penguji / kesimpulan | Penguji bertanya: “Lalu apa temuannya?” | Kesimpulan menjawab RQ. |
Analogi di slide: sistem adalah pabrik, data adalah produk. Penguji menilai mutu produk, bukan hanya kemegahan pabriknya.
2. Ragam Metodologi
Tiga Pendekatan Besar — Creswell & Creswell (2018)
- Kuantitatif: Mengukur dengan angka; menguji hipotesis / membandingkan. Contoh: akurasi model, waktu respons, skor SUS.
- Kualitatif: Memahami makna dan alasan; menggali pengalaman dan konteks. Contoh: wawancara pengguna, observasi alur kerja.
- Campuran: Menggabungkan keduanya — angka menjawab “seberapa”, kata menjawab “mengapa”. Contoh: uji usability + wawancara.
Pendekatan bukan selera; ia ditentukan oleh jenis RQ yang sudah dirumuskan di P5.
Empat Metode Dawson — Riset Komputasi
Menurut Dawson (2009):
- Eksperimen: Memanipulasi variabel bebas dan mengukur dampaknya pada variabel terikat dalam kondisi terkendali.
- Survei: Mengumpulkan data dari banyak responden melalui kuesioner atau wawancara terstruktur.
- Studi Kasus: Menyelidiki satu atau beberapa kasus nyata secara mendalam dalam konteks aslinya.
- Action Research: Peneliti terlibat langsung memperbaiki praktik di organisasi, lalu merefleksikan hasilnya.
Penekanan Dawson: satu proyek dapat memakai lebih dari satu metode, asalkan setiap metode menjawab sub-RQ yang jelas.
Metode Eksperimen — Kendalikan, Ubah, Ukur
Komponen wajib:
- Variabel bebas: yang diubah, misalnya arsitektur model.
- Variabel terikat: yang diukur, misalnya mAP, latensi.
- Variabel kontrol: yang dijaga tetap, misalnya data, epoch, perangkat.
- Baseline: pembanding yang adil.
- Pengulangan: beberapa seed / run.
Studi kasus berjalan di slide:
- Bebas: YOLO-n dengan vs tanpa modul objek kecil.
- Terikat: mAP@0,5 untuk objek kecil; latensi (ms).
- Kontrol: dataset, split, resolusi input, Jetson Orin Nano.
- Ulangan: 5 seed; uji statistik.
Design Science Research — Riset Berbasis Artefak
Enam aktivitas DSRM menurut Peffers et al. (2007):
- Identifikasi masalah →
- Tujuan solusi →
- Desain & pengembangan →
- Demonstrasi →
- Evaluasi →
- Komunikasi
Kapan cocok:
- Kontribusi utama berupa artefak: sistem, model, metode, framework.
- RQ berjenis desain/rekayasa (P5).
- Paling umum untuk TA Informatika.
Syarat disebut riset:
- Artefak menjawab masalah nyata dengan celah di pustaka.
- Ada evaluasi rigor terhadap kriteria terukur.
- Ada pengetahuan yang dapat dibagikan (Hevner et al., 2004).
Survei & Studi Kasus — Dari Pengguna Nyata
Survei:
- Menjangkau banyak responden dengan cepat.
- Instrumen baku lebih kuat: SUS (Brooke, 1996), TAM, UEQ.
- Perhatikan ukuran sampel dan keterwakilan.
- Uji coba kuesioner sebelum disebar.
Studi Kasus:
- Menggali satu konteks secara mendalam, misalnya satu UMKM, satu puskesmas.
- Data dari wawancara, observasi, dokumen, log.
- Kekuatan: kaya konteks; kelemahan: generalisasi terbatas.
- Tulis keterbatasan ini secara jujur (P5).
Memilih Metode Dari RQ — Peta Keputusan
| Jenis RQ (P5) | Metode Utama | Data / Bukti | Contoh TA |
|---|---|---|---|
| Komparatif / kausal | Eksperimen | Metrik kinerja berulang | Membandingkan model deteksi |
| Desain / rekayasa | Design science + eksperimen | Metrik artefak vs kebutuhan | Merancang sistem antrean klinik |
| Relasional | Survei / analisis data sekunder | Data numerik banyak sampel | Akses LMS vs nilai akhir |
| Deskriptif | Survei, analisis log, studi kasus | Statistik deskriptif, pola | Pola serangan di log server |
| Eksploratif / “mengapa” | Studi kasus, wawancara | Transkrip, catatan observasi | Alasan UMKM menolak aplikasi kasir |
Jika metode tidak dapat dipetakan ke RQ mana pun, salah satunya perlu direvisi — biasanya RQ-nya.
3. Jenis & Teknik Data
Peta Data Dua Sumbu — Sumber × Bentuk
- Primer = Anda kumpulkan sendiri untuk RQ ini.
- Sekunder = sudah dikumpulkan pihak lain untuk tujuan lain.
| Kuantitatif | Kualitatif | |
|---|---|---|
| Primer | Hasil eksperimen sendiri, skor SUS, waktu tugas, log sistem yang Anda bangun. | Transkrip wawancara, catatan observasi, umpan balik terbuka. |
| Sekunder | Open dataset (COCO, UCI), data BPS, data API publik. | Ulasan aplikasi, unggahan forum, dokumen kebijakan. |
Latihan: Tentukan Kuadran — Diskusi Dua Menit
Enam data yang harus ditentukan sumber dan bentuknya (rincian lengkap ada di bagian Tugas / Worksheet / Latihan):
- Waktu inferensi model diukur di laptop Anda
- Komentar terbuka pengguna setelah uji coba aplikasi
- Dataset ulasan produk dari Hugging Face
- Rekaman wawancara dengan admin jaringan kampus
- Data curah hujan harian dari portal data pemerintah
- Citra UAV yang Anda ambil sendiri lalu dianotasi
Catatan: satu TA sering memakai lebih dari satu kuadran — misalnya dataset publik untuk pelatihan + data primer lokal untuk pengujian.
Kotak Peralatan Data — Enam Teknik Praktis
| Teknik | Kuadran | Cocok untuk | Upaya |
|---|---|---|---|
| Eksperimen & benchmark | Primer–kuantitatif | Membandingkan algoritma, model, konfigurasi | Sedang–tinggi |
| Survei & kuesioner | Primer–kuantitatif / kualitatif | Evaluasi UX, penerimaan teknologi | Sedang |
| Wawancara & observasi | Primer–kualitatif | Kebutuhan, alur kerja, alasan | Sedang |
| Log & telemetri sistem | Primer–kuantitatif | Perilaku pengguna nyata, kinerja jaringan | Rendah–sedang |
| Open dataset | Sekunder–kuantitatif | ML, data science, benchmark | Rendah |
| API & web scraping | Sekunder | Data media sosial, harga, ulasan | Sedang–tinggi |
Eksperimen & Benchmarking — Cara Praktis
Rancangan:
- Tetapkan metrik sebelum menjalankan eksperimen.
- Pilih baseline yang relevan dan terbaru (matriks SotA).
- Kunci lingkungan: versi pustaka, perangkat keras, seed.
- Ulangi dan laporkan rerata ± simpangan baku.
Yang selalu dicatat:
- Spesifikasi perangkat keras.
- File konfigurasi setiap run.
- Commit Git kode yang dipakai.
- Waktu eksekusi dan memori.
Prinsipnya: eksperimen yang tidak dapat diulang oleh orang lain — atau oleh Anda sendiri bulan depan — bukan bukti.
Survei, Wawancara, Observasi — Data Dari Manusia
- Survei: Instrumen baku lebih baik daripada buatan sendiri; skala Likert konsisten; pilot ke 5 orang dulu.
- Wawancara: Pedoman semi-terstruktur; rekam dengan izin; transkrip lalu kodekan tema.
- Observasi: Amati tugas nyata pengguna; catat waktu, kesalahan, kebingungan; think-aloud bila perlu.
Bias yang sering terjadi:
- Responden hanya teman satu angkatan.
- Pertanyaan menggiring, misalnya “Apakah aplikasi ini sangat membantu?”
- Peneliti sendiri yang menjadi moderator sekaligus penilai.
API vs Web Scraping — Menambang Data Daring
API resmi:
- Data terstruktur (JSON).
- Ada aturan pakai dan kuota jelas.
- Lebih stabil dan lebih etis.
- Pilihan pertama jika tersedia.
Web scraping:
- Mengambil dari halaman HTML.
- Rapuh: struktur situs berubah.
- Wajib cek
robots.txtdan Terms of Service. - Beri jeda antar-permintaan; jangan membebani server.
Peringatan: data yang dapat diakses publik belum tentu boleh dikumpulkan dan dipublikasikan ulang — bedakan “terlihat” dengan “diizinkan”.
4. Open Dataset
Mengapa Open Dataset? — Kelebihan dan Jebakan
Kelebihan:
- Hemat waktu pengumpulan.
- Dapat dibandingkan langsung dengan studi lain.
- Mendukung reproduksibilitas.
- Sering sudah beranotasi dan terdokumentasi.
Jebakan:
- Tidak cocok dengan konteks lokal RQ Anda.
- Label salah, duplikat, atau bias.
- Lisensi melarang penggunaan tertentu.
- Sudah “jenuh”: hasil SotA sulit dilampaui.
Pola umum yang kuat: open dataset untuk pelatihan dan pembanding + data lokal kecil untuk menguji generalisasi pada konteks Anda.
Repositori Open Dataset — Titik Awal Pencarian
| Repositori | Keunggulan | Perhatikan |
|---|---|---|
| Hugging Face Datasets | NLP, visi, audio; dapat dimuat langsung via pustaka datasets |
Kualitas bervariasi; cek dataset card |
| Kaggle Datasets | Sangat banyak domain; ada notebook contoh | Banyak unggahan ulang tanpa sumber asli |
| UCI ML Repository | Benchmark klasik tabular, terdokumentasi | Ukuran relatif kecil |
| Zenodo | Data riset dengan DOI permanen | Pencarian kurang terkurasi |
| OpenML | Dataset + tugas + hasil eksperimen terstandar | Fokus tabular |
| Google Dataset Search | Mesin pencari lintas repositori | Hanya indeks, cek sumber asli |
| Portal Satu Data Indonesia (data.go.id), BPS | Data pemerintah dan statistik Indonesia | Format dan pembaruan beragam |
Dataset Per Domain — Contoh Rujukan Umum
- Visi Komputer: ImageNet, COCO; VisDrone (citra drone); ChestX-ray8 (medis).
- Bahasa & Teks: IndoNLU (benchmark Indonesia); SmSA (sentimen); NusaX (bahasa daerah).
- Sinyal & Sensor: PhysioNet, MIT-BIH (EKG); UCI HAR (aktivitas); Sleep-EDF (tidur).
Cara tercepat menemukan dataset yang diakui: lihat kolom Dataset di matriks SotA P4. Dataset yang dipakai studi pembanding adalah kandidat utama Anda.
Strategi Pencarian Dataset — Terarah, Bukan Acak
Langkah:
- Mulai dari paper pembanding di matriks SotA.
- Susun query: tugas + modalitas + domain + “dataset”.
- Telusuri repositori dan Google Dataset Search.
- Lacak ke sumber asli (paper/halaman resmi), bukan unggahan ulang.
- Catat kandidat di kartu evaluasi.
Contoh query di slide:
"small object detection" UAV datasetrice pest detection drone imagesIndonesian sentiment dataset informalnetwork intrusion dataset IoT
Validasi Kualitas Dataset — Sebelum Dipakai
Kualitas isi:
- Ukuran cukup untuk latih dan uji?
- Akurasi label — cek sampel acak manual.
- Keseimbangan kelas dan nilai hilang.
- Duplikat atau hampir-duplikat.
- Bias sumber: lokasi, waktu, demografi.
Kelengkapan dokumentasi:
- Siapa membuat, untuk apa, dan bagaimana?
- Protokol anotasi dan kesepakatan antar-anotator.
- Split resmi latih/validasi/uji.
- Paper rujukan yang wajib disitasi.
- Kerangka: Datasheets for Datasets (Gebru et al., 2021).
Aturan emas: baca README dan paper asli dataset sebelum menulis satu baris kode.
Lisensi Dataset — Boleh Dipakai Untuk Apa?
| Lisensi | Makna Singkat | Riset TA | Komersial |
|---|---|---|---|
| CC0 / Public Domain | Bebas dipakai tanpa syarat | ✓ | ✓ |
| CC BY 4.0 | Bebas dengan atribusi | ✓ | ✓ |
| CC BY-NC | Atribusi, non-komersial | ✓ | – |
| CC BY-SA | Atribusi, turunan harus berlisensi sama | ✓ | (sesuai lisensi turunan) |
| Research-only / kustom | Sesuai perjanjian penyedia | (sesuai perjanjian) | – |
| Tanpa lisensi | Hak cipta tetap pada pemilik | – | – |
Catatan khusus: data kesehatan seperti MIMIC mensyaratkan akses terkredensial dan pelatihan etika sebelum diunduh — rencanakan waktunya.
Kartu Evaluasi Dataset — Satu Kartu Per Kandidat
Contoh isian di slide untuk VisDrone:
| Isian | Contoh: VisDrone |
|---|---|
| Sumber asli | Paper + GitHub resmi penyusun |
| Modalitas & ukuran | Citra & video drone; ribuan citra beranotasi |
| Label | Kotak pembatas 10 kelas objek |
| Split resmi | Ada (latih / validasi / uji) |
| Lisensi | Cek halaman resmi sebelum dipakai |
| Relevansi RQ | Objek kecil ✓, hama – |
Keputusan dari contoh tersebut:
- Pakai sebagai pra-latih untuk objek kecil dari udara.
- Tidak cukup untuk hama → perlu data lokal primer.
- Kebutuhan ini menjustifikasi kontribusi dataset di P5.
Alur Kurasi Data — Dari Unduhan ke Siap Pakai
Alur: Unduh & catat versi → Eksplorasi (EDA) → Bersihkan & standardisasi → Split latih/val/uji → Dokumentasi data card
Prinsip kurasi:
- Folder
raw/tidak pernah diubah. - Setiap transformasi = skrip, bukan edit manual.
- Catat checksum dan versi sumber.
Struktur folder:
data/raw/— unduhan aslidata/interim/— hasil pembersihandata/processed/— siap latihdata/README.md— data card
Split & Kebocoran Data — Ancaman Validitas Terbesar
| Sumber Kebocoran | Pencegahan |
|---|---|
| Citra dari video/lokasi yang sama ada di latih dan uji. | Group split: per pasien, per lokasi, per sesi. |
| Normalisasi dihitung dari seluruh data. | Hitung statistik pra-proses hanya dari data latih. |
| Data masa depan dipakai memprediksi masa lalu. | Temporal split untuk data deret waktu. |
| Tuning hyperparameter pada data uji. | Kunci data uji sampai evaluasi akhir. |
Rujukan di slide: Kapoor & Narayanan (2023) menemukan kebocoran data sebagai penyebab utama klaim ML yang tidak dapat direproduksi di berbagai bidang.
Mengelola Data Riset — Prinsip FAIR
Prinsip FAIR (Wilkinson et al., 2016):
- Findable: Punya identitas tetap (DOI) dan metadata yang dapat dicari.
- Accessible: Dapat diunduh melalui protokol terbuka yang jelas.
- Interoperable: Format standar (CSV, COCO JSON, WAV), bukan format tertutup.
- Reusable: Lisensi jelas + dokumentasi asal-usul data.
Praktik harian:
- Cadangan di dua lokasi (lokal + cloud kampus).
- Versi data dengan DVC atau catatan versi.
Merilis dataset Anda:
- Unggah ke Zenodo/Hugging Face dengan DOI.
- Sertakan data card, lisensi, dan cara sitasi.
5. Etika & Protokol
Etika Data Manusia — Empat Prinsip Dasar
- Persetujuan (Consent): Jelaskan tujuan dengan bahasa sederhana; minta persetujuan eksplisit; beri hak mengundurkan diri.
- Privasi & Anonimitas: Pakai ID anonim; hapus informasi yang dapat mengidentifikasi individu.
- Minimalisasi: Kumpulkan hanya data yang benar-benar dibutuhkan untuk menjawab RQ.
- Keamanan: Simpan terenkripsi; batasi akses; hapus data sensitif sesuai rencana.
Konteks hukum: Indonesia memiliki UU No. 27 Tahun 2022 tentang Pelindungan Data Pribadi. Data wajah, suara, lokasi, dan kesehatan termasuk data pribadi — termasuk dalam riset mahasiswa.
Kapan Perlu Izin? — Cek Sebelum Mengumpulkan
| Situasi | Izin / Langkah |
|---|---|
| Melibatkan partisipan manusia (survei, uji pengguna) | Lembar persetujuan; konsultasi pembimbing terkait telaah etik |
| Data kesehatan atau anak-anak | Telaah komisi etik penelitian; kerja sama institusi |
| Data dari instansi / perusahaan | Surat izin resmi dan perjanjian penggunaan data |
| Menerbangkan drone, merekam di ruang publik | Izin lokasi / pemilik lahan; patuhi aturan penerbangan |
| Scraping situs / media sosial | Cek ToS, robots.txt; anonimkan akun pengguna |
Mengurus izin bisa memakan minggu hingga bulan — masukkan ke jadwal TA sejak proposal.
Protokol Pengumpulan Data — Isi Bab 3 Proposal
Delapan elemen:
- Tujuan & sub-RQ yang dilayani.
- Sumber / populasi & kriteria inklusi.
- Instrumen (alat, kuesioner, sensor).
- Prosedur langkah demi langkah.
- Jumlah target & justifikasinya.
- Kontrol kualitas (anotasi, pilot).
- Penyimpanan & keamanan.
- Risiko & rencana cadangan.
Uji protokol: protokol yang baik dapat dijalankan oleh orang lain dan menghasilkan data yang setara. Lakukan pilot kecil (misalnya 50 citra atau 5 responden) sebelum pengumpulan penuh.
Contoh Protokol Ringkas — Studi Kasus Berjalan
Rincian contoh ini ada di bagian Contoh / Studi Kasus dari Slide.
6. Studi Kasus & Penutup
Bedah Tiga Skripsi — Metode dan Data
Rincian perbandingan tiga skripsi (AI/Data Science, IMK/UX, Sistem/Jaringan) ada di bagian Contoh / Studi Kasus dari Slide.
Aktivitas: Berburu Dataset — Dua Puluh Menit
Misi dan bonus aktivitas ini dirinci persis di bagian Tugas / Worksheet / Latihan.
Ringkasan & Jembatan — Menuju Ujian Tengah Semester
Intisari Pertemuan 7:
- Metode dipilih dari jenis RQ: eksperimen, design science, survei, studi kasus, atau kombinasinya.
- Data dipetakan pada dua sumbu — primer/sekunder × kuantitatif/kualitatif — dan dikumpulkan dengan teknik yang sesuai.
- Open dataset wajib divalidasi (kualitas, lisensi, kebocoran), dikurasi dengan skrip, dan dikelola menurut prinsip FAIR — semuanya dalam protokol yang etis.
Preview Pertemuan 8: UTS — evaluasi pemahaman metodologi, kajian pustaka, dan perumusan masalah (materi P1–P7).
Referensi Perkuliahan
- Brooke, J. (1996). SUS: A “quick and dirty” usability scale. Dalam P. W. Jordan et al. (Eds.), Usability Evaluation in Industry (pp. 189–194). Taylor & Francis.
- Creswell, J. W., & Creswell, J. D. (2018). Research Design: Qualitative, Quantitative, and Mixed Methods Approaches (5th ed.). SAGE.
- Dawson, C. W. (2009). Projects in Computing and Information Systems: A Student’s Guide (2nd ed.). Addison-Wesley.
- Gebru, T., et al. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86–92.
- Hevner, A. R., March, S. T., Park, J., & Ram, S. (2004). Design science in information systems research. MIS Quarterly, 28(1), 75–105.
- Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), 100804.
- Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45–77.
- Republik Indonesia. (2022). Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi.
- Wilkinson, M. D., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018.
Slide ditutup dengan ucapan terima kasih dari Tim Dosen Metodologi Penelitian, Program Studi Teknik Informatika, ITERA.
Istilah & Konsep Kunci
| Istilah | Definisi Singkat |
|---|---|
| Pendekatan kuantitatif | Pendekatan yang mengukur dengan angka, menguji hipotesis / membandingkan. |
| Pendekatan kualitatif | Pendekatan untuk memahami makna dan alasan, menggali pengalaman dan konteks. |
| Pendekatan campuran | Penggabungan kuantitatif dan kualitatif — angka menjawab “seberapa”, kata menjawab “mengapa”. |
| Eksperimen (Dawson) | Metode yang memanipulasi variabel bebas dan mengukur dampaknya pada variabel terikat dalam kondisi terkendali. |
| Survei (Dawson) | Metode pengumpulan data dari banyak responden melalui kuesioner atau wawancara terstruktur. |
| Studi kasus (Dawson) | Penyelidikan satu/beberapa kasus nyata secara mendalam dalam konteks aslinya. |
| Action research (Dawson) | Peneliti terlibat langsung memperbaiki praktik di organisasi, lalu merefleksikan hasilnya. |
| Variabel bebas | Variabel yang diubah dalam eksperimen, misalnya arsitektur model. |
| Variabel terikat | Variabel yang diukur dalam eksperimen, misalnya mAP atau latensi. |
| Variabel kontrol | Variabel yang dijaga tetap selama eksperimen, misalnya data, epoch, perangkat. |
| Baseline | Pembanding yang adil dalam eksperimen. |
| Design Science Research (DSR) | Riset berbasis artefak dengan enam aktivitas DSRM Peffers et al.: identifikasi masalah, tujuan solusi, desain & pengembangan, demonstrasi, evaluasi, komunikasi. |
| Data primer | Data yang dikumpulkan sendiri oleh peneliti untuk RQ ini. |
| Data sekunder | Data yang sudah dikumpulkan pihak lain untuk tujuan lain. |
| SUS | Instrumen baku usability dari Brooke (1996); contoh instrumen survei baku bersama TAM dan UEQ. |
| Open dataset | Dataset yang sudah dikumpulkan pihak lain dan tersedia untuk dipakai, misalnya COCO dan UCI — termasuk data sekunder kuantitatif. |
| Kartu evaluasi dataset | Formulir satu kartu per kandidat dataset berisi sumber asli, modalitas & ukuran, label, split resmi, lisensi, dan relevansi RQ, yang berujung pada keputusan pakai / tidak. |
| Datasheets for Datasets | Kerangka dokumentasi dataset dari Gebru et al. (2021) untuk menilai kelengkapan dokumentasi. |
| Kurasi data | Alur mengubah unduhan menjadi data siap pakai: unduh & catat versi, EDA, bersihkan & standardisasi, split, dokumentasi data card — dengan folder raw/ tidak pernah diubah dan setiap transformasi berupa skrip. |
| Kebocoran data (data leakage) | Masuknya informasi data uji / masa depan ke proses latih atau pra-proses sehingga validitas dan reproduksibilitas klaim runtuh; dicegah dengan group split, temporal split, statistik hanya dari data latih, dan mengunci data uji. |
| Group split | Pembagian data berdasarkan kelompok (per pasien, per lokasi, per sesi) agar kelompok yang sama tidak tersebar di latih dan uji. |
| Temporal split | Pembagian data berdasarkan waktu untuk data deret waktu, agar data masa depan tidak dipakai memprediksi masa lalu. |
| Prinsip FAIR | Prinsip pengelolaan data dari Wilkinson et al. (2016): Findable, Accessible, Interoperable, Reusable. |
| Consent (persetujuan) | Persetujuan eksplisit dari partisipan setelah tujuan dijelaskan dengan bahasa sederhana, disertai hak mengundurkan diri. |
| Minimalisasi data | Prinsip etika untuk hanya mengumpulkan data yang benar-benar dibutuhkan untuk menjawab RQ. |
| Protokol pengumpulan data | Dokumen isi Bab 3 proposal berisi delapan elemen: tujuan & sub-RQ, sumber/populasi & kriteria inklusi, instrumen, prosedur, jumlah target & justifikasi, kontrol kualitas, penyimpanan & keamanan, risiko & rencana cadangan. |
| Cohen’s kappa | Ukuran kesepakatan antar-anotator yang dipakai pada contoh protokol di slide, dengan target ≥ 0,7 pada 10% sampel. |
| Matriks SotA | Matriks state-of-the-art dari P4; kolom Dataset-nya menjadi cara tercepat menemukan dataset yang diakui, dan baseline terbaru dipilih darinya. |
Contoh / Studi Kasus dari Slide
1. Studi Kasus Berjalan — Eksperimen YOLO dan Drone Hama
Contoh yang dipakai berulang sepanjang slide:
- Eksperimen YOLO: variabel bebasnya YOLO-n dengan vs tanpa modul objek kecil; variabel terikatnya mAP@0,5 objek kecil dan latensi (ms); variabel kontrolnya dataset, split, resolusi input, dan Jetson Orin Nano; ulangannya 5 seed dengan uji statistik.
- Kartu evaluasi VisDrone: VisDrone dipakai sebagai pra-latih untuk objek kecil dari udara, tetapi tidak cukup untuk hama sehingga perlu data lokal primer — kebutuhan ini menjustifikasi kontribusi dataset di P5.
- Contoh protokol ringkas untuk studi yang sama:
| Elemen | Rencana |
|---|---|
| Tujuan | Data uji lokal untuk Sub-RQ 1 (mAP objek kecil) dan Sub-RQ 3 (ablation). |
| Sumber | Sawah di 2 kabupaten mitra; ketinggian terbang 10–20 m; musim tanam berjalan. |
| Instrumen | Drone kamera 4K; GPS; pedoman anotasi 3 kelas hama. |
| Prosedur | Terbang terjadwal pagi; ekspor citra; anotasi oleh 2 anotator. |
| Jumlah | ≥ 1.500 citra; dihitung dari kebutuhan uji per kelas. |
| Kualitas | Cohen’s kappa antar-anotator ≥ 0,7 pada 10% sampel; pilot 50 citra. |
| Etika & izin | Izin pemilik lahan; tidak merekam wajah/rumah; data mentah di server prodi. |
| Risiko | Cuaca → jadwal cadangan; data kurang → augmentasi + VisDrone pra-latih. |
2. Bedah Tiga Skripsi — Metode dan Data
| Aspek | AI / Data Science | IMK / UX | Sistem / Jaringan |
|---|---|---|---|
| RQ | Model mana paling akurat untuk sentimen ulasan informal? | Apakah redesain menurunkan waktu tugas pengguna lansia? | Seberapa efektif QoS HTB menjaga throughput e-learning? |
| Metode | Eksperimen | Eksperimen pengguna + wawancara | Eksperimen testbed |
| Data | Open dataset + 500 ulasan lokal beranotasi | Waktu tugas, skor SUS, transkrip | Throughput, latensi, packet loss |
| Kuadran | Sekunder + primer kuantitatif | Primer kuantitatif + kualitatif | Primer kuantitatif |
| Etika | Anonimkan nama akun | Consent tertulis partisipan | Uji di lab, bukan jaringan produksi |
3. Contoh Lain yang Disebut di Slide
- Contoh TA pada peta keputusan: membandingkan model deteksi (komparatif/kausal), merancang sistem antrean klinik (desain/rekayasa), akses LMS vs nilai akhir (relasional), pola serangan di log server (deskriptif), alasan UMKM menolak aplikasi kasir (eksploratif/“mengapa”).
- Contoh query pencarian dataset:
"small object detection" UAV dataset,rice pest detection drone images,Indonesian sentiment dataset informal,network intrusion dataset IoT. - Contoh pertanyaan menggiring yang harus dihindari: “Apakah aplikasi ini sangat membantu?”
- Contoh pilot kecil: 50 citra atau 5 responden sebelum pengumpulan penuh; untuk survei, pilot kuesioner ke 5 orang dulu.
Tugas / Worksheet / Latihan
Di slide disebutkan dua aktivitas latihan:
1. Latihan: Tentukan Kuadran — Diskusi Dua Menit
Tentukan sumber (primer/sekunder) dan bentuk (kuantitatif/kualitatif) untuk enam data berikut:
| Data | Sumber | Bentuk |
|---|---|---|
| Waktu inferensi model diukur di laptop Anda | ? | ? |
| Komentar terbuka pengguna setelah uji coba aplikasi | ? | ? |
| Dataset ulasan produk dari Hugging Face | ? | ? |
| Rekaman wawancara dengan admin jaringan kampus | ? | ? |
| Data curah hujan harian dari portal data pemerintah | ? | ? |
| Citra UAV yang Anda ambil sendiri lalu dianotasi | ? | ? |
2. Aktivitas: Berburu Dataset — Dua Puluh Menit
Misi:
- Dari matriks SotA Anda, catat dataset yang dipakai studi pembanding.
- Telusuri minimal dua repositori (Hugging Face, Kaggle, UCI, Zenodo, OpenML).
- Temukan 3 kandidat dataset untuk RQ Anda.
- Isi kartu evaluasi untuk setiap kandidat.
- Putuskan: pakai, pakai sebagian, atau perlu data primer?
Bonus: jika perlu data primer, tulis draf protokol dengan delapan elemen — ini akan langsung menjadi bahan Bab 3 proposal.