Ekstraksi, Sintesis & Matriks State-of-the-Art

Gambaran Umum

Pertemuan ini mengajarkan cara mengubah koleksi paper yang sudah dikumpulkan pada pertemuan sebelumnya menjadi pemahaman yang bisa dipakai untuk penelitian: membaca paper secara strategis, mengekstrak informasi kuncinya dengan format yang seragam, menilai paper secara kritis, lalu mensintesis banyak paper sekaligus. Hasil akhirnya adalah artefak nyata berupa Matriks State-of-the-Art, paragraf sintesis, dan pernyataan posisi riset yang menunjukkan celah (gap) serta posisi kontribusi penelitian sendiri terhadap pustaka yang ada.

Poin Kunci untuk Diingat

• Tinjauan pustaka lahir dari pengolahan, bukan pengumpulan: punya 15–30 paper di Zotero baru menjadi tinjauan pustaka setelah dibaca strategis, diekstrak, dievaluasi, dan disintesis.
• Baca paper dengan tiga lintasan Keshav: saring dengan lima C pada lintasan 1 (5–10 menit), pahami isi pada lintasan 2 (≤ 1 jam), dan lakukan lintasan 3 (4–5 jam) hanya untuk 3–5 paper inti pembanding langsung.
• Ekstrak tujuh komponen dari setiap paper — masalah & tujuan, kontribusi, metode, dataset, metrik & hasil, keterbatasan, future work — memakai formulir seragam yang selalu disertai bukti halaman; angka tanpa konteks dataset dan metrik tidak dapat dibandingkan.
• Ekstraksi (mencatat fakta, objektif) berbeda dari evaluasi kritis (menilai kualitas dengan empat pertanyaan: argumen & signifikansi, metodologi, bukti & hasil, kontribusi), yang hasilnya berupa kolom kekuatan, kelemahan, dan relevansi.
• Waspadai ancaman validitas khas riset informatika: data leakage, baseline lemah, single run tanpa uji statistik, metrik yang tidak sesuai, serta masalah reproduksibilitas (kode/bobot tidak dirilis, hyperparameter tidak dilaporkan).
• Sintesis yang baik bersifat concept-centric, bukan author-centric: cari konsensus, kontradiksi, tren waktu, dan celah; tulis paragraf dengan struktur klaim–bukti–kontras–celah dan rujuk minimal 3 sumber per paragraf.
• Matriks SotA memuat 8–15 paper paling relevan (mayoritas 5 tahun terakhir), kolom deskriptif plus 3–6 dimensi posisi, dan wajib ditutup baris “Penelitian Ini”; gap yang baik — kombinasi, data/konteks, evaluasi, atau kontradiksi — selalu bisa ditunjuk di matriks dan menjadi dasar pernyataan posisi riset.

Isi per Bagian

1. Pendahuluan

Capaian Pembelajaran

Setelah pertemuan ini, mahasiswa diharapkan mampu:

1. Mengekstrak dan mensintesis temuan dari publikasi ilmiah terdahulu secara kritis.
2. Menyusun Matriks State-of-the-Art untuk memposisikan kontribusi penelitiannya terhadap pustaka yang sudah ada.

Capaian ini terkait dengan dua CPMK:

• CPMK1001 — sikap ilmiah dalam merancang solusi teknologi informasi, yaitu keputusan riset yang berbasis bukti pustaka.
• CPMK1004 — sikap ilmiah dalam mendokumentasikan solusi, karena matriks dan sintesis menjadi isi Bab 2 proposal.

Kilas Balik & Jembatan: Dari Koleksi ke Pemahaman

Pertemuan 3 dan pertemuan ini dibedakan sebagai dua pekerjaan yang berbeda:

• Pertemuan 3 (mengumpulkan): menyusun query Boolean tiga pilar (objek, metode, konteks); menelusuri IEEE Xplore, ACM DL, Scopus, dan Semantic Scholar; mengaudit kredibilitas sumber (kuartil, CORE, jurnal predator); serta merapikan koleksi di Zotero lengkap dengan BibTeX.
• Hari ini (memahami): membaca secara strategis tanpa harus membaca semua kata; mengekstrak informasi kunci secara seragam; menilai kekuatan dan kelemahan tiap studi; serta mensintesis lintas paper menjadi matriks State-of-the-Art (SotA).

Pesan utamanya: memiliki banyak PDF di Zotero belum sama dengan memiliki tinjauan pustaka. Tinjauan pustaka lahir dari pengolahan, bukan dari pengumpulan.

Jebakan Membaca Pasif

Slide menyoroti pola “banyak baca, sedikit ingat” dengan gejala dan akar masalah sebagai berikut:

• Gejala umum:
• Isi paper sudah lupa setelah satu minggu.
• Sulit membandingkan satu paper dengan paper lain.
• Tinjauan pustaka hanya berbentuk daftar ringkasan yang menyebut penulis satu per satu secara berurutan.
• Tidak bisa menjawab pertanyaan tentang apa yang belum diteliti.
• Akar masalah:
• Membaca tanpa pertanyaan pemandu.
• Catatan tidak memakai format yang seragam.
• Tidak ada tahap penilaian dan perbandingan antar-paper.
• Solusi yang ditawarkan hari ini: alur kerja ekstraksi → evaluasi → sintesis yang menghasilkan artefak nyata, yaitu matriks.

Alur Kerja Hari Ini: Lima Tahap Berurutan

Alurnya bergerak dari koleksi menuju produk akhir:

Koleksi Zotero (dari Pertemuan 3) → Membaca Strategis → Ekstraksi Informasi → Evaluasi Kritis → Sintesis & Matriks SotA

• Input: 15–30 paper terkurasi dari Worksheet 3, lengkap dengan metadata di Zotero.
• Proses: membaca dengan tiga lintasan, mengisi formulir ekstraksi, dan memberi penilaian kritis untuk setiap paper.
• Output: Matriks State-of-the-Art, paragraf sintesis, dan pernyataan posisi riset.

2. Membaca Paper Strategis

Anatomi Paper Informatika: Di Mana Informasinya?

Setiap bagian paper dicari untuk informasi yang berbeda, dengan pertanyaan pemandu yang berbeda pula:

Bagian Paper	Informasi yang Dicari	Pertanyaan Pemandu
Abstract	Masalah, metode, dan hasil utama	Apakah relevan dengan topik saya?
Introduction	Konteks, gap, dan daftar kontribusi	Apa klaim kebaruannya?
Related Work	Posisi terhadap studi lain	Siapa pembanding utamanya?
Method	Model, algoritma, dan desain sistem	Bagaimana masalah dipecahkan?
Experiments	Dataset, baseline, metrik, dan setup	Apakah pengujiannya adil?
Results & Discussion	Angka utama, ablation, dan analisis	Apakah hasil mendukung klaim?
Conclusion	Limitations dan future work	Celah apa yang masih tersisa?

Metode Tiga Lintasan — Keshav (2007)

Paper tidak dibaca dengan satu cara yang sama, melainkan melalui tiga lintasan dengan kedalaman yang meningkat:

• Lintasan 1 (5–10 menit): membaca judul, abstrak, pendahuluan, judul-judul subbab, kesimpulan, dan sekilas melihat daftar pustaka. Hasilnya adalah keputusan: lanjut membaca atau berhenti, berdasarkan lima C (lihat sub-bagian berikutnya).
• Lintasan 2 (≤ 1 jam): membaca isi dengan teliti sambil mencermati gambar, tabel, dan grafik; bukti matematis boleh dilewati. Hasilnya, pembaca mampu meringkas paper tersebut kepada orang lain.
• Lintasan 3 (4–5 jam): semacam rekonstruksi virtual — membayangkan diri menulis ulang paper dan mengulang eksperimennya. Hasilnya adalah pemahaman atas asumsi yang tersembunyi dan kelemahan paper.

Catatan penting: tidak semua paper perlu sampai lintasan 3. Lintasan terdalam ini hanya dilakukan pada 3–5 paper inti yang menjadi pembanding langsung penelitian sendiri.

Lintasan Pertama: Lima C — Saring Sebelum Membaca

Pada lintasan pertama, paper dinilai dengan lima pertanyaan yang semuanya berawalan C:

1. Category — paper ini jenis apa: metode baru, analisis, survei, atau sistem?
2. Context — terkait dengan paper apa saja dan berpijak pada teori apa?
3. Correctness — apakah asumsi-asumsinya tampak masuk akal?
4. Contributions — apa kontribusi utamanya?
5. Clarity — apakah paper ditulis dengan jelas?

Aturan keputusannya:

• Tidak relevan → beri tag skip di Zotero.
• Relevan, tetapi bukan inti → cukup dibaca sampai lintasan 2.
• Pembanding langsung → lanjutkan ke lintasan 3.

Dengan lima C, sekitar 30 paper dapat disaring dalam satu sesi kerja (kurang lebih 3–4 jam).

Membaca Tabel Hasil: Angka Butuh Konteks

Saat membaca hasil eksperimen, yang harus dicek adalah:

• Baseline: siapa pembandingnya, dan seberapa baru pembanding tersebut.
• Dataset & split: apakah sama dengan yang dipakai paper lain.
• Metrik: apakah definisi metriknya sama (misalnya mAP, F1, akurasi).
• Ablation study: komponen mana yang benar-benar berpengaruh terhadap hasil.
• Biaya: jumlah parameter, FLOPs, latensi, dan perangkat keras yang dipakai.

Tanda-tanda yang perlu diwaspadai:

• Baseline yang lama atau dilatih dengan setelan yang lemah.
• Hanya angka tertinggi yang ditampilkan, tanpa variasi antar-run.
• Peningkatan yang sangat kecil (contoh di slide: +0,2%) diklaim signifikan tanpa uji statistik.
• Dataset yang dipakai berbeda dengan dataset pada paper yang dibandingkan.

Konsekuensinya untuk matriks: dua paper dengan metrik yang berbeda tidak bisa dibandingkan langsung, sehingga dataset dan metrik harus selalu dicatat di setiap baris matriks.

Anotasi Terstruktur di Zotero

Zotero dipakai sebagai alat manajemen referensi lanjutan dengan kode warna anotasi yang konsisten:

• Kuning — masalah dan research gap.
• Hijau — metode dan desain.
• Biru — dataset, metrik, dan hasil.
• Merah — keterbatasan / kelemahan.
• Ungu — future work dan ide.

Langkah mengubah anotasi menjadi catatan:

1. Sorot PDF di Zotero Reader dengan kode warna di atas.
2. Klik kanan item, lalu pilih Add Note from Annotations.
3. Catatan yang terbentuk otomatis memuat kutipan beserta nomor halamannya.
4. Tambahkan tag tematik (contoh di slide: lightweight, uav).

Karena kode warna yang sama dipakai di semua paper, tahap ekstraksi berikutnya tinggal menyalin isi berdasarkan warna.

3. Ekstraksi Informasi

Tujuh Komponen Kunci yang Wajib Diekstrak dari Setiap Paper

#	Komponen	Pertanyaan Ekstraksi
1	Masalah & tujuan	Masalah spesifik apa yang diselesaikan?
2	Kontribusi utama	Apa yang baru dibandingkan penelitian sebelumnya?
3	Metode / pendekatan	Algoritma, arsitektur, atau desain studi apa yang dipakai?
4	Dataset / objek	Data apa, berapa banyak, dari mana, dan apakah publik atau tidak?
5	Metrik & hasil	Diukur dengan apa, dan berapa angka utamanya?
6	Keterbatasan	Kelemahan apa yang diakui (atau tidak diakui) penulis?
7	Future work	Penelitian lanjutan apa yang disarankan?

Formulir Ekstraksi Data: Seragam, Ringkas, Terlacak

Prinsip penyusunan formulir ekstraksi:

• Kolom ditetapkan sebelum membaca (merujuk Kitchenham & Charters, 2007).
• Satu baris mewakili satu paper; satu sel berisi satu jenis informasi.
• Isi sel menggunakan kata kunci, bukan menyalin paragraf abstrak.
• Selalu sertakan bukti, berupa nomor halaman atau tabel asal informasi.

Di samping tujuh komponen di atas, formulir juga memuat kolom identitas:

• ID: citekey Better BibTeX (contoh di slide: vaswani2017attention).
• Venue & peringkat: misalnya Q1 / CORE A (hasil audit dari Pertemuan 3).
• Tahun dan jenis paper.
• Status baca: L1 / L2 / L3, sesuai lintasan baca yang sudah dilakukan.

Uji kualitasnya: formulir yang baik dapat diisi oleh dua orang berbeda dan menghasilkan isi yang hampir sama.

Contoh Ekstraksi Paper

Slide memberi contoh pengisian formulir untuk satu paper terkenal. Isi lengkap contoh ini dicantumkan pada bagian Contoh / Studi Kasus dari Slide di bawah.

Ekstraksi Berbantuan AI: Cepat, Tetapi Wajib Diverifikasi

AI boleh dipakai untuk mempercepat pengisian draf, dengan peran dan batas yang jelas:

• Peran yang tepat:
• Alat seperti Elicit, SciSpace, dan NotebookLM dapat dipakai untuk membuat draf isi kolom dari banyak PDF sekaligus.
• Gunakan prompt yang spesifik per kolom, misalnya meminta dataset dan metrik evaluasi yang dipakai beserta nomor halamannya.
• AI mempercepat pengisian draf, bukan menggantikan penilaian kritis.
• Protokol verifikasi:
• Setiap sel hasil AI wajib mempunyai bukti halaman.
• Cocokkan angka dengan tabel asli di PDF.
• Kolom keterbatasan dan relevansi diisi sendiri.
• Penggunaan AI diungkapkan sesuai kebijakan etika kelas.

Peringatannya: AI sering mengarang angka yang tampak masuk akal, dan satu angka yang salah di dalam matriks dapat menggugurkan argumen research gap yang dibangun.

4. Evaluasi Kritis

Ekstraksi vs Evaluasi: Mencatat vs Menilai

Dua pekerjaan ini dibedakan secara tegas:

• Ekstraksi informasi: tujuannya mencatat fakta dari paper; perannya seperti notulen/jurnalis; sifatnya objektif dan deskriptif; hasilnya berupa kolom-kolom fakta di matriks.
• Evaluasi kritis: tujuannya menilai kualitas dan validitas fakta; perannya seperti reviewer jurnal; sifatnya analitis dan berargumen; hasilnya berupa kolom kekuatan, kelemahan, dan relevansi.

Analoginya: ekstraksi seperti membaca resep dan daftar bahan, sedangkan evaluasi seperti mencicipi masakan lalu menilai mutunya.

Empat Pertanyaan Kunci Evaluasi Kritis

1. Argumen & signifikansi — Apakah masalahnya penting? Apakah klaimnya proporsional dan tidak berlebihan?
2. Metodologi — Apakah metode cocok dengan pertanyaan penelitian? Apakah ada bias data? Apakah dapat direplikasi?
3. Bukti & hasil — Apakah hasil mendukung kesimpulan? Apakah ada interpretasi alternatif?
4. Kontribusi — Apakah ini terobosan atau hanya inkremental? Apakah mengisi celah yang nyata?

Jawaban untuk tiap pertanyaan ditulis dalam satu kalimat. Kalimat-kalimat ini nantinya menjadi bahan paragraf tinjauan pustaka.

Ancaman Validitas Umum Khas Riset Informatika

Slide membagi ancaman ke dalam dua kelompok:

• Ancaman eksperimen:
• Data leakage — data uji ikut terlihat saat pelatihan atau tuning (dirujuk dari Kapoor & Narayanan, 2023).
• Baseline lemah — pembanding yang usang atau tidak di-tuning.
• Single run — hasil hanya dari satu kali jalan, tanpa variasi seed atau uji statistik.
• Metrik tidak sesuai — misalnya memakai akurasi pada data yang tidak seimbang.
• Ancaman reproduksibilitas:
• Kode dan bobot model tidak dirilis.
• Hyperparameter dan perangkat keras tidak dilaporkan.
• Dataset privat tanpa deskripsi yang memadai.
• Rujukan yang disebutkan: ML Reproducibility Checklist (Pineau et al., 2021).

Contoh Evaluasi Kritis

Slide melanjutkan contoh paper yang sama dari bagian ekstraksi, dan menambahkan tiga kolom penilaian — kekuatan, kelemahan, dan relevansi. Rinciannya ada pada bagian Contoh / Studi Kasus dari Slide di bawah. Tiga kolom inilah (kekuatan, kelemahan, relevansi) yang ditambahkan ke matriks ekstraksi.

5. Sintesis Literatur

Ringkasan vs Sintesis — Webster & Watson (2002)

Ada dua cara mengorganisasi tinjauan pustaka:

• Author-centric (dihindari): uraian disusun per penulis secara berurutan — satu studi dijelaskan, lalu studi berikutnya, dan seterusnya. Hasilnya hanya daftar ringkasan, dan pembaca harus menyimpulkan sendiri maknanya.
• Concept-centric (yang dituju): uraian disusun per konsep/tema. Beberapa studi dirujuk sekaligus untuk mendukung satu pernyataan tematik, sehingga gap terlihat jelas.

Contoh perbedaan kedua gaya ini (tentang deteksi objek) dicantumkan pada bagian Contoh / Studi Kasus dari Slide.

Matriks Konsep sebagai Alat Bantu Sintesis

Matriks konsep adalah tabel bantu sebelum menulis sintesis, dengan cara baca sebagai berikut:

• Kolom berisi konsep/tema penelitian; baris berisi paper.
• Setiap sel ditandai apakah paper tersebut memenuhi konsep itu: ya, sebagian, atau tidak.
• Kolom yang penuh menandakan konsensus di antara studi-studi.
• Kolom yang kosong menandakan calon gap.
• Kombinasi yang jarang muncul (contoh di slide: model ringan + objek kecil + uji di perangkat edge) menandakan peluang kontribusi.

Ilustrasi matriks konsep pada slide memakai Studi A–E yang fiktif untuk latihan, dengan tema contoh berupa detektor satu tahap, model ringan, objek kecil, dan uji edge.

Pola yang Dicari dalam Sintesis

Empat pola yang dicari ketika mensintesis banyak paper:

• Konsensus — temuan yang konsisten di banyak studi, yang menjadi dasar teori yang kuat.
• Kontradiksi — hasil yang saling bertentangan; perlu diselidiki apakah penyebabnya perbedaan dataset atau setup.
• Tren waktu — pergeseran metode dari tahun ke tahun (contoh di slide: CNN → Transformer).
• Celah — kombinasi konsep, data, atau konteks yang belum pernah diuji.

Pola-pola inilah yang menjadi judul subbab di Bab 2, bukan nama-nama penulis.

Menulis Paragraf Sintesis

Struktur paragraf sintesis terdiri dari empat langkah:

1. Klaim — pernyataan tematik.
2. Bukti — merujuk beberapa studi sekaligus.
3. Kontras — perbedaan atau kontradiksi antarstudi.
4. Celah — apa yang belum terjawab.

Frasa bantu yang dicontohkan di slide antara lain pola-pola seperti “sejalan dengan [studi-studi] …”, “berbeda dengan [studi] yang …, [studi lain] justru …”, “sebagian besar studi masih …”, dan “namun, belum ditemukan studi yang … pada konteks …”.

Patokannya: satu paragraf sintesis idealnya merujuk minimal 3 sumber. Paragraf yang hanya merujuk satu sumber biasanya masih berupa ringkasan, bukan sintesis.

6. Matriks State-of-the-Art

Apa Itu Matriks SotA: Peta Posisi Penelitian

Definisi kerja di slide: matriks SotA adalah tabel yang membandingkan penelitian terdahulu yang paling relevan dan terkini pada dimensi-dimensi kunci dari masalah penelitian, dan ditutup dengan satu baris “Penelitian Ini” yang menunjukkan posisi kontribusi peneliti sendiri.

Tiga fungsinya:

• Membuktikan bahwa peneliti mengenal karya-karya terbaik di bidangnya.
• Menunjukkan celah secara visual, bukan sekadar sebagai klaim.
• Menjustifikasi pilihan metode, dataset, dan metrik yang akan dipakai.

Struktur Kolom Matriks: Deskriptif + Dimensi Posisi

Kolom matriks dibagi menjadi dua kelompok:

• Kolom deskriptif: referensi & tahun; masalah/tujuan; metode; dataset; metrik & hasil utama; dan keterbatasan.
• Kolom dimensi posisi: 3–6 dimensi yang diturunkan dari masalah penelitian sendiri, diisi dengan tanda ya / sebagian / tidak agar mudah dipindai; dimensi ini diturunkan dari pola hasil sintesis. Baris terakhir selalu “Penelitian Ini”.

Aturan pemilihan paper: pilih 8–15 paper yang paling relevan, idealnya mayoritas berasal dari 5 tahun terakhir. Paper klasik tetap boleh dimasukkan sebagai fondasi.

Contoh Matriks SotA

Slide menyajikan contoh matriks bertema deteksi objek di lahan terbuka. Rinciannya dicantumkan pada bagian Contoh / Studi Kasus dari Slide di bawah.

Membaca Celah dari Matriks: Dari Sel ke Gap

Empat jenis celah yang dapat dibaca dari matriks:

• Gap kombinasi — tidak ada studi yang memenuhi semua dimensi sekaligus (contoh di slide: ringan + objek kecil + edge).
• Gap data/konteks — metodenya sudah matang, tetapi belum diuji pada data lokal atau kondisi khusus.
• Gap evaluasi — studi-studi belum mengukur aspek yang penting, misalnya latensi, energi, robustness, atau pengguna.
• Gap kontradiksi — hasil antarstudi bertentangan dan belum ada penjelasan yang memadai.

Gap ini dihubungkan dengan jenis-jenis research gap dari Pertemuan 2. Prinsipnya, gap yang baik selalu dapat ditunjuk langsung di dalam matriks.

Dari Matriks ke Novelty: Pernyataan Posisi Riset

Matriks ditutup dengan pernyataan posisi yang membedakan penelitian sendiri dari studi pembanding pada dimensi-dimensi matriks, merujuk studi pembandingnya, sekaligus menyatakan apa yang diusulkan, pada apa ia dievaluasi, dan untuk tujuan apa. Kerangka kalimatnya di slide berbunyi (diparafrase): berbeda dengan studi-studi yang akurat tetapi memakai model berat, serta studi-studi yang ringan tetapi tidak menangani objek kecil, penelitian ini mengusulkan sesuatu yang dievaluasi pada data/konteks tertentu untuk tujuan tertentu.

Perbandingan pernyataan yang kuat dan yang lemah:

• Pernyataan kuat: spesifik pada dimensi matriks; merujuk studi pembanding; dan klaimnya dapat diuji.
• Pernyataan lemah: hanya mengklaim belum pernah ada yang meneliti topik itu, atau mengklaim lebih baik dari semua penelitian lain, tanpa rujukan pembanding.

Dari Zotero ke Matriks: Alur Kerja Terhubung

Alur teknis penyusunan matriks:

Tag tematik di Zotero → Export CSV koleksi → Spreadsheet matriks → Tabel Bab 2 (LaTeX/Typst)

Langkah praktisnya:

• Klik kanan koleksi di Zotero → Export Collection → CSV.
• Pertahankan kolom judul, tahun, venue, dan DOI.
• Tambahkan kolom ekstraksi dan kolom dimensi posisi.

Agar keduanya tetap sinkron:

• Gunakan citekey Better BibTeX sebagai ID baris.
• Paper baru dimasukkan ke Zotero dulu, baru ke matriks.
• Sitasi di tabel memakai citekey yang sama dengan yang ada di berkas .bib.

Kesalahan Umum Matriks dan Letaknya di Proposal

Kesalahan yang harus dihindari:

• Kolom terlalu banyak sehingga matriks tidak terbaca.
• Sel berisi salinan abstrak.
• Tidak ada kolom keterbatasan.
• Tidak ada baris “Penelitian Ini”.
• Matriks didominasi paper lama atau preprint yang belum ditelaah.

Sementara itu, hasil kerja matriks dipakai di tiga tempat dalam proposal:

• Bab 1: ringkasan gap menjadi latar belakang dan rumusan masalah.
• Bab 2: subbab Penelitian Terkait berisi tabel SotA dan paragraf sintesis.
• Bab 3: dimensi matriks menjustifikasi pilihan dataset, baseline, dan metrik.

7. Aktivitas & Penutup

Aktivitas Kelas Singkat: Lima C Berpasangan

Aktivitas kelas berdurasi 15 menit dikerjakan pada bagian penutup (ketentuan lengkapnya dicantumkan pada bagian Tugas / Worksheet / Latihan di bawah; instruksi lengkapnya dibagikan pada lembar terpisah).

Worksheet 4: Matriks SotA Mandiri

Worksheet pertemuan ini berisi penyusunan matriks ekstraksi, matriks SotA, paragraf sintesis, dan pernyataan posisi riset secara mandiri (ketentuan lengkapnya dicantumkan pada bagian Tugas / Worksheet / Latihan di bawah).

Ringkasan & Jembatan ke Pertemuan Berikutnya

Intisari Pertemuan 4 ada tiga:

1. Baca secara strategis (tiga lintasan) dan ekstrak dengan formulir seragam beserta bukti halaman.
2. Evaluasi kritis menambah nilai berupa kekuatan, kelemahan, dan relevansi — bukan sekadar mencatat.
3. Sintesis yang concept-centric dan matriks SotA membuat research gap terlihat dan dapat dipertanggungjawabkan.

Jembatan ke Pertemuan 5: gap dari matriks → Research Question → Objective SMART → hipotesis dan batasan penelitian.

Referensi Perkuliahan

Referensi yang tercantum di slide penutup:

• Dawson, C. W. (2009). Projects in Computing and Information Systems: A Student's Guide (2nd ed.). Addison-Wesley.
• Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), 100804.
• Keshav, S. (2007). How to read a paper. ACM SIGCOMM Computer Communication Review, 37(3), 83–84.
• Kitchenham, B., & Charters, S. (2007). Guidelines for Performing Systematic Literature Reviews in Software Engineering. Keele University & Durham University Joint Report.
• Pineau, J., et al. (2021). Improving reproducibility in machine learning research. Journal of Machine Learning Research, 22(164), 1–20.
• Vaswani, A., et al. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.
• Wahono, R. S. (2020). Sistematika Tinjauan Pustaka Ilmiah dan State-of-the-Art. Brainmatics.
• Webster, J., & Watson, R. T. (2002). Analyzing the past to prepare for the future: Writing a literature review. MIS Quarterly, 26(2), xiii–xxiii.

Istilah & Konsep Kunci

Istilah / Konsep	Definisi Singkat
Ekstraksi informasi	Pencatatan fakta kunci dari paper (masalah, kontribusi, metode, dataset, metrik & hasil, keterbatasan, future work) ke dalam formulir yang seragam, lengkap dengan bukti halaman.
Evaluasi kritis	Penilaian atas kualitas dan validitas isi paper, menghasilkan kolom kekuatan, kelemahan, dan relevansi; berbeda dari ekstraksi yang hanya mencatat fakta.
Sintesis literatur	Penggabungan temuan lintas paper yang diorganisasi per konsep sehingga muncul konsensus, kontradiksi, tren, dan celah.
Matriks State-of-the-Art (SotA)	Tabel perbandingan penelitian terdahulu paling relevan dan terkini pada dimensi-dimensi kunci, ditutup baris “Penelitian Ini” sebagai penanda posisi kontribusi.
Matriks konsep	Tabel bantu sintesis berisi paper (baris) × konsep/tema (kolom); kolom penuh berarti konsensus, kolom kosong berarti calon gap.
Metode Tiga Lintasan (Keshav, 2007)	Cara membaca paper bertahap: lintasan 1 untuk menyaring (5–10 menit), lintasan 2 untuk memahami isi (≤ 1 jam), lintasan 3 untuk merekonstruksi paper (4–5 jam).
Lima C	Lima pertanyaan saringan pada lintasan pertama: Category, Context, Correctness, Contributions, Clarity.
Formulir ekstraksi data	Format pencatatan seragam (satu baris = satu paper, satu sel = satu jenis informasi) yang kolomnya ditetapkan sebelum membaca.
Citekey Better BibTeX	Pengenal unik tiap paper (misalnya vaswani2017attention) yang dipakai konsisten sebagai ID baris matriks dan sitasi di berkas .bib.
Author-centric	Gaya penulisan tinjauan pustaka per penulis secara berurutan; menghasilkan daftar ringkasan dan harus dihindari.
Concept-centric	Gaya penulisan tinjauan pustaka per konsep/tema dengan beberapa studi dirujuk sekaligus; gaya yang dituju dalam sintesis.
Baseline	Model/studi pembanding dalam eksperimen; harus cukup baru dan dilatih dengan setelan yang adil agar perbandingan sah.
Ablation study	Pengujian untuk melihat komponen mana dari sebuah metode yang benar-benar berpengaruh terhadap hasil.
Data leakage	Kebocoran data uji ke dalam proses pelatihan atau tuning, salah satu ancaman validitas eksperimen.
Ancaman validitas	Faktor yang melemahkan kepercayaan pada hasil studi, mencakup ancaman eksperimen dan ancaman reproduksibilitas.
Research gap	Celah penelitian yang belum terjawab; dalam konteks matriks dibedakan menjadi gap kombinasi, gap data/konteks, gap evaluasi, dan gap kontradiksi.
Pernyataan posisi riset (novelty)	Pernyataan yang memposisikan penelitian sendiri terhadap studi pembanding pada dimensi matriks, dengan klaim spesifik yang dapat diuji.
Anotasi berkode warna	Sistem penandaan isi PDF di Zotero dengan warna tetap: kuning (masalah/gap), hijau (metode), biru (dataset/metrik/hasil), merah (keterbatasan), ungu (future work/ide).
Dimensi posisi	3–6 kolom penanda (ya / sebagian / tidak) dalam matriks SotA yang diturunkan dari masalah penelitian dan pola sintesis, untuk menunjukkan posisi tiap studi.

Contoh / Studi Kasus dari Slide

1. Ekstraksi Paper Vaswani et al. (2017) — “Attention Is All You Need” (NeurIPS 2017)

Contoh pengisian tujuh komponen ekstraksi untuk paper Transformer:

• Masalah: model sekuensial berbasis RNN sulit diparalelkan saat pelatihan.
• Kontribusi: arsitektur Transformer yang sepenuhnya berbasis attention, tanpa rekurensi dan konvolusi.
• Metode: encoder-decoder dengan multi-head self-attention ditambah positional encoding.
• Dataset: WMT 2014 English–German dan English–French, dengan uji tambahan pada constituency parsing.
• Metrik & hasil: BLEU 28,4 untuk EN–DE, melampaui model terbaik saat itu dengan biaya latih yang lebih kecil.
• Keterbatasan: biaya self-attention tumbuh kuadratik terhadap panjang sekuens (dirujuk dari Tabel 1 paper tersebut).
• Future work: attention lokal/terbatas untuk input besar seperti citra, audio, dan video.

2. Evaluasi Kritis atas Paper yang Sama (Vaswani et al., 2017)

• Kekuatan: pelatihan sangat paralel; hasil BLEU terbaik pada masanya dengan biaya latih yang lebih rendah; diuji pula pada tugas non-translasi (parsing).
• Kelemahan: kompleksitas kuadratik terhadap panjang sekuens; evaluasi awal terbatas pada domain teks; slide juga mengajak memeriksa sendiri apakah variasi antar-run dilaporkan.
• Relevansi: jika penelitian sendiri memproses sekuens panjang (misalnya video atau sinyal), kelemahan kompleksitas tersebut menjadi celah yang dapat diposisikan sebagai kontribusi.

3. Perbandingan Gaya Author-Centric vs Concept-Centric

Slide memakai tema deteksi objek sebagai ilustrasi. Gaya author-centric menarasikan studi satu per satu — misalnya satu studi memakai YOLOv5 untuk deteksi hama, studi berikutnya memakai SSD untuk deteksi gulma, lalu studi berikutnya memakai YOLOv8 — sehingga pembaca harus menyimpulkan sendiri. Gaya concept-centric justru memulai dari konsepnya: sebagian besar studi deteksi objek di lahan terbuka memakai detektor satu tahap karena kebutuhan waktu nyata, namun hanya sedikit yang menguji pada perangkat edge. Dengan cara kedua, gap langsung terlihat.

4. Matriks Konsep Studi A–E (Fiktif, untuk Latihan)

Matriks konsep ilustratif dengan kolom: detektor 1 tahap, model ringan, objek kecil, dan uji edge. Dari lima studi fiktif tersebut, kolom uji edge hampir kosong dan kombinasi “ringan + objek kecil + edge” jarang terpenuhi — kombinasi jarang inilah yang dibaca sebagai peluang kontribusi. Slide menegaskan studi A–E ini fiktif untuk latihan.

5. Contoh Matriks SotA: Deteksi Objek Lahan Terbuka

Contoh matriks SotA dengan kolom deskriptif (metode, dataset/hasil) dan kolom dimensi posisi (model ringan, citra UAV, objek kecil, uji edge):

Studi	Metode	Dataset / Hasil	Model ringan	Citra UAV	Objek kecil	Uji edge
A (2022)	YOLOv5-L	Drone hama, mAP 0,71	–	✓	✓	–
B (2023)	SSD-MobileNet	Kebun, mAP 0,58	✓	–	–	–
C (2024)	YOLOv8-n	VisDrone, mAP 0,39	✓	✓	(sebagian)	–
D (2024)	RT-DETR	Sawah, mAP 0,66	–	✓	✓	–
E (2025)	YOLO + pruning	Lahan sawit, mAP 0,62	✓	–	–	✓
Penelitian Ini	YOLO ringan + modul objek kecil	Citra UAV lahan lokal	✓	✓	✓	✓

Catatan slide: studi A–E dan seluruh angkanya fiktif untuk latihan dan jangan dikutip; angka mAP dari dataset yang berbeda juga tidak dapat dibandingkan langsung. Dari matriks ini terlihat bahwa belum ada studi yang memenuhi keempat dimensi sekaligus — baris “Penelitian Ini” mengisi kombinasi tersebut.

Tugas / Worksheet / Latihan

Aktivitas Kelas Singkat: Lima C Berpasangan (Misi 15 Menit)

1. Pilih 1 paper dari koleksi Zotero hasil Worksheet 3.
2. Lakukan lintasan pertama (5–10 menit) dan jawab lima C.
3. Isi tujuh komponen ekstraksi dalam satu baris.
4. Tukar hasil dengan teman di sebelah: uji apakah ia memahami paper tersebut hanya dari baris ekstraksi yang dibuat.

Instruksi lengkap aktivitas kelas dibagikan pada lembar terpisah.

Worksheet 4: Matriks SotA Mandiri

Luaran yang dikumpulkan:

• Matriks ekstraksi dari koleksi Worksheet 3.
• Kolom kekuatan, kelemahan, dan relevansi.
• Matriks SotA beserta baris “Penelitian Ini”.
• Satu paragraf sintesis dan pernyataan posisi riset.

Ketentuan:

• Topik sesuai rencana Tugas Akhir.
• Setiap angka disertai bukti halaman.
• Dikerjakan melalui kuis Moodle.

Tenggat: Rabu, 7 Oktober 2026, 23.59 WIB · kuliah2.itera.ac.id/mod/quiz/view.php?id=8224