From e27c5a83abcb84ab31c667b4d39d580012fa6f26 Mon Sep 17 00:00:00 2001 From: willtanoe Date: Fri, 2 Oct 2026 14:13:59 +0700 Subject: [PATCH] docs: finalize thesis proposal markdown --- docs/proposal/LITERATURE_MATRIX.md | 23 ++-- docs/proposal/PROPOSAL_SOURCE_MAP.md | 27 +++-- docs/proposal/REFERENCES_VERIFIED.md | 64 ++++++----- docs/proposal/THESIS_PROPOSAL_DRAFT.md | 152 ++++++++++--------------- 4 files changed, 120 insertions(+), 146 deletions(-) diff --git a/docs/proposal/LITERATURE_MATRIX.md b/docs/proposal/LITERATURE_MATRIX.md index 1ff085d..dcfd900 100644 --- a/docs/proposal/LITERATURE_MATRIX.md +++ b/docs/proposal/LITERATURE_MATRIX.md @@ -21,12 +21,12 @@ Metadata confidence: `high` = title/authors/year/venue confirmed from primary so | ID | Reference | Year | Category | Key finding relevant to proposal | Limitation / boundary | Where used in proposal | Verified source | Metadata confidence | |---|---|---|---|---|---|---|---|---| | L01 | McMahan et al., Communication-Efficient Learning of Deep Networks from Decentralized Data | 2017 | A | Introduces Federated Learning and FedAvg; clients train locally and only model updates are aggregated; robust to unbalanced and non-IID data is a defining characteristic | Does not address class prototypes or rare-class detection | §1.1; §2.1 | arXiv:1602.05629; AISTATS 2017 (journal ref on arXiv page) | high | -| L02 | Kairouz et al., Advances and Open Problems in Federated Learning | 2021 | A, C | Broad authoritative survey; frames statistical heterogeneity as a central open problem in FL | Survey of general FL, not IDS-specific | §1.1; §2.1; §2.2 | arXiv:1912.04977; Foundations and Trends in ML 14(1–2):1–210, DOI 10.1561/2200000083 | high (volume discrepancy vs arXiv comment noted) | +| L02 | Kairouz et al., Advances and Open Problems in Federated Learning | 2021 | A, C | Broad authoritative survey; frames statistical heterogeneity as a central open problem in FL | Survey of general FL, not IDS-specific | §1.1; §2.1; §2.2 | arXiv:1912.04977; Foundations and Trends in ML 14(1–2):1–210, DOI 10.1561/2200000083 | high | | L03 | Li et al., Federated Optimization in Heterogeneous Networks (FedProx) | 2020 | C | Introduces a proximal term to stabilize optimization under systems and statistical heterogeneity; motivates the proximal component used by PROTEAN | Focus on optimization convergence, not prototype aggregation | §1.1; §2.2 | arXiv:1812.06127; MLSys 2020 | high | | L04 | Zhao et al., Federated Learning with Non-IID Data | 2018 | C | Shows that non-IID data can sharply reduce FL accuracy and links it to distribution divergence across clients | Preprint; no peer-reviewed venue confirmed | §1.1; §2.2 | arXiv:1806.00582 | medium (venue/status) | | L05 | Zhu et al., Federated learning on non-IID data: A survey | 2021 | C | Systematic survey of non-IID handling strategies in FL | Survey; not specific to IDS or class support weighting | §1.1; §2.2 | Neurocomputing 465:371–390, DOI 10.1016/j.neucom.2021.07.098; arXiv:2106.06843 | high | -| L06 | Li et al., Federated Learning on Non-IID Data Silos: An Experimental Study | 2021 | C | Empirical study with diverse non-IID partitions; no single FL algorithm dominates across settings | Preprint; peer-reviewed venue not confirmed from primary page | §2.2 | arXiv:2102.02079 | medium (venue/status) | -| L07 | Agrawal et al., Federated Learning for Intrusion Detection System: Concepts, Challenges and Future Directions | 2021 | B | Reviews FL for IDS; identifies data heterogeneity and communication as key challenges | Journal version not confirmed (arXiv says submitted to JNCA) | §1.1; §2.1 | arXiv:2106.09527 | medium (venue/status) | +| L06 | Li et al., Federated Learning on Non-IID Data Silos: An Experimental Study | 2022 | C | Empirical study with diverse non-IID partitions; no single FL algorithm dominates across settings | Focus on silo settings; not IDS or class support weighting | §2.2 | ICDE 2022, pp. 965–978, DOI 10.1109/ICDE53745.2022.00077; arXiv:2102.02079 | high | +| L07 | Agrawal et al., Federated learning for intrusion detection system: Concepts, challenges and future directions | 2022 | B | Reviews FL for IDS; identifies data heterogeneity and communication as key challenges | Review; no prototype or rare-class method | §1.1; §2.1 | Computer Communications 195:346–361, DOI 10.1016/j.comcom.2022.09.012; arXiv:2106.09527 | high | | L08 | Ferrag et al., Deep learning for cyber security intrusion detection: Approaches, datasets, and comparative study | 2020 | B, D | Reviews deep-learning IDS approaches and datasets, including evaluation concerns | Not FL-specific and not class-imbalance-specific | §1.1; §2.1 | Journal of Information Security and Applications 50:102419, DOI 10.1016/j.jisa.2019.102419 | high | | L09 | Johnson & Khoshgoftaar, Survey on deep learning with class imbalance | 2019 | D | Shows that aggregate metrics can hide minority-class failure; surveys class-imbalance handling in deep learning | General deep learning, not FL or IDS | §1.1; §2.2 | Journal of Big Data 6:27, DOI 10.1186/s40537-019-0192-5 | high | | L10 | Sokolova & Lapalme, A systematic analysis of performance measures for classification tasks | 2009 | H | Formalizes macro-averaged and class-level performance measures, motivating macro-F1 for imbalanced classes | Classical evaluation paper; not FL | §1.1; §2.2; §3.10 | Information Processing & Management 45(4):427–437, DOI 10.1016/j.ipm.2009.03.002 | high | @@ -47,12 +47,19 @@ Metadata confidence: `high` = title/authors/year/venue confirmed from primary so | G. sample/support-weighted prototype aggregation | L11 (primary), L12 | | H. macro-F1 / class-level metrics | L10 | -## Known literature gaps (to resolve before final submission) +## Known literature gaps (remaining before final submission) 1. Fewer than two IDS-specific class-imbalance or rare-attack detection references are currently verified. One or two peer-reviewed IDS papers on rare/minority attack detection should be added. -2. Venue/status of L04, L06, L07 must be confirmed (they are currently cited as preprints). -3. The Kairouz et al. volume discrepancy (arXiv comment "Vol 4" vs bibliographic vol. 14) and the - McMahan et al. AISTATS page range should be reconciled. -4. No reference is currently drawn from the PROTEAN paper's own related-work list; that list has not +2. No reference is currently drawn from the PROTEAN paper's own related-work list; that list has not been extracted into the repository. + +## Resolved in the final audit (2026-10-02) + +- L06 venue/status resolved: ICDE 2022, pp. 965–978 (DOI 10.1109/ICDE53745.2022.00077). +- L07 venue/status resolved: Computer Communications 195:346–361 (2022), DOI + 10.1016/j.comcom.2022.09.012. +- L02 Kairouz volume discrepancy resolved: vol. 14(1–2), pp. 1–210 (DOI 10.1561/2200000083). +- L01 McMahan AISTATS page range resolved: PMLR 54, 1273–1282. +- L04 Zhao et al. remains an arXiv preprint and is flagged [metadata perlu diverifikasi]; + no peer-reviewed venue is asserted. diff --git a/docs/proposal/PROPOSAL_SOURCE_MAP.md b/docs/proposal/PROPOSAL_SOURCE_MAP.md index f93d1d5..69fc6f4 100644 --- a/docs/proposal/PROPOSAL_SOURCE_MAP.md +++ b/docs/proposal/PROPOSAL_SOURCE_MAP.md @@ -27,7 +27,7 @@ Long-form evidence keys: `protocol` = `docs/research/EXPERIMENT_PROTOCOL.md`; | Claim | Evidence | |---|---| -| Working title uses "Penalaan" instead of "Optimasi" | PROJECT decision; rationale: β is tuned among discrete candidates, no global optimum claimed. See proposal `Catatan Perbaikan` and `claims` claims 4–5 | +| Final title uses "Optimasi", meaning empirical selection of β among the predefined discrete candidates, not a global mathematical optimum | PROJECT decision; stated explicitly in the proposal header note. Consistent with the SPEC title and `claims` claims 4–5 | | Scope is one method, one component, one tunable mechanism | SPEC §1, §11; `interp` §1, §11; `agents` §8 | ## 1. Federated Learning and non-IID background @@ -35,9 +35,9 @@ Long-form evidence keys: `protocol` = `docs/research/EXPERIMENT_PROTOCOL.md`; | Claim | Type | Source | |---|---|---| | FL trains collaboratively without centralizing raw data | PAPER | McMahan et al. (2017); Kairouz et al. (2021) | -| Statistical heterogeneity is a central FL challenge | PAPER | Zhao et al. (2018); Zhu et al. (2021); Kairouz et al. (2021); Li et al. (2021) | +| Statistical heterogeneity is a central FL challenge | PAPER | Zhao et al. (2018); Zhu et al. (2021); Kairouz et al. (2021); Li et al. (2022) | | A proximal term stabilizes training under heterogeneity | PAPER | Li et al. (2020) | -| FL for IDS must cope with heterogeneous traffic and data ownership | PAPER | Agrawal et al. (2021); Ferrag et al. (2020) | +| FL for IDS must cope with heterogeneous traffic and data ownership | PAPER | Agrawal et al. (2022); Ferrag et al. (2020) | | Aggregate metrics can hide minority-class failure | PAPER | Johnson & Khoshgoftaar (2019) | | Macro-averaged / class-level measures suit imbalanced classes | PAPER | Sokolova & Lapalme (2009) | @@ -110,12 +110,12 @@ Long-form evidence keys: `protocol` = `docs/research/EXPERIMENT_PROTOCOL.md`; | Direct aggregation effect separated from end-to-end training effect | SPEC | SPEC §6, §9; `protocol` §11; `interp` §9 | | Rare-class evaluation support recorded | SPEC | SPEC §9; `protocol` §9–10 | -## 8. Research narrowing and title change +## 8. Research narrowing and title decision | Claim | Type | Source | |---|---|---| -| Broad earlier scope (including Differential Privacy and multiple mechanisms) is excluded | PROJECT / external | Not documented in the repository; described as external session context. Current narrowing is supported by SPEC §11 and `interp` §11 | -| Title changed from "Optimasi" to "Penalaan" | PROJECT | Proposal `Catatan Perbaikan`; consistency with `claims` claims 4–5 | +| Broad earlier scope (including Differential Privacy and multiple mechanisms) is excluded from the final design | PROJECT / external | Excluded external session context; current narrowing is supported by SPEC §11 and `interp` §11 | +| Final title uses "Optimasi", meaning empirical selection of β among the predefined discrete candidates, not a global optimum | PROJECT | Proposal title and header note; consistency with SPEC title and `claims` claims 4–5 | | Literature strengthened with verified references | PAPER | `LITERATURE_MATRIX.md`; `REFERENCES_VERIFIED.md` | ## 9. Preliminary study statements @@ -136,12 +136,15 @@ Long-form evidence keys: `protocol` = `docs/research/EXPERIMENT_PROTOCOL.md`; | Final RQ conclusions | `synthesis` §9–11 | Reserved for the thesis | | Complete 108-run inventory findings | `synthesis`; `handoff` | Proposal presents the grid as a design, not a completed study | -## 11. Items not yet evidenced in the repository +## 11. Reference-metadata status | Item | Status | |---|---| -| IDS-specific class-imbalance / rare-attack peer-reviewed references | Not yet present; must be sourced and verified | -| Journal version of the FL-IDS survey (Agrawal et al.) | Unverified | -| Peer-reviewed venue of Zhao et al. (2018) and Li et al. (2021) | Unverified | -| AAAI DOI and page details for FedProto | To confirm | -| Volume/pages for Kairouz et al. (2021) and Mu et al. (2023) | To confirm | +| IDS-specific class-imbalance / rare-attack peer-reviewed references | Not yet present; identified literature gap (see `LITERATURE_MATRIX.md` §Known literature gaps) | +| Peer-reviewed venue of Zhao et al. (2018) | Remains an arXiv preprint; flagged **[metadata perlu diverifikasi]** in the bibliography | +| Journal version of Agrawal et al. | RESOLVED: *Computer Communications* 195:346–361 (2022), DOI 10.1016/j.comcom.2022.09.012 | +| Peer-reviewed venue of Li et al. (2021/2022, non-IID silos) | RESOLVED: ICDE 2022, pp. 965–978, DOI 10.1109/ICDE53745.2022.00077 | +| Kairouz et al. volume discrepancy | RESOLVED: vol. 14(1–2), pp. 1–210, DOI 10.1561/2200000083 | +| McMahan et al. AISTATS page range | RESOLVED: PMLR 54, 1273–1282 | +| AAAI DOI/pages for FedProto | RESOLVED (V11) | +| Volume/pages for Mu et al. (2023) | RESOLVED: *Future Generation Computer Systems* 143:93–104 (V12) | diff --git a/docs/proposal/REFERENCES_VERIFIED.md b/docs/proposal/REFERENCES_VERIFIED.md index c7b65af..fb74f3a 100644 --- a/docs/proposal/REFERENCES_VERIFIED.md +++ b/docs/proposal/REFERENCES_VERIFIED.md @@ -12,8 +12,8 @@ Status definitions: - **requires metadata confirmation** — used only for individual fields (volume/pages), not for the existence of the work. -Verification date: 2026-10-02. Method: primary arXiv abstract pages and Semantic Scholar -bibliographic API. +Verification date: 2026-10-02. Method: primary arXiv abstract pages, Semantic Scholar +bibliographic API, and OpenAlex/Crossref bibliographic records. --- @@ -24,9 +24,9 @@ bibliographic API. 1273–1282. - Identifier: arXiv:1602.05629; DOI 10.48550/arXiv.1602.05629. - Verification source: arXiv abstract page (journal ref: "Proceedings of the 20th AISTATS 2017. - JMLR: W&CP volume 54"). + JMLR: W&CP volume 54"); OpenAlex record confirms pages 1273–1282. - Status: **verified**. -- Note: page range not shown on the arXiv page; confirm PMLR page numbers. +- Note: pages 1273–1282 confirmed from the bibliographic record. ## V02 — Kairouz et al. (2021) @@ -37,9 +37,9 @@ bibliographic API. - Verification source: arXiv abstract page (comment: published in Foundations and Trends in Machine Learning, Now Publishers); Semantic Scholar record (venue "Found. Trends Mach. Learn.", vol. 14, pp. 1–210, DOI 10.1561/2200000083). -- Status: **verified** — DOI, volume and pages confirmed from a bibliographic record. Note: the - arXiv comment states "Vol 4 Issue 1", which conflicts with vol. 14; this discrepancy should be - reconciled before final submission. +- Status: **verified** — DOI, volume and pages confirmed from bibliographic records; the arXiv + comment "Vol 4 Issue 1" is a known arXiv metadata artifact and is superseded by the publisher + record (vol. 14, pp. 1–210). ## V03 — Li et al. (2020), FedProx @@ -48,7 +48,8 @@ bibliographic API. (MLSys 2020), 2, 429–450. - Identifier: arXiv:1812.06127; DOI 10.48550/arXiv.1812.06127. - Verification source: arXiv abstract page (comment: MLSys 2020). -- Status: **verified** — venue confirmed from primary page; page range conventional (confirm). +- Status: **verified** — venue confirmed from primary page; pages follow the MLSys 2020 + proceedings (2:429–450). ## V04 — Zhao et al. (2018) @@ -67,24 +68,25 @@ bibliographic API. - Verification source: Semantic Scholar bibliographic record (title, authors, year, venue, DOI). - Status: **verified**. -## V06 — Li et al. (2021), non-IID silos +## V06 — Li et al. (2022), non-IID silos -- Citation: Li, Q., Diao, Y., Chen, Q., & He, B. (2021). Federated Learning on Non-IID Data Silos: - An Experimental Study. -- Identifier: arXiv:2102.02079; DOI 10.48550/arXiv.2102.02079. -- Verification source: arXiv abstract page. -- Status: **partially verified** — work and authors confirmed; peer-reviewed venue/status not - confirmed. (Frequently associated with ICDE 2022, but this was not confirmed from a primary - record and is therefore not asserted.) +- Citation: Li, Q., Diao, Y., Chen, Q., & He, B. (2022). Federated Learning on Non-IID Data Silos: + An Experimental Study. In 2022 IEEE 38th International Conference on Data Engineering (ICDE), + pp. 965–978. IEEE. +- Identifier: DOI 10.1109/ICDE53745.2022.00077; arXiv:2102.02079. +- Verification source: OpenAlex bibliographic record (title, authors, year 2022, ICDE 2022 venue, + pages 965–978, DOI). +- Status: **verified** (published version; arXiv preprint is 2021). -## V07 — Agrawal et al. (2021) +## V07 — Agrawal et al. (2022) - Citation: Agrawal, S., Sarkar, S., Aouedi, O., Yenduri, G., Piamrat, K., Bhattacharya, S., - Maddikunta, P. K. R., & Gadekallu, T. R. (2021). Federated Learning for Intrusion Detection - System: Concepts, Challenges and Future Directions. -- Identifier: arXiv:2106.09527; DOI 10.48550/arXiv.2106.09527. -- Verification source: arXiv abstract page (comment: "Submitted to JNCA, Elsevier"). -- Status: **partially verified** — work and authors confirmed; journal version unconfirmed. + Maddikunta, P. K. R., & Gadekallu, T. R. (2022). Federated learning for intrusion detection + system: Concepts, challenges and future directions. Computer Communications, 195, 346–361. +- Identifier: DOI 10.1016/j.comcom.2022.09.012; arXiv:2106.09527. +- Verification source: OpenAlex and Semantic Scholar bibliographic records (title, authors, + Computer Communications, vol. 195, pp. 346–361, 2022, DOI). +- Status: **verified** (published version; arXiv preprint is 2021). ## V08 — Ferrag et al. (2020) @@ -148,14 +150,14 @@ bibliographic API. | Status | Count | IDs | |---|---|---| -| verified | 10 | V01, V02, V03, V05, V08, V09, V10, V11, V12, V13 | -| partially verified | 3 | V04, V06, V07 | -| requires metadata confirmation (individual fields) | — | Kairouz vol. discrepancy; McMahan AISTATS page range | +| verified | 12 | V01, V02, V03, V05, V06, V07, V08, V09, V10, V11, V12, V13 | +| partially verified / preprint only | 1 | V04 | +| requires metadata confirmation (individual fields) | 0 | — | -## Actions before final proposal +## Actions before final submission -1. Confirm venues for V04 (Zhao et al.) and V06 (Li et al. silos): preprint vs published. -2. Confirm journal version of V07 (Agrawal et al.). -3. Reconcile the Kairouz et al. volume discrepancy (arXiv comment "Vol 4" vs bibliographic vol. 14) - and confirm the McMahan et al. AISTATS page range. -4. Add 1–2 peer-reviewed IDS class-imbalance / rare-attack references (not yet in the repository). +1. V04 (Zhao et al., 2018) remains an arXiv preprint; no peer-reviewed venue is asserted. It is + flagged **[metadata perlu diverifikasi]** in the proposal bibliography. +2. Optionally add 1–2 peer-reviewed IDS class-imbalance / rare-attack references; this remains an + identified literature gap (see `LITERATURE_MATRIX.md`) and was not added during the editorial + audit because no such source has been verified in the repository. diff --git a/docs/proposal/THESIS_PROPOSAL_DRAFT.md b/docs/proposal/THESIS_PROPOSAL_DRAFT.md index 769ab6c..9a1eb66 100644 --- a/docs/proposal/THESIS_PROPOSAL_DRAFT.md +++ b/docs/proposal/THESIS_PROPOSAL_DRAFT.md @@ -1,17 +1,16 @@ -# JUDUL +# Optimasi Agregasi Prototype pada PROTEAN melalui Pembobotan Berbasis Dukungan Sampel Kelas untuk Deteksi Serangan Langka pada Data Non-IID -**Penalaan Agregasi Prototype pada PROTEAN melalui Pembobotan Berbasis Dukungan Sampel Kelas -untuk Deteksi Serangan Langka pada Data Non-IID** - -*(Tuning Prototype Aggregation in PROTEAN through Class-Sample-Support Weighting for Rare Attack -Detection under Non-IID Data Distributions)* +*(Optimizing Prototype Aggregation in PROTEAN through Class-Sample-Support Weighting for Rare +Attack Detection under Non-IID Data Distributions)* Nama: Muhamad Wildan Rizky NIM: 20102520001 -Dokumen ini adalah draf proposal tesis pada tahap awal. Fokus penelitian dipersempit pada satu -mekanisme agregasi prototype di server PROTEAN. Draf ini belum memuat hasil akhir; bagian studi -pendahuluan hanya digunakan sebatas menunjukkan kelayakan pelaksanaan. +Dokumen ini adalah proposal tesis yang memfokuskan penelitian pada satu mekanisme agregasi +prototype di server PROTEAN. Istilah "optimasi" pada judul berarti pemilihan nilai `β` terbaik di +antara kandidat diskret yang telah ditentukan melalui validasi, bukan klaim optimum matematis +global maupun nilai `β` yang berlaku universal. Dokumen ini belum memuat hasil akhir; bagian studi +pendahuluan hanya menunjukkan kelayakan pelaksanaan. --- @@ -20,7 +19,7 @@ pendahuluan hanya digunakan sebatas menunjukkan kelayakan pelaksanaan. ## 1.1 Latar Belakang Perkembangan jaringan terdistribusi, seperti jaringan IoT industri dan jaringan 5G, membuat volume -lalu lintas yang harus diawasi oleh sistem deteksi intrusi (intrusion detection system, IDS) terus +lalu lintas yang harus diawasi sistem deteksi intrusi (intrusion detection system, IDS) terus bertambah. Data lalu lintas tersebut umumnya tersebar pada banyak titik jaringan dan tidak selalu dapat dikumpulkan ke satu pusat. Pengumpulan data mentah secara terpusat menimbulkan beban komunikasi sekaligus masalah privasi, karena data merekam perilaku perangkat dan pengguna. @@ -30,15 +29,15 @@ mentah ke server. Setiap client melatih model pada datanya sendiri, lalu hanya p dikirim dan digabungkan oleh server (McMahan et al., 2017; Kairouz et al., 2021). Pola ini sesuai untuk IDS karena data serangan dapat tetap berada di lokasi masing-masing, sementara model global tetap dapat dibangun bersama. Pemanfaatan FL untuk IDS telah banyak ditinjau, antara lain karena -karakter data keamanan yang tersebar dan sensitif (Agrawal et al., 2021; Ferrag et al., 2020). +karakter data keamanan yang tersebar dan sensitif (Agrawal et al., 2022; Ferrag et al., 2020). -Tantangan utama FL pada IDS adalah data antarclient yang non-IID. Distribusi kelas pada setiap +Tantangan utama FL pada IDS adalah data antarclient yang bersifat non-IID. Distribusi kelas pada setiap client tidak seragam, sehingga data yang dimiliki tiap client tidak identik dan tidak independen. Zhao et al. (2018) menunjukkan bahwa ketidakseragaman ini dapat menurunkan kinerja model global secara signifikan, dan kajian yang lebih luas menempatkan heterogenitas statistik sebagai salah satu -persoalan terbuka utama pada FL (Zhu et al., 2021; Kairouz et al., 2021; Li et al., 2021). Pada +persoalan terbuka utama pada FL (Zhu et al., 2021; Kairouz et al., 2021; Li et al., 2022). Pada konteks IDS, perbedaan ini muncul karena setiap client mengamati pola lalu lintas dan kebijakan -keamanan yang berbeda (Agrawal et al., 2021). +keamanan yang berbeda (Agrawal et al., 2022). Ketidakseimbangan kelas memperkuat masalah tersebut. Kelas serangan langka hanya muncul pada sebagian kecil data, sehingga metrik yang merangkum seluruh kelas dapat terlihat baik meskipun model @@ -49,7 +48,7 @@ metrik per kelas seperti macro-F1 lebih tepat untuk menilai kinerja yang seimban berisiko, karena serangan yang jarang belum tentu tidak berbahaya. Untuk menghadapi data non-IID, sebagian metode FL berbagi pengetahuan dalam bentuk prototype kelas, -bukan hanya parameter model. Prototype kelas adalah representasi rata-rata embedding sampel pada +tidak hanya parameter model. Prototype kelas adalah representasi rata-rata embedding sampel pada suatu kelas. FedProto menunjukkan bahwa pertukaran class prototype dapat meningkatkan ketahanan terhadap heterogenitas client (Tan et al., 2022), dan pendekatan prototipikal lain juga digunakan untuk memperbaiki pelatihan lokal pada data non-IID (Mu et al., 2023). PROTEAN (Chennoufi et al., @@ -61,8 +60,8 @@ berpengaruh pada representasi kelas sekaligus pada keputusan deteksi. Pada Persamaan (2) PROTEAN, kontribusi setiap local prototype terhadap global prototype bersifat sama, yaitu rata-rata sederhana. Padahal, local prototype kelas yang sama dapat dibentuk dari jumlah -sampel yang sangat berbeda antarklien. Misalnya, satu client dapat memiliki ratusan sampel untuk -suatu kelas, sementara client lain hanya memiliki beberapa sampel. Equal weighting memberi +sampel yang sangat berbeda antarclient. Misalnya, satu client dapat memiliki ratusan sampel untuk +suatu kelas, sementara client lain hanya memiliki beberapa sampel. Pembobotan seragam memberi kontribusi yang sama kepada kedua prototype tersebut, tanpa mempertimbangkan perbedaan dukungan sampel yang membentuknya. Kondisi ini menimbulkan pertanyaan apakah cara penggabungan tersebut sudah sesuai, terutama untuk kelas serangan langka. @@ -87,14 +86,14 @@ sekaligus. Berdasarkan latar belakang tersebut, masalah yang diteliti dapat dirumuskan sebagai berikut. -1. Jumlah sampel kelas `N_ij` untuk kelas yang sama dapat berbeda cukup besar antarklien pada data +1. Jumlah sampel kelas `N_ij` untuk kelas yang sama dapat berbeda cukup besar antarclient pada data non-IID. 2. Agregasi prototype pada PROTEAN tidak secara eksplisit mengendalikan besar kontribusi setiap client berdasarkan dukungan sampel kelas tersebut. 3. Pembobotan seragam memberi pengaruh yang sama kepada seluruh client, dan belum tentu sesuai ketika dukungan sampel antarclient sangat timpang. -4. Pembobotan penuh yang sebanding dengan `N_ij` juga belum tentu sesuai, karena dukungan sampel - besar tidak otomatis berarti prototype yang lebih mewakili kelas langka. +4. Pembobotan yang sepenuhnya sebanding dengan `N_ij` juga belum tentu sesuai, karena dukungan + sampel besar tidak otomatis berarti prototype yang lebih mewakili kelas langka. 5. Hubungan antara kekuatan pembobotan, pergeseran global prototype, dan kinerja deteksi kelas langka belum dipahami dengan cukup baik. 6. Kekuatan pembobotan yang sesuai diduga bergantung pada kondisi non-IID yang terealisasi, bukan @@ -139,7 +138,7 @@ dan kinerja deteksi kelas langka pada PROTEAN? kondisi non-IID yang berbeda? **RQ3.** Apakah nilai `β` yang dipilih melalui validasi berubah pada tingkat ketimpangan yang -berbeda, dan apa dampaknya terhadap kinerja keseluruhan serta hasil per klien? +berbeda, dan apa dampaknya terhadap kinerja keseluruhan serta hasil per client? ## 1.5 Tujuan Penelitian @@ -149,12 +148,13 @@ terhadap deteksi kelas langka pada data non-IID. Tujuan khusus yang dijabarkan dari rumusan masalah adalah: -1. Menganalisis hubungan antara ketimpangan dukungan sampel kelas `N_ij`, pergeseran global - prototype, dan kinerja deteksi kelas langka pada PROTEAN (menjawab RQ1). +1. Menganalisis hubungan antara ketimpangan dukungan sampel kelas `N_ij`, perilaku prototype + (perbedaan local prototype dan pergeseran global prototype), dan kinerja deteksi kelas langka + pada PROTEAN (menjawab RQ1). 2. Menganalisis pengaruh nilai `β` terhadap global prototype dan kinerja deteksi kelas langka pada beberapa kondisi non-IID (menjawab RQ2). 3. Menentukan nilai `β` melalui validasi pada tingkat ketimpangan yang berbeda dan menganalisis - dampaknya terhadap kinerja keseluruhan serta hasil per klien (menjawab RQ3). + dampaknya terhadap kinerja keseluruhan serta hasil per client (menjawab RQ3). ## 1.6 Batasan Penelitian @@ -193,7 +193,7 @@ Kontribusi yang ditargetkan pada penelitian ini adalah sebagai berikut. dan beberapa random seed, dengan partisi dan hyperparameter yang sama untuk setiap perbandingan. 3. **Kontribusi analitis.** Analisis berantai yang menghubungkan ketimpangan dukungan sampel, - bobot kontribusi, pergeseran prototype, kinerja kelas langka, dan dampak per klien. + bobot kontribusi, pergeseran prototype, kinerja kelas langka, dan dampak per client. 4. **Kontribusi praktis dan ilmiah.** Karakterisasi kondisi ketika pembobotan dukungan yang lebih kuat berpotensi membantu, berdampak kecil, atau merugikan kinerja kelas langka. @@ -216,7 +216,7 @@ Pada IDS, data lalu lintas jaringan tersebar pada organisasi, perangkat, atau se berbeda. Setiap pemilik data mengamati pola serangan yang belum tentu sama, sehingga distribusi kelas antarclient cenderung heterogen. Tinjauan penerapan FL pada IDS menunjukkan bahwa pendekatan ini menarik karena tidak memindahkan data mentah, tetapi juga mencatat heterogenitas data dan -keterbatasan komunikasi sebagai tantangan utama (Agrawal et al., 2021). Kajian lain menempatkan +keterbatasan komunikasi sebagai tantangan utama (Agrawal et al., 2022). Kajian lain menempatkan deteksi intrusi sebagai salah satu domain keamanan siber yang memperoleh manfaat dari pembelajaran mendalam terdistribusi, sekaligus menghadapi persoalan distribusi data yang tidak seragam (Ferrag et al., 2020). @@ -228,7 +228,7 @@ Heterogenitas statistik atau non-IID berarti distribusi data antarclient tidak i dan penurunan ini berkaitan dengan perbedaan distribusi kelas antarclient. Kajian yang lebih luas mengelompokkan penanganan non-IID sebagai salah satu persoalan terbuka FL (Zhu et al., 2021; Kairouz et al., 2021), dan studi eksperimental pada data silo menegaskan bahwa tidak ada satu algoritma FL -yang unggul pada semua bentuk non-IID (Li et al., 2021). FedProx merupakan contoh pendekatan yang +yang unggul pada semua bentuk non-IID (Li et al., 2022). FedProx merupakan contoh pendekatan yang menambahkan suku proksimal untuk menstabilkan pelatihan pada data yang heterogen (Li et al., 2020). Pada IDS, non-IID sering berhubungan dengan ketimpangan dukungan kelas. Sebagian client memiliki @@ -304,7 +304,7 @@ penelitian ini bersifat kondisional terhadap asumsi tersebut. Pembobotan prototype berdasarkan jumlah sampel kelas sudah dibahas pada penelitian sebelumnya. FedProto (Tan et al., 2022) merupakan contoh yang melibatkan jumlah sampel kelas pada pembelajaran federasi yang heterogen. Karena itu, penelitian ini tidak mengklaim kebaruan dari penggunaan `N_ij` -maupun dari penambahan parameter pembobot. Klaim tersebut tidak akan dipertahankan. +maupun dari penambahan parameter pembobot. Yang masih terbuka dan menjadi fokus penelitian ini adalah perilaku pembobotan ketika diterapkan secara terkendali pada agregasi prototype PROTEAN: @@ -329,9 +329,9 @@ prototype di server dan menganalisis perilakunya pada beberapa kondisi non-IID. | Studi | Domain | Berbasis prototype | Pembobotan dukungan sampel | IDS non-IID | Analisis kelas langka | Perbedaan dengan penelitian ini | |---|---|---|---|---|---|---| | Tan et al. (2022), FedProto | FL heterogen (klasifikasi umum) | Ya | Ya (jumlah sampel kelas) | Tidak | Tidak difokuskan | Tidak meneliti agregasi prototype PROTEAN maupun deteksi serangan langka | -| Mu et al. (2023), FedProc | FL non-IID (klasifikasi gambar) | Ya | Tidak difokuskan | Tidak | Tidak difokuskan | Menggunakan loss kontrastif prototipikal, bukan penalaan bobot dukungan pada agregasi server | -| Chennoufi et al. (2025), PROTEAN | Federated IDS non-IID | Ya | Tidak (rata-rata sederhana pada Persamaan (2)) | Ya | Membahas kelas serangan dengan sampel paling sedikit | Tidak menala kekuatan pembobotan dukungan pada agregasi prototype | -| Penelitian ini | Federated IDS non-IID | Ya | Ya (`β` terkendali, tervalidasi) | Ya | Ya, per kelas dan per client | Menala `β` pada agregasi prototype PROTEAN dan menganalisis efeknya pada kondisi non-IID berbeda | +| Mu et al. (2023), FedProc | FL non-IID (klasifikasi gambar) | Ya | Tidak difokuskan | Tidak | Tidak difokuskan | Menggunakan loss kontrastif prototipikal, bukan penyetelan bobot dukungan pada agregasi server | +| Chennoufi et al. (2025), PROTEAN | Federated IDS non-IID | Ya | Tidak (rata-rata sederhana pada Persamaan (2)) | Ya | Membahas kelas serangan dengan sampel paling sedikit | Tidak menyetel kekuatan pembobotan dukungan pada agregasi prototype | +| Penelitian ini | Federated IDS non-IID | Ya | Ya (`β` terkendali, tervalidasi) | Ya | Ya, per kelas dan per client | Menyetel `β` pada agregasi prototype PROTEAN dan menganalisis efeknya pada kondisi non-IID berbeda | Tabel ini membandingkan fokus penelitian, bukan memberi peringkat. Semua studi yang dicantumkan memiliki tujuan dan konteks yang berbeda. @@ -363,8 +363,8 @@ Penelitian akan menggunakan dua dataset IDS yang berbeda karakteristiknya. 8 kelas serangan). Kedua dataset memiliki label benign dan sejumlah kelas serangan, sehingga sesuai untuk evaluasi -kelas langka. Rincian karakteristik dan anomali tiap dataset dicatat pada dokumen inspeksi dataset -di repositori. +kelas langka. Perbedaan karakteristik keduanya memberi variasi domain yang lebih luas bagi pengujian +mekanisme yang diusulkan. ## 3.3 Preprocessing dan Data Split @@ -387,7 +387,7 @@ eksperimen, sehingga perbandingan tetap berpasangan. Kondisi non-IID akan dibentuk dengan distribusi Dirichlet simetris pada data training, dengan nilai `α` sebesar 0,75; 0,50; dan 0,25. Semakin kecil nilai `α`, semakin tidak merata sebaran kelas -antarklien. Prosedur alokasi akan dijalankan secara deterministik dari data training, dan sebagian +antarclient. Prosedur alokasi akan dijalankan secara deterministik dari data training, dan sebagian client dapat menerima nol sampel untuk suatu kelas; kelas seperti itu menjadi kelas yang tidak tersedia pada client tersebut. @@ -448,7 +448,7 @@ dengan local prototype dan `N_ij` yang tetap, tanpa pelatihan ulang. Efek pelati diukur melalui pelatihan federasi penuh. Kedua jenis efek ini akan dianalisis secara terpisah agar pergeseran prototype tidak disamakan dengan perubahan kinerja deteksi. -## 3.7 Definisi Rare Class dan Unseen Class +## 3.7 Definisi Kelas Langka dan Unseen Class Kelas langka akan ditentukan dari data training setiap client, sebelum pemilihan `β`, untuk menghindari kebocoran informasi dari data validasi atau pengujian. @@ -462,11 +462,11 @@ Untuk setiap client: - kelas benign tidak pernah dianggap kelas langka. Kelas serangan dengan `N_ij = 0` pada client didefinisikan sebagai **unseen class** dan dievaluasi -secara terpisah. Kelas langka dan kelas unseen tidak akan pernah digabungkan dalam satu metrik, +secara terpisah. Kelas langka dan unseen class tidak akan pernah digabungkan dalam satu metrik, karena keduanya mengukur hal yang berbeda: kelas langka diuji pada client yang memiliki sedikit -sampel, sedangkan kelas unseen diuji pada client yang tidak memiliki sampel sama sekali. +sampel, sedangkan unseen class diuji pada client yang tidak memiliki sampel sama sekali. -## 3.8 Protokol Pemilihan Beta +## 3.8 Protokol Pemilihan `β` Pemilihan `β` akan dilakukan dengan aturan berikut. @@ -504,7 +504,7 @@ parameter alignment, dan parameter `λ` sebesar 1,0 pada prototype alignment. ## 3.10 Metrik Evaluasi Metrik utama penelitian ini adalah **rare-class macro-F1 per client**, dihitung pada client yang -memiliki kelas langka, lalu dirata-ratakan antarklien dan antarseed. Metrik ini dipilih karena +memiliki kelas langka, lalu dirata-ratakan antarclient dan antarseed. Metrik ini dipilih karena memberi gambaran kinerja pada kelas serangan yang jarang dan tidak tersembunyi oleh kelas yang dominan (Sokolova & Lapalme, 2009). @@ -513,7 +513,7 @@ Metrik pendukung yang akan dilaporkan meliputi: - recall kelas langka; - macro-F1 keseluruhan; - weighted-F1 dan akurasi, sebagai perbandingan dengan pengaturan paper; -- hasil per klien; +- hasil per client; - pergeseran prototype `||Cbar_j(β) − Cbar_j(0)||` untuk analisis efek agregasi langsung; - statistik ketimpangan yang terealisasi, seperti koefisien variasi `N_ij` dan jumlah sel kelas yang tidak tersedia pada client. @@ -530,7 +530,7 @@ Analisis hasil direncanakan mencakup: - perbandingan deskriptif antara `β` terpilih dan baseline original PROTEAN; - karakterisasi ketimpangan yang terealisasi; - pergeseran prototype dan kaitannya dengan ketimpangan dukungan; -- perilaku per klien, yaitu jumlah client yang membaik, memburuk, atau tidak berubah; +- perilaku per client, yaitu jumlah client yang membaik, memburuk, atau tidak berubah; - perbandingan lintas `α` pada satu dataset; - perbandingan lintas dataset pada tingkat `α` yang sama. @@ -538,7 +538,7 @@ Dengan hanya tiga random seed per kondisi, penelitian ini tidak akan menjanjikan signifikansi statistik. Analisis akan ditekankan pada nilai rata-rata, variasi antarseed, dan pola yang dapat ditelusuri dari artefak yang tersimpan. -## 3.12 Validitas dan Reproducibility +## 3.12 Validitas dan Reproduktibilitas Aspek yang dijaga untuk mendukung validitas dan reproduktibilitas: @@ -548,7 +548,7 @@ Aspek yang dijaga untuk mendukung validitas dan reproduktibilitas: kembali tanpa regenerasi. 3. **Pemisahan validasi dan pengujian.** Data validasi digunakan untuk memilih `β`; data pengujian hanya digunakan setelah `β` ditetapkan. -4. **Data mentah tidak berubah.** Dataset mentah berada di luar repositori dan hanya dibaca. +4. **Data mentah tidak berubah.** Dataset mentah disimpan di lokasi eksternal dan hanya dibaca. Hash-nya dicatat untuk verifikasi integritas. 5. **Sumber beku.** Arsitektur, agregasi model, fungsi loss, dan aturan inferensi tidak diubah selama eksperimen. @@ -564,8 +564,8 @@ Aspek yang dijaga untuk mendukung validitas dan reproduktibilitas: # STUDI PENDAHULUAN -Bagian ini bersifat opsional dan hanya digunakan untuk menunjukkan kelayakan pelaksanaan. Isinya -tidak dimaksudkan sebagai laporan hasil akhir. +Bagian ini digunakan hanya untuk menunjukkan kelayakan pelaksanaan dan bukan sebagai laporan hasil +akhir. Sebuah uji awal pada skala terbatas telah dilakukan untuk memastikan bahwa pipeline pelatihan, pembentukan partisi non-IID, dan agregasi prototype dapat dijalankan. Dari uji tersebut diperoleh @@ -587,50 +587,12 @@ langka. --- -# CATATAN PERBAIKAN BERDASARKAN UMPAN BALIK AKADEMIK - -Bagian ini bersifat internal untuk keperluan review dan tidak harus disertakan pada dokumen resmi. - -**Arah penelitian sebelumnya.** Rancangan awal mencakup lingkup yang lebih luas, yaitu studi -preservasi kelas langka dengan beberapa mekanisme sekaligus, termasuk Differential Privacy dan -beberapa keluarga intervensi. Pada rancangan tersebut, banyak komponen berubah bersamaan sehingga -sulit menisbahkan perubahan kinerja kepada satu mekanisme tertentu. Kontribusi berisiko menjadi -perbandingan besar, bukan kajian metodologis yang fokus. - -**Arah penelitian saat ini.** Lingkup dipersempit menjadi satu metode (PROTEAN), satu komponen -(agregasi prototype di server), satu isu (local prototype dengan dukungan sampel yang berbeda dapat -berkontribusi sama), dan satu mekanisme yang dapat disetel (`β`). Analisis diarahkan pada rantai: -ketimpangan dukungan → bobot kontribusi → pergeseran global prototype → deteksi kelas langka → -dampak per klien. - -**Alasan metodologis.** Dengan memodifikasi satu komponen dan mempertahankan sisanya tetap, efek -pembobotan dapat diinterpretasikan lebih jelas. Evaluasi berpasangan pada beberapa kondisi non-IID -memungkinkan pembahasan kapan pembobotan membantu, berdampak kecil, atau merugikan, tanpa harus -mengklaim keunggulan umum. Penambahan validasi untuk memilih `β` juga memisahkan proses pemilihan -dari data pengujian. - -**Perubahan judul.** Judul disesuaikan menjadi "Penalaan Agregasi Prototype pada PROTEAN melalui -Pembobotan Berbasis Dukungan Sampel Kelas untuk Deteksi Serangan Langka pada Data Non-IID". Kata -"penalaan" dipilih karena penelitian ini mencari kandidat `β` terbaik di antara nilai diskret yang -diuji pada validasi, bukan optimum matematis global. Penggunaan kata "optimasi" pada judul awal -berpotensi menyiratkan klaim optimum global, sehingga dihindari pada draf kerja ini. Judul dapat -dikembalikan ke "optimasi" hanya jika ada alasan akademik yang kuat dan disertai penjelasan batas -klaim. - -**Pembaruan tinjauan pustaka.** Bab II diperkuat dengan rujukan terverifikasi pada kategori -Federated Learning, FL untuk IDS, non-IID, ketidakseimbangan kelas, pembelajaran berbasis prototype, -PROTEAN, pembobotan berbasis dukungan sampel, dan metrik evaluasi per kelas. Rincian peran setiap -rujukan dicatat pada `docs/proposal/LITERATURE_MATRIX.md` dan -`docs/proposal/REFERENCES_VERIFIED.md`. - ---- - # DAFTAR PUSTAKA Agrawal, S., Sarkar, S., Aouedi, O., Yenduri, G., Piamrat, K., Bhattacharya, S., Maddikunta, P. K. -R., & Gadekallu, T. R. (2021). Federated Learning for Intrusion Detection System: Concepts, -Challenges and Future Directions. arXiv:2106.09527. [status publikasi jurnal perlu diverifikasi; -versi arXiv menyatakan "submitted to JNCA"]. +R., & Gadekallu, T. R. (2022). Federated learning for intrusion detection system: Concepts, +challenges and future directions. *Computer Communications*, 195, 346–361. +DOI: 10.1016/j.comcom.2022.09.012. arXiv:2106.09527. Chennoufi, S., Han, Y., Blanc, G., De Cristofaro, E., & Kiennert, C. (2025). PROTEAN: Federated Intrusion Detection in Non-IID Environments through Prototype-Based Knowledge Sharing. In @@ -646,11 +608,11 @@ Johnson, J. M., & Khoshgoftaar, T. M. (2019). Survey on deep learning with class Kairouz, P., McMahan, H. B., Avent, B., Bellet, A., Bennis, M., Bhagoji, A. N., et al. (2021). Advances and Open Problems in Federated Learning. *Foundations and Trends in Machine Learning*, -14(1–2), 1–210. DOI: 10.1561/2200000083. arXiv:1912.04977. [catatan: laman arXiv menyebut "Vol 4"; -volume 14 mengikuti catatan bibliografis penerbit dan perlu dikonfirmasi]. +14(1–2), 1–210. DOI: 10.1561/2200000083. arXiv:1912.04977. -Li, Q., Diao, Y., Chen, Q., & He, B. (2021). Federated Learning on Non-IID Data Silos: An -Experimental Study. arXiv:2102.02079. [status publikasi venue perlu diverifikasi]. +Li, Q., Diao, Y., Chen, Q., & He, B. (2022). Federated Learning on Non-IID Data Silos: An +Experimental Study. In *2022 IEEE 38th International Conference on Data Engineering (ICDE)* +(pp. 965–978). IEEE. DOI: 10.1109/ICDE53745.2022.00077. arXiv:2102.02079. Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., & Smith, V. (2020). Federated Optimization in Heterogeneous Networks. In *Proceedings of Machine Learning and Systems (MLSys @@ -674,12 +636,12 @@ Prototype Learning across Heterogeneous Clients. In *Proceedings of the AAAI Con Artificial Intelligence*, 36(8), 8432–8440. DOI: 10.1609/aaai.v36i8.20819. arXiv:2105.00243. Zhao, Y., Li, M., Lai, L., Suda, N., Civin, D., & Chandra, V. (2018). Federated Learning with -Non-IID Data. arXiv:1806.00582. [preprint; status publikasi venue perlu diverifikasi]. +Non-IID Data. arXiv:1806.00582. [metadata perlu diverifikasi: praprint; venue peer-review belum +terkonfirmasi]. Zhu, H., Xu, J., Liu, S., & Jin, Y. (2021). Federated learning on non-IID data: A survey. *Neurocomputing*, 465, 371–390. DOI: 10.1016/j.neucom.2021.07.098. arXiv:2106.06843. -**Catatan.** Rujukan yang ditandai "[... perlu diverifikasi]" sudah teridentifikasi dari sumber -primer (arXiv) tetapi metadata venue/volume/halaman belum dikonfirmasi sepenuhnya. Penandaan ini -harus diselesaikan sebelum proposal final. Daftar lengkap status verifikasi setiap rujukan ada di -`docs/proposal/REFERENCES_VERIFIED.md`. +**Catatan.** Satu rujukan, yaitu Zhao et al. (2018), masih ditandai **[metadata perlu +diverifikasi]** karena belum memiliki venue peer-review yang terkonfirmasi. Rujukan lainnya telah +diverifikasi judul, penulis, tahun, dan venue-nya dari catatan bibliografis primer.