docs: strengthen thesis proposal literature and positioning

This commit is contained in:
willtanoe committed 2026-10-02 13:28:49 +07:00
1 parent 9b25d1b5e4
commit b74a81f6c4
4 files changed
+567 -256

No files matched your search

+58
View File
@@ -0,0 +1,58 @@
# Literature Matrix
Internal working document for the thesis proposal. Records why each reference exists, where it is
used, and how far its metadata has been verified.
Categories:
- **A** — Federated Learning foundation
- **B** — Federated Learning for intrusion detection
- **C** — non-IID / statistical heterogeneity in FL
- **D** — class imbalance / minority or rare-class behavior
- **E** — prototype-based federated learning
- **F** — PROTEAN
- **G** — sample/support-weighted prototype aggregation
- **H** — macro-F1 / class-level evaluation metrics
Metadata confidence: `high` = title/authors/year/venue confirmed from primary source;
`medium` = primary source confirmed, but one bibliographic field still to confirm;
`low` = only an informal source; **no low-confidence reference is used in the proposal**.
| ID | Reference | Year | Category | Key finding relevant to proposal | Limitation / boundary | Where used in proposal | Verified source | Metadata confidence |
|---|---|---|---|---|---|---|---|---|
| L01 | McMahan et al., Communication-Efficient Learning of Deep Networks from Decentralized Data | 2017 | A | Introduces Federated Learning and FedAvg; clients train locally and only model updates are aggregated; robust to unbalanced and non-IID data is a defining characteristic | Does not address class prototypes or rare-class detection | §1.1; §2.1 | arXiv:1602.05629; AISTATS 2017 (journal ref on arXiv page) | high |
| L02 | Kairouz et al., Advances and Open Problems in Federated Learning | 2021 | A, C | Broad authoritative survey; frames statistical heterogeneity as a central open problem in FL | Survey of general FL, not IDS-specific | §1.1; §2.1; §2.2 | arXiv:1912.04977; Foundations and Trends in ML 14(1–2):1–210, DOI 10.1561/2200000083 | high (volume discrepancy vs arXiv comment noted) |
| L03 | Li et al., Federated Optimization in Heterogeneous Networks (FedProx) | 2020 | C | Introduces a proximal term to stabilize optimization under systems and statistical heterogeneity; motivates the proximal component used by PROTEAN | Focus on optimization convergence, not prototype aggregation | §1.1; §2.2 | arXiv:1812.06127; MLSys 2020 | high |
| L04 | Zhao et al., Federated Learning with Non-IID Data | 2018 | C | Shows that non-IID data can sharply reduce FL accuracy and links it to distribution divergence across clients | Preprint; no peer-reviewed venue confirmed | §1.1; §2.2 | arXiv:1806.00582 | medium (venue/status) |
| L05 | Zhu et al., Federated learning on non-IID data: A survey | 2021 | C | Systematic survey of non-IID handling strategies in FL | Survey; not specific to IDS or class support weighting | §1.1; §2.2 | Neurocomputing 465:371–390, DOI 10.1016/j.neucom.2021.07.098; arXiv:2106.06843 | high |
| L06 | Li et al., Federated Learning on Non-IID Data Silos: An Experimental Study | 2021 | C | Empirical study with diverse non-IID partitions; no single FL algorithm dominates across settings | Preprint; peer-reviewed venue not confirmed from primary page | §2.2 | arXiv:2102.02079 | medium (venue/status) |
| L07 | Agrawal et al., Federated Learning for Intrusion Detection System: Concepts, Challenges and Future Directions | 2021 | B | Reviews FL for IDS; identifies data heterogeneity and communication as key challenges | Journal version not confirmed (arXiv says submitted to JNCA) | §1.1; §2.1 | arXiv:2106.09527 | medium (venue/status) |
| L08 | Ferrag et al., Deep learning for cyber security intrusion detection: Approaches, datasets, and comparative study | 2020 | B, D | Reviews deep-learning IDS approaches and datasets, including evaluation concerns | Not FL-specific and not class-imbalance-specific | §1.1; §2.1 | Journal of Information Security and Applications 50:102419, DOI 10.1016/j.jisa.2019.102419 | high |
| L09 | Johnson & Khoshgoftaar, Survey on deep learning with class imbalance | 2019 | D | Shows that aggregate metrics can hide minority-class failure; surveys class-imbalance handling in deep learning | General deep learning, not FL or IDS | §1.1; §2.2 | Journal of Big Data 6:27, DOI 10.1186/s40537-019-0192-5 | high |
| L10 | Sokolova & Lapalme, A systematic analysis of performance measures for classification tasks | 2009 | H | Formalizes macro-averaged and class-level performance measures, motivating macro-F1 for imbalanced classes | Classical evaluation paper; not FL | §1.1; §2.2; §3.10 | Information Processing & Management 45(4):427–437, DOI 10.1016/j.ipm.2009.03.002 | high |
| L11 | Tan et al., FedProto: Federated Prototype Learning across Heterogeneous Clients | 2022 | E, G | Shares class prototypes instead of gradients; aggregates local prototypes; a primary example that sample/count-based prototype weighting is not new | Does not study IDS, rare classes, or PROTEAN aggregation | §1.1; §1.3; §2.3; §2.5; §2.6 | AAAI 36(8):8432–8440, DOI 10.1609/aaai.v36i8.20819; arXiv:2105.00243 | high |
| L12 | Mu et al., FedProc: Prototypical Contrastive Federated Learning on Non-IID data | 2023 | E | Uses prototypes as global knowledge with a prototypical contrastive loss to correct local training on non-IID data | Image classification; no support weighting, no IDS, no rare-class analysis | §1.1; §2.3; §2.6 | Future Generation Computer Systems 143:93–104, DOI 10.1016/j.future.2023.01.019; arXiv:2109.12273 | high |
| L13 | Chennoufi et al., PROTEAN: Federated Intrusion Detection in Non-IID Environments through Prototype-Based Knowledge Sharing | 2025 | F, B | The method under study: prototype-based knowledge sharing with model aggregation for non-IID federated IDS | Eq. (2) is equal averaging over `M`; missing-class/participant handling not specified | §1.1; §1.3; §2.4; §2.6; §3.5 | ESORICS 2025, DOI 10.1007/978-3-032-07884-1_6; arXiv:2507.05524 | high |
## Coverage check
| Required category | References |
|---|---|
| A. FL foundation | L01, L02 |
| B. FL for intrusion detection | L07, L08, L13 |
| C. non-IID / statistical heterogeneity | L02, L03, L04, L05, L06 |
| D. class imbalance / rare-class behavior | L08, L09 (IDS-specific imbalance is a known gap; see below) |
| E. prototype-based FL | L11, L12 |
| F. PROTEAN | L13 |
| G. sample/support-weighted prototype aggregation | L11 (primary), L12 |
| H. macro-F1 / class-level metrics | L10 |
## Known literature gaps (to resolve before final submission)
1. Fewer than two IDS-specific class-imbalance or rare-attack detection references are currently
verified. One or two peer-reviewed IDS papers on rare/minority attack detection should be added.
2. Venue/status of L04, L06, L07 must be confirmed (they are currently cited as preprints).
3. The Kairouz et al. volume discrepancy (arXiv comment "Vol 4" vs bibliographic vol. 14) and the
McMahan et al. AISTATS page range should be reconciled.
4. No reference is currently drawn from the PROTEAN paper's own related-work list; that list has not
been extracted into the repository.
+114 -97
View File
@@ -1,130 +1,147 @@
# Proposal Source Map
Internal audit aid. Maps the substantive claims in `docs/proposal/THESIS_PROPOSAL_DRAFT.md` to
repository evidence. This file is not a thesis chapter and is not intended for submission.
Internal audit aid. Maps substantive claims in `docs/proposal/THESIS_PROPOSAL_DRAFT.md` to
repository evidence or to a verified reference. This file is not a thesis chapter.
Evidence keys:
Evidence types used below:
- `planningawal` = `planningawal/PROTEAN_Revisi_Lurus.md` (immutable specification)
- `protocol` = `docs/research/EXPERIMENT_PROTOCOL.md`
- `interp` = `docs/research/RESEARCH_SPEC_INTERPRETATION.md`
- `baseline-inv` = `docs/baseline/PROTEAN_BASELINE_INVESTIGATION.md`
- `dataset` = `docs/research/DATASET_INSPECTION.md`
- `claims` = `docs/thesis/CLAIMS_REGISTER.md`
- `synthesis` = `docs/research/FINAL_EXPERIMENTAL_SYNTHESIS.md`
- `handoff` = `docs/handoff/SESSION_HANDOFF.md`
- `artifacts` = `artifacts/analysis/final__*.{csv,json}`
- `agents` = `AGENTS.md`
- **PAPER** — attributable to a verified or partially verified reference (see
`REFERENCES_VERIFIED.md` and `LITERATURE_MATRIX.md`).
- **SPEC** — the immutable research specification `planningawal/PROTEAN_Revisi_Lurus.md`.
- **PROJECT** — a project methodology/reproduction decision recorded in the repository.
- **PRELIM** — preliminary project evidence from the limited early run, used only for feasibility.
- **FINAL** — final-result evidence that is deliberately **not** used in the proposal.
Long-form evidence keys: `protocol` = `docs/research/EXPERIMENT_PROTOCOL.md`;
`interp` = `docs/research/RESEARCH_SPEC_INTERPRETATION.md`;
`baseline-inv` = `docs/baseline/PROTEAN_BASELINE_INVESTIGATION.md`;
`dataset` = `docs/research/DATASET_INSPECTION.md`;
`claims` = `docs/thesis/CLAIMS_REGISTER.md`;
`synthesis` = `docs/research/FINAL_EXPERIMENTAL_SYNTHESIS.md`;
`handoff` = `docs/handoff/SESSION_HANDOFF.md`;
`agents` = `AGENTS.md`.
---
## 1. Research focus and mechanism
## 0. Title and scope
| Claim in proposal | Evidence |
| Claim | Evidence |
|---|---|
| PROTEAN is a federated IDS that shares class prototypes (knowledge) and aggregates models for non-IID data | `planningawal` §1; `baseline-inv` §1 (source table); `interp` §1–2 |
| The study focuses only on server-side prototype aggregation | `planningawal` §1, §11; `interp` §1, §11; `agents` §8 |
| Global prototype is used both as a training alignment target and as the inference classifier (nearest prototype) | `planningawal` §1, §2 (Inferensi); `interp` §2; `protocol` §14 |
| Local prototype is the mean embedding of a client's class-`j` samples | `planningawal` §2; `protocol` §14 |
| PROTEAN Eq. (2) uses equal contribution (`1/M`) and contains no `N_ij` weight; Figure 1 "Weighted averaging" is not formalized | `planningawal` §2; `interp` §1–2 |
| `N_ij` is class-specific sample support, not prototype quality | `planningawal` §4; `agents` §9; `claims` claim 10 |
| A larger `N_ij` does not imply a better prototype | `planningawal` §4; `agents` §9 |
| Working title uses "Penalaan" instead of "Optimasi" | PROJECT decision; rationale: β is tuned among discrete candidates, no global optimum claimed. See proposal `Catatan Perbaikan` and `claims` claims 4–5 |
| Scope is one method, one component, one tunable mechanism | SPEC §1, §11; `interp` §1, §11; `agents` §8 |
## 2. Missing-class handling and reproduction assumption
## 1. Federated Learning and non-IID background
| Claim in proposal | Evidence |
| Claim | Type | Source |
|---|---|---|
| FL trains collaboratively without centralizing raw data | PAPER | McMahan et al. (2017); Kairouz et al. (2021) |
| Statistical heterogeneity is a central FL challenge | PAPER | Zhao et al. (2018); Zhu et al. (2021); Kairouz et al. (2021); Li et al. (2021) |
| A proximal term stabilizes training under heterogeneity | PAPER | Li et al. (2020) |
| FL for IDS must cope with heterogeneous traffic and data ownership | PAPER | Agrawal et al. (2021); Ferrag et al. (2020) |
| Aggregate metrics can hide minority-class failure | PAPER | Johnson & Khoshgoftaar (2019) |
| Macro-averaged / class-level measures suit imbalanced classes | PAPER | Sokolova & Lapalme (2009) |
## 2. Prototype-based FL and support weighting
| Claim | Type | Source |
|---|---|---|
| Prototype-based FL shares class prototypes and uses global prototypes to regularize local training | PAPER | Tan et al. (2022); Mu et al. (2023) |
| Sample-count prototype weighting already exists (not novel by itself) | PAPER + SPEC | Tan et al. (2022); SPEC §10; `interp` §1; `synthesis` §15; `claims` claim "support weighting improves rare detection" (unsupported) |
| The thesis does not claim novelty from `N_ij` | SPEC + PROJECT | SPEC §10; `interp` §1; proposal §1.7, §2.5 |
| What remains open: controlled β tuning in PROTEAN, rare-class behavior, client-level effect, realized-condition dependence | SPEC + PROJECT | SPEC §6, §10; `synthesis` §15; proposal §2.5 |
## 3. PROTEAN mechanism and missing-class handling
| Claim | Evidence |
|---|---|
| Eq. (2) does not state how a class unavailable on a client is handled | `planningawal` §3; `interp` §4 |
| The proposal uses `S_j = { i | N_ij > 0 and valid C_ij }` as the participant set | `planningawal` §3, §5; `interp` §3; `protocol` §5 |
| `S_j` is a documented reproduction assumption, not verified against official code | `planningawal` §3; `protocol` §5; `baseline-inv` §2 (no official code found) |
| All results are conditional on the shared `S_j` assumption | `protocol` §5, §12; `claims` claim 12; `synthesis` §14 |
| PROTEAN shares class prototypes and aggregates models for non-IID IDS | PAPER (SPEC-consistent) | Chennoufi et al. (2025); SPEC §1; `baseline-inv` §1 |
| Local prototype is the mean embedding of a client's class-`j` samples | SPEC | SPEC §2; `protocol` §14 |
| Eq. (2) uses equal contribution (`1/M`) and contains no `N_ij` weight | SPEC | SPEC §2; `interp` §1–2 |
| Global prototype is used for training alignment and as the nearest-prototype inference classifier | SPEC | SPEC §1–2; `interp` §2; `protocol` §14 |
| Eq. (2) does not state missing-class handling; `S_j` is a reproduction assumption | SPEC + PROJECT | SPEC §3, §5; `protocol` §5; `interp` §4; `baseline-inv` §2 |
## 3. Proposed aggregation and beta semantics
## 4. Proposed aggregation and beta semantics
| Claim in proposal | Evidence |
|---|---|
| Weighted form `Cbar_j(β) = Σ N_ij^β C_ij / Σ N_ij^β` | `planningawal` §5; `interp` §3 |
| `β = 0` is equal weighting inside `S_j`, a control, not automatically the baseline | `planningawal` §5; `interp` §3 |
| `β = 1` is support-proportional; equals the mean of included local class-`j` embeddings | `planningawal` §5; `interp` §3 |
| `0 < β < 1` gives intermediate support influence | `planningawal` §5; `interp` §3 |
| Candidate set `β ∈ {0, 0.25, 0.50, 0.75, 1.00}`, one value for all classes/clients | `planningawal` §7; `protocol` §5 |
| `N_ij` is aggregation metadata; per-sample embeddings are not sent | `planningawal` §5 |
| `β = 0` is not guaranteed bitwise identical to the baseline (floating-point order) | `claims` claim 12; `synthesis` §1, §7; per-condition `beta0_equivalence.csv` |
## 4. Novelty boundary and related work
| Claim in proposal | Evidence |
|---|---|
| Sample-count prototype weighting already exists; not novel by itself | `planningawal` §10; `interp` §1; `claims` claim 13 (note: claim numbering in `claims` file); `synthesis` §15 |
| FedProto (Tan et al., 2022) already weights prototypes with class sample counts | `planningawal` §10 (Daftar Pustaka); `interp` §1 |
| Novelty is framed around controlled `β` weighting in PROTEAN, validation tuning, paired multi-condition evaluation, and mechanism-level analysis | `planningawal` §10; `synthesis` §15; this proposal §1.7, §2.5 |
| Contribution must not claim universal superiority or a global optimum | `planningawal` §7; `claims` claims 5, 7, 8, 9; `synthesis` §16 |
| Claim | Type | Source |
|---|---|---|
| Weighted form `Cbar_j(β) = Σ N_ij^β C_ij / Σ N_ij^β` | SPEC | SPEC §5; `interp` §3 |
| `β = 0` equal weighting inside `S_j`; control, not automatically the baseline | SPEC | SPEC §5; `interp` §3 |
| `β = 1` support-proportional, equals mean of included local class embeddings | SPEC | SPEC §5; `interp` §3 |
| `0 < β < 1` intermediate influence | SPEC | SPEC §5; `interp` §3 |
| Candidate set `{0, 0.25, 0.50, 0.75, 1.00}`, one β for all classes/clients | SPEC | SPEC §7; `protocol` §5 |
| `N_ij` is support, not quality | SPEC + PROJECT | SPEC §4; `agents` §9; `claims` (quality claim unsupported) |
| `β = 0` not guaranteed bitwise identical to baseline | PROJECT | `protocol` §5; `synthesis` §1, §7; per-condition `beta0_equivalence.csv` |
## 5. Datasets and protocol
| Claim in proposal | Evidence |
|---|---|
| Datasets: X-IIoTID and 5G-NIDD | `protocol` §1; `dataset` §1–2 |
| X-IIoTID uses label `class2`, benign `Normal`, drops `crypto-ransomware`, K=9 | `protocol` §1; `dataset` §1 |
| 5G-NIDD uses label `Attack Type`, benign `Benign`, K=9 | `protocol` §1; `dataset` §2 |
| Dataset shapes: X-IIoTID 820,834 × 68; 5G-NIDD 1,215,890 × 52 | `dataset` §1–2 |
| 10 clients; Dirichlet `α ∈ {0.75, 0.50, 0.25}` from training split only | `protocol` §2 |
| Partitions are deterministic and stored as reusable manifests | `protocol` §2, §6, §12 |
| Splits are stratified 70/10/20; validation is a project decision, test 20% follows the paper | `protocol` §3 |
| Seeds `{0,1,2}` are project-defined | `protocol` §4 |
| Hyperparameters: 10 rounds, 3 local epochs, batch 256, Adam lr 1e-3, `μ=0.1`, `λ=1.0` | `protocol` §5, §14, §15 |
| Preprocessing is fitted on the training split only | `protocol` §13 |
| Realized heterogeneity must be measured; `α` alone is insufficient | `planningawal` §9; `protocol` §10 |
| Claim | Type | Source |
|---|---|---|
| Datasets X-IIoTID and 5G-NIDD; label columns and dropped class; K=9 | PROJECT | `protocol` §1; `dataset` §1–2 |
| X-IIoTID 820,834 × 68; 5G-NIDD 1,215,890 × 52 | PROJECT | `dataset` §1–2 |
| 10 clients; Dirichlet `α ∈ {0.75, 0.50, 0.25}` from training split | PROJECT | `protocol` §2 |
| Deterministic reusable manifests | PROJECT | `protocol` §2, §6, §12 |
| Stratified 70/10/20 split; validation is a project decision | PROJECT | `protocol` §3 |
| Seeds `{0,1,2}` | PROJECT | `protocol` §4 |
| Hyperparameters 10 rounds / 3 epochs / batch 256 / Adam 1e-3 / μ=0.1 / λ=1.0 | PROJECT | `protocol` §5, §14, §15 |
| Preprocessing fitted on training only | PROJECT | `protocol` §13 |
| Realized heterogeneity must be measured, not inferred from α | SPEC + PROJECT | SPEC §9; `protocol` §10 |
## 6. Rare/unseen definition and selection
| Claim in proposal | Evidence |
|---|---|
| Rare classes per client: two attack classes with smallest positive training support | `planningawal` §9; `protocol` §7; `interp` §5 |
| One class if only one exists; client excluded if no attack class | `protocol` §7; `interp` §5 |
| Unseen classes (`N_ij = 0`) are evaluated separately and never merged with rare | `planningawal` §9; `protocol` §7; `interp` §5 |
| Rare/unseen derived from training split before selection (no leakage) | `planningawal` §9; `protocol` §7 |
| PRIMARY selection is pooled validation per-client rare-class macro-F1 across seeds | `planningawal` §7; `protocol` §8 |
| Tie-break: pooled recall, then lower across-seed std, then smaller beta | `protocol` §8 |
| Secondary per-seed selection is diagnostic only | `protocol` §8 |
| Test is used only after `β` is fixed and never influences selection | `planningawal` §7; `protocol` §8; `synthesis` §3 |
| Grid: 2 datasets × 3 α × 3 seeds × (baseline + 5 betas) | `protocol` §8, §12; `handoff` (grid complete) |
| No significance testing promised with three seeds | `synthesis` §13; `handoff` §14 |
| Claim | Type | Source |
|---|---|---|
| Rare = two attack classes with smallest positive training support | SPEC | SPEC §9; `protocol` §7; `interp` §5 |
| One class if only one; client excluded if none; benign never rare | SPEC + PROJECT | `protocol` §7; `interp` §5 |
| Unseen (`N_ij = 0`) separate and never merged with rare | SPEC | SPEC §9; `protocol` §7; `interp` §5 |
| Rare/unseen derived from training split before selection | SPEC | SPEC §9; `protocol` §7 |
| PRIMARY = pooled validation per-client rare-class macro-F1 across seeds | SPEC + PROJECT | SPEC §7; `protocol` §8 |
| Tie-break order | PROJECT | `protocol` §8 |
| Secondary per-seed selection is diagnostic only | PROJECT | `protocol` §8 |
| Test used only after β is fixed | SPEC + PROJECT | SPEC §7; `protocol` §8 |
| Grid = 2 datasets × 3 α × 3 seeds × (baseline + 5 betas) | PROJECT | `protocol` §8, §12 |
| No significance testing promised (three seeds) | PROJECT | `synthesis` §13; `handoff` §14 |
## 7. Metrics and analysis design
| Claim in proposal | Evidence |
|---|---|
| Primary metric is per-client rare-class macro-F1 | `planningawal` §7–8; `protocol` §8–9 |
| Supporting metrics: rare recall, overall macro-F1, weighted-F1, accuracy, per-client, displacement, heterogeneity | `protocol` §9–11; `interp` §8 |
| Direct prototype effect is separated from end-to-end training effect | `planningawal` §6, §9; `protocol` §11; `interp` §9 |
| Displacement `||Cbar_j(β) − Cbar_j(0)||` is reported | `planningawal` §9; `protocol` §11 |
| Rare-class evaluation support must be recorded | `planningawal` §9; `protocol` §9–10 |
| Claim | Type | Source |
|---|---|---|
| Primary metric per-client rare-class macro-F1; macro-F1 justified for imbalance | SPEC + PAPER | SPEC §7–8; `protocol` §9; Sokolova & Lapalme (2009) |
| Supporting metrics incl. per-class/per-client and displacement | SPEC + PROJECT | `protocol` §9–11 |
| Direct aggregation effect separated from end-to-end training effect | SPEC | SPEC §6, §9; `protocol` §11; `interp` §9 |
| Rare-class evaluation support recorded | SPEC | SPEC §9; `protocol` §9–10 |
## 8. Research evolution (narrowing)
## 8. Research narrowing and title change
| Claim in proposal | Evidence |
|---|---|
| The current scope excludes multiple simultaneous mechanisms and broad comparisons | `planningawal` §11; `interp` §11; `agents` §8 |
| Earlier broad scope including Differential Privacy is not documented in this repository | Not found in repo (`grep` for "Differential Privacy" returns only this proposal's own note); treated as external context from the session instruction, not a repository claim |
| Claim | Type | Source |
|---|---|---|
| Broad earlier scope (including Differential Privacy and multiple mechanisms) is excluded | PROJECT / external | Not documented in the repository; described as external session context. Current narrowing is supported by SPEC §11 and `interp` §11 |
| Title changed from "Optimasi" to "Penalaan" | PROJECT | Proposal `Catatan Perbaikan`; consistency with `claims` claims 4–5 |
| Literature strengthened with verified references | PAPER | `LITERATURE_MATRIX.md`; `REFERENCES_VERIFIED.md` |
## 9. Preliminary study statements
| Claim in proposal | Evidence |
|---|---|
| Implementation is feasible (baseline and `β` mode run on both datasets) | `protocol` §5, §15; baseline validation doc `docs/baseline/BASELINE_VALIDATION.md`; `handoff` |
| Realized support imbalance is substantial at low `α` | `artifacts` (`final__realized_heterogeneity.csv`); `handoff` §8 |
| Changing `β` shifts global prototypes at fixed local prototypes | `artifacts` (`final__prototype_displacement_by_beta.csv`); `synthesis` §7 |
| Candidate preference can differ across non-IID conditions | `artifacts` (`final__pooled_validation_curves.csv`, `final__selection_strength.csv`); `handoff` |
| Claim | Type | Source |
|---|---|---|
| Pipeline is feasible (baseline and β mode run) | PRELIM | `protocol` §5, §15; `handoff`; `docs/baseline/BASELINE_VALIDATION.md` |
| Realized support imbalance is substantial at low α | PRELIM | `artifacts/analysis/final__realized_heterogeneity.csv`; `handoff` §8 |
| Changing β shifts global prototypes at fixed local prototypes | PRELIM | `artifacts/analysis/final__prototype_displacement_by_beta.csv`; `synthesis` §7 |
| Candidate preference can differ across non-IID conditions | PRELIM | `artifacts/analysis/final__pooled_validation_curves.csv`; `final__selection_strength.csv` |
Note: the preliminary-study section deliberately omits the final six-condition selections, the
complete master table, and the final test results, consistent with preserving the proposal framing.
## 10. Final-result evidence deliberately NOT used in the proposal
## 10. Items not yet evidenced in the repository (must be verified or added)
| Evidence | Location | Reason |
|---|---|---|
| Six-condition final beta selections | `final__six_condition_master.csv`; `handoff` | Would turn the proposal into a results chapter |
| Full selected-beta test metrics | `final__selected_vs_original.csv` | Final results, not proposal content |
| Final RQ conclusions | `synthesis` §9–11 | Reserved for the thesis |
| Complete 108-run inventory findings | `synthesis`; `handoff` | Proposal presents the grid as a design, not a completed study |
## 11. Items not yet evidenced in the repository
| Item | Status |
|---|---|
| FL-IDS / non-IID literature beyond PROTEAN and FedProto | Not present; metadata must be verified before citing |
| The earlier Differential Privacy research design | Not documented in the repository; only described as external session context |
| PROTEAN paper's own related-work citations | Not extracted into the repository |
| Any bibliographic field not taken verbatim from `planningawal` or `baseline-inv` | Must be marked `[metadata perlu diverifikasi]` |
| IDS-specific class-imbalance / rare-attack peer-reviewed references | Not yet present; must be sourced and verified |
| Journal version of the FL-IDS survey (Agrawal et al.) | Unverified |
| Peer-reviewed venue of Zhao et al. (2018) and Li et al. (2021) | Unverified |
| AAAI DOI and page details for FedProto | To confirm |
| Volume/pages for Kairouz et al. (2021) and Mu et al. (2023) | To confirm |
+161
View File
@@ -0,0 +1,161 @@
# References Verified
Internal verification record for the thesis proposal bibliography. The formal proposal bibliography
must not contain an unverified source without an explicit flag.
Status definitions:
- **verified** — title, authors, year, and venue/identifier confirmed from a primary or authoritative
source (arXiv abstract page, publisher DOI record, or Semantic Scholar/DBLP bibliographic record).
- **partially verified** — primary arXiv record confirmed; a peer-reviewed venue/status field is not
yet confirmed.
- **requires metadata confirmation** — used only for individual fields (volume/pages), not for the
existence of the work.
Verification date: 2026-10-02. Method: primary arXiv abstract pages and Semantic Scholar
bibliographic API.
---
## V01 — McMahan et al. (2017)
- Citation: McMahan, H. B., Moore, E., Ramage, D., Hampson, S., & Agüera y Arcas, B. (2017).
Communication-Efficient Learning of Deep Networks from Decentralized Data. AISTATS 2017, PMLR 54,
1273–1282.
- Identifier: arXiv:1602.05629; DOI 10.48550/arXiv.1602.05629.
- Verification source: arXiv abstract page (journal ref: "Proceedings of the 20th AISTATS 2017.
JMLR: W&CP volume 54").
- Status: **verified**.
- Note: page range not shown on the arXiv page; confirm PMLR page numbers.
## V02 — Kairouz et al. (2021)
- Citation: Kairouz, P., McMahan, H. B., Avent, B., Bellet, A., Bennis, M., Bhagoji, A. N., et al.
(2021). Advances and Open Problems in Federated Learning. Foundations and Trends in Machine
Learning, 4(1–2), 1–210.
- Identifier: arXiv:1912.04977; DOI 10.48550/arXiv.1912.04977.
- Verification source: arXiv abstract page (comment: published in Foundations and Trends in Machine
Learning, Now Publishers); Semantic Scholar record (venue "Found. Trends Mach. Learn.",
vol. 14, pp. 1–210, DOI 10.1561/2200000083).
- Status: **verified** — DOI, volume and pages confirmed from a bibliographic record. Note: the
arXiv comment states "Vol 4 Issue 1", which conflicts with vol. 14; this discrepancy should be
reconciled before final submission.
## V03 — Li et al. (2020), FedProx
- Citation: Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., & Smith, V. (2020).
Federated Optimization in Heterogeneous Networks. Proceedings of Machine Learning and Systems
(MLSys 2020), 2, 429–450.
- Identifier: arXiv:1812.06127; DOI 10.48550/arXiv.1812.06127.
- Verification source: arXiv abstract page (comment: MLSys 2020).
- Status: **verified** — venue confirmed from primary page; page range conventional (confirm).
## V04 — Zhao et al. (2018)
- Citation: Zhao, Y., Li, M., Lai, L., Suda, N., Civin, D., & Chandra, V. (2018). Federated
Learning with Non-IID Data.
- Identifier: arXiv:1806.00582; DOI 10.48550/arXiv.1806.00582.
- Verification source: arXiv abstract page.
- Status: **partially verified** — work and authors confirmed; peer-reviewed venue/status not
confirmed (arXiv preprint).
## V05 — Zhu et al. (2021)
- Citation: Zhu, H., Xu, J., Liu, S., & Jin, Y. (2021). Federated learning on non-IID data: A
survey. Neurocomputing, 465, 371–390.
- Identifier: DOI 10.1016/j.neucom.2021.07.098; arXiv:2106.06843.
- Verification source: Semantic Scholar bibliographic record (title, authors, year, venue, DOI).
- Status: **verified**.
## V06 — Li et al. (2021), non-IID silos
- Citation: Li, Q., Diao, Y., Chen, Q., & He, B. (2021). Federated Learning on Non-IID Data Silos:
An Experimental Study.
- Identifier: arXiv:2102.02079; DOI 10.48550/arXiv.2102.02079.
- Verification source: arXiv abstract page.
- Status: **partially verified** — work and authors confirmed; peer-reviewed venue/status not
confirmed. (Frequently associated with ICDE 2022, but this was not confirmed from a primary
record and is therefore not asserted.)
## V07 — Agrawal et al. (2021)
- Citation: Agrawal, S., Sarkar, S., Aouedi, O., Yenduri, G., Piamrat, K., Bhattacharya, S.,
Maddikunta, P. K. R., & Gadekallu, T. R. (2021). Federated Learning for Intrusion Detection
System: Concepts, Challenges and Future Directions.
- Identifier: arXiv:2106.09527; DOI 10.48550/arXiv.2106.09527.
- Verification source: arXiv abstract page (comment: "Submitted to JNCA, Elsevier").
- Status: **partially verified** — work and authors confirmed; journal version unconfirmed.
## V08 — Ferrag et al. (2020)
- Citation: Ferrag, M. A., Maglaras, L., Moschoyiannis, S., & Janicke, H. (2020). Deep learning for
cyber security intrusion detection: Approaches, datasets, and comparative study. Journal of
Information Security and Applications, 50, 102419.
- Identifier: DOI 10.1016/j.jisa.2019.102419.
- Verification source: Semantic Scholar bibliographic record (title, authors, year, venue, DOI).
- Status: **verified**.
## V09 — Johnson & Khoshgoftaar (2019)
- Citation: Johnson, J. M., & Khoshgoftaar, T. M. (2019). Survey on deep learning with class
imbalance. Journal of Big Data, 6, 27.
- Identifier: DOI 10.1186/s40537-019-0192-5.
- Verification source: Semantic Scholar bibliographic record.
- Status: **verified** — article number 27; page range not applicable.
## V10 — Sokolova & Lapalme (2009)
- Citation: Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for
classification tasks. Information Processing & Management, 45(4), 427–437.
- Identifier: DOI 10.1016/j.ipm.2009.03.002.
- Verification source: Semantic Scholar bibliographic record.
- Status: **verified**.
## V11 — Tan et al. (2022), FedProto
- Citation: Tan, Y., Long, G., Liu, L., Zhou, T., Lu, Q., Jiang, J., & Zhang, C. (2022). FedProto:
Federated Prototype Learning across Heterogeneous Clients. AAAI 36(8), 8432–8440.
- Identifier: arXiv:2105.00243; AAAI DOI 10.1609/aaai.v36i8.20819.
- Verification source: Semantic Scholar lookup by DOI 10.1609/aaai.v36i8.20819 (title, venue,
pages 8432–8440, DOI) and by arXiv record; volume/issue/pages also in the immutable project
specification (`planningawal/PROTEAN_Revisi_Lurus.md`).
- Status: **verified**.
## V12 — Mu et al. (2023), FedProc
- Citation: Mu, X., Shen, Y., Cheng, K., Geng, X., Fu, J., Zhang, T., & Zhang, Z. (2023). FedProc:
Prototypical Contrastive Federated Learning on Non-IID data. Future Generation Computer Systems,
143, 93–104.
- Identifier: DOI 10.1016/j.future.2023.01.019; arXiv:2109.12273.
- Verification source: Semantic Scholar bibliographic record (venue = Future Generation Computer
Systems, vol. 143, pp. 93–104, DOI, arXiv).
- Status: **verified**. (Correction: an earlier draft recorded pages 339–348; the correct pages are
93–104.)
## V13 — Chennoufi et al. (2025), PROTEAN
- Citation: Chennoufi, S., Han, Y., Blanc, G., De Cristofaro, E., & Kiennert, C. (2025). PROTEAN:
Federated Intrusion Detection in Non-IID Environments through Prototype-Based Knowledge Sharing.
ESORICS 2025, pp. 103–125. Springer.
- Identifier: arXiv:2507.05524; DOI 10.1007/978-3-032-07884-1_6.
- Verification source: arXiv abstract page (journal ref: ESORICS 2025); DOI and page range from
`docs/baseline/PROTEAN_BASELINE_INVESTIGATION.md` (Springer record).
- Status: **verified**.
---
## Summary
| Status | Count | IDs |
|---|---|---|
| verified | 10 | V01, V02, V03, V05, V08, V09, V10, V11, V12, V13 |
| partially verified | 3 | V04, V06, V07 |
| requires metadata confirmation (individual fields) | — | Kairouz vol. discrepancy; McMahan AISTATS page range |
## Actions before final proposal
1. Confirm venues for V04 (Zhao et al.) and V06 (Li et al. silos): preprint vs published.
2. Confirm journal version of V07 (Agrawal et al.).
3. Reconcile the Kairouz et al. volume discrepancy (arXiv comment "Vol 4" vs bibliographic vol. 14)
and confirm the McMahan et al. AISTATS page range.
4. Add 1–2 peer-reviewed IDS class-imbalance / rare-attack references (not yet in the repository).
+234 -159
View File
@@ -1,17 +1,17 @@
# JUDUL
**Optimasi Agregasi Prototype pada PROTEAN melalui Pembobotan Berbasis Dukungan Sampel Kelas
**Penalaan Agregasi Prototype pada PROTEAN melalui Pembobotan Berbasis Dukungan Sampel Kelas
untuk Deteksi Serangan Langka pada Data Non-IID**
*(Optimizing Prototype Aggregation in PROTEAN through Class-Sample-Support Weighting for Rare
Attack Detection under Non-IID Data Distributions)*
*(Tuning Prototype Aggregation in PROTEAN through Class-Sample-Support Weighting for Rare Attack
Detection under Non-IID Data Distributions)*
Nama: Muhamad Wildan Rizky
NIM: 20102520001
Dokumen ini adalah draf proposal tesis pada tahap awal. Fokus penelitian telah dipersempit pada
satu mekanisme agregasi prototype di server PROTEAN. Draf ini belum memuat hasil akhir; bagian
studi pendahuluan hanya digunakan sebatas menunjukkan kelayakan pelaksanaan.
Dokumen ini adalah draf proposal tesis pada tahap awal. Fokus penelitian dipersempit pada satu
mekanisme agregasi prototype di server PROTEAN. Draf ini belum memuat hasil akhir; bagian studi
pendahuluan hanya digunakan sebatas menunjukkan kelayakan pelaksanaan.
---
@@ -19,60 +19,69 @@ studi pendahuluan hanya digunakan sebatas menunjukkan kelayakan pelaksanaan.
## 1.1 Latar Belakang
Perkembangan jaringan yang terdistribusi, seperti jaringan IoT industri dan jaringan 5G, membuat
volume lalu lintas yang harus diawasi oleh sistem deteksi intrusi (intrusion detection system,
IDS) terus bertambah. Data lalu lintas tersebut umumnya tersebar pada banyak titik jaringan dan
tidak selalu dapat dikumpulkan ke satu pusat. Pengumpulan data mentah secara terpusat menimbulkan
beban komunikasi sekaligus masalah privasi, terutama ketika data merekam perilaku perangkat dan
pengguna.
Perkembangan jaringan terdistribusi, seperti jaringan IoT industri dan jaringan 5G, membuat volume
lalu lintas yang harus diawasi oleh sistem deteksi intrusi (intrusion detection system, IDS) terus
bertambah. Data lalu lintas tersebut umumnya tersebar pada banyak titik jaringan dan tidak selalu
dapat dikumpulkan ke satu pusat. Pengumpulan data mentah secara terpusat menimbulkan beban
komunikasi sekaligus masalah privasi, karena data merekam perilaku perangkat dan pengguna.
Federated Learning (FL) menawarkan cara untuk melatih model secara kolaboratif tanpa memindahkan
data mentah ke server. Setiap client melatih model pada datanya sendiri, lalu hanya parameter model
yang dikirim dan digabungkan oleh server. Pola ini sesuai untuk IDS karena data serangan dapat
tetap berada di lokasi masing-masing. Namun, FL pada IDS menghadapi tantangan ketika distribusi
kelas antar-client tidak seragam, atau non-IID. Sebagian client dapat memiliki jenis serangan yang
sangat dominan, sementara client lain hanya memiliki sedikit contoh, bahkan tidak memiliki contoh
sama sekali untuk kelas serangan tertentu.
Federated Learning (FL) menawarkan cara melatih model secara kolaboratif tanpa memindahkan data
mentah ke server. Setiap client melatih model pada datanya sendiri, lalu hanya parameter model yang
dikirim dan digabungkan oleh server (McMahan et al., 2017; Kairouz et al., 2021). Pola ini sesuai
untuk IDS karena data serangan dapat tetap berada di lokasi masing-masing, sementara model global
tetap dapat dibangun bersama. Pemanfaatan FL untuk IDS telah banyak ditinjau, antara lain karena
karakter data keamanan yang tersebar dan sensitif (Agrawal et al., 2021; Ferrag et al., 2020).
Tantangan utama FL pada IDS adalah data antarclient yang non-IID. Distribusi kelas pada setiap
client tidak seragam, sehingga data yang dimiliki tiap client tidak identik dan tidak independen.
Zhao et al. (2018) menunjukkan bahwa ketidakseragaman ini dapat menurunkan kinerja model global
secara signifikan, dan kajian yang lebih luas menempatkan heterogenitas statistik sebagai salah satu
persoalan terbuka utama pada FL (Zhu et al., 2021; Kairouz et al., 2021; Li et al., 2021). Pada
konteks IDS, perbedaan ini muncul karena setiap client mengamati pola lalu lintas dan kebijakan
keamanan yang berbeda (Agrawal et al., 2021).
Ketidakseimbangan kelas memperkuat masalah tersebut. Kelas serangan langka hanya muncul pada
sebagian kecil data, sehingga rata-rata kinerja keseluruhan dapat terlihat baik meskipun model
gagal mendeteksi kelas yang jarang. Pada konteks keamanan, kegagalan mendeteksi kelas langka justru
berisiko, karena serangan yang jarang belum tentu tidak berbahaya. Karena itu, evaluasi yang hanya
mengandalkan akurasi global kurang memadai, dan metrik per kelas seperti macro-F1 serta recall
kelas langka menjadi lebih relevan.
sebagian kecil data, sehingga metrik yang merangkum seluruh kelas dapat terlihat baik meskipun model
gagal mendeteksi kelas yang jarang. Kajian pada pembelajaran mesin menunjukkan bahwa akurasi
keseluruhan sering menyembunyikan kegagalan pada kelas minoritas (Johnson & Khoshgoftaar, 2019), dan
metrik per kelas seperti macro-F1 lebih tepat untuk menilai kinerja yang seimbang antarkelas
(Sokolova & Lapalme, 2009). Pada konteks keamanan, kegagalan mendeteksi kelas langka justru
berisiko, karena serangan yang jarang belum tentu tidak berbahaya.
Untuk menghadapi data non-IID, sebagian metode FL berbagi pengetahuan dalam bentuk prototype kelas,
bukan hanya parameter model. Prototype kelas adalah representasi rata-rata embedding sampel pada
suatu kelas. Dengan berbagi prototype, client dapat memanfaatkan representasi kelas yang mungkin
tidak dimilikinya. PROTEAN (Chennoufi et al., 2025) merupakan salah satu metode federated intrusion
detection yang menggunakan pertukaran prototype kelas bersama agregasi model pada data non-IID.
Global prototype hasil agregasi di server digunakan pada dua proses: sebagai acuan prototype
alignment saat pelatihan lokal dan sebagai pembanding embedding saat inferensi. Dengan demikian,
cara server menggabungkan local prototype berpengaruh pada representasi kelas sekaligus pada
keputusan deteksi.
suatu kelas. FedProto menunjukkan bahwa pertukaran class prototype dapat meningkatkan ketahanan
terhadap heterogenitas client (Tan et al., 2022), dan pendekatan prototipikal lain juga digunakan
untuk memperbaiki pelatihan lokal pada data non-IID (Mu et al., 2023). PROTEAN (Chennoufi et al.,
2025) merupakan salah satu metode federated intrusion detection yang menggunakan pertukaran
prototype kelas bersama agregasi model pada data non-IID. Global prototype hasil agregasi di server
digunakan pada dua proses: sebagai acuan prototype alignment saat pelatihan lokal dan sebagai
pembanding embedding saat inferensi. Dengan demikian, cara server menggabungkan local prototype
berpengaruh pada representasi kelas sekaligus pada keputusan deteksi.
Pada Persamaan (2) PROTEAN, kontribusi setiap local prototype terhadap global prototype bersifat
sama, yaitu rata-rata sederhana. Padahal, local prototype kelas yang sama dapat dibentuk dari
jumlah sampel yang sangat berbeda antarklien. Misalnya, satu client dapat memiliki ratusan sampel
untuk suatu kelas, sementara client lain hanya memiliki beberapa sampel. Equal weighting memberi
sama, yaitu rata-rata sederhana. Padahal, local prototype kelas yang sama dapat dibentuk dari jumlah
sampel yang sangat berbeda antarklien. Misalnya, satu client dapat memiliki ratusan sampel untuk
suatu kelas, sementara client lain hanya memiliki beberapa sampel. Equal weighting memberi
kontribusi yang sama kepada kedua prototype tersebut, tanpa mempertimbangkan perbedaan dukungan
sampel yang membentuknya. Kondisi ini menimbulkan pertanyaan apakah cara penggabungan tersebut
sudah sesuai, terutama untuk kelas serangan langka.
sampel yang membentuknya. Kondisi ini menimbulkan pertanyaan apakah cara penggabungan tersebut sudah
sesuai, terutama untuk kelas serangan langka.
Di sisi lain, dukungan sampel yang lebih besar tidak otomatis berarti prototype yang lebih baik.
`N_ij`, yaitu jumlah sampel kelas `j` pada client `i`, adalah ukuran dukungan sampel, bukan skor
kualitas prototype. Prototype yang dibentuk dari sedikit sampel belum tentu buruk, dan prototype
yang dibentuk dari banyak sampel belum tentu mewakili variasi serangan yang ingin dideteksi. Oleh
karena itu, pengaruh dukungan sampel sebaiknya dikendalikan dan diuji, bukan diasumsikan selalu
yang dibentuk dari banyak sampel belum tentu mewakili variasi serangan yang ingin dideteksi. Karena
itu, pengaruh dukungan sampel sebaiknya dikendalikan dan diuji, bukan diasumsikan selalu
menguntungkan.
Penelitian ini mengusulkan mekanisme pembobotan yang dikendalikan oleh parameter `β`. Bobot
kontribusi client `i` untuk kelas `j` adalah `N_ij^β`, dengan `0 ≤ β ≤ 1`. Nilai `β = 0`
menghasilkan pembobotan seragam, `β = 1` menghasilkan pembobotan sebanding dengan dukungan sampel,
dan nilai di antaranya memberi pengaruh yang lebih moderat. Karena pengaruh pembobotan diduga
bergantung pada tingkat ketimpangan data, evaluasi dilakukan pada beberapa kondisi non-IID yang
dibentuk dengan parameter Dirichlet `α` yang berbeda. Dengan pendekatan ini, penelitian diarahkan
pada satu mekanisme yang dapat ditelusuri, bukan pada perbandingan banyak metode sekaligus.
bergantung pada tingkat ketimpangan data, evaluasi akan dilakukan pada beberapa kondisi non-IID
yang dibentuk dengan parameter Dirichlet `α` yang berbeda. Dengan pendekatan ini, penelitian
diarahkan pada satu mekanisme yang dapat ditelusuri, bukan pada perbandingan banyak metode
sekaligus.
## 1.2 Identifikasi Masalah
@@ -95,11 +104,13 @@ Berdasarkan latar belakang tersebut, masalah yang diteliti dapat dirumuskan seba
### 1.3.1 Hal yang sudah diketahui
Pembelajaran FL berbasis prototype telah dikembangkan untuk menangani data yang heterogen. PROTEAN
menggunakan pertukaran class prototype bersama agregasi model pada konteks federated intrusion
detection dengan data non-IID. Pembobotan prototype yang melibatkan jumlah sampel kelas juga sudah
ada pada penelitian lain, antara lain FedProto (Tan et al., 2022). Dengan demikian, penggunaan
`N_ij` untuk membobot prototype bukan hal baru dengan sendirinya.
Pembelajaran FL berbasis prototype telah dikembangkan untuk menangani data yang heterogen, antara
lain melalui pertukaran class prototype (Tan et al., 2022) dan pemanfaatan prototype sebagai
pengetahuan global untuk memperbaiki pelatihan lokal (Mu et al., 2023). PROTEAN menggunakan
pertukaran class prototype bersama agregasi model pada konteks federated intrusion detection dengan
data non-IID (Chennoufi et al., 2025). Pembobotan prototype yang melibatkan jumlah sampel kelas juga
sudah ada pada penelitian lain, antara lain FedProto (Tan et al., 2022). Dengan demikian,
penggunaan `N_ij` untuk membobot prototype bukan hal baru dengan sendirinya.
### 1.3.2 Hal yang masih belum memadai untuk lingkup penelitian ini
@@ -197,44 +208,55 @@ bahwa pembobotan berbasis jumlah sampel merupakan hal yang baru dengan sendiriny
Federated Learning adalah pendekatan pelatihan model yang menjaga data tetap berada di sisi client.
Server mengoordinasikan proses pelatihan dan menggabungkan parameter model, sementara data mentah
tidak dipindahkan. Pendekatan ini menarik untuk IDS karena data lalu lintas jaringan sering
tersebar, bersifat sensitif, dan tidak selalu dapat dikumpulkan secara terpusat.
tidak dipindahkan (McMahan et al., 2017). Kerangka ini sesuai untuk lingkungan dengan banyak pemilik
data yang tidak dapat atau tidak ingin memusatkan datanya, dan telah menjadi salah satu arah
penelitian utama pada pembelajaran mesin terdistribusi (Kairouz et al., 2021).
Tantangan utama FL pada IDS adalah data antarclient yang non-IID. Setiap client mengamati pola
lalu lintas yang berbeda, sehingga distribusi kelasnya tidak seragam. Sebagian client dapat
memiliki kelas serangan yang dominan, sementara client lain jarang atau tidak pernah melihat kelas
tersebut. Perbedaan ini dapat menurunkan kualitas model global jika proses agregasi tidak
memperhatikan heterogenitas tersebut.
Pada IDS, data lalu lintas jaringan tersebar pada organisasi, perangkat, atau segmen jaringan yang
berbeda. Setiap pemilik data mengamati pola serangan yang belum tentu sama, sehingga distribusi
kelas antarclient cenderung heterogen. Tinjauan penerapan FL pada IDS menunjukkan bahwa pendekatan
ini menarik karena tidak memindahkan data mentah, tetapi juga mencatat heterogenitas data dan
keterbatasan komunikasi sebagai tantangan utama (Agrawal et al., 2021). Kajian lain menempatkan
deteksi intrusi sebagai salah satu domain keamanan siber yang memperoleh manfaat dari pembelajaran
mendalam terdistribusi, sekaligus menghadapi persoalan distribusi data yang tidak seragam (Ferrag
et al., 2020).
## 2.2 Class Imbalance dan Rare Attack pada FL-IDS
## 2.2 Non-IID dan Ketimpangan Kelas pada FL-IDS
Pada data keamanan, jumlah sampel tiap kelas sangat tidak seimbang. Kelas benign biasanya jauh
lebih banyak daripada kelas serangan, dan sebagian jenis serangan hanya muncul dalam jumlah kecil.
Akibatnya, model dapat mencapai akurasi atau kinerja global yang terlihat baik dengan cara
mengorbankan kelas minoritas.
Heterogenitas statistik atau non-IID berarti distribusi data antarclient tidak identik. Zhao et al.
(2018) menunjukkan bahwa pada data yang sangat tidak seimbang, kinerja FL dapat menurun cukup besar,
dan penurunan ini berkaitan dengan perbedaan distribusi kelas antarclient. Kajian yang lebih luas
mengelompokkan penanganan non-IID sebagai salah satu persoalan terbuka FL (Zhu et al., 2021; Kairouz
et al., 2021), dan studi eksperimental pada data silo menegaskan bahwa tidak ada satu algoritma FL
yang unggul pada semua bentuk non-IID (Li et al., 2021). FedProx merupakan contoh pendekatan yang
menambahkan suku proksimal untuk menstabilkan pelatihan pada data yang heterogen (Li et al., 2020).
Metrik yang hanya merangkum seluruh kelas, seperti akurasi global, kurang cocok untuk menilai
deteksi kelas langka. Metrik seperti macro-F1 dan recall per kelas lebih relevan karena memberi
bobot yang lebih seimbang pada setiap kelas. Karena itu, penelitian ini menggunakan macro-F1 kelas
langka sebagai metrik utama, dengan metrik pendukung seperti recall kelas langka, macro-F1
keseluruhan, dan hasil per klien.
Pada IDS, non-IID sering berhubungan dengan ketimpangan dukungan kelas. Sebagian client memiliki
banyak sampel untuk suatu jenis serangan, sementara client lain hanya memiliki sedikit, atau tidak
memilikinya sama sekali. Ketimpangan ini membuat metrik yang merangkum seluruh kelas kurang
informatif. Johnson & Khoshgoftaar (2019) meninjau bahwa kelas minoritas mudah terabaikan ketika
evaluasi menekankan kinerja agregat, sedangkan Sokolova & Lapalme (2009) menunjukkan pentingnya
metrik per kelas, seperti macro-F1, untuk menilai kinerja secara lebih seimbang. Karena itu, evaluasi
deteksi serangan langka pada penelitian ini akan menekankan metrik per kelas dan per client, bukan
hanya akurasi keseluruhan.
## 2.3 Prototype-Based Federated Learning
Alih-alih hanya berbagi parameter model, sebagian metode FL juga berbagi prototype kelas.
Prototype kelas adalah representasi ringkas dari suatu kelas dalam ruang embedding, biasanya berupa
rata-rata embedding sampel kelas tersebut.
Sub-konsep yang penting untuk penelitian ini:
Alih-alih hanya berbagi parameter model, sebagian metode FL berbagi prototype kelas. Prototype kelas
adalah representasi ringkas dari suatu kelas dalam ruang embedding, umumnya berupa rata-rata
embedding sampel kelas tersebut. Dua konsep yang digunakan pada penelitian ini adalah:
- **local prototype**, yaitu prototype kelas yang dibentuk oleh satu client dari data lokalnya;
- **global prototype**, yaitu prototype kelas hasil agregasi server dari local prototype beberapa
client.
Pertukaran prototype memungkinkan client memperoleh representasi kelas yang tidak dimilikinya
secara lokal. Pada data non-IID, pendekatan ini dapat membantu client yang hanya memiliki sebagian
kelas. Namun, kualitas global prototype sangat bergantung pada cara server menggabungkan local
prototype.
FedProto menunjukkan bahwa komunikasi berupa class prototype, bukan gradient, dapat meningkatkan
ketahanan terhadap heterogenitas client, dan global prototype digunakan untuk meregularisasi
pelatihan lokal (Tan et al., 2022). Pendekatan prototipikal lain memanfaatkan prototype sebagai
pengetahuan global dan menambahkan loss kontrastif prototipikal agar tujuan lokal selaras dengan
tujuan global (Mu et al., 2023). Kedua contoh ini menunjukkan bahwa prototype dapat menjadi media
berbagi pengetahuan pada data non-IID, dan bahwa kualitas global prototype bergantung pada cara
server menggabungkan local prototype.
## 2.4 PROTEAN
@@ -252,16 +274,16 @@ C_ij = (1 / N_ij) * Σ_k z_ijk
dengan `z_ijk` adalah embedding sampel ke-`k` pada kelas `j`.
**Agregasi di server.** Client mengirim parameter model dan local prototype ke server. Pada
Persamaan (2) PROTEAN, global prototype kelas `j` dihitung sebagai rata-rata sederhana dari
`M` peserta:
Persamaan (2) PROTEAN, global prototype kelas `j` dihitung sebagai rata-rata sederhana dari `M`
peserta:
```
Cbar_j = (1 / M) * Σ_i C_ij
```
Perlu dicatat bahwa Gambar 1 pada paper menggunakan istilah "Weighted averaging", tetapi
Persamaan (2) tidak memuat bobot berdasarkan `N_ij`. Rujukan formal yang digunakan dalam
penelitian ini adalah persamaan tersebut.
Gambar 1 pada paper menggunakan istilah "Weighted averaging", tetapi Persamaan (2) tidak memuat
bobot berdasarkan `N_ij`. Rujukan formal yang digunakan dalam penelitian ini adalah persamaan
tersebut.
**Pemanfaatan global prototype.** Server mengirimkan model global dan global prototype kembali ke
client. Objective pelatihan lokal menggabungkan classification loss, prototype alignment terhadap
@@ -277,40 +299,42 @@ himpunan peserta agregasi didefinisikan sebagai
reproduksi karena kode resmi PROTEAN tidak tersedia untuk diverifikasi. Konsekuensinya, hasil
penelitian ini bersifat kondisional terhadap asumsi tersebut.
## 2.5 Support-Weighted Prototype Aggregation dan Penelitian Terkait
## 2.5 Pembobotan Prototype Berdasarkan Dukungan Sampel
Pembobotan prototype berdasarkan jumlah sampel kelas sudah ada pada penelitian sebelumnya. FedProto
(Tan et al., 2022) merupakan contoh yang membahas pembobotan prototype dengan melibatkan jumlah
sampel kelas pada pembelajaran federasi yang heterogen. Karena itu, kebaruan penelitian ini tidak
dapat dibangun hanya dari penggunaan `N_ij` atau penambahan parameter `β`.
Pembobotan prototype berdasarkan jumlah sampel kelas sudah dibahas pada penelitian sebelumnya.
FedProto (Tan et al., 2022) merupakan contoh yang melibatkan jumlah sampel kelas pada pembelajaran
federasi yang heterogen. Karena itu, penelitian ini tidak mengklaim kebaruan dari penggunaan `N_ij`
maupun dari penambahan parameter pembobot. Klaim tersebut tidak akan dipertahankan.
Yang membedakan penelitian ini adalah penerapannya secara terkendali pada agregasi prototype
PROTEAN, pemilihan `β` melalui validasi, evaluasi berpasangan pada beberapa kondisi non-IID, serta
analisis mekanisme yang menghubungkan dukungan sampel, bobot kontribusi, pergeseran prototype, dan
kinerja kelas langka sampai ke tingkat klien. Dengan kata lain, kontribusi diarahkan pada
pemahaman perilaku mekanisme, bukan pada klaim bahwa pembobotan berbasis jumlah sampel belum pernah
ada.
Yang masih terbuka dan menjadi fokus penelitian ini adalah perilaku pembobotan ketika diterapkan
secara terkendali pada agregasi prototype PROTEAN:
1. pengaruh kekuatan pembobotan `β` terhadap posisi global prototype di dalam PROTEAN;
2. apakah pembobotan yang lebih kuat memperbaiki deteksi kelas langka, dan pada kondisi seperti apa;
3. bagaimana pengaruh tersebut berubah pada kondisi non-IID yang terealisasi berbeda;
4. bagaimana setiap client, termasuk yang memiliki dukungan sampel kecil, terdampak.
Dengan demikian, kontribusi diarahkan pada pemahaman mekanisme dan kondisi penerapan, bukan pada
klaim bahwa pembobotan berbasis jumlah sampel belum pernah ada.
## 2.6 Posisi Penelitian
Secara ringkas, posisi penelitian ini dapat digambarkan sebagai berikut. Penelitian berbasis
prototype untuk FL sudah ada, dan PROTEAN sudah menerapkannya pada konteks IDS non-IID.
Pembobotan prototype dengan jumlah sampel kelas juga sudah dibahas di penelitian lain. Yang masih
belum memadai adalah pemahaman mengenai bagaimana pembobotan dukungan yang dikendalikan `β`
mengubah global prototype PROTEAN dan kapan perubahan tersebut berdampak pada deteksi kelas langka.
Penelitian ini menempati posisi tersebut dengan membatasi diri pada agregasi prototype di server dan
menganalisis perilakunya pada beberapa kondisi non-IID.
Secara ringkas, penelitian berbasis prototype untuk FL sudah ada, dan PROTEAN sudah menerapkannya
pada konteks IDS non-IID. Pembobotan prototype dengan jumlah sampel kelas juga sudah dibahas di
penelitian lain. Yang masih belum memadai adalah pemahaman mengenai bagaimana pembobotan dukungan
yang dikendalikan `β` mengubah global prototype PROTEAN dan kapan perubahan tersebut berdampak pada
deteksi kelas langka. Penelitian ini menempati posisi tersebut dengan membatasi diri pada agregasi
prototype di server dan menganalisis perilakunya pada beberapa kondisi non-IID.
Tabel berikut hanya memuat penelitian yang didukung oleh rujukan yang tersedia di repositori.
| Studi | Domain | Berbasis prototype | Pembobotan dukungan sampel | IDS non-IID | Analisis kelas langka | Perbedaan dengan penelitian ini |
|---|---|---|---|---|---|---|
| Tan et al. (2022), FedProto | FL heterogen (klasifikasi umum) | Ya | Ya (jumlah sampel kelas) | Tidak | Tidak difokuskan | Tidak meneliti agregasi prototype PROTEAN maupun deteksi serangan langka |
| Mu et al. (2023), FedProc | FL non-IID (klasifikasi gambar) | Ya | Tidak difokuskan | Tidak | Tidak difokuskan | Menggunakan loss kontrastif prototipikal, bukan penalaan bobot dukungan pada agregasi server |
| Chennoufi et al. (2025), PROTEAN | Federated IDS non-IID | Ya | Tidak (rata-rata sederhana pada Persamaan (2)) | Ya | Membahas kelas serangan dengan sampel paling sedikit | Tidak menala kekuatan pembobotan dukungan pada agregasi prototype |
| Penelitian ini | Federated IDS non-IID | Ya | Ya (`β` terkendali, tervalidasi) | Ya | Ya, per kelas dan per client | Menala `β` pada agregasi prototype PROTEAN dan menganalisis efeknya pada kondisi non-IID berbeda |
| Studi | Fokus | Pembobotan prototype | IDS non-IID | Analisis kelas langka | Perbedaan dengan penelitian ini |
|---|---|---|---|---|---|
| Chennoufi et al. (2025), PROTEAN | Federated IDS berbasis prototype untuk data non-IID | Rata-rata sederhana pada Persamaan (2); tidak memuat bobot `N_ij` | Ya | Membahas kelas serangan dengan sampel paling sedikit | Penelitian ini menambahkan pembobotan dukungan terkendali `β` dan analisis mekanisme pada satu komponen agregasi |
| Tan et al. (2022), FedProto | Federated prototype learning pada client heterogen | Melibatkan jumlah sampel kelas | Tidak khusus IDS | Tidak difokuskan pada deteksi serangan langka | Penelitian ini berfokus pada agregasi prototype PROTEAN dan kinerja kelas langka pada IDS non-IID |
Catatan: tinjauan pustaka ini masih terbatas pada dua rujukan yang sudah terverifikasi di
repositori. Penambahan rujukan FL-IDS dan non-IID lain diperlukan, dan metadatanya perlu
diverifikasi terlebih dahulu.
Tabel ini membandingkan fokus penelitian, bukan memberi peringkat. Semua studi yang dicantumkan
memiliki tujuan dan konteks yang berbeda.
---
@@ -319,16 +343,16 @@ diverifikasi terlebih dahulu.
## 3.1 Desain Penelitian
Penelitian ini merupakan studi eksperimental terapan. Satu komponen PROTEAN, yaitu agregasi
prototype di server, dimodifikasi melalui pembobotan dukungan sampel kelas yang dikendalikan
parameter `β`. Komponen lain dipertahankan sama dengan baseline. Evaluasi dilakukan secara
berpasangan: untuk setiap kombinasi dataset, tingkat non-IID, dan random seed, seluruh kandidat
`β` serta baseline menggunakan partisi, split, dan hyperparameter yang identik. Dengan cara ini,
perbedaan hasil dapat ditelusuri ke mekanisme agregasi dan bukan ke perbedaan data atau
konfigurasi pelatihan.
prototype di server, akan dimodifikasi melalui pembobotan dukungan sampel kelas yang dikendalikan
parameter `β`. Komponen lain dipertahankan sama dengan baseline. Evaluasi akan dilakukan secara
berpasangan: untuk setiap kombinasi dataset, tingkat non-IID, dan random seed, seluruh kandidat `β`
serta baseline akan menggunakan partisi, split, dan hyperparameter yang identik. Dengan cara ini,
perbedaan hasil dapat ditelusuri ke mekanisme agregasi dan bukan ke perbedaan data atau konfigurasi
pelatihan.
## 3.2 Dataset
Penelitian menggunakan dua dataset IDS yang berbeda karakteristiknya.
Penelitian akan menggunakan dua dataset IDS yang berbeda karakteristiknya.
1. **X-IIoTID.** Dataset ini mencakup 820.834 baris dan 68 kolom. Label multi-kelas yang digunakan
adalah `class2`, dengan label benign `Normal`. Satu kelas, yaitu `crypto-ransomware`, dihapus
@@ -344,35 +368,35 @@ di repositori.
## 3.3 Preprocessing dan Data Split
Preprocessing dilakukan dengan resep yang sama untuk kedua dataset dan diterapkan secara identik
pada semua varian agregasi. Statistik preprocessing, seperti kategori one-hot encoding, nilai
median untuk imputasi, dan standardisasi fitur numerik, dihitung hanya dari data training. Data
validasi dan pengujian tidak boleh memengaruhi tahap ini.
Preprocessing akan dilakukan dengan resep yang sama untuk kedua dataset dan diterapkan secara
identik pada semua varian agregasi. Statistik preprocessing, seperti kategori one-hot encoding,
nilai median untuk imputasi, dan standardisasi fitur numerik, dihitung hanya dari data training.
Data validasi dan pengujian tidak akan memengaruhi tahap ini.
Pembagian data dilakukan secara deterministik dan terstratifikasi per kelas dengan proporsi
Pembagian data akan dilakukan secara deterministik dan terstratifikasi per kelas dengan proporsi
training, validasi, dan pengujian sebesar 70%, 10%, dan 20%. Proporsi pengujian 20% mengikuti
pengaturan paper, sedangkan pemisahan validasi merupakan keputusan proyek yang diperlukan untuk
pemilihan `β`. Setiap kombinasi dataset dan random seed menghasilkan satu split tetap, dan split
tersebut digunakan kembali untuk seluruh kandidat `β`.
pemilihan `β`. Setiap kombinasi dataset dan random seed akan menghasilkan satu split tetap, dan
split tersebut akan digunakan kembali untuk seluruh kandidat `β`.
Partisi dan split disimpan sebagai manifest deterministik yang memuat `N_ij` per client dan kelas,
metadata split, serta hash konten. Manifest ini digunakan kembali tanpa regenerasi pada setiap
metadata split, serta hash konten. Manifest ini akan digunakan kembali tanpa regenerasi pada setiap
eksperimen, sehingga perbandingan tetap berpasangan.
## 3.4 Pembentukan Kondisi Non-IID
Kondisi non-IID dibentuk dengan distribusi Dirichlet simetris pada data training, dengan nilai `α`
sebesar 0,75; 0,50; dan 0,25. Semakin kecil nilai `α`, semakin tidak merata sebaran kelas
antarklien. Prosedur alokasi dijalankan secara deterministik dari data training, dan sebagian
Kondisi non-IID akan dibentuk dengan distribusi Dirichlet simetris pada data training, dengan nilai
`α` sebesar 0,75; 0,50; dan 0,25. Semakin kecil nilai `α`, semakin tidak merata sebaran kelas
antarklien. Prosedur alokasi akan dijalankan secara deterministik dari data training, dan sebagian
client dapat menerima nol sampel untuk suatu kelas; kelas seperti itu menjadi kelas yang tidak
tersedia pada client tersebut.
Nilai `α` adalah parameter konfigurasi yang memengaruhi seberapa timpang data secara umum, tetapi
tidak cukup untuk menggambarkan kondisi yang terealisasi. Karena itu, untuk setiap partisi dicatat
statistik seperti total sampel per kelas, jumlah client yang memiliki kelas tersebut, koefisien
variasi `N_ij` antarclient penyumbang, dan rasio maksimum terhadap minimum. Random seed yang
berbeda dapat menghasilkan distribusi terealisasi yang berbeda meskipun `α`-nya sama, sehingga
ketimpangan yang terealisasi perlu diukur, bukan hanya diasumsikan dari `α`.
tidak cukup untuk menggambarkan kondisi yang terealisasi. Karena itu, untuk setiap partisi akan
dicatat statistik seperti total sampel per kelas, jumlah client yang memiliki kelas tersebut,
koefisien variasi `N_ij` antarclient penyumbang, dan rasio maksimum terhadap minimum. Random seed
yang berbeda dapat menghasilkan distribusi terealisasi yang berbeda meskipun `α`-nya sama, sehingga
ketimpangan yang terealisasi akan diukur, bukan hanya diasumsikan dari `α`.
## 3.5 Baseline PROTEAN
@@ -385,7 +409,7 @@ tersebut.
Karena Persamaan (2) PROTEAN tidak menjelaskan penanganan kelas yang tidak tersedia, baseline
menggunakan asumsi peserta agregasi `S_j = { i | N_ij > 0 dan C_ij tersedia }` dengan bobot seragam
`1/|S_j|`. Asumsi ini didokumentasikan sebagai asumsi reproduksi dan tidak diverifikasi terhadap
kode resmi. Perbedaan hasil antara baseline dan formulasi usulan harus diinterpretasikan dengan
kode resmi. Perbedaan hasil antara baseline dan formulasi usulan akan diinterpretasikan dengan
mempertimbangkan asumsi tersebut.
## 3.6 Metode yang Diusulkan
@@ -419,15 +443,15 @@ Interpretasi nilai `β`:
tidak berarti prototype tersebut lebih benar; yang diuji adalah pengaruh pengaturan bobot terhadap
global prototype dan deteksi.
Penelitian ini juga memisahkan dua jenis efek. Efek agregasi langsung diukur pada satu langkah
Penelitian ini juga akan memisahkan dua jenis efek. Efek agregasi langsung diukur pada satu langkah
dengan local prototype dan `N_ij` yang tetap, tanpa pelatihan ulang. Efek pelatihan menyeluruh
diukur melalui pelatihan federasi penuh. Kedua jenis efek ini dianalisis secara terpisah agar
diukur melalui pelatihan federasi penuh. Kedua jenis efek ini akan dianalisis secara terpisah agar
pergeseran prototype tidak disamakan dengan perubahan kinerja deteksi.
## 3.7 Definisi Rare Class dan Unseen Class
Kelas langka ditentukan dari data training setiap client, sebelum pemilihan `β`, untuk menghindari
kebocoran informasi dari data validasi atau pengujian.
Kelas langka akan ditentukan dari data training setiap client, sebelum pemilihan `β`, untuk
menghindari kebocoran informasi dari data validasi atau pengujian.
Untuk setiap client:
@@ -438,16 +462,16 @@ Untuk setiap client:
- kelas benign tidak pernah dianggap kelas langka.
Kelas serangan dengan `N_ij = 0` pada client didefinisikan sebagai **unseen class** dan dievaluasi
secara terpisah. Kelas langka dan kelas unseen tidak pernah digabungkan dalam satu metrik, karena
keduanya mengukur hal yang berbeda: kelas langka diuji pada client yang memiliki sedikit sampel,
sedangkan kelas unseen diuji pada client yang tidak memiliki sampel sama sekali.
secara terpisah. Kelas langka dan kelas unseen tidak akan pernah digabungkan dalam satu metrik,
karena keduanya mengukur hal yang berbeda: kelas langka diuji pada client yang memiliki sedikit
sampel, sedangkan kelas unseen diuji pada client yang tidak memiliki sampel sama sekali.
## 3.8 Protokol Pemilihan Beta
Pemilihan `β` dilakukan dengan aturan berikut.
Pemilihan `β` akan dilakukan dengan aturan berikut.
**PRIMARY.** Untuk setiap kandidat `β`, hitung metrik rare-class macro-F1 per client pada data
validasi, lalu rata-ratakan pada client yang memiliki kelas langka dalam satu seed. Skor tiap
**PRIMARY.** Untuk setiap kandidat `β`, metrik rare-class macro-F1 dihitung per client pada data
validasi, lalu dirata-ratakan pada client yang memiliki kelas langka dalam satu seed. Skor tiap
kandidat kemudian dirata-ratakan lintas seed untuk membentuk skor pooled pada satu kondisi non-IID.
Nilai `β` terpilih adalah kandidat dengan skor pooled validasi terbaik. Jika terjadi seri, urutan
tie-break yang digunakan adalah: pooled rare recall yang lebih tinggi, lalu standar deviasi
@@ -456,13 +480,13 @@ antarseed yang lebih kecil, lalu nilai `β` yang lebih kecil.
**SECONDARY.** Pemilihan `β` per seed dihitung hanya sebagai diagnostik kestabilan. Hasil per seed
bukan aturan pemilihan kondisi.
Data pengujian tidak digunakan pada tahap PRIMARY maupun SECONDARY. Setelah `β` terpilih dan
Data pengujian tidak akan digunakan pada tahap PRIMARY maupun SECONDARY. Setelah `β` terpilih dan
ditetapkan, barulah data pengujian dievaluasi. Nilai yang dilaporkan adalah kandidat terbaik di
antara nilai yang diuji pada prosedur validasi tersebut, bukan klaim optimum global.
## 3.9 Skenario Eksperimen
Rancangan evaluasi mencakup kombinasi berikut:
Rancangan evaluasi akan mencakup kombinasi berikut:
```
2 dataset
@@ -471,7 +495,7 @@ Rancangan evaluasi mencakup kombinasi berikut:
× (baseline original PROTEAN + 5 kandidat β)
```
Untuk setiap kombinasi dataset, `α`, dan seed, seluruh kandidat `β` dan baseline dilatih dan
Untuk setiap kombinasi dataset, `α`, dan seed, seluruh kandidat `β` dan baseline akan dilatih dan
dievaluasi menggunakan partisi serta hyperparameter yang sama. Konfigurasi pelatihan yang
dipertahankan sama meliputi jumlah client 10, jumlah communication round 10, jumlah local epoch 3,
batch size 256, optimizer Adam dengan learning rate 1e-3, parameter `μ` sebesar 0,1 pada model
@@ -482,9 +506,9 @@ parameter alignment, dan parameter `λ` sebesar 1,0 pada prototype alignment.
Metrik utama penelitian ini adalah **rare-class macro-F1 per client**, dihitung pada client yang
memiliki kelas langka, lalu dirata-ratakan antarklien dan antarseed. Metrik ini dipilih karena
memberi gambaran kinerja pada kelas serangan yang jarang dan tidak tersembunyi oleh kelas yang
dominan.
dominan (Sokolova & Lapalme, 2009).
Metrik pendukung yang dilaporkan meliputi:
Metrik pendukung yang akan dilaporkan meliputi:
- recall kelas langka;
- macro-F1 keseluruhan;
@@ -494,8 +518,8 @@ Metrik pendukung yang dilaporkan meliputi:
- statistik ketimpangan yang terealisasi, seperti koefisien variasi `N_ij` dan jumlah sel kelas
yang tidak tersedia pada client.
Jumlah sampel evaluasi untuk kelas langka juga dicatat agar metrik tidak ditafsirkan tanpa melihat
besarnya dukungan evaluasi.
Jumlah sampel evaluasi untuk kelas langka juga akan dicatat agar metrik tidak ditafsirkan tanpa
melihat besarnya dukungan evaluasi.
## 3.11 Analisis Hasil
@@ -510,9 +534,9 @@ Analisis hasil direncanakan mencakup:
- perbandingan lintas `α` pada satu dataset;
- perbandingan lintas dataset pada tingkat `α` yang sama.
Dengan hanya tiga random seed per kondisi, penelitian ini tidak menjanjikan pengujian signifikansi
statistik. Analisis ditekankan pada nilai rata-rata, variasi antarseed, dan pola yang dapat
ditelusuri dari artefak yang tersimpan.
Dengan hanya tiga random seed per kondisi, penelitian ini tidak akan menjanjikan pengujian
signifikansi statistik. Analisis akan ditekankan pada nilai rata-rata, variasi antarseed, dan pola
yang dapat ditelusuri dari artefak yang tersimpan.
## 3.12 Validitas dan Reproducibility
@@ -527,7 +551,7 @@ Aspek yang dijaga untuk mendukung validitas dan reproduktibilitas:
4. **Data mentah tidak berubah.** Dataset mentah berada di luar repositori dan hanya dibaca.
Hash-nya dicatat untuk verifikasi integritas.
5. **Sumber beku.** Arsitektur, agregasi model, fungsi loss, dan aturan inferensi tidak diubah
selama eksperimen akhir.
selama eksperimen.
6. **Artefak machine-readable.** Hasil analisis disimpan dalam format CSV/JSON agar dapat
diverifikasi ulang.
7. **Asumsi `S_j`.** Penanganan kelas yang tidak tersedia merupakan asumsi reproduksi, sehingga
@@ -585,26 +609,77 @@ memungkinkan pembahasan kapan pembobotan membantu, berdampak kecil, atau merugik
mengklaim keunggulan umum. Penambahan validasi untuk memilih `β` juga memisahkan proses pemilihan
dari data pengujian.
**Catatan judul.** Judul saat ini dipertahankan. Kata "Optimasi" dapat dipahami sebagai pencarian
terbaik di antara kandidat `β` yang diuji. Jika diperlukan penekanan bahwa yang dicari bukan
optimum global, frasa seperti "Penyesuaian Terkendali" atau "Penalaan" dapat dipertimbangkan pada
penyempurnaan judul. Penggantian judul tidak dilakukan pada draf ini.
**Perubahan judul.** Judul disesuaikan menjadi "Penalaan Agregasi Prototype pada PROTEAN melalui
Pembobotan Berbasis Dukungan Sampel Kelas untuk Deteksi Serangan Langka pada Data Non-IID". Kata
"penalaan" dipilih karena penelitian ini mencari kandidat `β` terbaik di antara nilai diskret yang
diuji pada validasi, bukan optimum matematis global. Penggunaan kata "optimasi" pada judul awal
berpotensi menyiratkan klaim optimum global, sehingga dihindari pada draf kerja ini. Judul dapat
dikembalikan ke "optimasi" hanya jika ada alasan akademik yang kuat dan disertai penjelasan batas
klaim.
**Pembaruan tinjauan pustaka.** Bab II diperkuat dengan rujukan terverifikasi pada kategori
Federated Learning, FL untuk IDS, non-IID, ketidakseimbangan kelas, pembelajaran berbasis prototype,
PROTEAN, pembobotan berbasis dukungan sampel, dan metrik evaluasi per kelas. Rincian peran setiap
rujukan dicatat pada `docs/proposal/LITERATURE_MATRIX.md` dan
`docs/proposal/REFERENCES_VERIFIED.md`.
---
# DAFTAR PUSTAKA
Agrawal, S., Sarkar, S., Aouedi, O., Yenduri, G., Piamrat, K., Bhattacharya, S., Maddikunta, P. K.
R., & Gadekallu, T. R. (2021). Federated Learning for Intrusion Detection System: Concepts,
Challenges and Future Directions. arXiv:2106.09527. [status publikasi jurnal perlu diverifikasi;
versi arXiv menyatakan "submitted to JNCA"].
Chennoufi, S., Han, Y., Blanc, G., De Cristofaro, E., & Kiennert, C. (2025). PROTEAN: Federated
Intrusion Detection in Non-IID Environments through Prototype-Based Knowledge Sharing. In
*Proceedings of the 30th European Symposium on Research in Computer Security (ESORICS 2025)*
(pp. 103–125). Springer. DOI: 10.1007/978-3-032-07884-1_6. arXiv:2507.05524v1.
Ferrag, M. A., Maglaras, L., Moschoyiannis, S., & Janicke, H. (2020). Deep learning for cyber
security intrusion detection: Approaches, datasets, and comparative study. *Journal of Information
Security and Applications*, 50, 102419. DOI: 10.1016/j.jisa.2019.102419.
Johnson, J. M., & Khoshgoftaar, T. M. (2019). Survey on deep learning with class imbalance.
*Journal of Big Data*, 6, 27. DOI: 10.1186/s40537-019-0192-5.
Kairouz, P., McMahan, H. B., Avent, B., Bellet, A., Bennis, M., Bhagoji, A. N., et al. (2021).
Advances and Open Problems in Federated Learning. *Foundations and Trends in Machine Learning*,
14(1–2), 1–210. DOI: 10.1561/2200000083. arXiv:1912.04977. [catatan: laman arXiv menyebut "Vol 4";
volume 14 mengikuti catatan bibliografis penerbit dan perlu dikonfirmasi].
Li, Q., Diao, Y., Chen, Q., & He, B. (2021). Federated Learning on Non-IID Data Silos: An
Experimental Study. arXiv:2102.02079. [status publikasi venue perlu diverifikasi].
Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., & Smith, V. (2020). Federated
Optimization in Heterogeneous Networks. In *Proceedings of Machine Learning and Systems (MLSys
2020)*, 2, 429–450. arXiv:1812.06127.
McMahan, H. B., Moore, E., Ramage, D., Hampson, S., & Agüera y Arcas, B. (2017).
Communication-Efficient Learning of Deep Networks from Decentralized Data. In *Proceedings of the
20th International Conference on Artificial Intelligence and Statistics (AISTATS 2017)*, PMLR 54,
1273–1282. arXiv:1602.05629.
Mu, X., Shen, Y., Cheng, K., Geng, X., Fu, J., Zhang, T., & Zhang, Z. (2023). FedProc:
Prototypical Contrastive Federated Learning on Non-IID data. *Future Generation Computer Systems*,
143, 93–104. DOI: 10.1016/j.future.2023.01.019. arXiv:2109.12273.
Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for
classification tasks. *Information Processing & Management*, 45(4), 427–437.
DOI: 10.1016/j.ipm.2009.03.002.
Tan, Y., Long, G., Liu, L., Zhou, T., Lu, Q., Jiang, J., & Zhang, C. (2022). FedProto: Federated
Prototype Learning across Heterogeneous Clients. In *Proceedings of the AAAI Conference on
Artificial Intelligence*, 36(8), 8432–8440.
Artificial Intelligence*, 36(8), 8432–8440. DOI: 10.1609/aaai.v36i8.20819. arXiv:2105.00243.
**Catatan referensi.** Dua rujukan di atas sudah didukung oleh dokumen di repositori. Rujukan
tambahan mengenai FL untuk IDS, data non-IID, dan deteksi serangan langka masih diperlukan untuk
memperkuat Bab II. Metadata rujukan tambahan tersebut belum tersedia di repositori dan harus
diverifikasi terlebih dahulu sebelum dimasukkan; tidak ada metadata yang diisi berdasarkan
perkiraan.
Zhao, Y., Li, M., Lai, L., Suda, N., Civin, D., & Chandra, V. (2018). Federated Learning with
Non-IID Data. arXiv:1806.00582. [preprint; status publikasi venue perlu diverifikasi].
Zhu, H., Xu, J., Liu, S., & Jin, Y. (2021). Federated learning on non-IID data: A survey.
*Neurocomputing*, 465, 371–390. DOI: 10.1016/j.neucom.2021.07.098. arXiv:2106.06843.
**Catatan.** Rujukan yang ditandai "[... perlu diverifikasi]" sudah teridentifikasi dari sumber
primer (arXiv) tetapi metadata venue/volume/halaman belum dikonfirmasi sepenuhnya. Penandaan ini
harus diselesaikan sebelum proposal final. Daftar lengkap status verifikasi setiap rujukan ada di
`docs/proposal/REFERENCES_VERIFIED.md`.