docs: strengthen thesis proposal literature and positioning
This commit is contained in:
1 parent
9b25d1b5e4
commit
b74a81f6c4
4 files changed
+567
-256
No files matched your search
@@ -0,0 +1,58 @@
|
||||
# Literature Matrix
|
||||
|
||||
Internal working document for the thesis proposal. Records why each reference exists, where it is
|
||||
used, and how far its metadata has been verified.
|
||||
|
||||
Categories:
|
||||
|
||||
- **A** — Federated Learning foundation
|
||||
- **B** — Federated Learning for intrusion detection
|
||||
- **C** — non-IID / statistical heterogeneity in FL
|
||||
- **D** — class imbalance / minority or rare-class behavior
|
||||
- **E** — prototype-based federated learning
|
||||
- **F** — PROTEAN
|
||||
- **G** — sample/support-weighted prototype aggregation
|
||||
- **H** — macro-F1 / class-level evaluation metrics
|
||||
|
||||
Metadata confidence: `high` = title/authors/year/venue confirmed from primary source;
|
||||
`medium` = primary source confirmed, but one bibliographic field still to confirm;
|
||||
`low` = only an informal source; **no low-confidence reference is used in the proposal**.
|
||||
|
||||
| ID | Reference | Year | Category | Key finding relevant to proposal | Limitation / boundary | Where used in proposal | Verified source | Metadata confidence |
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
| L01 | McMahan et al., Communication-Efficient Learning of Deep Networks from Decentralized Data | 2017 | A | Introduces Federated Learning and FedAvg; clients train locally and only model updates are aggregated; robust to unbalanced and non-IID data is a defining characteristic | Does not address class prototypes or rare-class detection | §1.1; §2.1 | arXiv:1602.05629; AISTATS 2017 (journal ref on arXiv page) | high |
|
||||
| L02 | Kairouz et al., Advances and Open Problems in Federated Learning | 2021 | A, C | Broad authoritative survey; frames statistical heterogeneity as a central open problem in FL | Survey of general FL, not IDS-specific | §1.1; §2.1; §2.2 | arXiv:1912.04977; Foundations and Trends in ML 14(1–2):1–210, DOI 10.1561/2200000083 | high (volume discrepancy vs arXiv comment noted) |
|
||||
| L03 | Li et al., Federated Optimization in Heterogeneous Networks (FedProx) | 2020 | C | Introduces a proximal term to stabilize optimization under systems and statistical heterogeneity; motivates the proximal component used by PROTEAN | Focus on optimization convergence, not prototype aggregation | §1.1; §2.2 | arXiv:1812.06127; MLSys 2020 | high |
|
||||
| L04 | Zhao et al., Federated Learning with Non-IID Data | 2018 | C | Shows that non-IID data can sharply reduce FL accuracy and links it to distribution divergence across clients | Preprint; no peer-reviewed venue confirmed | §1.1; §2.2 | arXiv:1806.00582 | medium (venue/status) |
|
||||
| L05 | Zhu et al., Federated learning on non-IID data: A survey | 2021 | C | Systematic survey of non-IID handling strategies in FL | Survey; not specific to IDS or class support weighting | §1.1; §2.2 | Neurocomputing 465:371–390, DOI 10.1016/j.neucom.2021.07.098; arXiv:2106.06843 | high |
|
||||
| L06 | Li et al., Federated Learning on Non-IID Data Silos: An Experimental Study | 2021 | C | Empirical study with diverse non-IID partitions; no single FL algorithm dominates across settings | Preprint; peer-reviewed venue not confirmed from primary page | §2.2 | arXiv:2102.02079 | medium (venue/status) |
|
||||
| L07 | Agrawal et al., Federated Learning for Intrusion Detection System: Concepts, Challenges and Future Directions | 2021 | B | Reviews FL for IDS; identifies data heterogeneity and communication as key challenges | Journal version not confirmed (arXiv says submitted to JNCA) | §1.1; §2.1 | arXiv:2106.09527 | medium (venue/status) |
|
||||
| L08 | Ferrag et al., Deep learning for cyber security intrusion detection: Approaches, datasets, and comparative study | 2020 | B, D | Reviews deep-learning IDS approaches and datasets, including evaluation concerns | Not FL-specific and not class-imbalance-specific | §1.1; §2.1 | Journal of Information Security and Applications 50:102419, DOI 10.1016/j.jisa.2019.102419 | high |
|
||||
| L09 | Johnson & Khoshgoftaar, Survey on deep learning with class imbalance | 2019 | D | Shows that aggregate metrics can hide minority-class failure; surveys class-imbalance handling in deep learning | General deep learning, not FL or IDS | §1.1; §2.2 | Journal of Big Data 6:27, DOI 10.1186/s40537-019-0192-5 | high |
|
||||
| L10 | Sokolova & Lapalme, A systematic analysis of performance measures for classification tasks | 2009 | H | Formalizes macro-averaged and class-level performance measures, motivating macro-F1 for imbalanced classes | Classical evaluation paper; not FL | §1.1; §2.2; §3.10 | Information Processing & Management 45(4):427–437, DOI 10.1016/j.ipm.2009.03.002 | high |
|
||||
| L11 | Tan et al., FedProto: Federated Prototype Learning across Heterogeneous Clients | 2022 | E, G | Shares class prototypes instead of gradients; aggregates local prototypes; a primary example that sample/count-based prototype weighting is not new | Does not study IDS, rare classes, or PROTEAN aggregation | §1.1; §1.3; §2.3; §2.5; §2.6 | AAAI 36(8):8432–8440, DOI 10.1609/aaai.v36i8.20819; arXiv:2105.00243 | high |
|
||||
| L12 | Mu et al., FedProc: Prototypical Contrastive Federated Learning on Non-IID data | 2023 | E | Uses prototypes as global knowledge with a prototypical contrastive loss to correct local training on non-IID data | Image classification; no support weighting, no IDS, no rare-class analysis | §1.1; §2.3; §2.6 | Future Generation Computer Systems 143:93–104, DOI 10.1016/j.future.2023.01.019; arXiv:2109.12273 | high |
|
||||
| L13 | Chennoufi et al., PROTEAN: Federated Intrusion Detection in Non-IID Environments through Prototype-Based Knowledge Sharing | 2025 | F, B | The method under study: prototype-based knowledge sharing with model aggregation for non-IID federated IDS | Eq. (2) is equal averaging over `M`; missing-class/participant handling not specified | §1.1; §1.3; §2.4; §2.6; §3.5 | ESORICS 2025, DOI 10.1007/978-3-032-07884-1_6; arXiv:2507.05524 | high |
|
||||
|
||||
## Coverage check
|
||||
|
||||
| Required category | References |
|
||||
|---|---|
|
||||
| A. FL foundation | L01, L02 |
|
||||
| B. FL for intrusion detection | L07, L08, L13 |
|
||||
| C. non-IID / statistical heterogeneity | L02, L03, L04, L05, L06 |
|
||||
| D. class imbalance / rare-class behavior | L08, L09 (IDS-specific imbalance is a known gap; see below) |
|
||||
| E. prototype-based FL | L11, L12 |
|
||||
| F. PROTEAN | L13 |
|
||||
| G. sample/support-weighted prototype aggregation | L11 (primary), L12 |
|
||||
| H. macro-F1 / class-level metrics | L10 |
|
||||
|
||||
## Known literature gaps (to resolve before final submission)
|
||||
|
||||
1. Fewer than two IDS-specific class-imbalance or rare-attack detection references are currently
|
||||
verified. One or two peer-reviewed IDS papers on rare/minority attack detection should be added.
|
||||
2. Venue/status of L04, L06, L07 must be confirmed (they are currently cited as preprints).
|
||||
3. The Kairouz et al. volume discrepancy (arXiv comment "Vol 4" vs bibliographic vol. 14) and the
|
||||
McMahan et al. AISTATS page range should be reconciled.
|
||||
4. No reference is currently drawn from the PROTEAN paper's own related-work list; that list has not
|
||||
been extracted into the repository.
|
||||
@@ -1,130 +1,147 @@
|
||||
# Proposal Source Map
|
||||
|
||||
Internal audit aid. Maps the substantive claims in `docs/proposal/THESIS_PROPOSAL_DRAFT.md` to
|
||||
repository evidence. This file is not a thesis chapter and is not intended for submission.
|
||||
Internal audit aid. Maps substantive claims in `docs/proposal/THESIS_PROPOSAL_DRAFT.md` to
|
||||
repository evidence or to a verified reference. This file is not a thesis chapter.
|
||||
|
||||
Evidence keys:
|
||||
Evidence types used below:
|
||||
|
||||
- `planningawal` = `planningawal/PROTEAN_Revisi_Lurus.md` (immutable specification)
|
||||
- `protocol` = `docs/research/EXPERIMENT_PROTOCOL.md`
|
||||
- `interp` = `docs/research/RESEARCH_SPEC_INTERPRETATION.md`
|
||||
- `baseline-inv` = `docs/baseline/PROTEAN_BASELINE_INVESTIGATION.md`
|
||||
- `dataset` = `docs/research/DATASET_INSPECTION.md`
|
||||
- `claims` = `docs/thesis/CLAIMS_REGISTER.md`
|
||||
- `synthesis` = `docs/research/FINAL_EXPERIMENTAL_SYNTHESIS.md`
|
||||
- `handoff` = `docs/handoff/SESSION_HANDOFF.md`
|
||||
- `artifacts` = `artifacts/analysis/final__*.{csv,json}`
|
||||
- `agents` = `AGENTS.md`
|
||||
- **PAPER** — attributable to a verified or partially verified reference (see
|
||||
`REFERENCES_VERIFIED.md` and `LITERATURE_MATRIX.md`).
|
||||
- **SPEC** — the immutable research specification `planningawal/PROTEAN_Revisi_Lurus.md`.
|
||||
- **PROJECT** — a project methodology/reproduction decision recorded in the repository.
|
||||
- **PRELIM** — preliminary project evidence from the limited early run, used only for feasibility.
|
||||
- **FINAL** — final-result evidence that is deliberately **not** used in the proposal.
|
||||
|
||||
Long-form evidence keys: `protocol` = `docs/research/EXPERIMENT_PROTOCOL.md`;
|
||||
`interp` = `docs/research/RESEARCH_SPEC_INTERPRETATION.md`;
|
||||
`baseline-inv` = `docs/baseline/PROTEAN_BASELINE_INVESTIGATION.md`;
|
||||
`dataset` = `docs/research/DATASET_INSPECTION.md`;
|
||||
`claims` = `docs/thesis/CLAIMS_REGISTER.md`;
|
||||
`synthesis` = `docs/research/FINAL_EXPERIMENTAL_SYNTHESIS.md`;
|
||||
`handoff` = `docs/handoff/SESSION_HANDOFF.md`;
|
||||
`agents` = `AGENTS.md`.
|
||||
|
||||
---
|
||||
|
||||
## 1. Research focus and mechanism
|
||||
## 0. Title and scope
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
| Claim | Evidence |
|
||||
|---|---|
|
||||
| PROTEAN is a federated IDS that shares class prototypes (knowledge) and aggregates models for non-IID data | `planningawal` §1; `baseline-inv` §1 (source table); `interp` §1–2 |
|
||||
| The study focuses only on server-side prototype aggregation | `planningawal` §1, §11; `interp` §1, §11; `agents` §8 |
|
||||
| Global prototype is used both as a training alignment target and as the inference classifier (nearest prototype) | `planningawal` §1, §2 (Inferensi); `interp` §2; `protocol` §14 |
|
||||
| Local prototype is the mean embedding of a client's class-`j` samples | `planningawal` §2; `protocol` §14 |
|
||||
| PROTEAN Eq. (2) uses equal contribution (`1/M`) and contains no `N_ij` weight; Figure 1 "Weighted averaging" is not formalized | `planningawal` §2; `interp` §1–2 |
|
||||
| `N_ij` is class-specific sample support, not prototype quality | `planningawal` §4; `agents` §9; `claims` claim 10 |
|
||||
| A larger `N_ij` does not imply a better prototype | `planningawal` §4; `agents` §9 |
|
||||
| Working title uses "Penalaan" instead of "Optimasi" | PROJECT decision; rationale: β is tuned among discrete candidates, no global optimum claimed. See proposal `Catatan Perbaikan` and `claims` claims 4–5 |
|
||||
| Scope is one method, one component, one tunable mechanism | SPEC §1, §11; `interp` §1, §11; `agents` §8 |
|
||||
|
||||
## 2. Missing-class handling and reproduction assumption
|
||||
## 1. Federated Learning and non-IID background
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
| Claim | Type | Source |
|
||||
|---|---|---|
|
||||
| FL trains collaboratively without centralizing raw data | PAPER | McMahan et al. (2017); Kairouz et al. (2021) |
|
||||
| Statistical heterogeneity is a central FL challenge | PAPER | Zhao et al. (2018); Zhu et al. (2021); Kairouz et al. (2021); Li et al. (2021) |
|
||||
| A proximal term stabilizes training under heterogeneity | PAPER | Li et al. (2020) |
|
||||
| FL for IDS must cope with heterogeneous traffic and data ownership | PAPER | Agrawal et al. (2021); Ferrag et al. (2020) |
|
||||
| Aggregate metrics can hide minority-class failure | PAPER | Johnson & Khoshgoftaar (2019) |
|
||||
| Macro-averaged / class-level measures suit imbalanced classes | PAPER | Sokolova & Lapalme (2009) |
|
||||
|
||||
## 2. Prototype-based FL and support weighting
|
||||
|
||||
| Claim | Type | Source |
|
||||
|---|---|---|
|
||||
| Prototype-based FL shares class prototypes and uses global prototypes to regularize local training | PAPER | Tan et al. (2022); Mu et al. (2023) |
|
||||
| Sample-count prototype weighting already exists (not novel by itself) | PAPER + SPEC | Tan et al. (2022); SPEC §10; `interp` §1; `synthesis` §15; `claims` claim "support weighting improves rare detection" (unsupported) |
|
||||
| The thesis does not claim novelty from `N_ij` | SPEC + PROJECT | SPEC §10; `interp` §1; proposal §1.7, §2.5 |
|
||||
| What remains open: controlled β tuning in PROTEAN, rare-class behavior, client-level effect, realized-condition dependence | SPEC + PROJECT | SPEC §6, §10; `synthesis` §15; proposal §2.5 |
|
||||
|
||||
## 3. PROTEAN mechanism and missing-class handling
|
||||
|
||||
| Claim | Evidence |
|
||||
|---|---|
|
||||
| Eq. (2) does not state how a class unavailable on a client is handled | `planningawal` §3; `interp` §4 |
|
||||
| The proposal uses `S_j = { i | N_ij > 0 and valid C_ij }` as the participant set | `planningawal` §3, §5; `interp` §3; `protocol` §5 |
|
||||
| `S_j` is a documented reproduction assumption, not verified against official code | `planningawal` §3; `protocol` §5; `baseline-inv` §2 (no official code found) |
|
||||
| All results are conditional on the shared `S_j` assumption | `protocol` §5, §12; `claims` claim 12; `synthesis` §14 |
|
||||
| PROTEAN shares class prototypes and aggregates models for non-IID IDS | PAPER (SPEC-consistent) | Chennoufi et al. (2025); SPEC §1; `baseline-inv` §1 |
|
||||
| Local prototype is the mean embedding of a client's class-`j` samples | SPEC | SPEC §2; `protocol` §14 |
|
||||
| Eq. (2) uses equal contribution (`1/M`) and contains no `N_ij` weight | SPEC | SPEC §2; `interp` §1–2 |
|
||||
| Global prototype is used for training alignment and as the nearest-prototype inference classifier | SPEC | SPEC §1–2; `interp` §2; `protocol` §14 |
|
||||
| Eq. (2) does not state missing-class handling; `S_j` is a reproduction assumption | SPEC + PROJECT | SPEC §3, §5; `protocol` §5; `interp` §4; `baseline-inv` §2 |
|
||||
|
||||
## 3. Proposed aggregation and beta semantics
|
||||
## 4. Proposed aggregation and beta semantics
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
|---|---|
|
||||
| Weighted form `Cbar_j(β) = Σ N_ij^β C_ij / Σ N_ij^β` | `planningawal` §5; `interp` §3 |
|
||||
| `β = 0` is equal weighting inside `S_j`, a control, not automatically the baseline | `planningawal` §5; `interp` §3 |
|
||||
| `β = 1` is support-proportional; equals the mean of included local class-`j` embeddings | `planningawal` §5; `interp` §3 |
|
||||
| `0 < β < 1` gives intermediate support influence | `planningawal` §5; `interp` §3 |
|
||||
| Candidate set `β ∈ {0, 0.25, 0.50, 0.75, 1.00}`, one value for all classes/clients | `planningawal` §7; `protocol` §5 |
|
||||
| `N_ij` is aggregation metadata; per-sample embeddings are not sent | `planningawal` §5 |
|
||||
| `β = 0` is not guaranteed bitwise identical to the baseline (floating-point order) | `claims` claim 12; `synthesis` §1, §7; per-condition `beta0_equivalence.csv` |
|
||||
|
||||
## 4. Novelty boundary and related work
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
|---|---|
|
||||
| Sample-count prototype weighting already exists; not novel by itself | `planningawal` §10; `interp` §1; `claims` claim 13 (note: claim numbering in `claims` file); `synthesis` §15 |
|
||||
| FedProto (Tan et al., 2022) already weights prototypes with class sample counts | `planningawal` §10 (Daftar Pustaka); `interp` §1 |
|
||||
| Novelty is framed around controlled `β` weighting in PROTEAN, validation tuning, paired multi-condition evaluation, and mechanism-level analysis | `planningawal` §10; `synthesis` §15; this proposal §1.7, §2.5 |
|
||||
| Contribution must not claim universal superiority or a global optimum | `planningawal` §7; `claims` claims 5, 7, 8, 9; `synthesis` §16 |
|
||||
| Claim | Type | Source |
|
||||
|---|---|---|
|
||||
| Weighted form `Cbar_j(β) = Σ N_ij^β C_ij / Σ N_ij^β` | SPEC | SPEC §5; `interp` §3 |
|
||||
| `β = 0` equal weighting inside `S_j`; control, not automatically the baseline | SPEC | SPEC §5; `interp` §3 |
|
||||
| `β = 1` support-proportional, equals mean of included local class embeddings | SPEC | SPEC §5; `interp` §3 |
|
||||
| `0 < β < 1` intermediate influence | SPEC | SPEC §5; `interp` §3 |
|
||||
| Candidate set `{0, 0.25, 0.50, 0.75, 1.00}`, one β for all classes/clients | SPEC | SPEC §7; `protocol` §5 |
|
||||
| `N_ij` is support, not quality | SPEC + PROJECT | SPEC §4; `agents` §9; `claims` (quality claim unsupported) |
|
||||
| `β = 0` not guaranteed bitwise identical to baseline | PROJECT | `protocol` §5; `synthesis` §1, §7; per-condition `beta0_equivalence.csv` |
|
||||
|
||||
## 5. Datasets and protocol
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
|---|---|
|
||||
| Datasets: X-IIoTID and 5G-NIDD | `protocol` §1; `dataset` §1–2 |
|
||||
| X-IIoTID uses label `class2`, benign `Normal`, drops `crypto-ransomware`, K=9 | `protocol` §1; `dataset` §1 |
|
||||
| 5G-NIDD uses label `Attack Type`, benign `Benign`, K=9 | `protocol` §1; `dataset` §2 |
|
||||
| Dataset shapes: X-IIoTID 820,834 × 68; 5G-NIDD 1,215,890 × 52 | `dataset` §1–2 |
|
||||
| 10 clients; Dirichlet `α ∈ {0.75, 0.50, 0.25}` from training split only | `protocol` §2 |
|
||||
| Partitions are deterministic and stored as reusable manifests | `protocol` §2, §6, §12 |
|
||||
| Splits are stratified 70/10/20; validation is a project decision, test 20% follows the paper | `protocol` §3 |
|
||||
| Seeds `{0,1,2}` are project-defined | `protocol` §4 |
|
||||
| Hyperparameters: 10 rounds, 3 local epochs, batch 256, Adam lr 1e-3, `μ=0.1`, `λ=1.0` | `protocol` §5, §14, §15 |
|
||||
| Preprocessing is fitted on the training split only | `protocol` §13 |
|
||||
| Realized heterogeneity must be measured; `α` alone is insufficient | `planningawal` §9; `protocol` §10 |
|
||||
| Claim | Type | Source |
|
||||
|---|---|---|
|
||||
| Datasets X-IIoTID and 5G-NIDD; label columns and dropped class; K=9 | PROJECT | `protocol` §1; `dataset` §1–2 |
|
||||
| X-IIoTID 820,834 × 68; 5G-NIDD 1,215,890 × 52 | PROJECT | `dataset` §1–2 |
|
||||
| 10 clients; Dirichlet `α ∈ {0.75, 0.50, 0.25}` from training split | PROJECT | `protocol` §2 |
|
||||
| Deterministic reusable manifests | PROJECT | `protocol` §2, §6, §12 |
|
||||
| Stratified 70/10/20 split; validation is a project decision | PROJECT | `protocol` §3 |
|
||||
| Seeds `{0,1,2}` | PROJECT | `protocol` §4 |
|
||||
| Hyperparameters 10 rounds / 3 epochs / batch 256 / Adam 1e-3 / μ=0.1 / λ=1.0 | PROJECT | `protocol` §5, §14, §15 |
|
||||
| Preprocessing fitted on training only | PROJECT | `protocol` §13 |
|
||||
| Realized heterogeneity must be measured, not inferred from α | SPEC + PROJECT | SPEC §9; `protocol` §10 |
|
||||
|
||||
## 6. Rare/unseen definition and selection
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
|---|---|
|
||||
| Rare classes per client: two attack classes with smallest positive training support | `planningawal` §9; `protocol` §7; `interp` §5 |
|
||||
| One class if only one exists; client excluded if no attack class | `protocol` §7; `interp` §5 |
|
||||
| Unseen classes (`N_ij = 0`) are evaluated separately and never merged with rare | `planningawal` §9; `protocol` §7; `interp` §5 |
|
||||
| Rare/unseen derived from training split before selection (no leakage) | `planningawal` §9; `protocol` §7 |
|
||||
| PRIMARY selection is pooled validation per-client rare-class macro-F1 across seeds | `planningawal` §7; `protocol` §8 |
|
||||
| Tie-break: pooled recall, then lower across-seed std, then smaller beta | `protocol` §8 |
|
||||
| Secondary per-seed selection is diagnostic only | `protocol` §8 |
|
||||
| Test is used only after `β` is fixed and never influences selection | `planningawal` §7; `protocol` §8; `synthesis` §3 |
|
||||
| Grid: 2 datasets × 3 α × 3 seeds × (baseline + 5 betas) | `protocol` §8, §12; `handoff` (grid complete) |
|
||||
| No significance testing promised with three seeds | `synthesis` §13; `handoff` §14 |
|
||||
| Claim | Type | Source |
|
||||
|---|---|---|
|
||||
| Rare = two attack classes with smallest positive training support | SPEC | SPEC §9; `protocol` §7; `interp` §5 |
|
||||
| One class if only one; client excluded if none; benign never rare | SPEC + PROJECT | `protocol` §7; `interp` §5 |
|
||||
| Unseen (`N_ij = 0`) separate and never merged with rare | SPEC | SPEC §9; `protocol` §7; `interp` §5 |
|
||||
| Rare/unseen derived from training split before selection | SPEC | SPEC §9; `protocol` §7 |
|
||||
| PRIMARY = pooled validation per-client rare-class macro-F1 across seeds | SPEC + PROJECT | SPEC §7; `protocol` §8 |
|
||||
| Tie-break order | PROJECT | `protocol` §8 |
|
||||
| Secondary per-seed selection is diagnostic only | PROJECT | `protocol` §8 |
|
||||
| Test used only after β is fixed | SPEC + PROJECT | SPEC §7; `protocol` §8 |
|
||||
| Grid = 2 datasets × 3 α × 3 seeds × (baseline + 5 betas) | PROJECT | `protocol` §8, §12 |
|
||||
| No significance testing promised (three seeds) | PROJECT | `synthesis` §13; `handoff` §14 |
|
||||
|
||||
## 7. Metrics and analysis design
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
|---|---|
|
||||
| Primary metric is per-client rare-class macro-F1 | `planningawal` §7–8; `protocol` §8–9 |
|
||||
| Supporting metrics: rare recall, overall macro-F1, weighted-F1, accuracy, per-client, displacement, heterogeneity | `protocol` §9–11; `interp` §8 |
|
||||
| Direct prototype effect is separated from end-to-end training effect | `planningawal` §6, §9; `protocol` §11; `interp` §9 |
|
||||
| Displacement `||Cbar_j(β) − Cbar_j(0)||` is reported | `planningawal` §9; `protocol` §11 |
|
||||
| Rare-class evaluation support must be recorded | `planningawal` §9; `protocol` §9–10 |
|
||||
| Claim | Type | Source |
|
||||
|---|---|---|
|
||||
| Primary metric per-client rare-class macro-F1; macro-F1 justified for imbalance | SPEC + PAPER | SPEC §7–8; `protocol` §9; Sokolova & Lapalme (2009) |
|
||||
| Supporting metrics incl. per-class/per-client and displacement | SPEC + PROJECT | `protocol` §9–11 |
|
||||
| Direct aggregation effect separated from end-to-end training effect | SPEC | SPEC §6, §9; `protocol` §11; `interp` §9 |
|
||||
| Rare-class evaluation support recorded | SPEC | SPEC §9; `protocol` §9–10 |
|
||||
|
||||
## 8. Research evolution (narrowing)
|
||||
## 8. Research narrowing and title change
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
|---|---|
|
||||
| The current scope excludes multiple simultaneous mechanisms and broad comparisons | `planningawal` §11; `interp` §11; `agents` §8 |
|
||||
| Earlier broad scope including Differential Privacy is not documented in this repository | Not found in repo (`grep` for "Differential Privacy" returns only this proposal's own note); treated as external context from the session instruction, not a repository claim |
|
||||
| Claim | Type | Source |
|
||||
|---|---|---|
|
||||
| Broad earlier scope (including Differential Privacy and multiple mechanisms) is excluded | PROJECT / external | Not documented in the repository; described as external session context. Current narrowing is supported by SPEC §11 and `interp` §11 |
|
||||
| Title changed from "Optimasi" to "Penalaan" | PROJECT | Proposal `Catatan Perbaikan`; consistency with `claims` claims 4–5 |
|
||||
| Literature strengthened with verified references | PAPER | `LITERATURE_MATRIX.md`; `REFERENCES_VERIFIED.md` |
|
||||
|
||||
## 9. Preliminary study statements
|
||||
|
||||
| Claim in proposal | Evidence |
|
||||
|---|---|
|
||||
| Implementation is feasible (baseline and `β` mode run on both datasets) | `protocol` §5, §15; baseline validation doc `docs/baseline/BASELINE_VALIDATION.md`; `handoff` |
|
||||
| Realized support imbalance is substantial at low `α` | `artifacts` (`final__realized_heterogeneity.csv`); `handoff` §8 |
|
||||
| Changing `β` shifts global prototypes at fixed local prototypes | `artifacts` (`final__prototype_displacement_by_beta.csv`); `synthesis` §7 |
|
||||
| Candidate preference can differ across non-IID conditions | `artifacts` (`final__pooled_validation_curves.csv`, `final__selection_strength.csv`); `handoff` |
|
||||
| Claim | Type | Source |
|
||||
|---|---|---|
|
||||
| Pipeline is feasible (baseline and β mode run) | PRELIM | `protocol` §5, §15; `handoff`; `docs/baseline/BASELINE_VALIDATION.md` |
|
||||
| Realized support imbalance is substantial at low α | PRELIM | `artifacts/analysis/final__realized_heterogeneity.csv`; `handoff` §8 |
|
||||
| Changing β shifts global prototypes at fixed local prototypes | PRELIM | `artifacts/analysis/final__prototype_displacement_by_beta.csv`; `synthesis` §7 |
|
||||
| Candidate preference can differ across non-IID conditions | PRELIM | `artifacts/analysis/final__pooled_validation_curves.csv`; `final__selection_strength.csv` |
|
||||
|
||||
Note: the preliminary-study section deliberately omits the final six-condition selections, the
|
||||
complete master table, and the final test results, consistent with preserving the proposal framing.
|
||||
## 10. Final-result evidence deliberately NOT used in the proposal
|
||||
|
||||
## 10. Items not yet evidenced in the repository (must be verified or added)
|
||||
| Evidence | Location | Reason |
|
||||
|---|---|---|
|
||||
| Six-condition final beta selections | `final__six_condition_master.csv`; `handoff` | Would turn the proposal into a results chapter |
|
||||
| Full selected-beta test metrics | `final__selected_vs_original.csv` | Final results, not proposal content |
|
||||
| Final RQ conclusions | `synthesis` §9–11 | Reserved for the thesis |
|
||||
| Complete 108-run inventory findings | `synthesis`; `handoff` | Proposal presents the grid as a design, not a completed study |
|
||||
|
||||
## 11. Items not yet evidenced in the repository
|
||||
|
||||
| Item | Status |
|
||||
|---|---|
|
||||
| FL-IDS / non-IID literature beyond PROTEAN and FedProto | Not present; metadata must be verified before citing |
|
||||
| The earlier Differential Privacy research design | Not documented in the repository; only described as external session context |
|
||||
| PROTEAN paper's own related-work citations | Not extracted into the repository |
|
||||
| Any bibliographic field not taken verbatim from `planningawal` or `baseline-inv` | Must be marked `[metadata perlu diverifikasi]` |
|
||||
| IDS-specific class-imbalance / rare-attack peer-reviewed references | Not yet present; must be sourced and verified |
|
||||
| Journal version of the FL-IDS survey (Agrawal et al.) | Unverified |
|
||||
| Peer-reviewed venue of Zhao et al. (2018) and Li et al. (2021) | Unverified |
|
||||
| AAAI DOI and page details for FedProto | To confirm |
|
||||
| Volume/pages for Kairouz et al. (2021) and Mu et al. (2023) | To confirm |
|
||||
@@ -0,0 +1,161 @@
|
||||
# References Verified
|
||||
|
||||
Internal verification record for the thesis proposal bibliography. The formal proposal bibliography
|
||||
must not contain an unverified source without an explicit flag.
|
||||
|
||||
Status definitions:
|
||||
|
||||
- **verified** — title, authors, year, and venue/identifier confirmed from a primary or authoritative
|
||||
source (arXiv abstract page, publisher DOI record, or Semantic Scholar/DBLP bibliographic record).
|
||||
- **partially verified** — primary arXiv record confirmed; a peer-reviewed venue/status field is not
|
||||
yet confirmed.
|
||||
- **requires metadata confirmation** — used only for individual fields (volume/pages), not for the
|
||||
existence of the work.
|
||||
|
||||
Verification date: 2026-10-02. Method: primary arXiv abstract pages and Semantic Scholar
|
||||
bibliographic API.
|
||||
|
||||
---
|
||||
|
||||
## V01 — McMahan et al. (2017)
|
||||
|
||||
- Citation: McMahan, H. B., Moore, E., Ramage, D., Hampson, S., & Agüera y Arcas, B. (2017).
|
||||
Communication-Efficient Learning of Deep Networks from Decentralized Data. AISTATS 2017, PMLR 54,
|
||||
1273–1282.
|
||||
- Identifier: arXiv:1602.05629; DOI 10.48550/arXiv.1602.05629.
|
||||
- Verification source: arXiv abstract page (journal ref: "Proceedings of the 20th AISTATS 2017.
|
||||
JMLR: W&CP volume 54").
|
||||
- Status: **verified**.
|
||||
- Note: page range not shown on the arXiv page; confirm PMLR page numbers.
|
||||
|
||||
## V02 — Kairouz et al. (2021)
|
||||
|
||||
- Citation: Kairouz, P., McMahan, H. B., Avent, B., Bellet, A., Bennis, M., Bhagoji, A. N., et al.
|
||||
(2021). Advances and Open Problems in Federated Learning. Foundations and Trends in Machine
|
||||
Learning, 4(1–2), 1–210.
|
||||
- Identifier: arXiv:1912.04977; DOI 10.48550/arXiv.1912.04977.
|
||||
- Verification source: arXiv abstract page (comment: published in Foundations and Trends in Machine
|
||||
Learning, Now Publishers); Semantic Scholar record (venue "Found. Trends Mach. Learn.",
|
||||
vol. 14, pp. 1–210, DOI 10.1561/2200000083).
|
||||
- Status: **verified** — DOI, volume and pages confirmed from a bibliographic record. Note: the
|
||||
arXiv comment states "Vol 4 Issue 1", which conflicts with vol. 14; this discrepancy should be
|
||||
reconciled before final submission.
|
||||
|
||||
## V03 — Li et al. (2020), FedProx
|
||||
|
||||
- Citation: Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., & Smith, V. (2020).
|
||||
Federated Optimization in Heterogeneous Networks. Proceedings of Machine Learning and Systems
|
||||
(MLSys 2020), 2, 429–450.
|
||||
- Identifier: arXiv:1812.06127; DOI 10.48550/arXiv.1812.06127.
|
||||
- Verification source: arXiv abstract page (comment: MLSys 2020).
|
||||
- Status: **verified** — venue confirmed from primary page; page range conventional (confirm).
|
||||
|
||||
## V04 — Zhao et al. (2018)
|
||||
|
||||
- Citation: Zhao, Y., Li, M., Lai, L., Suda, N., Civin, D., & Chandra, V. (2018). Federated
|
||||
Learning with Non-IID Data.
|
||||
- Identifier: arXiv:1806.00582; DOI 10.48550/arXiv.1806.00582.
|
||||
- Verification source: arXiv abstract page.
|
||||
- Status: **partially verified** — work and authors confirmed; peer-reviewed venue/status not
|
||||
confirmed (arXiv preprint).
|
||||
|
||||
## V05 — Zhu et al. (2021)
|
||||
|
||||
- Citation: Zhu, H., Xu, J., Liu, S., & Jin, Y. (2021). Federated learning on non-IID data: A
|
||||
survey. Neurocomputing, 465, 371–390.
|
||||
- Identifier: DOI 10.1016/j.neucom.2021.07.098; arXiv:2106.06843.
|
||||
- Verification source: Semantic Scholar bibliographic record (title, authors, year, venue, DOI).
|
||||
- Status: **verified**.
|
||||
|
||||
## V06 — Li et al. (2021), non-IID silos
|
||||
|
||||
- Citation: Li, Q., Diao, Y., Chen, Q., & He, B. (2021). Federated Learning on Non-IID Data Silos:
|
||||
An Experimental Study.
|
||||
- Identifier: arXiv:2102.02079; DOI 10.48550/arXiv.2102.02079.
|
||||
- Verification source: arXiv abstract page.
|
||||
- Status: **partially verified** — work and authors confirmed; peer-reviewed venue/status not
|
||||
confirmed. (Frequently associated with ICDE 2022, but this was not confirmed from a primary
|
||||
record and is therefore not asserted.)
|
||||
|
||||
## V07 — Agrawal et al. (2021)
|
||||
|
||||
- Citation: Agrawal, S., Sarkar, S., Aouedi, O., Yenduri, G., Piamrat, K., Bhattacharya, S.,
|
||||
Maddikunta, P. K. R., & Gadekallu, T. R. (2021). Federated Learning for Intrusion Detection
|
||||
System: Concepts, Challenges and Future Directions.
|
||||
- Identifier: arXiv:2106.09527; DOI 10.48550/arXiv.2106.09527.
|
||||
- Verification source: arXiv abstract page (comment: "Submitted to JNCA, Elsevier").
|
||||
- Status: **partially verified** — work and authors confirmed; journal version unconfirmed.
|
||||
|
||||
## V08 — Ferrag et al. (2020)
|
||||
|
||||
- Citation: Ferrag, M. A., Maglaras, L., Moschoyiannis, S., & Janicke, H. (2020). Deep learning for
|
||||
cyber security intrusion detection: Approaches, datasets, and comparative study. Journal of
|
||||
Information Security and Applications, 50, 102419.
|
||||
- Identifier: DOI 10.1016/j.jisa.2019.102419.
|
||||
- Verification source: Semantic Scholar bibliographic record (title, authors, year, venue, DOI).
|
||||
- Status: **verified**.
|
||||
|
||||
## V09 — Johnson & Khoshgoftaar (2019)
|
||||
|
||||
- Citation: Johnson, J. M., & Khoshgoftaar, T. M. (2019). Survey on deep learning with class
|
||||
imbalance. Journal of Big Data, 6, 27.
|
||||
- Identifier: DOI 10.1186/s40537-019-0192-5.
|
||||
- Verification source: Semantic Scholar bibliographic record.
|
||||
- Status: **verified** — article number 27; page range not applicable.
|
||||
|
||||
## V10 — Sokolova & Lapalme (2009)
|
||||
|
||||
- Citation: Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for
|
||||
classification tasks. Information Processing & Management, 45(4), 427–437.
|
||||
- Identifier: DOI 10.1016/j.ipm.2009.03.002.
|
||||
- Verification source: Semantic Scholar bibliographic record.
|
||||
- Status: **verified**.
|
||||
|
||||
## V11 — Tan et al. (2022), FedProto
|
||||
|
||||
- Citation: Tan, Y., Long, G., Liu, L., Zhou, T., Lu, Q., Jiang, J., & Zhang, C. (2022). FedProto:
|
||||
Federated Prototype Learning across Heterogeneous Clients. AAAI 36(8), 8432–8440.
|
||||
- Identifier: arXiv:2105.00243; AAAI DOI 10.1609/aaai.v36i8.20819.
|
||||
- Verification source: Semantic Scholar lookup by DOI 10.1609/aaai.v36i8.20819 (title, venue,
|
||||
pages 8432–8440, DOI) and by arXiv record; volume/issue/pages also in the immutable project
|
||||
specification (`planningawal/PROTEAN_Revisi_Lurus.md`).
|
||||
- Status: **verified**.
|
||||
|
||||
## V12 — Mu et al. (2023), FedProc
|
||||
|
||||
- Citation: Mu, X., Shen, Y., Cheng, K., Geng, X., Fu, J., Zhang, T., & Zhang, Z. (2023). FedProc:
|
||||
Prototypical Contrastive Federated Learning on Non-IID data. Future Generation Computer Systems,
|
||||
143, 93–104.
|
||||
- Identifier: DOI 10.1016/j.future.2023.01.019; arXiv:2109.12273.
|
||||
- Verification source: Semantic Scholar bibliographic record (venue = Future Generation Computer
|
||||
Systems, vol. 143, pp. 93–104, DOI, arXiv).
|
||||
- Status: **verified**. (Correction: an earlier draft recorded pages 339–348; the correct pages are
|
||||
93–104.)
|
||||
|
||||
## V13 — Chennoufi et al. (2025), PROTEAN
|
||||
|
||||
- Citation: Chennoufi, S., Han, Y., Blanc, G., De Cristofaro, E., & Kiennert, C. (2025). PROTEAN:
|
||||
Federated Intrusion Detection in Non-IID Environments through Prototype-Based Knowledge Sharing.
|
||||
ESORICS 2025, pp. 103–125. Springer.
|
||||
- Identifier: arXiv:2507.05524; DOI 10.1007/978-3-032-07884-1_6.
|
||||
- Verification source: arXiv abstract page (journal ref: ESORICS 2025); DOI and page range from
|
||||
`docs/baseline/PROTEAN_BASELINE_INVESTIGATION.md` (Springer record).
|
||||
- Status: **verified**.
|
||||
|
||||
---
|
||||
|
||||
## Summary
|
||||
|
||||
| Status | Count | IDs |
|
||||
|---|---|---|
|
||||
| verified | 10 | V01, V02, V03, V05, V08, V09, V10, V11, V12, V13 |
|
||||
| partially verified | 3 | V04, V06, V07 |
|
||||
| requires metadata confirmation (individual fields) | — | Kairouz vol. discrepancy; McMahan AISTATS page range |
|
||||
|
||||
## Actions before final proposal
|
||||
|
||||
1. Confirm venues for V04 (Zhao et al.) and V06 (Li et al. silos): preprint vs published.
|
||||
2. Confirm journal version of V07 (Agrawal et al.).
|
||||
3. Reconcile the Kairouz et al. volume discrepancy (arXiv comment "Vol 4" vs bibliographic vol. 14)
|
||||
and confirm the McMahan et al. AISTATS page range.
|
||||
4. Add 1–2 peer-reviewed IDS class-imbalance / rare-attack references (not yet in the repository).
|
||||
@@ -1,17 +1,17 @@
|
||||
# JUDUL
|
||||
|
||||
**Optimasi Agregasi Prototype pada PROTEAN melalui Pembobotan Berbasis Dukungan Sampel Kelas
|
||||
**Penalaan Agregasi Prototype pada PROTEAN melalui Pembobotan Berbasis Dukungan Sampel Kelas
|
||||
untuk Deteksi Serangan Langka pada Data Non-IID**
|
||||
|
||||
*(Optimizing Prototype Aggregation in PROTEAN through Class-Sample-Support Weighting for Rare
|
||||
Attack Detection under Non-IID Data Distributions)*
|
||||
*(Tuning Prototype Aggregation in PROTEAN through Class-Sample-Support Weighting for Rare Attack
|
||||
Detection under Non-IID Data Distributions)*
|
||||
|
||||
Nama: Muhamad Wildan Rizky
|
||||
NIM: 20102520001
|
||||
|
||||
Dokumen ini adalah draf proposal tesis pada tahap awal. Fokus penelitian telah dipersempit pada
|
||||
satu mekanisme agregasi prototype di server PROTEAN. Draf ini belum memuat hasil akhir; bagian
|
||||
studi pendahuluan hanya digunakan sebatas menunjukkan kelayakan pelaksanaan.
|
||||
Dokumen ini adalah draf proposal tesis pada tahap awal. Fokus penelitian dipersempit pada satu
|
||||
mekanisme agregasi prototype di server PROTEAN. Draf ini belum memuat hasil akhir; bagian studi
|
||||
pendahuluan hanya digunakan sebatas menunjukkan kelayakan pelaksanaan.
|
||||
|
||||
---
|
||||
|
||||
@@ -19,60 +19,69 @@ studi pendahuluan hanya digunakan sebatas menunjukkan kelayakan pelaksanaan.
|
||||
|
||||
## 1.1 Latar Belakang
|
||||
|
||||
Perkembangan jaringan yang terdistribusi, seperti jaringan IoT industri dan jaringan 5G, membuat
|
||||
volume lalu lintas yang harus diawasi oleh sistem deteksi intrusi (intrusion detection system,
|
||||
IDS) terus bertambah. Data lalu lintas tersebut umumnya tersebar pada banyak titik jaringan dan
|
||||
tidak selalu dapat dikumpulkan ke satu pusat. Pengumpulan data mentah secara terpusat menimbulkan
|
||||
beban komunikasi sekaligus masalah privasi, terutama ketika data merekam perilaku perangkat dan
|
||||
pengguna.
|
||||
Perkembangan jaringan terdistribusi, seperti jaringan IoT industri dan jaringan 5G, membuat volume
|
||||
lalu lintas yang harus diawasi oleh sistem deteksi intrusi (intrusion detection system, IDS) terus
|
||||
bertambah. Data lalu lintas tersebut umumnya tersebar pada banyak titik jaringan dan tidak selalu
|
||||
dapat dikumpulkan ke satu pusat. Pengumpulan data mentah secara terpusat menimbulkan beban
|
||||
komunikasi sekaligus masalah privasi, karena data merekam perilaku perangkat dan pengguna.
|
||||
|
||||
Federated Learning (FL) menawarkan cara untuk melatih model secara kolaboratif tanpa memindahkan
|
||||
data mentah ke server. Setiap client melatih model pada datanya sendiri, lalu hanya parameter model
|
||||
yang dikirim dan digabungkan oleh server. Pola ini sesuai untuk IDS karena data serangan dapat
|
||||
tetap berada di lokasi masing-masing. Namun, FL pada IDS menghadapi tantangan ketika distribusi
|
||||
kelas antar-client tidak seragam, atau non-IID. Sebagian client dapat memiliki jenis serangan yang
|
||||
sangat dominan, sementara client lain hanya memiliki sedikit contoh, bahkan tidak memiliki contoh
|
||||
sama sekali untuk kelas serangan tertentu.
|
||||
Federated Learning (FL) menawarkan cara melatih model secara kolaboratif tanpa memindahkan data
|
||||
mentah ke server. Setiap client melatih model pada datanya sendiri, lalu hanya parameter model yang
|
||||
dikirim dan digabungkan oleh server (McMahan et al., 2017; Kairouz et al., 2021). Pola ini sesuai
|
||||
untuk IDS karena data serangan dapat tetap berada di lokasi masing-masing, sementara model global
|
||||
tetap dapat dibangun bersama. Pemanfaatan FL untuk IDS telah banyak ditinjau, antara lain karena
|
||||
karakter data keamanan yang tersebar dan sensitif (Agrawal et al., 2021; Ferrag et al., 2020).
|
||||
|
||||
Tantangan utama FL pada IDS adalah data antarclient yang non-IID. Distribusi kelas pada setiap
|
||||
client tidak seragam, sehingga data yang dimiliki tiap client tidak identik dan tidak independen.
|
||||
Zhao et al. (2018) menunjukkan bahwa ketidakseragaman ini dapat menurunkan kinerja model global
|
||||
secara signifikan, dan kajian yang lebih luas menempatkan heterogenitas statistik sebagai salah satu
|
||||
persoalan terbuka utama pada FL (Zhu et al., 2021; Kairouz et al., 2021; Li et al., 2021). Pada
|
||||
konteks IDS, perbedaan ini muncul karena setiap client mengamati pola lalu lintas dan kebijakan
|
||||
keamanan yang berbeda (Agrawal et al., 2021).
|
||||
|
||||
Ketidakseimbangan kelas memperkuat masalah tersebut. Kelas serangan langka hanya muncul pada
|
||||
sebagian kecil data, sehingga rata-rata kinerja keseluruhan dapat terlihat baik meskipun model
|
||||
gagal mendeteksi kelas yang jarang. Pada konteks keamanan, kegagalan mendeteksi kelas langka justru
|
||||
berisiko, karena serangan yang jarang belum tentu tidak berbahaya. Karena itu, evaluasi yang hanya
|
||||
mengandalkan akurasi global kurang memadai, dan metrik per kelas seperti macro-F1 serta recall
|
||||
kelas langka menjadi lebih relevan.
|
||||
sebagian kecil data, sehingga metrik yang merangkum seluruh kelas dapat terlihat baik meskipun model
|
||||
gagal mendeteksi kelas yang jarang. Kajian pada pembelajaran mesin menunjukkan bahwa akurasi
|
||||
keseluruhan sering menyembunyikan kegagalan pada kelas minoritas (Johnson & Khoshgoftaar, 2019), dan
|
||||
metrik per kelas seperti macro-F1 lebih tepat untuk menilai kinerja yang seimbang antarkelas
|
||||
(Sokolova & Lapalme, 2009). Pada konteks keamanan, kegagalan mendeteksi kelas langka justru
|
||||
berisiko, karena serangan yang jarang belum tentu tidak berbahaya.
|
||||
|
||||
Untuk menghadapi data non-IID, sebagian metode FL berbagi pengetahuan dalam bentuk prototype kelas,
|
||||
bukan hanya parameter model. Prototype kelas adalah representasi rata-rata embedding sampel pada
|
||||
suatu kelas. Dengan berbagi prototype, client dapat memanfaatkan representasi kelas yang mungkin
|
||||
tidak dimilikinya. PROTEAN (Chennoufi et al., 2025) merupakan salah satu metode federated intrusion
|
||||
detection yang menggunakan pertukaran prototype kelas bersama agregasi model pada data non-IID.
|
||||
Global prototype hasil agregasi di server digunakan pada dua proses: sebagai acuan prototype
|
||||
alignment saat pelatihan lokal dan sebagai pembanding embedding saat inferensi. Dengan demikian,
|
||||
cara server menggabungkan local prototype berpengaruh pada representasi kelas sekaligus pada
|
||||
keputusan deteksi.
|
||||
suatu kelas. FedProto menunjukkan bahwa pertukaran class prototype dapat meningkatkan ketahanan
|
||||
terhadap heterogenitas client (Tan et al., 2022), dan pendekatan prototipikal lain juga digunakan
|
||||
untuk memperbaiki pelatihan lokal pada data non-IID (Mu et al., 2023). PROTEAN (Chennoufi et al.,
|
||||
2025) merupakan salah satu metode federated intrusion detection yang menggunakan pertukaran
|
||||
prototype kelas bersama agregasi model pada data non-IID. Global prototype hasil agregasi di server
|
||||
digunakan pada dua proses: sebagai acuan prototype alignment saat pelatihan lokal dan sebagai
|
||||
pembanding embedding saat inferensi. Dengan demikian, cara server menggabungkan local prototype
|
||||
berpengaruh pada representasi kelas sekaligus pada keputusan deteksi.
|
||||
|
||||
Pada Persamaan (2) PROTEAN, kontribusi setiap local prototype terhadap global prototype bersifat
|
||||
sama, yaitu rata-rata sederhana. Padahal, local prototype kelas yang sama dapat dibentuk dari
|
||||
jumlah sampel yang sangat berbeda antarklien. Misalnya, satu client dapat memiliki ratusan sampel
|
||||
untuk suatu kelas, sementara client lain hanya memiliki beberapa sampel. Equal weighting memberi
|
||||
sama, yaitu rata-rata sederhana. Padahal, local prototype kelas yang sama dapat dibentuk dari jumlah
|
||||
sampel yang sangat berbeda antarklien. Misalnya, satu client dapat memiliki ratusan sampel untuk
|
||||
suatu kelas, sementara client lain hanya memiliki beberapa sampel. Equal weighting memberi
|
||||
kontribusi yang sama kepada kedua prototype tersebut, tanpa mempertimbangkan perbedaan dukungan
|
||||
sampel yang membentuknya. Kondisi ini menimbulkan pertanyaan apakah cara penggabungan tersebut
|
||||
sudah sesuai, terutama untuk kelas serangan langka.
|
||||
sampel yang membentuknya. Kondisi ini menimbulkan pertanyaan apakah cara penggabungan tersebut sudah
|
||||
sesuai, terutama untuk kelas serangan langka.
|
||||
|
||||
Di sisi lain, dukungan sampel yang lebih besar tidak otomatis berarti prototype yang lebih baik.
|
||||
`N_ij`, yaitu jumlah sampel kelas `j` pada client `i`, adalah ukuran dukungan sampel, bukan skor
|
||||
kualitas prototype. Prototype yang dibentuk dari sedikit sampel belum tentu buruk, dan prototype
|
||||
yang dibentuk dari banyak sampel belum tentu mewakili variasi serangan yang ingin dideteksi. Oleh
|
||||
karena itu, pengaruh dukungan sampel sebaiknya dikendalikan dan diuji, bukan diasumsikan selalu
|
||||
yang dibentuk dari banyak sampel belum tentu mewakili variasi serangan yang ingin dideteksi. Karena
|
||||
itu, pengaruh dukungan sampel sebaiknya dikendalikan dan diuji, bukan diasumsikan selalu
|
||||
menguntungkan.
|
||||
|
||||
Penelitian ini mengusulkan mekanisme pembobotan yang dikendalikan oleh parameter `β`. Bobot
|
||||
kontribusi client `i` untuk kelas `j` adalah `N_ij^β`, dengan `0 ≤ β ≤ 1`. Nilai `β = 0`
|
||||
menghasilkan pembobotan seragam, `β = 1` menghasilkan pembobotan sebanding dengan dukungan sampel,
|
||||
dan nilai di antaranya memberi pengaruh yang lebih moderat. Karena pengaruh pembobotan diduga
|
||||
bergantung pada tingkat ketimpangan data, evaluasi dilakukan pada beberapa kondisi non-IID yang
|
||||
dibentuk dengan parameter Dirichlet `α` yang berbeda. Dengan pendekatan ini, penelitian diarahkan
|
||||
pada satu mekanisme yang dapat ditelusuri, bukan pada perbandingan banyak metode sekaligus.
|
||||
bergantung pada tingkat ketimpangan data, evaluasi akan dilakukan pada beberapa kondisi non-IID
|
||||
yang dibentuk dengan parameter Dirichlet `α` yang berbeda. Dengan pendekatan ini, penelitian
|
||||
diarahkan pada satu mekanisme yang dapat ditelusuri, bukan pada perbandingan banyak metode
|
||||
sekaligus.
|
||||
|
||||
## 1.2 Identifikasi Masalah
|
||||
|
||||
@@ -95,11 +104,13 @@ Berdasarkan latar belakang tersebut, masalah yang diteliti dapat dirumuskan seba
|
||||
|
||||
### 1.3.1 Hal yang sudah diketahui
|
||||
|
||||
Pembelajaran FL berbasis prototype telah dikembangkan untuk menangani data yang heterogen. PROTEAN
|
||||
menggunakan pertukaran class prototype bersama agregasi model pada konteks federated intrusion
|
||||
detection dengan data non-IID. Pembobotan prototype yang melibatkan jumlah sampel kelas juga sudah
|
||||
ada pada penelitian lain, antara lain FedProto (Tan et al., 2022). Dengan demikian, penggunaan
|
||||
`N_ij` untuk membobot prototype bukan hal baru dengan sendirinya.
|
||||
Pembelajaran FL berbasis prototype telah dikembangkan untuk menangani data yang heterogen, antara
|
||||
lain melalui pertukaran class prototype (Tan et al., 2022) dan pemanfaatan prototype sebagai
|
||||
pengetahuan global untuk memperbaiki pelatihan lokal (Mu et al., 2023). PROTEAN menggunakan
|
||||
pertukaran class prototype bersama agregasi model pada konteks federated intrusion detection dengan
|
||||
data non-IID (Chennoufi et al., 2025). Pembobotan prototype yang melibatkan jumlah sampel kelas juga
|
||||
sudah ada pada penelitian lain, antara lain FedProto (Tan et al., 2022). Dengan demikian,
|
||||
penggunaan `N_ij` untuk membobot prototype bukan hal baru dengan sendirinya.
|
||||
|
||||
### 1.3.2 Hal yang masih belum memadai untuk lingkup penelitian ini
|
||||
|
||||
@@ -197,44 +208,55 @@ bahwa pembobotan berbasis jumlah sampel merupakan hal yang baru dengan sendiriny
|
||||
|
||||
Federated Learning adalah pendekatan pelatihan model yang menjaga data tetap berada di sisi client.
|
||||
Server mengoordinasikan proses pelatihan dan menggabungkan parameter model, sementara data mentah
|
||||
tidak dipindahkan. Pendekatan ini menarik untuk IDS karena data lalu lintas jaringan sering
|
||||
tersebar, bersifat sensitif, dan tidak selalu dapat dikumpulkan secara terpusat.
|
||||
tidak dipindahkan (McMahan et al., 2017). Kerangka ini sesuai untuk lingkungan dengan banyak pemilik
|
||||
data yang tidak dapat atau tidak ingin memusatkan datanya, dan telah menjadi salah satu arah
|
||||
penelitian utama pada pembelajaran mesin terdistribusi (Kairouz et al., 2021).
|
||||
|
||||
Tantangan utama FL pada IDS adalah data antarclient yang non-IID. Setiap client mengamati pola
|
||||
lalu lintas yang berbeda, sehingga distribusi kelasnya tidak seragam. Sebagian client dapat
|
||||
memiliki kelas serangan yang dominan, sementara client lain jarang atau tidak pernah melihat kelas
|
||||
tersebut. Perbedaan ini dapat menurunkan kualitas model global jika proses agregasi tidak
|
||||
memperhatikan heterogenitas tersebut.
|
||||
Pada IDS, data lalu lintas jaringan tersebar pada organisasi, perangkat, atau segmen jaringan yang
|
||||
berbeda. Setiap pemilik data mengamati pola serangan yang belum tentu sama, sehingga distribusi
|
||||
kelas antarclient cenderung heterogen. Tinjauan penerapan FL pada IDS menunjukkan bahwa pendekatan
|
||||
ini menarik karena tidak memindahkan data mentah, tetapi juga mencatat heterogenitas data dan
|
||||
keterbatasan komunikasi sebagai tantangan utama (Agrawal et al., 2021). Kajian lain menempatkan
|
||||
deteksi intrusi sebagai salah satu domain keamanan siber yang memperoleh manfaat dari pembelajaran
|
||||
mendalam terdistribusi, sekaligus menghadapi persoalan distribusi data yang tidak seragam (Ferrag
|
||||
et al., 2020).
|
||||
|
||||
## 2.2 Class Imbalance dan Rare Attack pada FL-IDS
|
||||
## 2.2 Non-IID dan Ketimpangan Kelas pada FL-IDS
|
||||
|
||||
Pada data keamanan, jumlah sampel tiap kelas sangat tidak seimbang. Kelas benign biasanya jauh
|
||||
lebih banyak daripada kelas serangan, dan sebagian jenis serangan hanya muncul dalam jumlah kecil.
|
||||
Akibatnya, model dapat mencapai akurasi atau kinerja global yang terlihat baik dengan cara
|
||||
mengorbankan kelas minoritas.
|
||||
Heterogenitas statistik atau non-IID berarti distribusi data antarclient tidak identik. Zhao et al.
|
||||
(2018) menunjukkan bahwa pada data yang sangat tidak seimbang, kinerja FL dapat menurun cukup besar,
|
||||
dan penurunan ini berkaitan dengan perbedaan distribusi kelas antarclient. Kajian yang lebih luas
|
||||
mengelompokkan penanganan non-IID sebagai salah satu persoalan terbuka FL (Zhu et al., 2021; Kairouz
|
||||
et al., 2021), dan studi eksperimental pada data silo menegaskan bahwa tidak ada satu algoritma FL
|
||||
yang unggul pada semua bentuk non-IID (Li et al., 2021). FedProx merupakan contoh pendekatan yang
|
||||
menambahkan suku proksimal untuk menstabilkan pelatihan pada data yang heterogen (Li et al., 2020).
|
||||
|
||||
Metrik yang hanya merangkum seluruh kelas, seperti akurasi global, kurang cocok untuk menilai
|
||||
deteksi kelas langka. Metrik seperti macro-F1 dan recall per kelas lebih relevan karena memberi
|
||||
bobot yang lebih seimbang pada setiap kelas. Karena itu, penelitian ini menggunakan macro-F1 kelas
|
||||
langka sebagai metrik utama, dengan metrik pendukung seperti recall kelas langka, macro-F1
|
||||
keseluruhan, dan hasil per klien.
|
||||
Pada IDS, non-IID sering berhubungan dengan ketimpangan dukungan kelas. Sebagian client memiliki
|
||||
banyak sampel untuk suatu jenis serangan, sementara client lain hanya memiliki sedikit, atau tidak
|
||||
memilikinya sama sekali. Ketimpangan ini membuat metrik yang merangkum seluruh kelas kurang
|
||||
informatif. Johnson & Khoshgoftaar (2019) meninjau bahwa kelas minoritas mudah terabaikan ketika
|
||||
evaluasi menekankan kinerja agregat, sedangkan Sokolova & Lapalme (2009) menunjukkan pentingnya
|
||||
metrik per kelas, seperti macro-F1, untuk menilai kinerja secara lebih seimbang. Karena itu, evaluasi
|
||||
deteksi serangan langka pada penelitian ini akan menekankan metrik per kelas dan per client, bukan
|
||||
hanya akurasi keseluruhan.
|
||||
|
||||
## 2.3 Prototype-Based Federated Learning
|
||||
|
||||
Alih-alih hanya berbagi parameter model, sebagian metode FL juga berbagi prototype kelas.
|
||||
Prototype kelas adalah representasi ringkas dari suatu kelas dalam ruang embedding, biasanya berupa
|
||||
rata-rata embedding sampel kelas tersebut.
|
||||
|
||||
Sub-konsep yang penting untuk penelitian ini:
|
||||
Alih-alih hanya berbagi parameter model, sebagian metode FL berbagi prototype kelas. Prototype kelas
|
||||
adalah representasi ringkas dari suatu kelas dalam ruang embedding, umumnya berupa rata-rata
|
||||
embedding sampel kelas tersebut. Dua konsep yang digunakan pada penelitian ini adalah:
|
||||
|
||||
- **local prototype**, yaitu prototype kelas yang dibentuk oleh satu client dari data lokalnya;
|
||||
- **global prototype**, yaitu prototype kelas hasil agregasi server dari local prototype beberapa
|
||||
client.
|
||||
|
||||
Pertukaran prototype memungkinkan client memperoleh representasi kelas yang tidak dimilikinya
|
||||
secara lokal. Pada data non-IID, pendekatan ini dapat membantu client yang hanya memiliki sebagian
|
||||
kelas. Namun, kualitas global prototype sangat bergantung pada cara server menggabungkan local
|
||||
prototype.
|
||||
FedProto menunjukkan bahwa komunikasi berupa class prototype, bukan gradient, dapat meningkatkan
|
||||
ketahanan terhadap heterogenitas client, dan global prototype digunakan untuk meregularisasi
|
||||
pelatihan lokal (Tan et al., 2022). Pendekatan prototipikal lain memanfaatkan prototype sebagai
|
||||
pengetahuan global dan menambahkan loss kontrastif prototipikal agar tujuan lokal selaras dengan
|
||||
tujuan global (Mu et al., 2023). Kedua contoh ini menunjukkan bahwa prototype dapat menjadi media
|
||||
berbagi pengetahuan pada data non-IID, dan bahwa kualitas global prototype bergantung pada cara
|
||||
server menggabungkan local prototype.
|
||||
|
||||
## 2.4 PROTEAN
|
||||
|
||||
@@ -252,16 +274,16 @@ C_ij = (1 / N_ij) * Σ_k z_ijk
|
||||
dengan `z_ijk` adalah embedding sampel ke-`k` pada kelas `j`.
|
||||
|
||||
**Agregasi di server.** Client mengirim parameter model dan local prototype ke server. Pada
|
||||
Persamaan (2) PROTEAN, global prototype kelas `j` dihitung sebagai rata-rata sederhana dari
|
||||
`M` peserta:
|
||||
Persamaan (2) PROTEAN, global prototype kelas `j` dihitung sebagai rata-rata sederhana dari `M`
|
||||
peserta:
|
||||
|
||||
```
|
||||
Cbar_j = (1 / M) * Σ_i C_ij
|
||||
```
|
||||
|
||||
Perlu dicatat bahwa Gambar 1 pada paper menggunakan istilah "Weighted averaging", tetapi
|
||||
Persamaan (2) tidak memuat bobot berdasarkan `N_ij`. Rujukan formal yang digunakan dalam
|
||||
penelitian ini adalah persamaan tersebut.
|
||||
Gambar 1 pada paper menggunakan istilah "Weighted averaging", tetapi Persamaan (2) tidak memuat
|
||||
bobot berdasarkan `N_ij`. Rujukan formal yang digunakan dalam penelitian ini adalah persamaan
|
||||
tersebut.
|
||||
|
||||
**Pemanfaatan global prototype.** Server mengirimkan model global dan global prototype kembali ke
|
||||
client. Objective pelatihan lokal menggabungkan classification loss, prototype alignment terhadap
|
||||
@@ -277,40 +299,42 @@ himpunan peserta agregasi didefinisikan sebagai
|
||||
reproduksi karena kode resmi PROTEAN tidak tersedia untuk diverifikasi. Konsekuensinya, hasil
|
||||
penelitian ini bersifat kondisional terhadap asumsi tersebut.
|
||||
|
||||
## 2.5 Support-Weighted Prototype Aggregation dan Penelitian Terkait
|
||||
## 2.5 Pembobotan Prototype Berdasarkan Dukungan Sampel
|
||||
|
||||
Pembobotan prototype berdasarkan jumlah sampel kelas sudah ada pada penelitian sebelumnya. FedProto
|
||||
(Tan et al., 2022) merupakan contoh yang membahas pembobotan prototype dengan melibatkan jumlah
|
||||
sampel kelas pada pembelajaran federasi yang heterogen. Karena itu, kebaruan penelitian ini tidak
|
||||
dapat dibangun hanya dari penggunaan `N_ij` atau penambahan parameter `β`.
|
||||
Pembobotan prototype berdasarkan jumlah sampel kelas sudah dibahas pada penelitian sebelumnya.
|
||||
FedProto (Tan et al., 2022) merupakan contoh yang melibatkan jumlah sampel kelas pada pembelajaran
|
||||
federasi yang heterogen. Karena itu, penelitian ini tidak mengklaim kebaruan dari penggunaan `N_ij`
|
||||
maupun dari penambahan parameter pembobot. Klaim tersebut tidak akan dipertahankan.
|
||||
|
||||
Yang membedakan penelitian ini adalah penerapannya secara terkendali pada agregasi prototype
|
||||
PROTEAN, pemilihan `β` melalui validasi, evaluasi berpasangan pada beberapa kondisi non-IID, serta
|
||||
analisis mekanisme yang menghubungkan dukungan sampel, bobot kontribusi, pergeseran prototype, dan
|
||||
kinerja kelas langka sampai ke tingkat klien. Dengan kata lain, kontribusi diarahkan pada
|
||||
pemahaman perilaku mekanisme, bukan pada klaim bahwa pembobotan berbasis jumlah sampel belum pernah
|
||||
ada.
|
||||
Yang masih terbuka dan menjadi fokus penelitian ini adalah perilaku pembobotan ketika diterapkan
|
||||
secara terkendali pada agregasi prototype PROTEAN:
|
||||
|
||||
1. pengaruh kekuatan pembobotan `β` terhadap posisi global prototype di dalam PROTEAN;
|
||||
2. apakah pembobotan yang lebih kuat memperbaiki deteksi kelas langka, dan pada kondisi seperti apa;
|
||||
3. bagaimana pengaruh tersebut berubah pada kondisi non-IID yang terealisasi berbeda;
|
||||
4. bagaimana setiap client, termasuk yang memiliki dukungan sampel kecil, terdampak.
|
||||
|
||||
Dengan demikian, kontribusi diarahkan pada pemahaman mekanisme dan kondisi penerapan, bukan pada
|
||||
klaim bahwa pembobotan berbasis jumlah sampel belum pernah ada.
|
||||
|
||||
## 2.6 Posisi Penelitian
|
||||
|
||||
Secara ringkas, posisi penelitian ini dapat digambarkan sebagai berikut. Penelitian berbasis
|
||||
prototype untuk FL sudah ada, dan PROTEAN sudah menerapkannya pada konteks IDS non-IID.
|
||||
Pembobotan prototype dengan jumlah sampel kelas juga sudah dibahas di penelitian lain. Yang masih
|
||||
belum memadai adalah pemahaman mengenai bagaimana pembobotan dukungan yang dikendalikan `β`
|
||||
mengubah global prototype PROTEAN dan kapan perubahan tersebut berdampak pada deteksi kelas langka.
|
||||
Penelitian ini menempati posisi tersebut dengan membatasi diri pada agregasi prototype di server dan
|
||||
menganalisis perilakunya pada beberapa kondisi non-IID.
|
||||
Secara ringkas, penelitian berbasis prototype untuk FL sudah ada, dan PROTEAN sudah menerapkannya
|
||||
pada konteks IDS non-IID. Pembobotan prototype dengan jumlah sampel kelas juga sudah dibahas di
|
||||
penelitian lain. Yang masih belum memadai adalah pemahaman mengenai bagaimana pembobotan dukungan
|
||||
yang dikendalikan `β` mengubah global prototype PROTEAN dan kapan perubahan tersebut berdampak pada
|
||||
deteksi kelas langka. Penelitian ini menempati posisi tersebut dengan membatasi diri pada agregasi
|
||||
prototype di server dan menganalisis perilakunya pada beberapa kondisi non-IID.
|
||||
|
||||
Tabel berikut hanya memuat penelitian yang didukung oleh rujukan yang tersedia di repositori.
|
||||
| Studi | Domain | Berbasis prototype | Pembobotan dukungan sampel | IDS non-IID | Analisis kelas langka | Perbedaan dengan penelitian ini |
|
||||
|---|---|---|---|---|---|---|
|
||||
| Tan et al. (2022), FedProto | FL heterogen (klasifikasi umum) | Ya | Ya (jumlah sampel kelas) | Tidak | Tidak difokuskan | Tidak meneliti agregasi prototype PROTEAN maupun deteksi serangan langka |
|
||||
| Mu et al. (2023), FedProc | FL non-IID (klasifikasi gambar) | Ya | Tidak difokuskan | Tidak | Tidak difokuskan | Menggunakan loss kontrastif prototipikal, bukan penalaan bobot dukungan pada agregasi server |
|
||||
| Chennoufi et al. (2025), PROTEAN | Federated IDS non-IID | Ya | Tidak (rata-rata sederhana pada Persamaan (2)) | Ya | Membahas kelas serangan dengan sampel paling sedikit | Tidak menala kekuatan pembobotan dukungan pada agregasi prototype |
|
||||
| Penelitian ini | Federated IDS non-IID | Ya | Ya (`β` terkendali, tervalidasi) | Ya | Ya, per kelas dan per client | Menala `β` pada agregasi prototype PROTEAN dan menganalisis efeknya pada kondisi non-IID berbeda |
|
||||
|
||||
| Studi | Fokus | Pembobotan prototype | IDS non-IID | Analisis kelas langka | Perbedaan dengan penelitian ini |
|
||||
|---|---|---|---|---|---|
|
||||
| Chennoufi et al. (2025), PROTEAN | Federated IDS berbasis prototype untuk data non-IID | Rata-rata sederhana pada Persamaan (2); tidak memuat bobot `N_ij` | Ya | Membahas kelas serangan dengan sampel paling sedikit | Penelitian ini menambahkan pembobotan dukungan terkendali `β` dan analisis mekanisme pada satu komponen agregasi |
|
||||
| Tan et al. (2022), FedProto | Federated prototype learning pada client heterogen | Melibatkan jumlah sampel kelas | Tidak khusus IDS | Tidak difokuskan pada deteksi serangan langka | Penelitian ini berfokus pada agregasi prototype PROTEAN dan kinerja kelas langka pada IDS non-IID |
|
||||
|
||||
Catatan: tinjauan pustaka ini masih terbatas pada dua rujukan yang sudah terverifikasi di
|
||||
repositori. Penambahan rujukan FL-IDS dan non-IID lain diperlukan, dan metadatanya perlu
|
||||
diverifikasi terlebih dahulu.
|
||||
Tabel ini membandingkan fokus penelitian, bukan memberi peringkat. Semua studi yang dicantumkan
|
||||
memiliki tujuan dan konteks yang berbeda.
|
||||
|
||||
---
|
||||
|
||||
@@ -319,16 +343,16 @@ diverifikasi terlebih dahulu.
|
||||
## 3.1 Desain Penelitian
|
||||
|
||||
Penelitian ini merupakan studi eksperimental terapan. Satu komponen PROTEAN, yaitu agregasi
|
||||
prototype di server, dimodifikasi melalui pembobotan dukungan sampel kelas yang dikendalikan
|
||||
parameter `β`. Komponen lain dipertahankan sama dengan baseline. Evaluasi dilakukan secara
|
||||
berpasangan: untuk setiap kombinasi dataset, tingkat non-IID, dan random seed, seluruh kandidat
|
||||
`β` serta baseline menggunakan partisi, split, dan hyperparameter yang identik. Dengan cara ini,
|
||||
perbedaan hasil dapat ditelusuri ke mekanisme agregasi dan bukan ke perbedaan data atau
|
||||
konfigurasi pelatihan.
|
||||
prototype di server, akan dimodifikasi melalui pembobotan dukungan sampel kelas yang dikendalikan
|
||||
parameter `β`. Komponen lain dipertahankan sama dengan baseline. Evaluasi akan dilakukan secara
|
||||
berpasangan: untuk setiap kombinasi dataset, tingkat non-IID, dan random seed, seluruh kandidat `β`
|
||||
serta baseline akan menggunakan partisi, split, dan hyperparameter yang identik. Dengan cara ini,
|
||||
perbedaan hasil dapat ditelusuri ke mekanisme agregasi dan bukan ke perbedaan data atau konfigurasi
|
||||
pelatihan.
|
||||
|
||||
## 3.2 Dataset
|
||||
|
||||
Penelitian menggunakan dua dataset IDS yang berbeda karakteristiknya.
|
||||
Penelitian akan menggunakan dua dataset IDS yang berbeda karakteristiknya.
|
||||
|
||||
1. **X-IIoTID.** Dataset ini mencakup 820.834 baris dan 68 kolom. Label multi-kelas yang digunakan
|
||||
adalah `class2`, dengan label benign `Normal`. Satu kelas, yaitu `crypto-ransomware`, dihapus
|
||||
@@ -344,35 +368,35 @@ di repositori.
|
||||
|
||||
## 3.3 Preprocessing dan Data Split
|
||||
|
||||
Preprocessing dilakukan dengan resep yang sama untuk kedua dataset dan diterapkan secara identik
|
||||
pada semua varian agregasi. Statistik preprocessing, seperti kategori one-hot encoding, nilai
|
||||
median untuk imputasi, dan standardisasi fitur numerik, dihitung hanya dari data training. Data
|
||||
validasi dan pengujian tidak boleh memengaruhi tahap ini.
|
||||
Preprocessing akan dilakukan dengan resep yang sama untuk kedua dataset dan diterapkan secara
|
||||
identik pada semua varian agregasi. Statistik preprocessing, seperti kategori one-hot encoding,
|
||||
nilai median untuk imputasi, dan standardisasi fitur numerik, dihitung hanya dari data training.
|
||||
Data validasi dan pengujian tidak akan memengaruhi tahap ini.
|
||||
|
||||
Pembagian data dilakukan secara deterministik dan terstratifikasi per kelas dengan proporsi
|
||||
Pembagian data akan dilakukan secara deterministik dan terstratifikasi per kelas dengan proporsi
|
||||
training, validasi, dan pengujian sebesar 70%, 10%, dan 20%. Proporsi pengujian 20% mengikuti
|
||||
pengaturan paper, sedangkan pemisahan validasi merupakan keputusan proyek yang diperlukan untuk
|
||||
pemilihan `β`. Setiap kombinasi dataset dan random seed menghasilkan satu split tetap, dan split
|
||||
tersebut digunakan kembali untuk seluruh kandidat `β`.
|
||||
pemilihan `β`. Setiap kombinasi dataset dan random seed akan menghasilkan satu split tetap, dan
|
||||
split tersebut akan digunakan kembali untuk seluruh kandidat `β`.
|
||||
|
||||
Partisi dan split disimpan sebagai manifest deterministik yang memuat `N_ij` per client dan kelas,
|
||||
metadata split, serta hash konten. Manifest ini digunakan kembali tanpa regenerasi pada setiap
|
||||
metadata split, serta hash konten. Manifest ini akan digunakan kembali tanpa regenerasi pada setiap
|
||||
eksperimen, sehingga perbandingan tetap berpasangan.
|
||||
|
||||
## 3.4 Pembentukan Kondisi Non-IID
|
||||
|
||||
Kondisi non-IID dibentuk dengan distribusi Dirichlet simetris pada data training, dengan nilai `α`
|
||||
sebesar 0,75; 0,50; dan 0,25. Semakin kecil nilai `α`, semakin tidak merata sebaran kelas
|
||||
antarklien. Prosedur alokasi dijalankan secara deterministik dari data training, dan sebagian
|
||||
Kondisi non-IID akan dibentuk dengan distribusi Dirichlet simetris pada data training, dengan nilai
|
||||
`α` sebesar 0,75; 0,50; dan 0,25. Semakin kecil nilai `α`, semakin tidak merata sebaran kelas
|
||||
antarklien. Prosedur alokasi akan dijalankan secara deterministik dari data training, dan sebagian
|
||||
client dapat menerima nol sampel untuk suatu kelas; kelas seperti itu menjadi kelas yang tidak
|
||||
tersedia pada client tersebut.
|
||||
|
||||
Nilai `α` adalah parameter konfigurasi yang memengaruhi seberapa timpang data secara umum, tetapi
|
||||
tidak cukup untuk menggambarkan kondisi yang terealisasi. Karena itu, untuk setiap partisi dicatat
|
||||
statistik seperti total sampel per kelas, jumlah client yang memiliki kelas tersebut, koefisien
|
||||
variasi `N_ij` antarclient penyumbang, dan rasio maksimum terhadap minimum. Random seed yang
|
||||
berbeda dapat menghasilkan distribusi terealisasi yang berbeda meskipun `α`-nya sama, sehingga
|
||||
ketimpangan yang terealisasi perlu diukur, bukan hanya diasumsikan dari `α`.
|
||||
tidak cukup untuk menggambarkan kondisi yang terealisasi. Karena itu, untuk setiap partisi akan
|
||||
dicatat statistik seperti total sampel per kelas, jumlah client yang memiliki kelas tersebut,
|
||||
koefisien variasi `N_ij` antarclient penyumbang, dan rasio maksimum terhadap minimum. Random seed
|
||||
yang berbeda dapat menghasilkan distribusi terealisasi yang berbeda meskipun `α`-nya sama, sehingga
|
||||
ketimpangan yang terealisasi akan diukur, bukan hanya diasumsikan dari `α`.
|
||||
|
||||
## 3.5 Baseline PROTEAN
|
||||
|
||||
@@ -385,7 +409,7 @@ tersebut.
|
||||
Karena Persamaan (2) PROTEAN tidak menjelaskan penanganan kelas yang tidak tersedia, baseline
|
||||
menggunakan asumsi peserta agregasi `S_j = { i | N_ij > 0 dan C_ij tersedia }` dengan bobot seragam
|
||||
`1/|S_j|`. Asumsi ini didokumentasikan sebagai asumsi reproduksi dan tidak diverifikasi terhadap
|
||||
kode resmi. Perbedaan hasil antara baseline dan formulasi usulan harus diinterpretasikan dengan
|
||||
kode resmi. Perbedaan hasil antara baseline dan formulasi usulan akan diinterpretasikan dengan
|
||||
mempertimbangkan asumsi tersebut.
|
||||
|
||||
## 3.6 Metode yang Diusulkan
|
||||
@@ -419,15 +443,15 @@ Interpretasi nilai `β`:
|
||||
tidak berarti prototype tersebut lebih benar; yang diuji adalah pengaruh pengaturan bobot terhadap
|
||||
global prototype dan deteksi.
|
||||
|
||||
Penelitian ini juga memisahkan dua jenis efek. Efek agregasi langsung diukur pada satu langkah
|
||||
Penelitian ini juga akan memisahkan dua jenis efek. Efek agregasi langsung diukur pada satu langkah
|
||||
dengan local prototype dan `N_ij` yang tetap, tanpa pelatihan ulang. Efek pelatihan menyeluruh
|
||||
diukur melalui pelatihan federasi penuh. Kedua jenis efek ini dianalisis secara terpisah agar
|
||||
diukur melalui pelatihan federasi penuh. Kedua jenis efek ini akan dianalisis secara terpisah agar
|
||||
pergeseran prototype tidak disamakan dengan perubahan kinerja deteksi.
|
||||
|
||||
## 3.7 Definisi Rare Class dan Unseen Class
|
||||
|
||||
Kelas langka ditentukan dari data training setiap client, sebelum pemilihan `β`, untuk menghindari
|
||||
kebocoran informasi dari data validasi atau pengujian.
|
||||
Kelas langka akan ditentukan dari data training setiap client, sebelum pemilihan `β`, untuk
|
||||
menghindari kebocoran informasi dari data validasi atau pengujian.
|
||||
|
||||
Untuk setiap client:
|
||||
|
||||
@@ -438,16 +462,16 @@ Untuk setiap client:
|
||||
- kelas benign tidak pernah dianggap kelas langka.
|
||||
|
||||
Kelas serangan dengan `N_ij = 0` pada client didefinisikan sebagai **unseen class** dan dievaluasi
|
||||
secara terpisah. Kelas langka dan kelas unseen tidak pernah digabungkan dalam satu metrik, karena
|
||||
keduanya mengukur hal yang berbeda: kelas langka diuji pada client yang memiliki sedikit sampel,
|
||||
sedangkan kelas unseen diuji pada client yang tidak memiliki sampel sama sekali.
|
||||
secara terpisah. Kelas langka dan kelas unseen tidak akan pernah digabungkan dalam satu metrik,
|
||||
karena keduanya mengukur hal yang berbeda: kelas langka diuji pada client yang memiliki sedikit
|
||||
sampel, sedangkan kelas unseen diuji pada client yang tidak memiliki sampel sama sekali.
|
||||
|
||||
## 3.8 Protokol Pemilihan Beta
|
||||
|
||||
Pemilihan `β` dilakukan dengan aturan berikut.
|
||||
Pemilihan `β` akan dilakukan dengan aturan berikut.
|
||||
|
||||
**PRIMARY.** Untuk setiap kandidat `β`, hitung metrik rare-class macro-F1 per client pada data
|
||||
validasi, lalu rata-ratakan pada client yang memiliki kelas langka dalam satu seed. Skor tiap
|
||||
**PRIMARY.** Untuk setiap kandidat `β`, metrik rare-class macro-F1 dihitung per client pada data
|
||||
validasi, lalu dirata-ratakan pada client yang memiliki kelas langka dalam satu seed. Skor tiap
|
||||
kandidat kemudian dirata-ratakan lintas seed untuk membentuk skor pooled pada satu kondisi non-IID.
|
||||
Nilai `β` terpilih adalah kandidat dengan skor pooled validasi terbaik. Jika terjadi seri, urutan
|
||||
tie-break yang digunakan adalah: pooled rare recall yang lebih tinggi, lalu standar deviasi
|
||||
@@ -456,13 +480,13 @@ antarseed yang lebih kecil, lalu nilai `β` yang lebih kecil.
|
||||
**SECONDARY.** Pemilihan `β` per seed dihitung hanya sebagai diagnostik kestabilan. Hasil per seed
|
||||
bukan aturan pemilihan kondisi.
|
||||
|
||||
Data pengujian tidak digunakan pada tahap PRIMARY maupun SECONDARY. Setelah `β` terpilih dan
|
||||
Data pengujian tidak akan digunakan pada tahap PRIMARY maupun SECONDARY. Setelah `β` terpilih dan
|
||||
ditetapkan, barulah data pengujian dievaluasi. Nilai yang dilaporkan adalah kandidat terbaik di
|
||||
antara nilai yang diuji pada prosedur validasi tersebut, bukan klaim optimum global.
|
||||
|
||||
## 3.9 Skenario Eksperimen
|
||||
|
||||
Rancangan evaluasi mencakup kombinasi berikut:
|
||||
Rancangan evaluasi akan mencakup kombinasi berikut:
|
||||
|
||||
```
|
||||
2 dataset
|
||||
@@ -471,7 +495,7 @@ Rancangan evaluasi mencakup kombinasi berikut:
|
||||
× (baseline original PROTEAN + 5 kandidat β)
|
||||
```
|
||||
|
||||
Untuk setiap kombinasi dataset, `α`, dan seed, seluruh kandidat `β` dan baseline dilatih dan
|
||||
Untuk setiap kombinasi dataset, `α`, dan seed, seluruh kandidat `β` dan baseline akan dilatih dan
|
||||
dievaluasi menggunakan partisi serta hyperparameter yang sama. Konfigurasi pelatihan yang
|
||||
dipertahankan sama meliputi jumlah client 10, jumlah communication round 10, jumlah local epoch 3,
|
||||
batch size 256, optimizer Adam dengan learning rate 1e-3, parameter `μ` sebesar 0,1 pada model
|
||||
@@ -482,9 +506,9 @@ parameter alignment, dan parameter `λ` sebesar 1,0 pada prototype alignment.
|
||||
Metrik utama penelitian ini adalah **rare-class macro-F1 per client**, dihitung pada client yang
|
||||
memiliki kelas langka, lalu dirata-ratakan antarklien dan antarseed. Metrik ini dipilih karena
|
||||
memberi gambaran kinerja pada kelas serangan yang jarang dan tidak tersembunyi oleh kelas yang
|
||||
dominan.
|
||||
dominan (Sokolova & Lapalme, 2009).
|
||||
|
||||
Metrik pendukung yang dilaporkan meliputi:
|
||||
Metrik pendukung yang akan dilaporkan meliputi:
|
||||
|
||||
- recall kelas langka;
|
||||
- macro-F1 keseluruhan;
|
||||
@@ -494,8 +518,8 @@ Metrik pendukung yang dilaporkan meliputi:
|
||||
- statistik ketimpangan yang terealisasi, seperti koefisien variasi `N_ij` dan jumlah sel kelas
|
||||
yang tidak tersedia pada client.
|
||||
|
||||
Jumlah sampel evaluasi untuk kelas langka juga dicatat agar metrik tidak ditafsirkan tanpa melihat
|
||||
besarnya dukungan evaluasi.
|
||||
Jumlah sampel evaluasi untuk kelas langka juga akan dicatat agar metrik tidak ditafsirkan tanpa
|
||||
melihat besarnya dukungan evaluasi.
|
||||
|
||||
## 3.11 Analisis Hasil
|
||||
|
||||
@@ -510,9 +534,9 @@ Analisis hasil direncanakan mencakup:
|
||||
- perbandingan lintas `α` pada satu dataset;
|
||||
- perbandingan lintas dataset pada tingkat `α` yang sama.
|
||||
|
||||
Dengan hanya tiga random seed per kondisi, penelitian ini tidak menjanjikan pengujian signifikansi
|
||||
statistik. Analisis ditekankan pada nilai rata-rata, variasi antarseed, dan pola yang dapat
|
||||
ditelusuri dari artefak yang tersimpan.
|
||||
Dengan hanya tiga random seed per kondisi, penelitian ini tidak akan menjanjikan pengujian
|
||||
signifikansi statistik. Analisis akan ditekankan pada nilai rata-rata, variasi antarseed, dan pola
|
||||
yang dapat ditelusuri dari artefak yang tersimpan.
|
||||
|
||||
## 3.12 Validitas dan Reproducibility
|
||||
|
||||
@@ -527,7 +551,7 @@ Aspek yang dijaga untuk mendukung validitas dan reproduktibilitas:
|
||||
4. **Data mentah tidak berubah.** Dataset mentah berada di luar repositori dan hanya dibaca.
|
||||
Hash-nya dicatat untuk verifikasi integritas.
|
||||
5. **Sumber beku.** Arsitektur, agregasi model, fungsi loss, dan aturan inferensi tidak diubah
|
||||
selama eksperimen akhir.
|
||||
selama eksperimen.
|
||||
6. **Artefak machine-readable.** Hasil analisis disimpan dalam format CSV/JSON agar dapat
|
||||
diverifikasi ulang.
|
||||
7. **Asumsi `S_j`.** Penanganan kelas yang tidak tersedia merupakan asumsi reproduksi, sehingga
|
||||
@@ -585,26 +609,77 @@ memungkinkan pembahasan kapan pembobotan membantu, berdampak kecil, atau merugik
|
||||
mengklaim keunggulan umum. Penambahan validasi untuk memilih `β` juga memisahkan proses pemilihan
|
||||
dari data pengujian.
|
||||
|
||||
**Catatan judul.** Judul saat ini dipertahankan. Kata "Optimasi" dapat dipahami sebagai pencarian
|
||||
terbaik di antara kandidat `β` yang diuji. Jika diperlukan penekanan bahwa yang dicari bukan
|
||||
optimum global, frasa seperti "Penyesuaian Terkendali" atau "Penalaan" dapat dipertimbangkan pada
|
||||
penyempurnaan judul. Penggantian judul tidak dilakukan pada draf ini.
|
||||
**Perubahan judul.** Judul disesuaikan menjadi "Penalaan Agregasi Prototype pada PROTEAN melalui
|
||||
Pembobotan Berbasis Dukungan Sampel Kelas untuk Deteksi Serangan Langka pada Data Non-IID". Kata
|
||||
"penalaan" dipilih karena penelitian ini mencari kandidat `β` terbaik di antara nilai diskret yang
|
||||
diuji pada validasi, bukan optimum matematis global. Penggunaan kata "optimasi" pada judul awal
|
||||
berpotensi menyiratkan klaim optimum global, sehingga dihindari pada draf kerja ini. Judul dapat
|
||||
dikembalikan ke "optimasi" hanya jika ada alasan akademik yang kuat dan disertai penjelasan batas
|
||||
klaim.
|
||||
|
||||
**Pembaruan tinjauan pustaka.** Bab II diperkuat dengan rujukan terverifikasi pada kategori
|
||||
Federated Learning, FL untuk IDS, non-IID, ketidakseimbangan kelas, pembelajaran berbasis prototype,
|
||||
PROTEAN, pembobotan berbasis dukungan sampel, dan metrik evaluasi per kelas. Rincian peran setiap
|
||||
rujukan dicatat pada `docs/proposal/LITERATURE_MATRIX.md` dan
|
||||
`docs/proposal/REFERENCES_VERIFIED.md`.
|
||||
|
||||
---
|
||||
|
||||
# DAFTAR PUSTAKA
|
||||
|
||||
Agrawal, S., Sarkar, S., Aouedi, O., Yenduri, G., Piamrat, K., Bhattacharya, S., Maddikunta, P. K.
|
||||
R., & Gadekallu, T. R. (2021). Federated Learning for Intrusion Detection System: Concepts,
|
||||
Challenges and Future Directions. arXiv:2106.09527. [status publikasi jurnal perlu diverifikasi;
|
||||
versi arXiv menyatakan "submitted to JNCA"].
|
||||
|
||||
Chennoufi, S., Han, Y., Blanc, G., De Cristofaro, E., & Kiennert, C. (2025). PROTEAN: Federated
|
||||
Intrusion Detection in Non-IID Environments through Prototype-Based Knowledge Sharing. In
|
||||
*Proceedings of the 30th European Symposium on Research in Computer Security (ESORICS 2025)*
|
||||
(pp. 103–125). Springer. DOI: 10.1007/978-3-032-07884-1_6. arXiv:2507.05524v1.
|
||||
|
||||
Ferrag, M. A., Maglaras, L., Moschoyiannis, S., & Janicke, H. (2020). Deep learning for cyber
|
||||
security intrusion detection: Approaches, datasets, and comparative study. *Journal of Information
|
||||
Security and Applications*, 50, 102419. DOI: 10.1016/j.jisa.2019.102419.
|
||||
|
||||
Johnson, J. M., & Khoshgoftaar, T. M. (2019). Survey on deep learning with class imbalance.
|
||||
*Journal of Big Data*, 6, 27. DOI: 10.1186/s40537-019-0192-5.
|
||||
|
||||
Kairouz, P., McMahan, H. B., Avent, B., Bellet, A., Bennis, M., Bhagoji, A. N., et al. (2021).
|
||||
Advances and Open Problems in Federated Learning. *Foundations and Trends in Machine Learning*,
|
||||
14(1–2), 1–210. DOI: 10.1561/2200000083. arXiv:1912.04977. [catatan: laman arXiv menyebut "Vol 4";
|
||||
volume 14 mengikuti catatan bibliografis penerbit dan perlu dikonfirmasi].
|
||||
|
||||
Li, Q., Diao, Y., Chen, Q., & He, B. (2021). Federated Learning on Non-IID Data Silos: An
|
||||
Experimental Study. arXiv:2102.02079. [status publikasi venue perlu diverifikasi].
|
||||
|
||||
Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., & Smith, V. (2020). Federated
|
||||
Optimization in Heterogeneous Networks. In *Proceedings of Machine Learning and Systems (MLSys
|
||||
2020)*, 2, 429–450. arXiv:1812.06127.
|
||||
|
||||
McMahan, H. B., Moore, E., Ramage, D., Hampson, S., & Agüera y Arcas, B. (2017).
|
||||
Communication-Efficient Learning of Deep Networks from Decentralized Data. In *Proceedings of the
|
||||
20th International Conference on Artificial Intelligence and Statistics (AISTATS 2017)*, PMLR 54,
|
||||
1273–1282. arXiv:1602.05629.
|
||||
|
||||
Mu, X., Shen, Y., Cheng, K., Geng, X., Fu, J., Zhang, T., & Zhang, Z. (2023). FedProc:
|
||||
Prototypical Contrastive Federated Learning on Non-IID data. *Future Generation Computer Systems*,
|
||||
143, 93–104. DOI: 10.1016/j.future.2023.01.019. arXiv:2109.12273.
|
||||
|
||||
Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for
|
||||
classification tasks. *Information Processing & Management*, 45(4), 427–437.
|
||||
DOI: 10.1016/j.ipm.2009.03.002.
|
||||
|
||||
Tan, Y., Long, G., Liu, L., Zhou, T., Lu, Q., Jiang, J., & Zhang, C. (2022). FedProto: Federated
|
||||
Prototype Learning across Heterogeneous Clients. In *Proceedings of the AAAI Conference on
|
||||
Artificial Intelligence*, 36(8), 8432–8440.
|
||||
Artificial Intelligence*, 36(8), 8432–8440. DOI: 10.1609/aaai.v36i8.20819. arXiv:2105.00243.
|
||||
|
||||
**Catatan referensi.** Dua rujukan di atas sudah didukung oleh dokumen di repositori. Rujukan
|
||||
tambahan mengenai FL untuk IDS, data non-IID, dan deteksi serangan langka masih diperlukan untuk
|
||||
memperkuat Bab II. Metadata rujukan tambahan tersebut belum tersedia di repositori dan harus
|
||||
diverifikasi terlebih dahulu sebelum dimasukkan; tidak ada metadata yang diisi berdasarkan
|
||||
perkiraan.
|
||||
Zhao, Y., Li, M., Lai, L., Suda, N., Civin, D., & Chandra, V. (2018). Federated Learning with
|
||||
Non-IID Data. arXiv:1806.00582. [preprint; status publikasi venue perlu diverifikasi].
|
||||
|
||||
Zhu, H., Xu, J., Liu, S., & Jin, Y. (2021). Federated learning on non-IID data: A survey.
|
||||
*Neurocomputing*, 465, 371–390. DOI: 10.1016/j.neucom.2021.07.098. arXiv:2106.06843.
|
||||
|
||||
**Catatan.** Rujukan yang ditandai "[... perlu diverifikasi]" sudah teridentifikasi dari sumber
|
||||
primer (arXiv) tetapi metadata venue/volume/halaman belum dikonfirmasi sepenuhnya. Penandaan ini
|
||||
harus diselesaikan sebelum proposal final. Daftar lengkap status verifikasi setiap rujukan ada di
|
||||
`docs/proposal/REFERENCES_VERIFIED.md`.
|
||||
Reference in new issue
Block a user