সূচিপত্র
A Practical Book · Healthcare Edition
ফেডারেটেড লার্নিংFederated Learning, Optimized & Secured
হাসপাতালের ডেটা হাসপাতালেই রেখে, একাধিক প্রতিষ্ঠান মিলে একটি শক্তিশালী মডেল বানানো — কীভাবে সেটিকে আরও দ্রুত, আরও নিরাপদ, আরও হালকা এবং কম-রিসোর্স পরিবেশেও চালানো যায়, তার পূর্ণাঙ্গ নির্দেশিকা।
ভূমিকা: ফেডারেটেড লার্নিং কী — Introduction
প্রচলিত machine learning-এ সব ডেটা এক জায়গায় জমা করে মডেল শেখানো হয়। হাসপাতালের ক্ষেত্রে এটি প্রায় অসম্ভব: রোগীর তথ্য আইনত ও নৈতিকভাবে হাসপাতালের বাইরে পাঠানো যায় না, আর ডেটার পরিমাণও বিশাল। Federated Learning (FL) এই সমস্যার উল্টো সমাধান দেয় — ডেটা যেখানে আছে, মডেল সেখানে যায়; শুধু মডেলের আপডেট (gradient/weights) সার্ভারে আসে, কাঁচা ডেটা কখনোই বের হয় না।
১.১ মূল চক্র: এক রাউন্ডে কী ঘটে
প্রতিটি communication round-এ চারটি ধাপ ঘটে:
- Broadcast: কেন্দ্রীয় সার্ভার বর্তমান global model wt অংশগ্রহণকারী হাসপাতালগুলোতে পাঠায়।
- Local training: প্রতিটি হাসপাতাল নিজের ডেটায় E epoch SGD চালিয়ে স্থানীয় মডেল wkt+1 বানায়।
- Upload: হাসপাতালগুলো শুধু আপডেট পাঠায় — রোগীর কোনো রেকর্ড নয়।
- Aggregation: সার্ভার আপডেটগুলোর ওজনযুক্ত গড় নিয়ে নতুন global model wt+1 তৈরি করে।
চিত্র ১.১ — Cross-silo FL: হাসপাতালভিত্তিক ফেডারেশনের কাঠামো
১.২ কেন্দ্রীয় উদ্দেশ্য (Global Objective)
১.৩ প্রমাণ: এটি সত্যিই কাজ করে — EXAM স্টাডি
Federated learning for predicting clinical outcomes in patients with COVID-19 (EXAM)
Dayan et al., Nature Medicine, 2021 · DOI: 10.1038/s41591-021-01506-3
২০টি প্রতিষ্ঠান, ১৬,১৪৮ জন উপসর্গযুক্ত COVID-19 রোগীর chest X-ray + vitals + lab ডেটা নিয়ে FL মডেল বানানো হয় — কোনো হাসপাতালের ডেটা বাইরে না পাঠিয়েই। ফলাফল: ২৪/৭২ ঘণ্টায় অক্সিজেন-প্রয়োজনের পূর্বাভাসে গড় AUC > 0.92; একক-হাসপাতালের local model-এর তুলনায় গড় AUC +16% এবং generalisability +38%। (পেপার)
The future of digital health with federated learning
Rieke et al., npj Digital Medicine, 2020 · DOI: 10.1038/s41746-020-00323-1 · arXiv:2003.08119
ডিজিটাল হেলথে FL-এর সম্ভাবনা ও খোলা প্রশ্নগুলোর মানক (standard) রেফারেন্স — ডেটা-শাসন, heterogeneity এবং মূল্যায়নের চ্যালেঞ্জগুলো এখানেই প্রথম সুসংগঠিতভাবে তোলা হয়।
⚠ সবচেয়ে বড় ভুল ধারণা
"FL মানেই প্রাইভেসি নিশ্চিত" — এটি ভুল। Gradient থেকে মূল ছবি প্রায় হুবহু পুনরুদ্ধার করা যায় (Deep Leakage from Gradients, অধ্যায় ৩)। FL শুধু ডেটা-স্থানান্তর বন্ধ করে; আসল সুরক্ষার জন্য লাগে Differential Privacy + Secure Aggregation + ক্রিপ্টোগ্রাফি — যা এই বইয়ের অধ্যায় ৩–৬-এর বিষয়।
১.৪ এই বইয়ের মানচিত্র
অপ্টিমাইজেশন: FedAvg থেকে FedOpt — Optimization
FL অপ্টিমাইজেশনের মূল টানাপোড়েন দুটি: (১) প্রতিটি রাউন্ডে নেটওয়ার্কে মডেল পাঠানো ব্যয়বহুল, তাই রাউন্ড কমাতে হবে; (২) প্রতিটি হাসপাতালের ডেটা আলাদা (non-IID), তাই বেশি local training করলে মডেলগুলো পরস্পর থেকে দূরে সরে যায় — একে বলে client drift। এই অধ্যায়ের প্রতিটি অ্যালগরিদম এই দুই সমস্যার কোনো না কোনো সমাধান।
২.১ FedAvg — ভিত্তি
Communication-Efficient Learning of Deep Networks from Decentralized Data
McMahan, Moore, Ramage, Hampson & Agüera y Arcas · AISTATS 2017 · arXiv:1602.05629
Synchronised SGD-এর তুলনায় communication round 10–100× কমিয়েছে; LSTM language model-এ দুই order of magnitude পর্যন্ত। MNIST CNN (IID) ক্ষেত্রে FedSGD-এর 626 রাউন্ডের জায়গায় FedAvg (E=20, B=10) মাত্র 18 রাউন্ডে একই accuracy — 34.8× কম (পেপারের টেবিলের সারসংক্ষেপ)। (পেপার)
✎ সংখ্যার উদাহরণ: ওজনযুক্ত গড় হাতে-কলমে
তিনটি হাসপাতালের নমুনা: A = 12,000, B = 6,500, C = 3,200 (মোট n = 21,700)। কোনো একটি weight-এর মান ধরা যাক A-তে 0.80, B-তে 0.60, C-তে 0.90। তাহলে:
w = (12000×0.80 + 6500×0.60 + 3200×0.90) / 21700 = 16380 / 21700 ≈ 0.755
লক্ষ করুন: সাধারণ গড় হতো (0.80+0.60+0.90)/3 = 0.767। FedAvg বড় হাসপাতালকে বেশি ওজন দেয় — এই সিদ্ধান্তটাই quantity skew-এর ক্ষেত্রে বিতর্কের কারণ (অধ্যায় ৯)।
২.২ FedProx — drift ঠেকাতে proximal term
Federated Optimization in Heterogeneous Networks (FedProx)
Li, Sahu, Zaheer, Sanjabi, Talwalkar & Smith · MLSys 2020 · arXiv:1812.06127
অত্যন্ত heterogeneous সেটিংয়ে FedAvg-এর তুলনায় গড়ে +22% absolute test accuracy; 0%, 50% ও 90% straggler থাকলেও μ > 0 অস্থিতিশীল/divergent রানকে স্থিতিশীল করেছে। (পেপার) একটি মেডিকেল প্রতিলিপি (OCT retinal images, 84,484 ছবি): non-IID (2 shards/client) ক্ষেত্রে FedAvg 87.22 ± 5.97% বনাম FedProx (μ=0.2) 90.57 ± 3.09% (arXiv:2402.10035)।
চিত্র ২.১ — Client drift: কেন FedProx দরকার
২.৩ SCAFFOLD — control variate দিয়ে variance reduction
SCAFFOLD-এ প্রতিটি ক্লায়েন্ট একটি control variate ck আর সার্ভার c রাখে। Local step-এ gradient-কে (c − ck) দিয়ে সংশোধন করা হয় — ফলে প্রতিটি ক্লায়েন্টের আপডেট "নিজের দিকে" না গিয়ে global দিকেই ঝুঁকে। তত্ত্বগতভাবে এটি FedAvg-এর চেয়ে শক্ত ratio প্রমাণ করে এবং heterogeneity দ্বারা প্রভাবিত হয় না। মূল্য: প্রতি ক্লায়েন্টে একটি অতিরিক্ত vector রাখতে ও পাঠাতে হয়।
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
Karimireddy, Kale, Mohri, Reddi, Stich & Suresh · ICML 2020 · PMLR 119:5132–5143 · arXiv:1910.06378
Client drift-এর আনুষ্ঠানিক বিশ্লেষণ ও উল্লেখযোগ্যভাবে কম রাউন্ডের প্রমাণ। (পেপার)
⚠ তত্ত্ব বনাম বাস্তব — সতর্কতা
২০২৫–২৬ সালের একটি বিশ্লেষণ অনুযায়ী, deep network-এ SCAFFOLD বাস্তবে প্রায়ই FedAvg-কে ছাড়িয়ে যায় না ("edge of stability" / progressive sharpening-এর কারণে)। বইয়ের পাঠকের জন্য শিক্ষা: কোনো পদ্ধতির তাত্ত্বিক গ্যারান্টি মানেই বাস্তব জয় নয় — নিজের ডেটায় যাচাই করা বাধ্যতামূলক।
২.৪ FedNova — objective inconsistency ঠিক করা
হাসপাতালগুলো সমান step করে না: বড় হাসপাতাল τk = 200 step, ছোটটি 40 step। সরল গড় নিলে যেই objective optimize হয়, সেটি আসল objective নয় — Wang et al. একে বলেন objective inconsistency। FedNova প্রতিটি আপডেটকে তার step-সংখ্যা দিয়ে ভাগ করে normalize করে (dk = Δk/τk), তারপর effective step τeff = Σ pkτk দিয়ে rescale করে।
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization (FedNova)
Wang, Liu, Liang, Joshi & Poor · NeurIPS 2020
Non-IID CIFAR-10-এ শুধু τeff সংশোধনেই FedProx-এর উপর ~5% উন্নতি এবং FedNova-Prox, FedProx-এর চেয়ে ~10% বেশি accurate বলে সেকেন্ডারি সারসংক্ষেপে বলা হয়েছে — এই 10% সংখ্যাটি মূল PDF থেকে পুনঃযাচাই করা হয়নি, তাই সতর্কতার সঙ্গে ব্যবহার করুন।
২.৫ FedOpt — সার্ভার-পক্ষে adaptive optimizer
ধারণাটি সরল কিন্তু শক্তিশালী: client optimizer (সাধারণত SGD) আর server optimizer আলাদা করুন। ক্লায়েন্টদের গড় আপডেট Δt-কে একটি "pseudo-gradient" ধরে সার্ভারে Adam/Yogi/Adagrad চালান — per-coordinate adaptive learning rate ও momentum (mt, vt) সহ। FedAvg আসলে FedOpt-এর বিশেষ রূপ, যেখানে server optimizer হলো SGD এবং ηs = 1।
Adaptive Federated Optimization (FedAdagrad / FedAdam / FedYogi)
Reddi, Charles, Zaheer, Garrett, Rush, Konečný, Kumar & McMahan · ICLR 2021 · arXiv:2003.00295
ছয়টি benchmark task-এর সবকটিতেই adaptive পদ্ধতি FedAvg-কে ছাড়িয়েছে, চারটিতে নাটকীয়ভাবে — বিশেষ করে sparse-gradient text task-এ। যেমন Stack Overflow logistic regression-এ Recall@5: FedAdagrad 67.1 বনাম FedAvgM 36.9 বনাম FedAvg 30.0 (সেকেন্ডারি টেবিল)। (পেপার)
২.৬ Client selection — কাকে ডাকবেন?
সব হাসপাতালকে প্রতি রাউন্ডে ডাকা যায় না (ব্যস্ততা, নেটওয়ার্ক, রক্ষণাবেক্ষণ)। তিনটি কৌশল:
- Random selection (FedAvg-এর default, C = 0.1): সরল, নিরপেক্ষ, কিন্তু ধীর হাসপাতাল রাউন্ড আটকে রাখে।
- Oort (Lai et al., OSDI 2021): statistical utility (কার ডেটা সবচেয়ে কাজের) + system utility (কে দ্রুত) মিলিয়ে বাছাই — time-to-accuracy ভালো হয়। সতর্কতা: ধীর হাসপাতালের ডেটা বারবার বাদ পড়লে fairness নষ্ট হয় — হাসপাতালের প্রেক্ষাপটে এটি গুরুতর।
- Over-selection: প্রয়োজনের 130% ক্লায়েন্ট ডেকে প্রথম 100%-কেই গ্রহণ করা (অধ্যায় ৮)।
২.৭ Rounds বনাম Accuracy — ও সিমুলেটর
সাধারণ অনুশীলনে দেখা যায়: accuracy প্রথম 20–50 রাউন্ডে দ্রুত বাড়ে, তারপর প্রায় সমতল (plateau) হয়ে যায়। Plateau-এর পর রাউন্ড দ্বিগুণ করলে সাধারণত <1 percentage point লাভের বিনিময়ে bandwidth দ্বিগুণ খরচ হয়। ব্যবহারিক নিয়ম: একটি লক্ষ্য ঠিক করুন (যেমন AUROC 0.90) এবং validation AUROC টানা 10 রাউন্ডে ≥ 0.002 উন্নতি না হলে থামুন। (সাধারণ অনুশীলন)
সিমুলেটর ১ — Communication Cost Calculator
নিজের হাসপাতাল-নেটওয়ার্কের সংখ্যা বসিয়ে দেখুন মোট কত ডেটা যাতায়াত করবে, আর compression (অধ্যায় ৮) কতটা বাঁচাবে। সূত্র: মোট ট্র্যাফিক = model size × 2 (up+down) × hospitals × rounds × compression factor।
* Top-k-এর ক্ষেত্রে বাস্তবে index overhead যোগ হয় (কোন coordinate পাঠানো হলো তার তালিকা) — বাস্তব সাশ্রয় কিছুটা কমে; SmartIdx (AAAI 2022) দেখিয়েছে index overhead মোট ট্র্যাফিকের 89–94% পর্যন্ত হতে পারে। ডিফল্ট সেটিংয়ে ফলাফল মিলিয়ে দেখুন বইয়ের উদাহরণের সঙ্গে: compression ছাড়া 10 MB × 10 হাসপাতাল × 100 রাউন্ড = 20 GB।
| পদ্ধতি | মূল ধারণা | কখন ব্যবহার করবেন | মূল্য/সীমাবদ্ধতা |
|---|---|---|---|
| FedAvg | ওজনযুক্ত গড় | সবসময়ই baseline হিসেবে শুরু | Non-IID-তে drift |
| FedProx | Proximal term μ | Straggler ও মাঝারি heterogeneity | μ tune করতে হয় |
| SCAFFOLD | Control variate | তীব্র label skew | অতিরিক্ত state ও যোগাযোগ; বাস্তব জয় অনিশ্চিত |
| FedNova | Step-normalized গড় | হাসপাতালভেদে local step অসমান হলে | বাস্তবায়নে যত্ন লাগে |
| FedAdam/Yogi | Server-side adaptive optimizer | Sparse gradient, দ্রুত convergence চাইলে | Server hyperparameter বাড়ে |
নিরাপত্তা ও প্রাইভেসি — Security & Privacy
FL-এ আক্রমণ দুই দিক থেকে আসে: বাইরের আক্রমণকারী যিনি gradient থেকে রোগীর তথ্য বের করতে চান, আর ভেতরের অসাধু অংশগ্রহণকারী যিনি মডেলটাকেই বিষাক্ত (poison) করতে চান। এই অধ্যায়ে প্রথমে আক্রমণগুলো, তারপর প্রতিরক্ষার স্তরগুলো — Differential Privacy, Secure Aggregation এবং Byzantine-robust aggregation।
৩.১ আক্রমণ ১: Gradient leakage — ছবি ফিরে পাওয়া
Deep Leakage from Gradients (DLG)
Zhu, Liu & Han · NeurIPS 2019 · arXiv:1906.08935
আক্রমণকারী একটি হাসপাতালের gradient ∇W হাতে পেলে একটি dummy ছবি/লেবেল নিয়ে ‖∇W′ − ∇W‖² minimize করে — batch size 1 হলে মূল ছবি প্রায় pixel-perfect ফিরে আসে (PSNR > 30 dB, সেকেন্ডারি সারসংক্ষেপ)। Geiping et al. ("Inverting Gradients", arXiv:2003.14053, 2020) এটি ResNet/ImageNet ও বড় batch-এও প্রসারিত করেছেন। (পেপার) — সিদ্ধান্ত: শুধু FL ≠ প্রাইভেসি।
৩.২ আক্রমণ ২ ও ৩: Membership inference ও Model inversion
Membership Inference Attacks Against Machine Learning Models
Shokri, Stronati, Song & Shmatikov · IEEE S&P 2017
Shadow model দিয়ে আক্রমণকারী বের করতে পারে নির্দিষ্ট একজন রোগী training set-এ ছিলেন কিনা (বিভিন্ন target-এ 70–95% precision, সেকেন্ডারি কোর্স-নোট অনুযায়ী)। হাসপাতালে "এই রোগী diabetes training set-এ ছিলেন" জানাটাই একটি রোগ-নির্ণয় ফাঁস করা।
Model Inversion Attacks That Exploit Confidence Information
Fredrikson, Jha & Ristenpart · ACM CCS 2015 (ও USENIX Security 2014, warfarin study)
শুধু black-box confidence score ব্যবহার করে face-recognition model থেকে চেনা যায় এমন মুখ এবং warfarin-dosing model থেকে রোগীদের genotype অনুমান করা সম্ভব হয়েছে। (পেপার)
৩.৩ আক্রমণ ৪: Poisoning ও Backdoor
Data poisoning: স্থানীয় লেবেল উল্টে দেওয়া (যেমন malignant scan-কে benign চিহ্নিত করা)। Model poisoning: সার্ভারে বড় আকারের বিকৃত update পাঠানো। Backdoor: মডেল সব ক্ষেত্রে স্বাভাবিক আচরণ করে, কিন্তু একটি নির্দিষ্ট trigger (যেমন ছবির কোণে ছোট্ট প্যাটার্ন) দেখলেই ভুল উত্তর দেয়। প্রতিরক্ষা এক স্তরে হয় না — robust aggregation (৩.৬) + per-update norm clipping + held-out validation + audit log একসঙ্গে লাগে।
৩.৪ প্রতিরক্ষা ১: Differential Privacy (DP)
DP-SGD (Abadi et al., CCS 2016) দুই ধাপে কাজ করে: (১) প্রতিটি নমুনার gradient-কে norm C-তে clip করা; (২) যোগফলে Gaussian noise N(0, σ²C²) যোগ করা। মোট privacy খরচ হিসাব করা হয় moments accountant (বর্তমানে Rényi DP) দিয়ে — naive composition-এর চেয়ে অনেক টাইট: একটি সেটিংয়ে strong composition যেখানে ε = 9.34 দিয়েছিল, moments accountant সেখানে ε = 1.26 প্রত্যয়িত করেছে।
চিত্র ৩.১ — ε বনাম accuracy: DP-র মূল্য (Abadi et al. 2016, MNIST, δ = 10⁻⁵)
সিমুলেটর ২ — DP Noise Explorer
Clipping norm C ও noise multiplier σ বদলে দেখুন প্রতিটি step-এ কতটা noise যোগ হচ্ছে, এবং ε অনুযায়ী আক্রমণকারীর সর্বোচ্চ সুবিধা (eε) কত।
শিক্ষা: noise সরাসরি σ·C অনুপাতে বাড়ে, কিন্তু batch বড় হলে গড়ে তার প্রভাব কমে — এ কারণেই DP বড় batch ও অনেক রাউন্ডের গড়ে সবচেয়ে ভালো কাজ করে। প্রকৃত ε হিসাবের জন্য Rényi DP accountant ব্যবহার করুন; এখানকার e^ε শুধু সংজ্ঞার সরল রূপ।
৩.৫ প্রতিরক্ষা ২: Secure Aggregation (SecAgg)
Practical Secure Aggregation for Privacy-Preserving Machine Learning
Bonawitz et al. · ACM CCS 2017 (Google Gboard-তে ব্যবহৃত)
মূল প্রোটোকলের খরচ মোট O(n²); SecAgg+ (Bell et al., CCS 2020) sparse graph ব্যবহার করে প্রতি ক্লায়েন্টে O(log n) প্রতিবেশীতে নামিয়ে এনেছে। (পেপার) সীমাবদ্ধতা দুটি: (১) যোগফল নিজেই তথ্য ফাঁস করতে পারে — তাই DP-র সঙ্গে মিলিয়ে ব্যবহার করুন; (২) সার্ভার masked update পরীক্ষা করতে পারে না, তাই poisoning ঠেকাতে SecAgg একা যথেষ্ট নয়।
চিত্র ৩.২ — SecAgg: mask বাতিল হয়ে শুধু যোগফল থাকে
৩.৬ প্রতিরক্ষা ৩: Byzantine-robust aggregation
ধরা যাক nটি হাসপাতালের মধ্যে fটি আপস (compromised) হয়েছে এবং তারা যা খুশি পাঠাতে পারে। সাধারণ গড় একটি মাত্র বিষাক্ত update-এই ধ্বংস হয়ে যায়। শক্তিশালী বিকল্পগুলো:
- Krum (Blanchard et al., NeurIPS 2017): প্রতিটি update-এর score = তার n−f−2টি নিকটতম প্রতিবেশীর দূরত্বের বর্গের যোগফল; সর্বনিম্ন score-এর update-টিই বেছে নেওয়া হয়। শর্ত: f < (n−2)/2। Multi-Krum সেরা mটির গড় নেয়।
- Coordinate-wise Median / Trimmed Mean (Yin et al., ICML 2018): প্রতি coordinate-এ আলাদাভাবে median নেওয়া, অথবা উপরের-নিচের kটি মান ফেলে বাকিগুলোর গড়।
- Bulyan (El Mhamdi et al., ICML 2018): Krum বারবার চালিয়ে একটি উপসেট বেছে তার উপর Trimmed Mean — দুটি পদ্ধতির সম্মিলিত শক্তি।
✎ সংখ্যার উদাহরণ: একটি coordinate-এ আক্রমণ
৭টি হাসপাতালের একটি weight-coordinate-এর মান: 0.42, 0.45, 0.39, 0.44, 0.41, 0.43, এবং আপসকৃত একটির পাঠানো 50.0।
- Mean: (0.42+0.45+0.39+0.44+0.41+0.43+50)/7 ≈ 7.51 — মডেল ধ্বংস।
- Median: সাজালে মাঝের মান = 0.43 — অক্ষত।
- Trimmed Mean (উপরে-নিচে ১টি করে বাদ): (0.41+0.42+0.43+0.44+0.45)/5 = 0.43 — অক্ষত।
এই সরল হিসাবই robust aggregation-এর প্রাণ: গড়ের বদলে এমন পরিসংখ্যান ব্যবহার করুন যা অল্প কয়েকটি চরম মানে ভাঙে না।
✕ সতর্কতা: robust aggregation-ই শেষ কথা নয়
Fang et al. (2020) এবং Baruch et al. ("A Little Is Enough", 2019) দেখিয়েছেন, সাবধানে বানানো ছোট্ট perturbation Krum, Bulyan এমনকি Trimmed Mean-কেও পাশ কাটাতে পারে। তাই প্রতিরক্ষা হবে স্তরে স্তরে: client authentication + norm clipping + robust aggregation + audit log (অধ্যায় ৪)।
ব্লকচেইন দিয়ে ফেডারেটেড লার্নিং — Blockchain FL (BCFL)
Vanilla FL-এর দুর্বলতম জায়গা হলো কেন্দ্রীয় সার্ভার: একটিই point of failure, আর সবাইকে সেটিকে বিশ্বাস করতেই হয়। Blockchain FL (BCFL)-এ ledger সেই ভূমিকা নেয় — কোনো একটি পক্ষ ইতিহাস বদলাতে পারে না, আর প্রতিটি অবদানের অপরিবর্তনীয় (immutable) রেকর্ড থেকে যায়।
৪.১ কীভাবে কাজ করে: ধাপে ধাপে
- Commit: প্রতিটি হাসপাতাল তার local update-এর hash/commitment (অথবা permissioned chain হলে update নিজেই) একটি transaction হিসেবে chain-এ পাঠায়।
- Verify: Miner/validator-রা যাচাই করে — signature ঠিক আছে কিনা, format ঠিক কিনা, কখনো কখনো একটি validation set-এ accuracy যাচাইও হয়।
- Aggregate: Block finalize হলে smart contract নির্ধারিত নিয়মে (যেমন FedAvg) aggregation নিজে চালায় — মানুষের হস্তক্ষেপ ছাড়া, সবার জন্য একই কোড।
- Record: নতুন global model-এর hash chain-এ লেখা হয় — ফলে একটি পূর্ণ audit trail তৈরি হয়: কে, কখন, কোন রাউন্ডে কী অবদান রেখেছিল এবং তখন মডেলটি কী ছিল।
Consensus (PoW পুরনো নকশায়; permissioned হাসপাতাল-chain-এ PoS / PBFT / Raft) block-এর ক্রম ঠিক করে এবং কোনো একটি হাসপাতালকে ইতিহাস পুনর্লিখন করতে দেয় না।
চিত্র ৪.১ — BCFL-এর এক রাউন্ড: সার্ভারের বদলে smart contract
৪.২ মূল নকশাগুলো
Blockchained On-Device Federated Learning (BlockFL)
Kim, Park, Bennis & Kim · IEEE Communications Letters, June 2019 · DOI: 10.1109/LCOMM.2019.2921755
Canonical নকশা: কেন্দ্রীয় coordinator ছাড়াই on-chain update বিনিময় ও cross-verification; miner-রা এলোমেলোভাবে client-দের সঙ্গে যুক্ত হয়ে পরস্পরকে যাচাই করে। Training sample-সংখ্যার অনুপাতে reward দিয়ে অংশগ্রহণে উৎসাহ দেওয়া হয়। পেপারটি end-to-end latency model (communication + computation + PoW consensus delay) বের করে optimal block-generation rate চিহ্নিত করেছে। (পেপার)
BlockFlow (2019) · ও incentive নকশা
Mugunthan, Rahman & Kagal (BCFL survey-গুলোতে উদ্ধৃত) · Kang et al. 2019, contract-theory incentives
BlockFlow যোগ করে differential privacy, model contribution-এর auditing mechanism এবং honest behaviour-এর জন্য smart contract। Incentive দিকটি প্রায়ই Stackelberg/contract game হিসেবে নকশা করা হয় — বড় ও ভালো মানের ডেটার জন্য বেশি পারিশ্রমিক। (FLchain-ধাঁচের নকশাগুলো সাহিত্যে বহুল আলোচিত, তবে এই বই কোনো নির্দিষ্ট FLchain পেপারের venue/year দাবি করছে না।)
৪.৩ মূল্য: latency ও scalability
- Latency: BlockFL-এর নিজের বিশ্লেষণ অনুযায়ী মোট সময় = local training + upload + block generation/consensus + propagation। Blockchain প্রতি রাউন্ডে একটি consensus delay যোগ করে — permissioned chain-এ সেকেন্ড থেকে মিনিট, public PoW chain-এ প্রতি block ~10 মিনিট, যা FL রাউন্ডের জন্য অব্যবহারযোগ্য।
- Storage: 10 MB মডেল × 100 রাউন্ড = 1 GB on-chain — অবাস্তব। সাধারণ অনুশীলন: chain-এ শুধু model hash + off-chain (IPFS) pointer; পূর্ণ মডেল off-chain।
- Scalability: Throughput block size/interval দিয়ে সীমাবদ্ধ। Permissioned chain 100 tx/s হলে এক রাউন্ডে ~100টি হাসপাতালের update চলবে — cross-silo-র জন্য যথেষ্ট, কোটি ফোনের জন্য নয়।
✎ সংখ্যার উদাহরণ: consensus কতটা সময় যোগ করে
10টি হাসপাতাল, 100 রাউন্ড, প্রতি রাউন্ডে 1টি block। Permissioned chain-এ block time 5 s হলে শুধু consensus-ই যোগ করে 100 × 5 s ≈ 8 মিনিট। Public PoW chain-এ (10 min/block) তা হতো ~17 ঘণ্টা — এই একটি হিসাবই বলে দেয় হাসপাতাল-FL-এ কেন permissioned chain বেছে নিতে হয়।
✕ কখনোই করবেন না
Public chain-এ কাঁচা gradient রাখবেন না। Gradient চিরকাল সবার জন্য দৃশ্যমান থাকবে, আর অধ্যায় ৩-এর inversion আক্রমণকারী তা থেকে রোগীর ছবি পুনরুদ্ধার করতে পারবে। সঠিক সংমিশ্রণ: permissioned chain + DP + SecAgg, chain-এ শুধু hash।
ক্রিপ্টোগ্রাফি: HE, MPC ও ZKP — Cryptography in FL
অধ্যায় ৩-এর SecAgg ছিল ক্রিপ্টোগ্রাফির একটি প্রয়োগ। এই অধ্যায়ে পুরো টুলবাক্সটি: কোন কাজে কোন primitive, Homomorphic Encryption দিয়ে encrypted অবস্থায়ই যোগ করা, MPC দিয়ে যৌথ হিসাব, আর ZKP দিয়ে "প্রমাণ করা, প্রকাশ না করে"।
৫.১ ভিত্তি: symmetric ও asymmetric
Symmetric (AES-256, ChaCha20)
একটিই গোপন key; গতি ~GB/s। FL-এ ব্যবহার: মডেল ফাইল at-rest encryption ও TLS channel। Grover-এর algorithm এর কার্যকর শক্তি অর্ধেক করে (AES-256 → ~128-bit) — তবু নিরাপদ (অধ্যায় ৬)।
Asymmetric (RSA-2048, ECDH/ECDSA, Ed25519)
Public/private key জোড়া। FL-এ ব্যবহার: key exchange, update-এ signature ("এই update সত্যিই Hospital A-র") ও certificate। দুঃসংবাদ: Shor-এর algorithm এগুলো সব ভেঙে দেয় — তাই অধ্যায় ৬।
🔑 Key management — প্রায়শই অবহেলিত, সবচেয়ে জরুরি
প্রতি রাউন্ডে Diffie–Hellman / ML-KEM দিয়ে নতুন session key; private key রাখুন HSM বা OS keystore-এ, কোডে কখনোই নয়; কোনো হাসপাতালের key আপস হলে তা বাতিল (revoke) করার পথ থাকতে হবে — certificate revocation list blockchain/registry-তে রাখা যায়। একটি লিখিত key lifecycle রাখুন: generation → distribution → rotation → revocation → destruction। (সাধারণ অনুশীলন)
৫.২ Homomorphic Encryption (HE) — encrypted অবস্থায় যোগ
- CKKS (Cheon, Kim, Kim & Song, Asiacrypt 2017): approximate HE — বাস্তব সংখ্যার (real number) জন্য; gradient-এর ক্ষেত্রে আদর্শ, কারণ ছোট error সহনীয়।
- BFV (Brakerski / Fan & Vercauteren): exact HE — পূর্ণসংখ্যার জন্য, কোনো error নেই, তবে একই precision-এ বড় modulus লাগে।
- Threshold / multiparty HE: secret key সব ক্লায়েন্টের মধ্যে ভাগ করা থাকে, ফলে কোনো একক সার্ভার decrypt করতে পারে না। একটি 2026 preprint-এর (arXiv:2602.22037) বিশ্লেষণে উচ্চ precision-এ (>64 bit) CKKS আশ্চর্যজনকভাবে BFV-এর সঙ্গে প্রতিযোগিতামূলক পাওয়া গেছে। CKKS/BFV decryption noise কাজে লাগিয়ে key-recovery আক্রমণ ঠেকাতে "smudging" (flooding) noise যোগ করা হয়। (preprint)
- FedBit (preprint, Sept 2025, সেকেন্ডারি সারসংক্ষেপ): BFV-FL-এ bit-interleaved packing + FPGA co-design-এ ~100× দ্রুত encryption ও 60.7% কম communication দাবি করা হয়েছে — preprint দাবি, প্রতিষ্ঠিত সত্য নয়।
✎ সংখ্যার উদাহরণ: HE-র আকার-মূল্য
বাস্তবে CKKS ciphertext সাধারণত plaintext-এর ~10–100× বড় হয় (scheme/parameter-নির্ভর অনুমান)। অর্থাৎ 10 MB FP32 update HE দিয়ে পাঠালে দাঁড়ায় ~100 MB–1 GB। এ কারণেই HE-FL পেপারগুলো আগে update quantize/pack করে, এবং HE সাধারণত শুধু aggregation ধাপে প্রয়োগ করা হয় — প্রতিটি local training step-এ নয়।
৫.৩ Secure Multi-Party Computation (SMPC)
Shamir secret sharing (SecAgg-এর ভিত্তি), garbled circuits ও SPDZ-ধাঁচের protocol দিয়ে হাসপাতালগুলো যৌথভাবে একটি ফাংশন হিসাব করতে পারে, কেউ কারো input না দেখেই। খরচ বেশি (প্রতি operation-এ একাধিক communication round), তাই SMPC বাস্তবসম্মত aggregation-এর (যোগফলের) জন্য — পুরো network SMPC-তে train করার জন্য নয়।
| পদ্ধতি | সার্ভার যা দেখে | গতি | কখন বেছে নেবেন |
|---|---|---|---|
| SecAgg (Ch 3) | শুধু যোগফল | দ্রুত | Aggregator semi-trusted হলে (+ DP) |
| HE (CKKS/BFV) | শুধু ciphertext; যোগফল key-holder দেখে | ধীর, ciphertext 10–100× বড় | Aggregator সম্পূর্ণ untrusted হলে |
| SMPC | কিছুই না (শুধু চূড়ান্ত ফল) | সবচেয়ে ধীর | কয়েকটি পক্ষের যৌথ হিসাব, ছোট ফাংশন |
৫.৪ Zero-Knowledge Proofs (ZKP) — উদীয়মান দিক
ZKP দিয়ে একটি হাসপাতাল প্রমাণ করতে পারে: "আমি nটি local sample-এ সঠিকভাবে train করেছি এবং আমার update-এর norm ≤ C" — ডেটা বা update কোনোটাই প্রকাশ না করে। এটি poisoning প্রতিরক্ষা ও audit-এর জন্য অত্যন্ত আকর্ষণীয়। তবে সতর্কতা: এই গবেষণায় FL+ZKP-এর যাচাইকৃত benchmark-সহ কোনো নির্দিষ্ট পেপার পাওয়া যায়নি — তাই ZKP-কে "deployed সমাধান" নয়, "emerging direction" হিসেবেই উপস্থাপন করা হলো; কোনো উদ্ভাবিত performance সংখ্যা এখানে দেওয়া হয়নি।
পোস্ট-কোয়ান্টাম ক্রিপ্টোগ্রাফি — Post-Quantum Cryptography (PQC)
আজকের RSA/ECC একটি যথেষ্ট বড় fault-tolerant quantum computer-এর কাছে ভেঙে যাবে। স্বাস্থ্য-ডেটা দশকের পর দশক সংবেদনশীল থাকে — তাই "পরে দেখা যাবে" এখানে চলে না। এই অধ্যায়ে কেন ভাঙবে, NIST-এর নতুন standard কী, আর FL-এ migration কীভাবে করবেন।
৬.১ কেন RSA/ECC ভেঙে যাবে: Shor বনাম Grover
- Shor's algorithm (Peter Shor, 1994): integer factorization ও discrete logarithm polynomial time-এ সমাধান করে। RSA-র নিরাপত্তাই factoring, ECC-র নিরাপত্তাই elliptic-curve discrete log — দুটোই শেষ। Key দ্বিগুণ করলেও (RSA-2048 → 4096) শুধু polynomial factor বাড়ে, নিরাপত্তা ফেরে না।
- Grover's algorithm (Lov Grover, 1996): unstructured search-এ শুধু quadratic (√) speedup — symmetric key-র কার্যকর শক্তি অর্ধেক হয় (AES-128 → ~64-bit; AES-256 → ~128-bit, এখনো নিরাপদ)। প্রতিকার সহজ: বড় symmetric key।
- "Harvest now, decrypt later": আক্রমণকারী আজ হাসপাতালের encrypted মডেল-ট্র্যাফিক রেকর্ড করে রাখতে পারে এবং quantum computer এলেই decrypt করবে — দীর্ঘজীবী স্বাস্থ্য-ডেটার migration তাই আগেই করতে হয়।
৬.২ NIST-এর তিনটি standard (13 August 2024-এ চূড়ান্ত)
| Standard | Algorithm (আগের নাম) | ভিত্তি (Hardness) | কাজ | যার বদলি |
|---|---|---|---|---|
| FIPS 203 | ML-KEM (CRYSTALS-Kyber) | Module-LWE (lattice) | Key encapsulation — shared secret স্থাপন | RSA-KEM, DH, ECDH |
| FIPS 204 | ML-DSA (CRYSTALS-Dilithium) | Module-LWE/SIS (lattice) | Digital signature | RSA, ECDSA, EdDSA |
| FIPS 205 | SLH-DSA (SPHINCS+) | শুধু hash function | Digital signature (রক্ষণশীল বিকল্প) | RSA, ECDSA, EdDSA |
আকার (যাচাইকৃত, সেকেন্ডারি ব্যাখ্যা থেকে): ML-DSA-44-এর public key 1,312 bytes, signature 2,420 bytes। SLH-DSA-র signature 7,856–49,856 bytes — অনেক বড়; এটাই hash-only নিরাপত্তার মূল্য। (ML-KEM-এর নির্দিষ্ট key/ciphertext আকার এই গবেষণায় কোনো সূত্র থেকে যাচাই করা যায়নি — প্রয়োজন হলে সরাসরি FIPS 203 দেখুন।) পরবর্তী ধাপ: FIPS 206 (FN-DSA, Falcon-ভিত্তিক) Sept 2026 পর্যন্ত খসড়ায় ছিল; HQC (code-based KEM) March 2025-এ অতিরিক্ত বিকল্প হিসেবে নির্বাচিত হয়েছে।
চিত্র ৬.১ — PQC migration-এর সময়রেখা (NIST)
৬.৩ Hybrid migration — বাস্তব পথ
বর্তমানে মানক অনুশীলন হলো hybrid: classical X25519-এর সঙ্গে ML-KEM-768 একসঙ্গে চালানো (যেমন TLS 1.3 / OpenSSL 3.5-এ) — যেকোনো একটি algorithm টিকে থাকলেই connection নিরাপদ। FL-এ ক্রমটি হবে: (১) আগে control channel — key exchange ও update-এর signature; (২) তারপর data plane; (৩) পুরনো hospital system-এর সঙ্গে সামঞ্জস্যের জন্য transition সময়কালে classical চালু রাখা। (সাধারণ অনুশীলন, বর্তমানে মানক)
৬.৪ FL ক্লায়েন্টে PQC-র খরচ
Lattice operation CPU-তে দ্রুত (Kyber/Dilithium millisecond-এ চলে) — খরচটা পড়ে bandwidth ও storage-এ, compute-এ নয়, কারণ key/signature byte-এর বদলে kilobyte। একটি preprint ("Post-Quantum Federated Learning", arXiv:2603.07726) hybrid Kyber (key exchange) + Dilithium (authentication) দিয়ে gradient exchange-এ 97.6% threat-detection accuracy ও 18.7% latency overhead দাবি করেছে, Raspberry Pi cluster-এ হালকা variant-এ 34% কম memory / 28% কম latency-ও দাবি করা হয়েছে — এটি preprint, peer-reviewed নয়; প্রাথমিক প্রমাণ হিসেবেই নিন।
✎ সংখ্যার উদাহরণ: signature overhead হিসাব করুন
100 রাউন্ড × 10 হাসপাতাল, প্রতিটি update ML-DSA-44 দিয়ে sign করা হলে মোট signature = 100 × 10 × 2,420 B ≈ 2.4 MB — মডেল-ট্র্যাফিকের তুলনায় নগণ্য (10 MB মডেলে একটি signature মাত্র 0.02%)। কিন্তু SLH-DSA (49,856 B) হলে তা ~50 MB — 20× বেশি। আর TinyML ডিভাইস প্রতি মিনিটে 100 KB update পাঠালে 8–50 KB signature আর নগণ্য থাকে না — algorithm পছন্দ প্রেক্ষাপট-নির্ভর।
ভারী মডেলকে হালকা করা — Lightweight Models & Compression
FL-এ মডেলের আকার তিনবার শাস্তি দেয়: প্রতি রাউন্ডে download, প্রতি রাউন্ডে upload, আর দুর্বল হার্ডওয়্যারে training-এর সময়। তাই মডেল ছোট করা FL-এ বিলাসিতা নয়, প্রয়োজন। চারটি প্রধান অস্ত্র: pruning, quantization, knowledge distillation এবং জন্ম থেকেই হালকা architecture।
৭.১ Pruning — অপ্রয়োজনীয় ওজন ছাঁটা
ছোট magnitude-এর weight মুছে ফেলা (unstructured pruning) অথবা পুরো filter/channel বাদ দেওয়া (structured pruning — এটিতেই আসল গতি বাড়ে, কারণ dense hardware-এ sparse matrix দ্রুত চলে না)। চক্রটি: prune → retrain/fine-tune → আবার prune।
৭.২ Quantization — সংখ্যার precision কমানো
৭.৩ Knowledge Distillation — বড় শিক্ষকের কাছ থেকে ছোট ছাত্র
Hinton et al. (2015)-এর ধারণা: বড় teacher model-এর soft probability (temperature T দিয়ে নরম করা) দিয়ে ছোট student-কে শেখান। Student শুধু সঠিক উত্তর নয়, teacher-এর "dark knowledge"-ও পায় — কোন class গুলো পরস্পরের কাছাকাছি (যেমন দুটি কাছাকাছি ধরনের pneumonia)। ফলে একই আকারের সরাসরি-শেখানো মডেলের চেয়ে distilled student ভালো করে।
Deep Compression: Pruning + Trained Quantization + Huffman Coding
Han, Mao & Dally · ICLR 2016 · arXiv:1510.00149
তিন ধাপ: pruning-এ 9–13× কম connection; quantization-এ weight sharing দিয়ে 32-bit → 5-bit; তারপর Huffman coding। ফলাফল ImageNet accuracy একটুও না কমিয়ে: AlexNet 240 MB → 6.9 MB (35×), VGG-16 552 MB → 11.3 MB (49×)। (পেপার)
চিত্র ৭.১ — Deep Compression: আকারের পতন (log scale-এ অনুভূতির জন্য সরল বার)
৭.৪ জন্ম থেকেই হালকা: MobileNet, EfficientNet, TinyML
- MobileNet (Howard et al., arXiv:1704.04861, 2017): depthwise separable convolution — সাধারণ convolution-কে দুই ভাগে ভেঙে FLOPs বহুগুণ কমায়। MobileNetV1 (1.0, 224): ~4.2M parameter, ~70.4% ImageNet top-1 (সেকেন্ডারি)।
- EfficientNet (Tan & Le, ICML 2019): depth/width/resolution-এর compound scaling। EfficientNet-B0: 77.1% top-1 মাত্র 390M FLOPs-এ (সেকেন্ডারি)।
- TinyML: microcontroller-এর জন্য মডেল — <1 mW শক্তি, 32–512 kB SRAM, <1 MB flash। TinyML survey (arXiv:2506.18927, 2025) অনুযায়ী MCUNet STM32 MCU-তে মাত্র 0.51 MB-তে ImageNet 70.7% পেয়েছে।
✎ সংখ্যার উদাহরণ: একটি X-ray classifier-এর যাত্রা
ResNet-50 ভিত্তিক chest X-ray classifier: ~25.6M parameter, ওজন ~98 MB (FP32)। ধাপে ধাপে:
- INT8 quantization → ~25 MB (4×)
- + 50% structured pruning → ~12 MB
- + MobileNetV2-তে distillation → ~3.4 MB (INT8) — মূলের চেয়ে ~30× ছোট
Medical imaging-এ এই পথে সাধারণত 1–3 percentage point accuracy কমে (সাধারণ সাহিত্যের পরিসর; প্রকৃত ক্ষতি dataset-নির্ভর — নিজে মেপে দেখুন, কোনো সার্বজনীন সংখ্যা বিশ্বাস করবেন না)। Compression ratio-গুলো উদ্ধৃত পেপারগুলোর; ক্ষতির পরিসরটি সাধারণ অনুশীলনের।
৭.৫ Split Learning — মডেলটাই ভাগ করে ফেলা
হাসপাতাল মডেলের শুধু প্রথম কয়েকটি layer চালায় এবং একটি cut layer-এর activation ("smashed data") সার্ভারে পাঠায়; বাকি ভারী অংশ সার্ভার চালায়। হাসপাতালের compute-চাহিদা নাটকীয়ভাবে কমে যায় — অধ্যায় ১০-এ এর পূর্ণ ব্যবহার দেখব।
Split Learning for Health
Vepakomma, Gupta, Swedish & Raskar · NeurIPS 2018 workshop / arXiv:1812.00564; Gupta & Raskar, J. Network & Computer Applications 116:1–8, 2018
স্বাস্থ্যখাতের জন্যই নকশা করা: ভিন্ন modality বা vertical partition ধারণকারী হাসপাতালদের জন্য, এমনকি shared label না থাকলেও। সতর্কতা: cut-layer activation থেকেও input অনুমান করা যায় — encryption বা DP/noise যোগ করুন (NoPeek, Vepakomma et al. 2020)।
মাল্টি-সাইট রিসোর্স অপ্টিমাইজেশন — Multi-Site Resource Optimization
দশটি হাসপাতাল, দশ রকম কম্পিউটার, দশ রকম ইন্টারনেট। এই অধ্যায়ের প্রশ্ন: যোগাযোগ কমানো (compression), সময় মেলানো (scheduling), ধীরদের জন্য অপেক্ষা না করা (asynchronous) এবং স্তরভিত্তিক aggregation (hierarchical) — এই চার কৌশলে পুরো সিস্টেমটিকে কীভাবে সবার জন্য চালানো যায়।
৮.১ Gradient compression: Top-k sparsification
Deep Gradient Compression (DGC)
Lin, Han, Mao, Wang & Dally · ICLR 2018 · arXiv:1712.01887
Momentum correction + local gradient accumulation + warm-up training মিলিয়ে accuracy না কমিয়ে 270–600× gradient compression: ResNet-50 gradient 97 MB → 0.35 MB, DeepSpeech 488 MB → 0.74 MB। (পেপার) ভিত্তি: Aji & Heafield (arXiv:1704.05021, 2017)-এর gradient dropping।
⚠ Index overhead — লুকানো খরচ
Top-k পাঠালে "কোন কোন coordinate পাঠালাম" সেই তালিকাও (index) পাঠাতে হয়। SmartIdx (AAAI 2022) দেখিয়েছে quantization-এর পর এই index overhead মোট ট্র্যাফিকের 89–94% পর্যন্ত হতে পারে। অর্থাৎ "100× compression" দাবি শুনলে জিজ্ঞেস করুন: indexসহ হিসাব তো?
QSGD (Alistarh et al., NeurIPS 2017) stochastic quantization দিয়ে প্রতি coordinate-এ কয়েক bit-এ নামিয়ে আনে। (দ্রষ্টব্য: "FedZip" নামে একটি compression scheme সাহিত্যে উল্লেখ পাওয়া যায়, তবে এই গবেষণায় তার মূল পেপার বা যাচাইকৃত সংখ্যা পাওয়া যায়নি — তাই এখানে কোনো FedZip ফলাফল উদ্ধৃত করা হলো না।)
চিত্র ৮.১ — Compression-এর প্রভাব: এক রাউন্ডের upload (ResNet-50 gradient, 97 MB ভিত্তি)
৮.২ Scheduling ও straggler mitigation
- Tier-based grouping (TiFL): একই গতির হাসপাতালদের এক tier-এ রেখে tier অনুযায়ী রাউন্ড চালানো।
- Deadline-based rounds: Nটির মধ্যে প্রথম Mটি এলে রাউন্ড বন্ধ — বাকিদের update পরের রাউন্ডে।
- FedProx-এর variable work: ধীর হাসপাতাল কম step করেও বৈধভাবে অংশ নেয় (অধ্যায় ২)।
- Over-selection: প্রয়োজনের 130% ডেকে প্রথম 100% নেওয়া।
৮.৩ Asynchronous FL — কারো জন্য অপেক্ষা নয়
FedBuff (Nguyen et al., 2022) মাঝামাঝি পথ: Kটি async update buffer-এ জমিয়ে তারপর একবারে প্রয়োগ — এতে SecAgg-এর সঙ্গে সামঞ্জস্য ফিরে আসে (খাঁটি async + SecAgg মেলে না, কারণ SecAgg-এর প্রতি রাউন্ডে নির্দিষ্ট অংশগ্রহণকারী-সেট লাগে)।
৮.৪ Hierarchical FL — স্তরে স্তরে aggregation
চিত্র ৮.২ — Hierarchical FL: হাসপাতাল → বিভাগ → জাতীয় সার্ভার
হেটেরোজেনাস (non-IID) ডেটায় robust মডেল — Heterogeneity
বাস্তব হাসপাতালের ডেটা কখনোই IID নয়। এই heterogeneity-কে ভয় না পেয়ে প্রথমে শ্রেণিবদ্ধ করুন, তারপর প্রতিটি ধরনের জন্য সঠিক অস্ত্র বেছে নিন — কখনো global মডেলটাকেই শক্ত করা, কখনো প্রতিটি হাসপাতালের জন্য personalized মডেল।
৯.১ চার ধরনের skew
| ধরন | কী আলাদা | হাসপাতালের উদাহরণ |
|---|---|---|
| Label skew | P(y) আলাদা | এক হাসপাতালে যক্ষ্মা বেশি, আরেকটায় নিউমোনিয়া। Benchmark-এ Dirichlet α দিয়ে মাপা হয়: α → ∞ মানে IID, α = 0.1 মানে তীব্র non-IID (প্রচলিত benchmark অনুশীলন)। |
| Feature skew | P(x|y) আলাদা | একই রোগ, কিন্তু MRI 1.5T বনাম 3T, ভিন্ন নির্মাতার X-ray মেশিন। |
| Quantity skew | nk আলাদা | Tertiary হাসপাতালে 50,000 scan, জেলা হাসপাতালে 500 — 100× পার্থক্য; FedAvg-এর nk/n ওজনে বড়টি আধিপত্য করে। |
| Concept drift | সময়/স্থানভেদে সম্পর্ক বদলায় | রোগের prevalence ও চিকিৎসা-protocol সময়ের সঙ্গে বদলায়। |
চিত্র ৯.১ — Dirichlet α: label বণ্টন কতটা অসম (৩টি class, ধারণাগত চিত্র)
৯.২ প্রথম সারির প্রতিরক্ষা (global মডেলের জন্য)
অধ্যায় ২-এর FedProx, SCAFFOLD, FedNova — সবই আসলে heterogeneity-মোকাবিলার হাতিয়ার। এছাড়া robust aggregation (অধ্যায় ৩) শুধু আক্রমণ নয়, চরম বণ্টনের হাসপাতালের অনিয়ন্ত্রিত প্রভাবও কমায়। আর মূল্যায়নে অবশ্যই worst-hospital মেট্রিক দেখুন (অধ্যায় ১২)।
৯.৩ Personalized FL — একটি মডেল সবার জন্য নয়
pFedMe — Personalized FL with Moreau Envelopes
Dinh, Tran & Nguyen · NeurIPS 2020 · arXiv:2006.08848
প্রতিটি ক্লায়েন্ট নিজের personalized model θi রাখে, যা global w-এর কাছাকাছি থাকে:
Global model এখানে একটি meta-model — দ্রুত local adaptation-এর ভিত্তি। Non-IID benchmark-এ FedAvg-এর উপর শক্তিশালী লাভের কথা বলা হয়েছে (সেকেন্ডারি সারসংক্ষেপ)।
Ditto — Fair and Robust FL Through Personalization
Li, Hu, Beirami & Smith · ICML 2021 · arXiv:2011.02856
Global model (FedAvg) ও personal model যুগপৎ শেখে: min Fi(wi) + (λ/2)·‖wi − wglobal‖²। Personalization শুধু accuracy নয়, fairness (worst-hospital performance) ও poisoning-robustness-ও বাড়ায় — personal model global-এর কাছে তখনই থাকে যখন তা উপকারী (সেকেন্ডারি সারসংক্ষেপ)।
FedPer — Personalization Layers
Arivazhagan, Aggarwal, Singh & Choudhary · arXiv:1912.00818, 2019
সবচেয়ে সরল ও সস্তা কৌশল: নিচের layer গুলো (feature extractor) global, উপরের classification layer প্রতিটি হাসপাতালের নিজের। হাসপাতালের জন্য প্রায়ই এটাই personalization-এর সেরা প্রথম ধাপ।
Clustered FL
Sattler, Müller & Samek, arXiv:1910.01991, 2019 · Ghosh et al. (IFCA), NeurIPS 2020
একই ধরনের ডেটাওয়ালা হাসপাতালদের cluster করে প্রতি cluster-এ একটি মডেল — যেমন Siemens scanner-ওয়ালা হাসপাতালদের একটি, GE-ওয়ালাদের আরেকটি। সাদৃশ্য মাপা হয় gradient/loss similarity বা KL divergence দিয়ে।
✎ সংখ্যার উদাহরণ: personalization কতটা ফেরায়
5টি হাসপাতাল, প্রতিটিতে 10টি disease class-এর মাত্র 2টি করে (2-shards সেটিং)। OCT স্টাডির (অধ্যায় ২) অনুরূপ প্যাটার্নে: IID-তে ~98.9% থেকে FedAvg নেমে আসে ~87%-এ; FedProx ফেরায় ~3.4 point (90.6%)। Personalization (FedPer/Ditto) স্থানীয়ভাবে আরও কয়েক point ফেরাতে পারে বলে সাধারণ প্রত্যাশা — তবে সতর্কতা: personalized accuracy মাপা হয় প্রতি হাসপাতালে আলাদাভাবে; personalization চালু থাকলে global model-এর accuracy আর সঠিক মাপক নয়।
৯.৪ Domain generalization — অদেখা হাসপাতালে যাচাই
প্রশিক্ষণে হাসপাতালগুলোকে পালা করে বাইরে রেখে (leave-one-hospital-out) যাচাই করুন এবং গড় নয়, সবচেয়ে খারাপ হাসপাতালের AUROC রিপোর্ট করুন। ঢাকার বড় হাসপাতালে 0.95 আর জেলা হাসপাতালে 0.70 পাওয়া মডেল deploy-যোগ্য নয় — যতই গড় ভালো হোক। (সাধারণ অনুশীলন)
কম-রিসোর্স হাসপাতালে FL — যেখানে ভালো কম্পিউটার নেই
জেলা পর্যায়ের অনেক হাসপাতালে GPU তো দূরের কথা, নির্ভরযোগ্য বিদ্যুৎ আর দ্রুত ইন্টারনেটও নেই। ভালো খবর: সঠিক নকশা হলে FL সেখানেও চলে — কারণ ভারী কাজটা ভাগ হয়ে যায় অনেক হাসপাতাল আর অনেক রাউন্ডের মধ্যে। এই অধ্যায়টি পুরোপুরি ব্যবহারিক।
১০.১ যা সত্যিই কাজ করে
- CPU-only training ছোট মডেলে সম্ভব। MobileNet-ধাঁচের মডেল Raspberry Pi-র CPU-তে শেখে ধীরে (শত শত ছবির epoch-এ মিনিট, সেকেন্ড নয়) — তাই রেসিপি হলো: কম local epoch (E = 1–2), ছোট batch, আর বাকি কাজ ফেডারেশনের উপর (অনেক হাসপাতাল × অনেক রাউন্ড)।
- Split learning সবচেয়ে উপযুক্ত (অধ্যায় ৭.৫): হাসপাতাল শুধু প্রথম কয়েকটি layer চালায়, ভারী অংশ সার্ভারে। পাঠাতে হয় প্রতি নমুনার activation — মডেল নয়।
- Offline / asynchronous update: ইন্টারনেট অনিয়মিত হলে হাসপাতাল স্থানীয়ভাবে train করে update জমিয়ে রাখে; সংযোগ ফিরলেই upload (FedAsync/FedBuff, অধ্যায় ৮)। রাউন্ড সংজ্ঞায়িত হয় সময়-জানালা দিয়ে — যেমন প্রতি রাতে sync — সবার জন্য অপেক্ষা করে নয়।
Raspberry Pi 4-এ Flower FL-এর পরিমাপ
Jithish et al. · JATIT 2025 (Flower + TensorFlow, Raspberry Pi 4)
সবচেয়ে ভারী FL মডেলটি Pi 4-এ (4 GB RAM, Cortex-A72 quad-core) ব্যবহার করেছে ~31% memory, 88% CPU এবং 5.19 W বিদ্যুৎ। এটি ওই পেপারের পরিমাপ — সর্বজনীন ধ্রুবক নয়, তবে ক্রম-মাত্রা (order of magnitude) বোঝার জন্য যথেষ্ট। (পেপার)
১০.২ Framework বাছাই
| Framework | বৈশিষ্ট্য | কার জন্য |
|---|---|---|
| Flower (flwr) | Framework-agnostic (PyTorch/TF/JAX/scikit-learn), gRPC; Android/iOS/Raspberry Pi-তে চলে; v1.10 থেকে SuperLink/SuperNode কাঠামো | হাসপাতাল-pilot-এর সেরা প্রথম পছন্দ |
| FedML | MLOps-কেন্দ্রিক, edge/IoT জোর, managed cloud বিকল্প | Production pipeline চাইলে |
| TensorFlow Federated | Google-এর research framework; FedAvg/FedSGD built-in | Algorithm গবেষণা; শুধু TensorFlow, শেখার বক্ররেখা খাড়া |
| NVIDIA FLARE / PySyft / FATE | Production/healthcare-মুখী কিন্তু ভারী ও GPU-কেন্দ্রিক | সম্পূর্ণতার জন্য উল্লেখ; প্রথম low-resource pilot-এর জন্য নয় |
১০.৩ খরচের হিসাব — নিজে করে দেখুন
⚠ দাম সম্পর্কে সতর্কতা
এই বইয়ের গবেষণায় বাংলাদেশে Raspberry Pi-র বর্তমান খুচরা দাম যাচাই করা যায়নি — তাই এখানে কোনো টাকার দাম দাবি করা হচ্ছে না। নিচে হিসাবের ছাঁচ (template) দেওয়া হলো; স্থানীয় দাম বসিয়ে নিজে হিসাব করুন।
- বিদ্যুৎ: Pi 4 ~5 W হারে 24 ঘণ্টা চললে মাসে 5 × 24 × 30 / 1000 = 3.6 kWh। স্থানীয় ট্যারিফে এটি মাসে কয়েক দশ টাকা মাত্র — GPU server-এর তুলনায় নগণ্য।
- হার্ডওয়্যার (অনুমান, 2026 — স্থানীয়ভাবে যাচাই করুন): একটি Pi 4/5 সেট (board + power supply + microSD + case) মোটামুটি BDT 8,000–15,000-এর ক্রমের। তবে বেশিরভাগ হাসপাতালেই বিদ্যমান desktop PC-টিকেই FL client হিসেবে ব্যবহার করা যায় — তখন অতিরিক্ত হার্ডওয়্যার খরচ ≈ BDT 0। 10-হাসপাতালের pilot-এ নতুন কেনা লাগলেও মোট ~BDT 1–1.5 লাখের ক্রম।
- Bandwidth: অধ্যায় ৮-এর compressed হিসাবে প্রতি হাসপাতালের 100 রাউন্ডে মোট ~100–200 MB। 10 Mbps লাইনে 100 KB update উঠতে 1 সেকেন্ডেরও কম লাগে; 1 Mbps-এও ~1 সেকেন্ড। বোতল-ঘাড় গতিতে নয়, নির্ভরযোগ্যতায় (reliability)।
✎ সংখ্যার উদাহরণ: একটি জেলা হাসপাতালের এক রাত
500টি chest X-ray, MobileNetV2, E = 1, batch 16 → প্রতি রাউন্ডে ~31 step। Pi 4 CPU-তে step-প্রতি ~2 s ধরলে (দৃষ্টান্তমূলক, হার্ডওয়্যার-নির্ভর) প্রতি রাউন্ডে ~1 মিনিট training — রাতে একবার। 100 রাতে হাসপাতালটি মোট ~100 মিনিট compute দিয়েই 100 রাউন্ডে অবদান রাখে। শিক্ষা: FL-এ "ভালো কম্পিউটার" লাগে না; লাগে ধারাবাহিকতা। (সময়টি দৃষ্টান্তমূলক — আসল ডিভাইসে মেপে নিন।)
চিত্র ১০.১ — কম-রিসোর্স হাসপাতালের রেসিপি: কোন কৌশল কোন ঘাটতি পূরণ করে
নতুন দিগন্ত: ২০২৪–২০২৬ — Emerging Directions
FL এখন আর শুধু ছোট classifier-এর খেলা নয়। Foundation model-এর যুগে প্রশ্ন বদলেছে: বিলিয়ন-parameter মডেল কীভাবে federated পদ্ধতিতে fine-tune করা যায়, আর আইনের দাবিতে মডেলকে শেখা জিনিস "ভুলিয়ে" দেওয়া যায় কীভাবে?
১১.১ Federated foundation models ও LoRA
FedLoRA-তে শুধু ছোট A, B matrix গুলোই যাতায়াত করে — এটাই federated LLM fine-tuning-কে সাশ্রয়ী করে (Yang et al., "Federated Low-Rank Adaptation for Foundation Models: A Survey", IJCAI 2025)।
✕ Aggregation ফাঁদ — পণ্যের গড় ≠ গড়ের পণ্য
ক্লায়েন্টদের A ও B আলাদাভাবে গড় করলে তা ΔW = BA-গুলোর গড়ের সমান হয় না: avg(A)·avg(B) ≠ avg(BA)। তাই naive FedAvg + LoRA accuracy হারায়; FLoRA/FLoRA-NA-ধাঁচের পদ্ধতি এই ভুল সংশোধন করে। HierFedLoRA (Liu et al., 2025, arXiv:2412.20004) hierarchical near-IID grouping + adaptive aggregation frequency দিয়ে baseline-এর উপর +1.6–4.2% accuracy ও ≥2.1× দ্রুত fine-tuning দাবি করেছে (সেকেন্ডারি সারসংক্ষেপ)।
QLoRA (Dettmers et al., NeurIPS 2023, arXiv:2305.14314): 4-bit NF4-quantized base + LoRA — একটি মাত্র 48 GB GPU-তে 65B মডেল fine-tune করা যায়। যেই হাসপাতালের একটিমাত্র GPU আছে, তার জন্য প্রাসঙ্গিক।
১১.২ Federated Unlearning — "ভুলে যাওয়ার অধিকার" প্রযুক্তিতে
GDPR-এর right to erasure: একটি হাসপাতাল ফেডারেশন ছাড়লে বা একজন রোগী সম্মতি প্রত্যাহার করলে মডেলকে সেই ডেটা "ভুলতে" হবে। Scratch থেকে retrain করাই gold standard, কিন্তু ব্যয়বহুল।
Federated Unlearning: A Survey on Methods, Design Guidelines, and Evaluation Metrics
Romandini et al. · IEEE Trans. Neural Networks & Learning Systems, 2025 · DOI: 10.1109/TNNLS.2024.3478334 · arXiv:2401.05146
পদ্ধতির taxonomy (retraining-based, gradient-ascent/negative-gradient, parameter-scrubbing) এবং মূল্যায়ন: ভুলে যাওয়া কতটা সম্পূর্ণ (ভুলে-যাওয়া ডেটায় membership-inference AUC ~0.5-এ, অর্থাৎ random-এ নামা উচিত), বাকি accuracy কতটা টিকে থাকে, এবং যাচাই (verification)।
SoK: Challenges and Opportunities in Federated Unlearning
Jeong, Ma & Houmansadr · arXiv:2403.02437, 2024
খোলা সমস্যা: একটি হাসপাতাল কীভাবে প্রমাণ করবে যে সে ভুলেছে? এক হাসপাতালের unlearning অন্যদের ক্ষতি করতে পারে (fairness); non-IID ডেটায় জটিলতা আরও বেশি। নির্দিষ্ট পদ্ধতির উদাহরণ: SIFU (Fraboni et al., AISTATS 2024), FATS (Tao et al., VLDB 2024)।
১১.৩ Vertical FL — একই রোগী, আলাদা তথ্য
এতক্ষণ ছিল horizontal FL (একই feature, আলাদা রোগী)। Vertical FL-এ একই রোগীদের সম্পর্কে আলাদা আলাদা feature থাকে আলাদা প্রতিষ্ঠানে — Hospital A-র কাছে lab result, Hospital B-র কাছে imaging। প্রথম ধাপ হলো entity alignment (private set intersection দিয়ে গোপনীয়তা রক্ষা করে মিল খোঁজা); training-এর স্বাভাবিক পদ্ধতি split learning (অধ্যায় ৭.৫)। রেফারেন্স: Liu et al., "Vertical Federated Learning: Concepts, Advances, and Challenges", IEEE Trans. Knowledge & Data Engineering, 2024, 36(7)।
১১.৪ Federated Self-Supervised Learning
চিকিৎসা-ডেটায় label দুর্লভ, কাঁচা ডেটা প্রচুর। Federated পদ্ধতিতে unlabelled ডেটায় self-supervised pre-training (যেমন X-ray-তে masked image modelling) করে তারপর অল্প label দিয়ে fine-tune — এই দিকটি দ্রুত বাড়ছে। (এই গবেষণায় এর কোনো একক benchmark সংখ্যা যাচাই করা হয়নি, তাই এখানে শুধু দিকনির্দেশ হিসেবে উল্লেখ করা হলো।)
১১.৫ Trustworthy ও Explainable FL
Deploy-যোগ্য federated মডেলের শর্ত: প্রতি হাসপাতালে আলাদা calibration (অধ্যায় ১২), uncertainty প্রকাশের ক্ষমতা, blockchain audit trail (অধ্যায় ৪) এবং স্থানীয়ভাবে হিসাব করা ব্যাখ্যা (SHAP/attention)। যেই মডেল বলতে পারে না "এই scanner-ধরনের ছবিতে আমি অনিশ্চিত", সেটি ক্লিনিকে বসানো উচিত নয়।
মূল্যায়ন, মেট্রিক্স ও নিয়মকানুন — Evaluation & Regulation
শেষ অধ্যায়ে দুটি প্রশ্ন: মডেলটি ভালো কিনা কীভাবে বুঝবেন — শুধু accuracy দিয়ে নয়; আর আইনের চোখে এই পুরো ব্যবস্থাটি কোথায় দাঁড়িয়ে।
১২.১ মেট্রিক্স: কোনটি কখন
| মেট্রিক | সংজ্ঞা / অর্থ | কখন অপরিহার্য |
|---|---|---|
| AUROC | এলোমেলোভাবে বাছাই করা একটি positive case একটি negative-এর চেয়ে বেশি score পাওয়ার সম্ভাবনা। 0.5 = random, 1.0 = নিখুঁত। | সবসময় — তবে pooled নয়, প্রতি হাসপাতালে আলাদা করে রিপোর্ট করুন। |
| AUPRC | Precision–Recall curve-এর নিচের ক্ষেত্রফল। | Positive বিরল হলে (যেমন 2% cancer prevalence) — AUROC ভালো দেখালেও precision ভয়াবহ হতে পারে। |
| ECE | Expected Calibration Error: Σm (|Bm|/n)·|acc(Bm) − conf(Bm)| — "90% আত্মবিশ্বাস" মানে সত্যিই 90% সময় ঠিক কিনা। | চিকিৎসায় অত্যন্ত জরুরি: AUROC 0.95 অথচ ECE 0.20 ওয়ালা মডেল বিপজ্জনকভাবে overconfident। |
| Brier score | পূর্বাভাস-probability ও প্রকৃত ফলাফল (0/1)-এর mean squared error। 0 = নিখুঁত, কম = ভালো। | Calibration + discrimination একসঙ্গে মাপতে। |
✎ সংখ্যার উদাহরণ: ECE হাতে-কলমে
একটি মডেল 100 জন রোগীর জন্য pneumonia-র probability দিল 0.9, কিন্তু সত্যিকারে মাত্র 70 জনের pneumonia আছে। ওই confidence-bin-এ calibration error = |0.70 − 0.90| = 0.20। ওই bin-এ সব রোগীর অর্ধেক থাকলে ECE-তে তার অবদান 0.10। অর্থাৎ মডেলটি overconfident — ক্লিনিকে ব্যবহারের আগে Platt scaling / temperature scaling দিয়ে recalibrate করা আবশ্যক।
নিয়ম হিসেবে মনে রাখুন: প্রতি মেট্রিক রিপোর্ট করুন (ক) pooled, (খ) প্রতি হাসপাতালে, (গ) worst-hospital, (ঘ) subgroup অনুযায়ী (sex, age, baseline severity) — এবং calibration ছাড়া কোনো probability-ভিত্তিক সিদ্ধান্ত নয়।
১২.২ নিয়মকানুন: GDPR, HIPAA ও বাংলাদেশ
- GDPR (EU, 2018): স্বাস্থ্য-ডেটা "special category" — explicit consent বা Article 9-এর অন্য ভিত্তি লাগে; data minimisation, purpose limitation, right to erasure প্রযোজ্য। FL সাহায্য করে (ডেটা স্থানীয় থাকে), কিন্তু স্বয়ংক্রিয়ভাবে GDPR-compliant করে না — model update থেকে কাউকে শনাক্ত করা গেলে সেটিও personal data।
- HIPAA (US): Protected Health Information নিয়ে কাজে Business Associate Agreement এবং de-identification / expert-determination বিশ্লেষণ লাগে।
⚠ বাংলাদেশের আইন — প্রকাশের আগে আইনজীবীর যাচাই আবশ্যক
এই বইয়ের গবেষণাকালে (নভেম্বর ২০২৬) বাংলাদেশের ডেটা-সুরক্ষা আইনের অবস্থা রূপান্তরকালীন ও পরস্পরবিরোধী সূত্রে পাওয়া গেছে: ICT Act 2006 + Cyber Security Act 2023 কাঠামোতে কোনো পূর্ণাঙ্গ data-protection আইন ছিল না (Chambers, 2026 guide); জুলাই 2025-এ একটি খসড়া Personal Data Protection Ordinance মন্ত্রিসভায় উপস্থাপিত হয় (GDPR-ধাঁচের consent, erasure-এর অধিকার, "data mirroring" — অন্তত একটি কপি বাংলাদেশে রাখা — এবং বিদেশি কোম্পানির জন্য global turnover-এর 5% পর্যন্ত জরিমানার কথা সেকেন্ডারি প্রতিবেদনে এসেছে); আবার একটি সেকেন্ডারি আইনি guide দাবি করেছে Personal Data Protection Act, 2026 (Act No. 63 of 2026) 10 April 2026-এ পাস হয়েছে। এই সূত্রগুলো পরস্পরবিরোধী এবং কোনোটিই মূল gazette থেকে যাচাই করা যায়নি। বইটি ছাপানোর আগে বর্তমান gazette দেখে বাংলাদেশি আইনজীবীর পর্যালোচনা নিন। এছাড়া early 2026 পর্যন্ত বাংলাদেশে আলাদা AI/health-AI আইন ছিল না (সেকেন্ডারি AI-policy tracker)।
১২.৩ শেষ কথা: একটি বাস্তবসম্মত রেসিপি
✓ ১০-হাসপাতালের pilot-এর জন্য প্রস্তাবিত স্তূপ (stack)
- Algorithm: FedAvg baseline → FedProx (μ = 0.1 থেকে শুরু) → দরকারে FedAdam server optimizer
- Model: MobileNetV2 / EfficientNet-Lite, INT8 quantization; জেলা হাসপাতালে split learning
- Privacy: SecAgg + DP (ε ≈ 2–8, Rényi accountant দিয়ে হিসাব) + norm clipping
- Security: ML-DSA signature প্রতিটি update-এ (hybrid migration পরিকল্পনাসহ), robust aggregation (Trimmed Mean), permissioned blockchain-এ শুধু hash দিয়ে audit trail
- System: Flower framework, Top-k compression, রাতের async sync (FedBuff), hierarchical aggregation বিভাগ অনুযায়ী
- Evaluation: leave-one-hospital-out, প্রতি হাসপাতালে AUROC/AUPRC/ECE/Brier, worst-hospital রিপোর্ট বাধ্যতামূলক
তথ্যসূত্র — References
নিচের প্রতিটি সূত্র এই বইয়ের গবেষণায় (নভেম্বর ২০২৬) web index/search থেকে পড়া হয়েছে। যেসব সংখ্যা preprint বা সেকেন্ডারি সারসংক্ষেপ থেকে এসেছে, মূল অধ্যায়ে তা চিহ্নিত করা আছে — প্রকাশের আগে মূল PDF থেকে পুনঃযাচাই করুন।
- McMahan, B., Moore, E., Ramage, D., Hampson, S., & Agüera y Arcas, B. (2017). Communication-Efficient Learning of Deep Networks from Decentralized Data. AISTATS. arXiv:1602.05629
- Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., & Smith, V. (2020). Federated Optimization in Heterogeneous Networks (FedProx). MLSys. arXiv:1812.06127
- Karimireddy, S. P., Kale, S., Mohri, M., Reddi, S., Stich, S., & Suresh, A. T. (2020). SCAFFOLD: Stochastic Controlled Averaging for Federated Learning. ICML, PMLR 119:5132–5143. proceedings.mlr.press
- Wang, J., Liu, Q., Liang, H., Joshi, G., & Poor, H. V. (2020). Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization (FedNova). NeurIPS.
- Reddi, S., Charles, Z., Zaheer, M., Garrett, Z., Rush, K., Konečný, J., Kumar, S., & McMahan, H. B. (2021). Adaptive Federated Optimization. ICLR. arXiv:2003.00295
- Lai, F., et al. (2021). Oort: Efficient Federated Learning via Guided Participant Selection. OSDI, pp. 19–35.
- Abadi, M., Chu, A., Goodfellow, I., McMahan, H. B., Mironov, I., Talwar, K., & Zhang, L. (2016). Deep Learning with Differential Privacy. ACM CCS. DOI: 10.1145/2976749.2978318. arXiv:1607.00133
- Bonawitz, K., et al. (2017). Practical Secure Aggregation for Privacy-Preserving Machine Learning. ACM CCS.
- Bell, J. H., et al. (2020). Secure Single-Server Aggregation with (Poly)Logarithmic Overhead (SecAgg+). ACM CCS.
- Zhu, L., Liu, Z., & Han, S. (2019). Deep Leakage from Gradients. NeurIPS. arXiv:1906.08935
- Geiping, J., Bauermeister, H., Dröge, H., & Moeller, M. (2020). Inverting Gradients — How Easy Is It to Break Privacy in Federated Learning? arXiv:2003.14053
- Shokri, R., Stronati, M., Song, C., & Shmatikov, V. (2017). Membership Inference Attacks Against Machine Learning Models. IEEE S&P.
- Fredrikson, M., Jha, S., & Ristenpart, T. (2015). Model Inversion Attacks That Exploit Confidence Information. ACM CCS.
- Blanchard, P., El Mhamdi, E. M., Guerraoui, R., & Stainer, J. (2017). Machine Learning with Adversaries: Byzantine Tolerant Gradient Descent (Krum). NeurIPS.
- Yin, D., Chen, Y., Ramchandran, K., & Bartlett, P. (2018). Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates. ICML.
- El Mhamdi, E. M., Guerraoui, R., & Rouault, S. (2018). The Hidden Vulnerability of Distributed Learning in Byzantium (Bulyan). ICML.
- Kim, H., Park, J., Bennis, M., & Kim, S.-L. (2019). Blockchained On-Device Federated Learning (BlockFL). IEEE Communications Letters. DOI: 10.1109/LCOMM.2019.2921755.
- Wang, X., Hu, J., et al. (2021). A Systematic Survey of Blockchained Federated Learning. arXiv:2110.02182
- Cheon, J. H., Kim, A., Kim, M., & Song, Y. (2017). Homomorphic Encryption for Arithmetic of Approximate Numbers (CKKS). Asiacrypt.
- NIST (2024). FIPS 203 (ML-KEM), FIPS 204 (ML-DSA), FIPS 205 (SLH-DSA) — finalised 13 August 2024; NIST IR 8547 (initial public draft, Nov 2024), transition timelines. ব্যাখ্যা: jacar.es — FIPS 203/204/205 explained
- Han, S., Mao, H., & Dally, W. J. (2016). Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. ICLR. arXiv:1510.00149
- Howard, A. G., et al. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. arXiv:1704.04861
- Tan, M., & Le, Q. V. (2019). EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. ICML.
- From Tiny Machine Learning to Tiny Deep Learning: A Survey (2025). arXiv:2506.18927
- Vepakomma, P., Gupta, O., Swedish, T., & Raskar, R. (2018). Split Learning for Health. arXiv:1812.00564
- Lin, Y., Han, S., Mao, H., Wang, Y., & Dally, W. J. (2018). Deep Gradient Compression. ICLR. arXiv:1712.01887
- Aji, A. F., & Heafield, K. (2017). Sparse Communication for Distributed Gradient Descent. arXiv:1704.05021
- Alistarh, D., Grubic, D., Li, J., Tomioka, R., & Vojnovic, M. (2017). QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding. NeurIPS.
- Xie, C., Koyejo, S., & Gupta, I. (2019). Asynchronous Federated Optimization (FedAsync). arXiv:1903.03934
- Wang, H. (2022). Asynchronous Hierarchical Federated Learning. arXiv:2206.00054
- Dinh, C. T., Tran, N. H., & Nguyen, T. D. (2020). Personalized Federated Learning with Moreau Envelopes (pFedMe). NeurIPS. arXiv:2006.08848
- Li, T., Hu, S., Beirami, A., & Smith, V. (2021). Ditto: Fair and Robust Federated Learning Through Personalization. ICML. arXiv:2011.02856
- Arivazhagan, M. G., Aggarwal, V., Singh, A. K., & Choudhary, S. (2019). Federated Learning with Personalization Layers (FedPer). arXiv:1912.00818
- Sattler, F., Müller, K.-R., & Samek, W. (2019). Clustered Federated Learning. arXiv:1910.01991; Ghosh, A., et al. (2020). IFCA. NeurIPS.
- Hu, E. J., et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. arXiv:2106.09685
- Yang, et al. (2025). Federated Low-Rank Adaptation for Foundation Models: A Survey. IJCAI.
- Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS. arXiv:2305.14314
- Romandini, N., et al. (2025). Federated Unlearning: A Survey on Methods, Design Guidelines, and Evaluation Metrics. IEEE TNNLS. DOI: 10.1109/TNNLS.2024.3478334. arXiv:2401.05146
- Jeong, H., Ma, J., & Houmansadr, A. (2024). SoK: Challenges and Opportunities in Federated Unlearning. arXiv:2403.02437
- Liu, Y., et al. (2024). Vertical Federated Learning: Concepts, Advances, and Challenges. IEEE TKDE, 36(7).
- Dayan, I., et al. (2021). Federated learning for predicting clinical outcomes in patients with COVID-19 (EXAM). Nature Medicine. DOI: 10.1038/s41591-021-01506-3.
- Rieke, N., et al. (2020). The future of digital health with federated learning. npj Digital Medicine. DOI: 10.1038/s41746-020-00323-1. arXiv:2003.08119
⚠ যাচাই-বহির্ভূত / খোলা প্রশ্ন (Open Questions)
- FedZip: মূল পেপার/সংখ্যা এই গবেষণায় পাওয়া যায়নি — primary paper না পেয়ে কোনো ফলাফল উদ্ধৃত করা হয়নি।
- ML-KEM-এর নির্দিষ্ট key/ciphertext আকার: এখানে যাচাই হয়নি — সরাসরি FIPS 203 দেখুন।
- FL + ZKP: যাচাইকৃত benchmark-সহ পেপার পাওয়া যায়নি — emerging দিক হিসেবে উপস্থাপিত।
- বাংলাদেশের ডেটা-সুরক্ষা আইন (2025–2026): সূত্র পরস্পরবিরোধী, gazette যাচাই হয়নি — ছাপার আগে আইনজীবীর পর্যালোচনা আবশ্যক।
- Preprint দাবি: FedBit (~100×), PQC-FL (97.6% / 18.7%), HierFedLoRA (+1.6–4.2%) — peer-reviewed নয়; মূল PDF থেকে যাচাই করে তবেই headline সংখ্যা হিসেবে ব্যবহার করুন।
- SCAFFOLD: তত্ত্বে FedAvg-এর চেয়ে ভালো; সাম্প্রতিক বিশ্লেষণে deep net-এ বাস্তবে প্রায়ই নয় — দুই পক্ষই অধ্যায় ২-তে দেওয়া আছে।