সূচিপত্র

A Practical Book · Healthcare Edition

ফেডারেটেড লার্নিংFederated Learning, Optimized & Secured

হাসপাতালের ডেটা হাসপাতালেই রেখে, একাধিক প্রতিষ্ঠান মিলে একটি শক্তিশালী মডেল বানানো — কীভাবে সেটিকে আরও দ্রুত, আরও নিরাপদ, আরও হালকা এবং কম-রিসোর্স পরিবেশেও চালানো যায়, তার পূর্ণাঙ্গ নির্দেশিকা।

বিষয়: Federated Learning · Optimization · Security · Blockchain · Cryptography · PQC পাঠক: গবেষক, প্রকৌশলী, স্বাস্থ্য-তথ্য পেশাজীবী সংস্করণ: নভেম্বর ২০২৬
10–100×FedAvg দিয়ে যোগাযোগ-রাউন্ড কমে (McMahan et al. 2017, পেপার)
20প্রতিষ্ঠান মিলে EXAM স্টাডি, AUC > 0.92 (Nature Medicine 2021, পেপার)
49×VGG-16 কমপ্রেশন, accuracy না কমিয়েই (Deep Compression, পেপার)
2035এর পর RSA/ECC সম্পূর্ণ নিষিদ্ধ করার প্রস্তাব (NIST IR 8547 খসড়া)
অধ্যায় ০১ · Chapter 1

ভূমিকা: ফেডারেটেড লার্নিং কী — Introduction

প্রচলিত machine learning-এ সব ডেটা এক জায়গায় জমা করে মডেল শেখানো হয়। হাসপাতালের ক্ষেত্রে এটি প্রায় অসম্ভব: রোগীর তথ্য আইনত ও নৈতিকভাবে হাসপাতালের বাইরে পাঠানো যায় না, আর ডেটার পরিমাণও বিশাল। Federated Learning (FL) এই সমস্যার উল্টো সমাধান দেয় — ডেটা যেখানে আছে, মডেল সেখানে যায়; শুধু মডেলের আপডেট (gradient/weights) সার্ভারে আসে, কাঁচা ডেটা কখনোই বের হয় না।

১.১ মূল চক্র: এক রাউন্ডে কী ঘটে

প্রতিটি communication round-এ চারটি ধাপ ঘটে:

  1. Broadcast: কেন্দ্রীয় সার্ভার বর্তমান global model wt অংশগ্রহণকারী হাসপাতালগুলোতে পাঠায়।
  2. Local training: প্রতিটি হাসপাতাল নিজের ডেটায় E epoch SGD চালিয়ে স্থানীয় মডেল wkt+1 বানায়।
  3. Upload: হাসপাতালগুলো শুধু আপডেট পাঠায় — রোগীর কোনো রেকর্ড নয়।
  4. Aggregation: সার্ভার আপডেটগুলোর ওজনযুক্ত গড় নিয়ে নতুন global model wt+1 তৈরি করে।

চিত্র ১.১ — Cross-silo FL: হাসপাতালভিত্তিক ফেডারেশনের কাঠামো

Aggregation Server w(t+1) = Σ (n_k/n) · w_k Hospital A · Dhaka n = 12,000 scans ডেটা ভেতরেই থাকে Hospital B · Chattogram n = 6,500 scans ডেটা ভেতরেই থাকে Hospital C · Rajshahi n = 3,200 scans ডেটা ভেতরেই থাকে ↑ update w_k ↓ global w(t) শুধু মডেল-আপডেট যাতায়াত করে — রোগীর কাঁচা ডেটা কখনো হাসপাতাল ছাড়ে না
চিত্র ১.১। হাসপাতালের FL হলো cross-silo FL: অংশগ্রহণকারী ২–১০০টি নির্ভরযোগ্য প্রতিষ্ঠান, প্রত্যেকে প্রায় প্রতি রাউন্ডেই অংশ নেয়। এটি কোটি কোটি ফোনের cross-device FL থেকে আলাদা — এখানে ক্লায়েন্ট কম, কিন্তু প্রত্যেকের ডেটা বড় ও মূল্যবান।

১.২ কেন্দ্রীয় উদ্দেশ্য (Global Objective)

minw F(w) = Σk (nk/n) · Fk(w)
Fk = হাসপাতাল k-এর local loss · nk = তার নমুনা সংখ্যা · n = Σ nk — সব অপ্টিমাইজেশন পদ্ধতির (অধ্যায় ২) ভিত্তি এই সমীকরণ।

১.৩ প্রমাণ: এটি সত্যিই কাজ করে — EXAM স্টাডি

Federated learning for predicting clinical outcomes in patients with COVID-19 (EXAM)

Dayan et al., Nature Medicine, 2021 · DOI: 10.1038/s41591-021-01506-3

২০টি প্রতিষ্ঠান, ১৬,১৪৮ জন উপসর্গযুক্ত COVID-19 রোগীর chest X-ray + vitals + lab ডেটা নিয়ে FL মডেল বানানো হয় — কোনো হাসপাতালের ডেটা বাইরে না পাঠিয়েই। ফলাফল: ২৪/৭২ ঘণ্টায় অক্সিজেন-প্রয়োজনের পূর্বাভাসে গড় AUC > 0.92; একক-হাসপাতালের local model-এর তুলনায় গড় AUC +16% এবং generalisability +38%। (পেপার)

The future of digital health with federated learning

Rieke et al., npj Digital Medicine, 2020 · DOI: 10.1038/s41746-020-00323-1 · arXiv:2003.08119

ডিজিটাল হেলথে FL-এর সম্ভাবনা ও খোলা প্রশ্নগুলোর মানক (standard) রেফারেন্স — ডেটা-শাসন, heterogeneity এবং মূল্যায়নের চ্যালেঞ্জগুলো এখানেই প্রথম সুসংগঠিতভাবে তোলা হয়।

⚠ সবচেয়ে বড় ভুল ধারণা

"FL মানেই প্রাইভেসি নিশ্চিত" — এটি ভুল। Gradient থেকে মূল ছবি প্রায় হুবহু পুনরুদ্ধার করা যায় (Deep Leakage from Gradients, অধ্যায় ৩)। FL শুধু ডেটা-স্থানান্তর বন্ধ করে; আসল সুরক্ষার জন্য লাগে Differential Privacy + Secure Aggregation + ক্রিপ্টোগ্রাফি — যা এই বইয়ের অধ্যায় ৩–৬-এর বিষয়।

১.৪ এই বইয়ের মানচিত্র

Ch 2 · OptimizationCh 3 · Security & PrivacyCh 4 · BlockchainCh 5 · CryptographyCh 6 · PQCCh 7 · Lightweight ModelsCh 8 · Resource OptimizationCh 9 · Non-IID DataCh 10 · Low-Resource HospitalsCh 11 · 2024–2026 FrontiersCh 12 · Metrics & Regulation
অধ্যায় ০২ · Chapter 2

অপ্টিমাইজেশন: FedAvg থেকে FedOpt — Optimization

FL অপ্টিমাইজেশনের মূল টানাপোড়েন দুটি: (১) প্রতিটি রাউন্ডে নেটওয়ার্কে মডেল পাঠানো ব্যয়বহুল, তাই রাউন্ড কমাতে হবে; (২) প্রতিটি হাসপাতালের ডেটা আলাদা (non-IID), তাই বেশি local training করলে মডেলগুলো পরস্পর থেকে দূরে সরে যায় — একে বলে client drift। এই অধ্যায়ের প্রতিটি অ্যালগরিদম এই দুই সমস্যার কোনো না কোনো সমাধান।

২.১ FedAvg — ভিত্তি

wt+1 = Σk (nk/n) · wkt+1
প্রতি রাউন্ডে ক্লায়েন্টদের একটি অংশ (fraction C) বেছে নেওয়া হয়; প্রত্যেকে E epoch, batch B, learning rate η দিয়ে SGD চালায়; সার্ভার নমুনা-সংখ্যা অনুযায়ী ওজনযুক্ত গড় নেয়। E = 1, B = ∞ হলে এটি FedSGD।

Communication-Efficient Learning of Deep Networks from Decentralized Data

McMahan, Moore, Ramage, Hampson & Agüera y Arcas · AISTATS 2017 · arXiv:1602.05629

Synchronised SGD-এর তুলনায় communication round 10–100× কমিয়েছে; LSTM language model-এ দুই order of magnitude পর্যন্ত। MNIST CNN (IID) ক্ষেত্রে FedSGD-এর 626 রাউন্ডের জায়গায় FedAvg (E=20, B=10) মাত্র 18 রাউন্ডে একই accuracy — 34.8× কম (পেপারের টেবিলের সারসংক্ষেপ)। (পেপার)

✎ সংখ্যার উদাহরণ: ওজনযুক্ত গড় হাতে-কলমে

তিনটি হাসপাতালের নমুনা: A = 12,000, B = 6,500, C = 3,200 (মোট n = 21,700)। কোনো একটি weight-এর মান ধরা যাক A-তে 0.80, B-তে 0.60, C-তে 0.90। তাহলে:

w = (12000×0.80 + 6500×0.60 + 3200×0.90) / 21700 = 16380 / 21700 ≈ 0.755

লক্ষ করুন: সাধারণ গড় হতো (0.80+0.60+0.90)/3 = 0.767। FedAvg বড় হাসপাতালকে বেশি ওজন দেয় — এই সিদ্ধান্তটাই quantity skew-এর ক্ষেত্রে বিতর্কের কারণ (অধ্যায় ৯)।

২.২ FedProx — drift ঠেকাতে proximal term

hk(w; wt) = Fk(w) + (μ/2) · ‖w − wt‖²
μ = 0 হলে FedAvg-ই ফিরে আসে। μ বড় হলে local model global model-এর কাছাকাছি "বাঁধা" থাকে, drift কমে। পেপারে অনুসন্ধান-পরিসর μ ∈ {0.001, 0.01, 0.1, 0.5, 1}। অতিরিক্ত সুবিধা: ধীরগতির হাসপাতাল কম step করেও অংশ নিতে পারে (variable local work)।

Federated Optimization in Heterogeneous Networks (FedProx)

Li, Sahu, Zaheer, Sanjabi, Talwalkar & Smith · MLSys 2020 · arXiv:1812.06127

অত্যন্ত heterogeneous সেটিংয়ে FedAvg-এর তুলনায় গড়ে +22% absolute test accuracy; 0%, 50% ও 90% straggler থাকলেও μ > 0 অস্থিতিশীল/divergent রানকে স্থিতিশীল করেছে। (পেপার) একটি মেডিকেল প্রতিলিপি (OCT retinal images, 84,484 ছবি): non-IID (2 shards/client) ক্ষেত্রে FedAvg 87.22 ± 5.97% বনাম FedProx (μ=0.2) 90.57 ± 3.09% (arXiv:2402.10035)।

চিত্র ২.১ — Client drift: কেন FedProx দরকার

w(t) — global model Hospital A-র optimum Hospital B-র optimum FedProx-এর μ-term এই বলয়ের ভেতরে local update আটকে রাখে μ বড় → বলয় ছোট → drift কম, কিন্তু শেখাও ধীর হতে পারে μ = 0 → FedAvg (মুক্ত drift)
চিত্র ২.১। Non-IID ডেটায় প্রতিটি হাসপাতাল নিজের optimum-এর দিকে টানে। Local epoch বেশি হলে আপডেটগুলো এত দূরে চলে যায় যে তাদের গড় কোনো হাসপাতালের জন্যই ভালো হয় না। Proximal term এই টানকে নিয়ন্ত্রিত করে।

২.৩ SCAFFOLD — control variate দিয়ে variance reduction

SCAFFOLD-এ প্রতিটি ক্লায়েন্ট একটি control variate ck আর সার্ভার c রাখে। Local step-এ gradient-কে (c − ck) দিয়ে সংশোধন করা হয় — ফলে প্রতিটি ক্লায়েন্টের আপডেট "নিজের দিকে" না গিয়ে global দিকেই ঝুঁকে। তত্ত্বগতভাবে এটি FedAvg-এর চেয়ে শক্ত ratio প্রমাণ করে এবং heterogeneity দ্বারা প্রভাবিত হয় না। মূল্য: প্রতি ক্লায়েন্টে একটি অতিরিক্ত vector রাখতে ও পাঠাতে হয়।

SCAFFOLD: Stochastic Controlled Averaging for Federated Learning

Karimireddy, Kale, Mohri, Reddi, Stich & Suresh · ICML 2020 · PMLR 119:5132–5143 · arXiv:1910.06378

Client drift-এর আনুষ্ঠানিক বিশ্লেষণ ও উল্লেখযোগ্যভাবে কম রাউন্ডের প্রমাণ। (পেপার)

⚠ তত্ত্ব বনাম বাস্তব — সতর্কতা

২০২৫–২৬ সালের একটি বিশ্লেষণ অনুযায়ী, deep network-এ SCAFFOLD বাস্তবে প্রায়ই FedAvg-কে ছাড়িয়ে যায় না ("edge of stability" / progressive sharpening-এর কারণে)। বইয়ের পাঠকের জন্য শিক্ষা: কোনো পদ্ধতির তাত্ত্বিক গ্যারান্টি মানেই বাস্তব জয় নয় — নিজের ডেটায় যাচাই করা বাধ্যতামূলক।

২.৪ FedNova — objective inconsistency ঠিক করা

হাসপাতালগুলো সমান step করে না: বড় হাসপাতাল τk = 200 step, ছোটটি 40 step। সরল গড় নিলে যেই objective optimize হয়, সেটি আসল objective নয় — Wang et al. একে বলেন objective inconsistency। FedNova প্রতিটি আপডেটকে তার step-সংখ্যা দিয়ে ভাগ করে normalize করে (dk = Δk/τk), তারপর effective step τeff = Σ pkτk দিয়ে rescale করে।

Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization (FedNova)

Wang, Liu, Liang, Joshi & Poor · NeurIPS 2020

Non-IID CIFAR-10-এ শুধু τeff সংশোধনেই FedProx-এর উপর ~5% উন্নতি এবং FedNova-Prox, FedProx-এর চেয়ে ~10% বেশি accurate বলে সেকেন্ডারি সারসংক্ষেপে বলা হয়েছে — এই 10% সংখ্যাটি মূল PDF থেকে পুনঃযাচাই করা হয়নি, তাই সতর্কতার সঙ্গে ব্যবহার করুন।

২.৫ FedOpt — সার্ভার-পক্ষে adaptive optimizer

ধারণাটি সরল কিন্তু শক্তিশালী: client optimizer (সাধারণত SGD) আর server optimizer আলাদা করুন। ক্লায়েন্টদের গড় আপডেট Δt-কে একটি "pseudo-gradient" ধরে সার্ভারে Adam/Yogi/Adagrad চালান — per-coordinate adaptive learning rate ও momentum (mt, vt) সহ। FedAvg আসলে FedOpt-এর বিশেষ রূপ, যেখানে server optimizer হলো SGD এবং ηs = 1।

Adaptive Federated Optimization (FedAdagrad / FedAdam / FedYogi)

Reddi, Charles, Zaheer, Garrett, Rush, Konečný, Kumar & McMahan · ICLR 2021 · arXiv:2003.00295

ছয়টি benchmark task-এর সবকটিতেই adaptive পদ্ধতি FedAvg-কে ছাড়িয়েছে, চারটিতে নাটকীয়ভাবে — বিশেষ করে sparse-gradient text task-এ। যেমন Stack Overflow logistic regression-এ Recall@5: FedAdagrad 67.1 বনাম FedAvgM 36.9 বনাম FedAvg 30.0 (সেকেন্ডারি টেবিল)। (পেপার)

২.৬ Client selection — কাকে ডাকবেন?

সব হাসপাতালকে প্রতি রাউন্ডে ডাকা যায় না (ব্যস্ততা, নেটওয়ার্ক, রক্ষণাবেক্ষণ)। তিনটি কৌশল:

  • Random selection (FedAvg-এর default, C = 0.1): সরল, নিরপেক্ষ, কিন্তু ধীর হাসপাতাল রাউন্ড আটকে রাখে।
  • Oort (Lai et al., OSDI 2021): statistical utility (কার ডেটা সবচেয়ে কাজের) + system utility (কে দ্রুত) মিলিয়ে বাছাই — time-to-accuracy ভালো হয়। সতর্কতা: ধীর হাসপাতালের ডেটা বারবার বাদ পড়লে fairness নষ্ট হয় — হাসপাতালের প্রেক্ষাপটে এটি গুরুতর।
  • Over-selection: প্রয়োজনের 130% ক্লায়েন্ট ডেকে প্রথম 100%-কেই গ্রহণ করা (অধ্যায় ৮)।

২.৭ Rounds বনাম Accuracy — ও সিমুলেটর

সাধারণ অনুশীলনে দেখা যায়: accuracy প্রথম 20–50 রাউন্ডে দ্রুত বাড়ে, তারপর প্রায় সমতল (plateau) হয়ে যায়। Plateau-এর পর রাউন্ড দ্বিগুণ করলে সাধারণত <1 percentage point লাভের বিনিময়ে bandwidth দ্বিগুণ খরচ হয়। ব্যবহারিক নিয়ম: একটি লক্ষ্য ঠিক করুন (যেমন AUROC 0.90) এবং validation AUROC টানা 10 রাউন্ডে ≥ 0.002 উন্নতি না হলে থামুন। (সাধারণ অনুশীলন)

সিমুলেটর ১ — Communication Cost Calculator

নিজের হাসপাতাল-নেটওয়ার্কের সংখ্যা বসিয়ে দেখুন মোট কত ডেটা যাতায়াত করবে, আর compression (অধ্যায় ৮) কতটা বাঁচাবে। সূত্র: মোট ট্র্যাফিক = model size × 2 (up+down) × hospitals × rounds × compression factor।

—মোট নেটওয়ার্ক ট্র্যাফিক (সব হাসপাতাল মিলিয়ে)
—প্রতি হাসপাতালের মোট আপলোড+ডাউনলোড
—প্রতি রাউন্ডে এক হাসপাতালের upload
—1 Mbps লাইনে এক upload-এর সময়

* Top-k-এর ক্ষেত্রে বাস্তবে index overhead যোগ হয় (কোন coordinate পাঠানো হলো তার তালিকা) — বাস্তব সাশ্রয় কিছুটা কমে; SmartIdx (AAAI 2022) দেখিয়েছে index overhead মোট ট্র্যাফিকের 89–94% পর্যন্ত হতে পারে। ডিফল্ট সেটিংয়ে ফলাফল মিলিয়ে দেখুন বইয়ের উদাহরণের সঙ্গে: compression ছাড়া 10 MB × 10 হাসপাতাল × 100 রাউন্ড = 20 GB।

পদ্ধতিমূল ধারণাকখন ব্যবহার করবেনমূল্য/সীমাবদ্ধতা
FedAvgওজনযুক্ত গড়সবসময়ই baseline হিসেবে শুরুNon-IID-তে drift
FedProxProximal term μStraggler ও মাঝারি heterogeneityμ tune করতে হয়
SCAFFOLDControl variateতীব্র label skewঅতিরিক্ত state ও যোগাযোগ; বাস্তব জয় অনিশ্চিত
FedNovaStep-normalized গড়হাসপাতালভেদে local step অসমান হলেবাস্তবায়নে যত্ন লাগে
FedAdam/YogiServer-side adaptive optimizerSparse gradient, দ্রুত convergence চাইলেServer hyperparameter বাড়ে
অধ্যায় ০৩ · Chapter 3

নিরাপত্তা ও প্রাইভেসি — Security & Privacy

FL-এ আক্রমণ দুই দিক থেকে আসে: বাইরের আক্রমণকারী যিনি gradient থেকে রোগীর তথ্য বের করতে চান, আর ভেতরের অসাধু অংশগ্রহণকারী যিনি মডেলটাকেই বিষাক্ত (poison) করতে চান। এই অধ্যায়ে প্রথমে আক্রমণগুলো, তারপর প্রতিরক্ষার স্তরগুলো — Differential Privacy, Secure Aggregation এবং Byzantine-robust aggregation।

৩.১ আক্রমণ ১: Gradient leakage — ছবি ফিরে পাওয়া

Deep Leakage from Gradients (DLG)

Zhu, Liu & Han · NeurIPS 2019 · arXiv:1906.08935

আক্রমণকারী একটি হাসপাতালের gradient ∇W হাতে পেলে একটি dummy ছবি/লেবেল নিয়ে ‖∇W′ − ∇W‖² minimize করে — batch size 1 হলে মূল ছবি প্রায় pixel-perfect ফিরে আসে (PSNR > 30 dB, সেকেন্ডারি সারসংক্ষেপ)। Geiping et al. ("Inverting Gradients", arXiv:2003.14053, 2020) এটি ResNet/ImageNet ও বড় batch-এও প্রসারিত করেছেন। (পেপার) — সিদ্ধান্ত: শুধু FL ≠ প্রাইভেসি।

৩.২ আক্রমণ ২ ও ৩: Membership inference ও Model inversion

Membership Inference Attacks Against Machine Learning Models

Shokri, Stronati, Song & Shmatikov · IEEE S&P 2017

Shadow model দিয়ে আক্রমণকারী বের করতে পারে নির্দিষ্ট একজন রোগী training set-এ ছিলেন কিনা (বিভিন্ন target-এ 70–95% precision, সেকেন্ডারি কোর্স-নোট অনুযায়ী)। হাসপাতালে "এই রোগী diabetes training set-এ ছিলেন" জানাটাই একটি রোগ-নির্ণয় ফাঁস করা।

Model Inversion Attacks That Exploit Confidence Information

Fredrikson, Jha & Ristenpart · ACM CCS 2015 (ও USENIX Security 2014, warfarin study)

শুধু black-box confidence score ব্যবহার করে face-recognition model থেকে চেনা যায় এমন মুখ এবং warfarin-dosing model থেকে রোগীদের genotype অনুমান করা সম্ভব হয়েছে। (পেপার)

৩.৩ আক্রমণ ৪: Poisoning ও Backdoor

Data poisoning: স্থানীয় লেবেল উল্টে দেওয়া (যেমন malignant scan-কে benign চিহ্নিত করা)। Model poisoning: সার্ভারে বড় আকারের বিকৃত update পাঠানো। Backdoor: মডেল সব ক্ষেত্রে স্বাভাবিক আচরণ করে, কিন্তু একটি নির্দিষ্ট trigger (যেমন ছবির কোণে ছোট্ট প্যাটার্ন) দেখলেই ভুল উত্তর দেয়। প্রতিরক্ষা এক স্তরে হয় না — robust aggregation (৩.৬) + per-update norm clipping + held-out validation + audit log একসঙ্গে লাগে।

৩.৪ প্রতিরক্ষা ১: Differential Privacy (DP)

Pr[M(D) ∈ S] ≤ eε · Pr[M(D′) ∈ S] + δ
(ε, δ)-DP: D ও D′ একটি মাত্র রোগীতে আলাদা। ε যত ছোট, প্রাইভেসি তত শক্তিশালী। ε = 1 → আক্রমণকারীর লাভ সর্বোচ্চ e¹ ≈ 2.72×; ε = 10 → e¹⁰ ≈ 22,026× — বাস্তবে দুর্বল। δ সাধারণত < 1/N (যেমন 10⁻⁵)।

DP-SGD (Abadi et al., CCS 2016) দুই ধাপে কাজ করে: (১) প্রতিটি নমুনার gradient-কে norm C-তে clip করা; (২) যোগফলে Gaussian noise N(0, σ²C²) যোগ করা। মোট privacy খরচ হিসাব করা হয় moments accountant (বর্তমানে Rényi DP) দিয়ে — naive composition-এর চেয়ে অনেক টাইট: একটি সেটিংয়ে strong composition যেখানে ε = 9.34 দিয়েছিল, moments accountant সেখানে ε = 1.26 প্রত্যয়িত করেছে।

চিত্র ৩.১ — ε বনাম accuracy: DP-র মূল্য (Abadi et al. 2016, MNIST, δ = 10⁻⁵)

85%90%95%100% 90% ε = 0.5 95% ε = 2 97% ε = 8 98.3% No DP ε ছোট → noise বেশি → প্রাইভেসি শক্তিশালী, accuracy কম · CIFAR-10-এ ε = 8 দিয়ে 73%
চিত্র ৩.১। Abadi et al.-এর পরিমাপ (পেপার)। বাস্তব হাসপাতাল-FL-এ সাধারণত ε ∈ [2, 8] ব্যবহার হয় (মাঝারি প্রাইভেসি, সেকেন্ডারি সাহিত্যে 2–5 percentage point accuracy খরচ); ε < 1 শুধু খুব সংবেদনশীল ও বড় ডেটাসেটে বাস্তবসম্মত। (সাধারণ অনুশীলন)

সিমুলেটর ২ — DP Noise Explorer

Clipping norm C ও noise multiplier σ বদলে দেখুন প্রতিটি step-এ কতটা noise যোগ হচ্ছে, এবং ε অনুযায়ী আক্রমণকারীর সর্বোচ্চ সুবিধা (eε) কত।

—প্রতি step-এ gradient-sum-এ যোগ হওয়া noise-এর std (σ·C)
—গড় gradient-এ কার্যকর noise (σ·C / batch)
—আক্রমণকারীর সর্বোচ্চ সুবিধা e^ε (ε অনুযায়ী)
—এই ε-এর প্রাইভেসি-মূল্যায়ন

শিক্ষা: noise সরাসরি σ·C অনুপাতে বাড়ে, কিন্তু batch বড় হলে গড়ে তার প্রভাব কমে — এ কারণেই DP বড় batch ও অনেক রাউন্ডের গড়ে সবচেয়ে ভালো কাজ করে। প্রকৃত ε হিসাবের জন্য Rényi DP accountant ব্যবহার করুন; এখানকার e^ε শুধু সংজ্ঞার সরল রূপ।

৩.৫ প্রতিরক্ষা ২: Secure Aggregation (SecAgg)

yu = xu + Σv>u PRG(suv) − Σv<u PRG(suv) (mod 2k)
প্রতিটি জোড়া ক্লায়েন্ট Diffie–Hellman দিয়ে একটি গোপন seed suv ভাগ করে; একজনের mask যোগ হয়, অন্যজনের বিয়োগ — যোগফলে সব mask বাতিল হয়ে যায়। সার্ভার শুধু Σxu দেখে, কারো আলাদা update দেখে না। Dropout সামলাতে Shamir secret sharing (threshold t) দিয়ে seed ভাগ করা থাকে।

Practical Secure Aggregation for Privacy-Preserving Machine Learning

Bonawitz et al. · ACM CCS 2017 (Google Gboard-তে ব্যবহৃত)

মূল প্রোটোকলের খরচ মোট O(n²); SecAgg+ (Bell et al., CCS 2020) sparse graph ব্যবহার করে প্রতি ক্লায়েন্টে O(log n) প্রতিবেশীতে নামিয়ে এনেছে। (পেপার) সীমাবদ্ধতা দুটি: (১) যোগফল নিজেই তথ্য ফাঁস করতে পারে — তাই DP-র সঙ্গে মিলিয়ে ব্যবহার করুন; (২) সার্ভার masked update পরীক্ষা করতে পারে না, তাই poisoning ঠেকাতে SecAgg একা যথেষ্ট নয়।

চিত্র ৩.২ — SecAgg: mask বাতিল হয়ে শুধু যোগফল থাকে

Client A y_A = x_A + m_AB + m_AC Client B y_B = x_B − m_AB + m_BC Client C y_C = x_C − m_AC − m_BC Server যোগ করে mask গুলো বাতিল ± শুধু Σ x_u কার update কত — অজানা +m_AB আর −m_AB পরস্পরকে কেটে দেয় — এটাই pairwise masking-এর কৌশল
চিত্র ৩.২। সার্ভার honest-but-curious হলেও ব্যক্তিগত update দেখতে পায় না। তবে যোগফল থেকে তথ্য ফাঁস রোধে DP, আর বিষাক্ত update চেনার জন্য আলাদা ব্যবস্থা লাগে।

৩.৬ প্রতিরক্ষা ৩: Byzantine-robust aggregation

ধরা যাক nটি হাসপাতালের মধ্যে fটি আপস (compromised) হয়েছে এবং তারা যা খুশি পাঠাতে পারে। সাধারণ গড় একটি মাত্র বিষাক্ত update-এই ধ্বংস হয়ে যায়। শক্তিশালী বিকল্পগুলো:

  • Krum (Blanchard et al., NeurIPS 2017): প্রতিটি update-এর score = তার n−f−2টি নিকটতম প্রতিবেশীর দূরত্বের বর্গের যোগফল; সর্বনিম্ন score-এর update-টিই বেছে নেওয়া হয়। শর্ত: f < (n−2)/2। Multi-Krum সেরা mটির গড় নেয়।
  • Coordinate-wise Median / Trimmed Mean (Yin et al., ICML 2018): প্রতি coordinate-এ আলাদাভাবে median নেওয়া, অথবা উপরের-নিচের kটি মান ফেলে বাকিগুলোর গড়।
  • Bulyan (El Mhamdi et al., ICML 2018): Krum বারবার চালিয়ে একটি উপসেট বেছে তার উপর Trimmed Mean — দুটি পদ্ধতির সম্মিলিত শক্তি।

✎ সংখ্যার উদাহরণ: একটি coordinate-এ আক্রমণ

৭টি হাসপাতালের একটি weight-coordinate-এর মান: 0.42, 0.45, 0.39, 0.44, 0.41, 0.43, এবং আপসকৃত একটির পাঠানো 50.0।

  • Mean: (0.42+0.45+0.39+0.44+0.41+0.43+50)/7 ≈ 7.51 — মডেল ধ্বংস।
  • Median: সাজালে মাঝের মান = 0.43 — অক্ষত।
  • Trimmed Mean (উপরে-নিচে ১টি করে বাদ): (0.41+0.42+0.43+0.44+0.45)/5 = 0.43 — অক্ষত।

এই সরল হিসাবই robust aggregation-এর প্রাণ: গড়ের বদলে এমন পরিসংখ্যান ব্যবহার করুন যা অল্প কয়েকটি চরম মানে ভাঙে না।

✕ সতর্কতা: robust aggregation-ই শেষ কথা নয়

Fang et al. (2020) এবং Baruch et al. ("A Little Is Enough", 2019) দেখিয়েছেন, সাবধানে বানানো ছোট্ট perturbation Krum, Bulyan এমনকি Trimmed Mean-কেও পাশ কাটাতে পারে। তাই প্রতিরক্ষা হবে স্তরে স্তরে: client authentication + norm clipping + robust aggregation + audit log (অধ্যায় ৪)।

অধ্যায় ০৪ · Chapter 4

ব্লকচেইন দিয়ে ফেডারেটেড লার্নিং — Blockchain FL (BCFL)

Vanilla FL-এর দুর্বলতম জায়গা হলো কেন্দ্রীয় সার্ভার: একটিই point of failure, আর সবাইকে সেটিকে বিশ্বাস করতেই হয়। Blockchain FL (BCFL)-এ ledger সেই ভূমিকা নেয় — কোনো একটি পক্ষ ইতিহাস বদলাতে পারে না, আর প্রতিটি অবদানের অপরিবর্তনীয় (immutable) রেকর্ড থেকে যায়।

৪.১ কীভাবে কাজ করে: ধাপে ধাপে

  1. Commit: প্রতিটি হাসপাতাল তার local update-এর hash/commitment (অথবা permissioned chain হলে update নিজেই) একটি transaction হিসেবে chain-এ পাঠায়।
  2. Verify: Miner/validator-রা যাচাই করে — signature ঠিক আছে কিনা, format ঠিক কিনা, কখনো কখনো একটি validation set-এ accuracy যাচাইও হয়।
  3. Aggregate: Block finalize হলে smart contract নির্ধারিত নিয়মে (যেমন FedAvg) aggregation নিজে চালায় — মানুষের হস্তক্ষেপ ছাড়া, সবার জন্য একই কোড।
  4. Record: নতুন global model-এর hash chain-এ লেখা হয় — ফলে একটি পূর্ণ audit trail তৈরি হয়: কে, কখন, কোন রাউন্ডে কী অবদান রেখেছিল এবং তখন মডেলটি কী ছিল।

Consensus (PoW পুরনো নকশায়; permissioned হাসপাতাল-chain-এ PoS / PBFT / Raft) block-এর ক্রম ঠিক করে এবং কোনো একটি হাসপাতালকে ইতিহাস পুনর্লিখন করতে দেয় না।

চিত্র ৪.১ — BCFL-এর এক রাউন্ড: সার্ভারের বদলে smart contract

Hospital A Hospital B Hospital C hash(update)+sign Permissioned Blockchain Smart contract: যাচাই → FedAvg → hash লেখা Consensus: PBFT / Raft Global model w(t+1) সবাই একই ledger দেখে Block t−1 hash … Block t round t Block t+1 round t+1 Audit trail: প্রতিটি block আগের block-এর hash ধারণ করে — ইতিহাস বদলানো যায় না
চিত্র ৪.১। Survey (Wang et al., arXiv:2110.02182) BCFL-কে দুই ভাগে ভাগ করে: fully-coupled (blockchain-ই aggregation করে) বনাম flexibly-coupled (blockchain শুধু log/verify করে, aggregation off-chain)। হাসপাতালের জন্য flexibly-coupled সাধারণত বেশি বাস্তবসম্মত।

৪.২ মূল নকশাগুলো

Blockchained On-Device Federated Learning (BlockFL)

Kim, Park, Bennis & Kim · IEEE Communications Letters, June 2019 · DOI: 10.1109/LCOMM.2019.2921755

Canonical নকশা: কেন্দ্রীয় coordinator ছাড়াই on-chain update বিনিময় ও cross-verification; miner-রা এলোমেলোভাবে client-দের সঙ্গে যুক্ত হয়ে পরস্পরকে যাচাই করে। Training sample-সংখ্যার অনুপাতে reward দিয়ে অংশগ্রহণে উৎসাহ দেওয়া হয়। পেপারটি end-to-end latency model (communication + computation + PoW consensus delay) বের করে optimal block-generation rate চিহ্নিত করেছে। (পেপার)

BlockFlow (2019) · ও incentive নকশা

Mugunthan, Rahman & Kagal (BCFL survey-গুলোতে উদ্ধৃত) · Kang et al. 2019, contract-theory incentives

BlockFlow যোগ করে differential privacy, model contribution-এর auditing mechanism এবং honest behaviour-এর জন্য smart contract। Incentive দিকটি প্রায়ই Stackelberg/contract game হিসেবে নকশা করা হয় — বড় ও ভালো মানের ডেটার জন্য বেশি পারিশ্রমিক। (FLchain-ধাঁচের নকশাগুলো সাহিত্যে বহুল আলোচিত, তবে এই বই কোনো নির্দিষ্ট FLchain পেপারের venue/year দাবি করছে না।)

৪.৩ মূল্য: latency ও scalability

  • Latency: BlockFL-এর নিজের বিশ্লেষণ অনুযায়ী মোট সময় = local training + upload + block generation/consensus + propagation। Blockchain প্রতি রাউন্ডে একটি consensus delay যোগ করে — permissioned chain-এ সেকেন্ড থেকে মিনিট, public PoW chain-এ প্রতি block ~10 মিনিট, যা FL রাউন্ডের জন্য অব্যবহারযোগ্য।
  • Storage: 10 MB মডেল × 100 রাউন্ড = 1 GB on-chain — অবাস্তব। সাধারণ অনুশীলন: chain-এ শুধু model hash + off-chain (IPFS) pointer; পূর্ণ মডেল off-chain।
  • Scalability: Throughput block size/interval দিয়ে সীমাবদ্ধ। Permissioned chain 100 tx/s হলে এক রাউন্ডে ~100টি হাসপাতালের update চলবে — cross-silo-র জন্য যথেষ্ট, কোটি ফোনের জন্য নয়।

✎ সংখ্যার উদাহরণ: consensus কতটা সময় যোগ করে

10টি হাসপাতাল, 100 রাউন্ড, প্রতি রাউন্ডে 1টি block। Permissioned chain-এ block time 5 s হলে শুধু consensus-ই যোগ করে 100 × 5 s ≈ 8 মিনিট। Public PoW chain-এ (10 min/block) তা হতো ~17 ঘণ্টা — এই একটি হিসাবই বলে দেয় হাসপাতাল-FL-এ কেন permissioned chain বেছে নিতে হয়।

✕ কখনোই করবেন না

Public chain-এ কাঁচা gradient রাখবেন না। Gradient চিরকাল সবার জন্য দৃশ্যমান থাকবে, আর অধ্যায় ৩-এর inversion আক্রমণকারী তা থেকে রোগীর ছবি পুনরুদ্ধার করতে পারবে। সঠিক সংমিশ্রণ: permissioned chain + DP + SecAgg, chain-এ শুধু hash।

অধ্যায় ০৫ · Chapter 5

ক্রিপ্টোগ্রাফি: HE, MPC ও ZKP — Cryptography in FL

অধ্যায় ৩-এর SecAgg ছিল ক্রিপ্টোগ্রাফির একটি প্রয়োগ। এই অধ্যায়ে পুরো টুলবাক্সটি: কোন কাজে কোন primitive, Homomorphic Encryption দিয়ে encrypted অবস্থায়ই যোগ করা, MPC দিয়ে যৌথ হিসাব, আর ZKP দিয়ে "প্রমাণ করা, প্রকাশ না করে"।

৫.১ ভিত্তি: symmetric ও asymmetric

Symmetric (AES-256, ChaCha20)

একটিই গোপন key; গতি ~GB/s। FL-এ ব্যবহার: মডেল ফাইল at-rest encryption ও TLS channel। Grover-এর algorithm এর কার্যকর শক্তি অর্ধেক করে (AES-256 → ~128-bit) — তবু নিরাপদ (অধ্যায় ৬)।

Asymmetric (RSA-2048, ECDH/ECDSA, Ed25519)

Public/private key জোড়া। FL-এ ব্যবহার: key exchange, update-এ signature ("এই update সত্যিই Hospital A-র") ও certificate। দুঃসংবাদ: Shor-এর algorithm এগুলো সব ভেঙে দেয় — তাই অধ্যায় ৬।

🔑 Key management — প্রায়শই অবহেলিত, সবচেয়ে জরুরি

প্রতি রাউন্ডে Diffie–Hellman / ML-KEM দিয়ে নতুন session key; private key রাখুন HSM বা OS keystore-এ, কোডে কখনোই নয়; কোনো হাসপাতালের key আপস হলে তা বাতিল (revoke) করার পথ থাকতে হবে — certificate revocation list blockchain/registry-তে রাখা যায়। একটি লিখিত key lifecycle রাখুন: generation → distribution → rotation → revocation → destruction। (সাধারণ অনুশীলন)

৫.২ Homomorphic Encryption (HE) — encrypted অবস্থায় যোগ

Dec( Enc(a) ⊕ Enc(b) ) = a + b
সার্ভার ciphertext যোগ করে, কিন্তু a বা b কোনোটাই দেখতে পায় না — শুধু যার কাছে key আছে সে যোগফল decrypt করতে পারে। Aggregator-কেও বিশ্বাস করা যায় না, এমন পরিস্থিতিতে HE-ই সমাধান।
  • CKKS (Cheon, Kim, Kim & Song, Asiacrypt 2017): approximate HE — বাস্তব সংখ্যার (real number) জন্য; gradient-এর ক্ষেত্রে আদর্শ, কারণ ছোট error সহনীয়।
  • BFV (Brakerski / Fan & Vercauteren): exact HE — পূর্ণসংখ্যার জন্য, কোনো error নেই, তবে একই precision-এ বড় modulus লাগে।
  • Threshold / multiparty HE: secret key সব ক্লায়েন্টের মধ্যে ভাগ করা থাকে, ফলে কোনো একক সার্ভার decrypt করতে পারে না। একটি 2026 preprint-এর (arXiv:2602.22037) বিশ্লেষণে উচ্চ precision-এ (>64 bit) CKKS আশ্চর্যজনকভাবে BFV-এর সঙ্গে প্রতিযোগিতামূলক পাওয়া গেছে। CKKS/BFV decryption noise কাজে লাগিয়ে key-recovery আক্রমণ ঠেকাতে "smudging" (flooding) noise যোগ করা হয়। (preprint)
  • FedBit (preprint, Sept 2025, সেকেন্ডারি সারসংক্ষেপ): BFV-FL-এ bit-interleaved packing + FPGA co-design-এ ~100× দ্রুত encryption ও 60.7% কম communication দাবি করা হয়েছে — preprint দাবি, প্রতিষ্ঠিত সত্য নয়।

✎ সংখ্যার উদাহরণ: HE-র আকার-মূল্য

বাস্তবে CKKS ciphertext সাধারণত plaintext-এর ~10–100× বড় হয় (scheme/parameter-নির্ভর অনুমান)। অর্থাৎ 10 MB FP32 update HE দিয়ে পাঠালে দাঁড়ায় ~100 MB–1 GB। এ কারণেই HE-FL পেপারগুলো আগে update quantize/pack করে, এবং HE সাধারণত শুধু aggregation ধাপে প্রয়োগ করা হয় — প্রতিটি local training step-এ নয়।

৫.৩ Secure Multi-Party Computation (SMPC)

Shamir secret sharing (SecAgg-এর ভিত্তি), garbled circuits ও SPDZ-ধাঁচের protocol দিয়ে হাসপাতালগুলো যৌথভাবে একটি ফাংশন হিসাব করতে পারে, কেউ কারো input না দেখেই। খরচ বেশি (প্রতি operation-এ একাধিক communication round), তাই SMPC বাস্তবসম্মত aggregation-এর (যোগফলের) জন্য — পুরো network SMPC-তে train করার জন্য নয়।

পদ্ধতিসার্ভার যা দেখেগতিকখন বেছে নেবেন
SecAgg (Ch 3)শুধু যোগফলদ্রুতAggregator semi-trusted হলে (+ DP)
HE (CKKS/BFV)শুধু ciphertext; যোগফল key-holder দেখেধীর, ciphertext 10–100× বড়Aggregator সম্পূর্ণ untrusted হলে
SMPCকিছুই না (শুধু চূড়ান্ত ফল)সবচেয়ে ধীরকয়েকটি পক্ষের যৌথ হিসাব, ছোট ফাংশন

৫.৪ Zero-Knowledge Proofs (ZKP) — উদীয়মান দিক

ZKP দিয়ে একটি হাসপাতাল প্রমাণ করতে পারে: "আমি nটি local sample-এ সঠিকভাবে train করেছি এবং আমার update-এর norm ≤ C" — ডেটা বা update কোনোটাই প্রকাশ না করে। এটি poisoning প্রতিরক্ষা ও audit-এর জন্য অত্যন্ত আকর্ষণীয়। তবে সতর্কতা: এই গবেষণায় FL+ZKP-এর যাচাইকৃত benchmark-সহ কোনো নির্দিষ্ট পেপার পাওয়া যায়নি — তাই ZKP-কে "deployed সমাধান" নয়, "emerging direction" হিসেবেই উপস্থাপন করা হলো; কোনো উদ্ভাবিত performance সংখ্যা এখানে দেওয়া হয়নি।

অধ্যায় ০৬ · Chapter 6

পোস্ট-কোয়ান্টাম ক্রিপ্টোগ্রাফি — Post-Quantum Cryptography (PQC)

আজকের RSA/ECC একটি যথেষ্ট বড় fault-tolerant quantum computer-এর কাছে ভেঙে যাবে। স্বাস্থ্য-ডেটা দশকের পর দশক সংবেদনশীল থাকে — তাই "পরে দেখা যাবে" এখানে চলে না। এই অধ্যায়ে কেন ভাঙবে, NIST-এর নতুন standard কী, আর FL-এ migration কীভাবে করবেন।

৬.১ কেন RSA/ECC ভেঙে যাবে: Shor বনাম Grover

  • Shor's algorithm (Peter Shor, 1994): integer factorization ও discrete logarithm polynomial time-এ সমাধান করে। RSA-র নিরাপত্তাই factoring, ECC-র নিরাপত্তাই elliptic-curve discrete log — দুটোই শেষ। Key দ্বিগুণ করলেও (RSA-2048 → 4096) শুধু polynomial factor বাড়ে, নিরাপত্তা ফেরে না।
  • Grover's algorithm (Lov Grover, 1996): unstructured search-এ শুধু quadratic (√) speedup — symmetric key-র কার্যকর শক্তি অর্ধেক হয় (AES-128 → ~64-bit; AES-256 → ~128-bit, এখনো নিরাপদ)। প্রতিকার সহজ: বড় symmetric key।
  • "Harvest now, decrypt later": আক্রমণকারী আজ হাসপাতালের encrypted মডেল-ট্র্যাফিক রেকর্ড করে রাখতে পারে এবং quantum computer এলেই decrypt করবে — দীর্ঘজীবী স্বাস্থ্য-ডেটার migration তাই আগেই করতে হয়।

৬.২ NIST-এর তিনটি standard (13 August 2024-এ চূড়ান্ত)

StandardAlgorithm (আগের নাম)ভিত্তি (Hardness)কাজযার বদলি
FIPS 203ML-KEM (CRYSTALS-Kyber)Module-LWE (lattice)Key encapsulation — shared secret স্থাপনRSA-KEM, DH, ECDH
FIPS 204ML-DSA (CRYSTALS-Dilithium)Module-LWE/SIS (lattice)Digital signatureRSA, ECDSA, EdDSA
FIPS 205SLH-DSA (SPHINCS+)শুধু hash functionDigital signature (রক্ষণশীল বিকল্প)RSA, ECDSA, EdDSA

আকার (যাচাইকৃত, সেকেন্ডারি ব্যাখ্যা থেকে): ML-DSA-44-এর public key 1,312 bytes, signature 2,420 bytes। SLH-DSA-র signature 7,856–49,856 bytes — অনেক বড়; এটাই hash-only নিরাপত্তার মূল্য। (ML-KEM-এর নির্দিষ্ট key/ciphertext আকার এই গবেষণায় কোনো সূত্র থেকে যাচাই করা যায়নি — প্রয়োজন হলে সরাসরি FIPS 203 দেখুন।) পরবর্তী ধাপ: FIPS 206 (FN-DSA, Falcon-ভিত্তিক) Sept 2026 পর্যন্ত খসড়ায় ছিল; HQC (code-based KEM) March 2025-এ অতিরিক্ত বিকল্প হিসেবে নির্বাচিত হয়েছে।

চিত্র ৬.১ — PQC migration-এর সময়রেখা (NIST)

2016 NIST PQC প্রতিযোগিতা শুরু 13 Aug 2024 FIPS 203/204/205 চূড়ান্ত প্রকাশ 2030-এর পর 112-bit RSA/ECC deprecated (IR 8547 খসড়া) 2035-এর পর সব RSA/ECC disallowed (প্রস্তাবিত)
চিত্র ৬.১। NIST IR 8547 (initial public draft, Nov 2024)-এর প্রস্তাবিত সময়সূচি। হাতে সময় আছে মনে হলেও, hospital IT-র আপগ্রেড-চক্র ধীর — migration পরিকল্পনা এখনই শুরু করা উচিত।

৬.৩ Hybrid migration — বাস্তব পথ

বর্তমানে মানক অনুশীলন হলো hybrid: classical X25519-এর সঙ্গে ML-KEM-768 একসঙ্গে চালানো (যেমন TLS 1.3 / OpenSSL 3.5-এ) — যেকোনো একটি algorithm টিকে থাকলেই connection নিরাপদ। FL-এ ক্রমটি হবে: (১) আগে control channel — key exchange ও update-এর signature; (২) তারপর data plane; (৩) পুরনো hospital system-এর সঙ্গে সামঞ্জস্যের জন্য transition সময়কালে classical চালু রাখা। (সাধারণ অনুশীলন, বর্তমানে মানক)

৬.৪ FL ক্লায়েন্টে PQC-র খরচ

Lattice operation CPU-তে দ্রুত (Kyber/Dilithium millisecond-এ চলে) — খরচটা পড়ে bandwidth ও storage-এ, compute-এ নয়, কারণ key/signature byte-এর বদলে kilobyte। একটি preprint ("Post-Quantum Federated Learning", arXiv:2603.07726) hybrid Kyber (key exchange) + Dilithium (authentication) দিয়ে gradient exchange-এ 97.6% threat-detection accuracy ও 18.7% latency overhead দাবি করেছে, Raspberry Pi cluster-এ হালকা variant-এ 34% কম memory / 28% কম latency-ও দাবি করা হয়েছে — এটি preprint, peer-reviewed নয়; প্রাথমিক প্রমাণ হিসেবেই নিন।

✎ সংখ্যার উদাহরণ: signature overhead হিসাব করুন

100 রাউন্ড × 10 হাসপাতাল, প্রতিটি update ML-DSA-44 দিয়ে sign করা হলে মোট signature = 100 × 10 × 2,420 B ≈ 2.4 MB — মডেল-ট্র্যাফিকের তুলনায় নগণ্য (10 MB মডেলে একটি signature মাত্র 0.02%)। কিন্তু SLH-DSA (49,856 B) হলে তা ~50 MB — 20× বেশি। আর TinyML ডিভাইস প্রতি মিনিটে 100 KB update পাঠালে 8–50 KB signature আর নগণ্য থাকে না — algorithm পছন্দ প্রেক্ষাপট-নির্ভর।

অধ্যায় ০৭ · Chapter 7

ভারী মডেলকে হালকা করা — Lightweight Models & Compression

FL-এ মডেলের আকার তিনবার শাস্তি দেয়: প্রতি রাউন্ডে download, প্রতি রাউন্ডে upload, আর দুর্বল হার্ডওয়্যারে training-এর সময়। তাই মডেল ছোট করা FL-এ বিলাসিতা নয়, প্রয়োজন। চারটি প্রধান অস্ত্র: pruning, quantization, knowledge distillation এবং জন্ম থেকেই হালকা architecture।

৭.১ Pruning — অপ্রয়োজনীয় ওজন ছাঁটা

ছোট magnitude-এর weight মুছে ফেলা (unstructured pruning) অথবা পুরো filter/channel বাদ দেওয়া (structured pruning — এটিতেই আসল গতি বাড়ে, কারণ dense hardware-এ sparse matrix দ্রুত চলে না)। চক্রটি: prune → retrain/fine-tune → আবার prune।

৭.২ Quantization — সংখ্যার precision কমানো

q = round(w / s) + z
s = scale, z = zero-point। FP32 → FP16 করলে আকার 2× ছোট; → INT8 করলে 4× ছোট। Quantization-aware training (QAT) দিয়ে INT8-তে ImageNet accuracy-ক্ষতি সাধারণত ~1%; post-training quantization-এ ক্ষতি বেশি হতে পারে। (সাধারণ অনুশীলন)

৭.৩ Knowledge Distillation — বড় শিক্ষকের কাছ থেকে ছোট ছাত্র

Hinton et al. (2015)-এর ধারণা: বড় teacher model-এর soft probability (temperature T দিয়ে নরম করা) দিয়ে ছোট student-কে শেখান। Student শুধু সঠিক উত্তর নয়, teacher-এর "dark knowledge"-ও পায় — কোন class গুলো পরস্পরের কাছাকাছি (যেমন দুটি কাছাকাছি ধরনের pneumonia)। ফলে একই আকারের সরাসরি-শেখানো মডেলের চেয়ে distilled student ভালো করে।

Deep Compression: Pruning + Trained Quantization + Huffman Coding

Han, Mao & Dally · ICLR 2016 · arXiv:1510.00149

তিন ধাপ: pruning-এ 9–13× কম connection; quantization-এ weight sharing দিয়ে 32-bit → 5-bit; তারপর Huffman coding। ফলাফল ImageNet accuracy একটুও না কমিয়ে: AlexNet 240 MB → 6.9 MB (35×), VGG-16 552 MB → 11.3 MB (49×)। (পেপার)

চিত্র ৭.১ — Deep Compression: আকারের পতন (log scale-এ অনুভূতির জন্য সরল বার)

AlexNet 240 MB 6.9 MB → 35× ছোট VGG-16 552 MB 11.3 MB → 49× ছোট Accuracy-ক্ষতি: 0 (পেপারের দাবি, ImageNet) — pruning + quantization + Huffman মিলিয়ে
চিত্র ৭.১। FL-এর ভাষায় এর মানে: VGG-ধাঁচের মডেলের প্রতি রাউন্ডের upload 552 MB-এর বদলে ~11 MB — ধীরগতির হাসপাতাল-লিংকেও সম্ভব হয়ে ওঠে।

৭.৪ জন্ম থেকেই হালকা: MobileNet, EfficientNet, TinyML

  • MobileNet (Howard et al., arXiv:1704.04861, 2017): depthwise separable convolution — সাধারণ convolution-কে দুই ভাগে ভেঙে FLOPs বহুগুণ কমায়। MobileNetV1 (1.0, 224): ~4.2M parameter, ~70.4% ImageNet top-1 (সেকেন্ডারি)।
  • EfficientNet (Tan & Le, ICML 2019): depth/width/resolution-এর compound scaling। EfficientNet-B0: 77.1% top-1 মাত্র 390M FLOPs-এ (সেকেন্ডারি)।
  • TinyML: microcontroller-এর জন্য মডেল — <1 mW শক্তি, 32–512 kB SRAM, <1 MB flash। TinyML survey (arXiv:2506.18927, 2025) অনুযায়ী MCUNet STM32 MCU-তে মাত্র 0.51 MB-তে ImageNet 70.7% পেয়েছে।

✎ সংখ্যার উদাহরণ: একটি X-ray classifier-এর যাত্রা

ResNet-50 ভিত্তিক chest X-ray classifier: ~25.6M parameter, ওজন ~98 MB (FP32)। ধাপে ধাপে:

  • INT8 quantization → ~25 MB (4×)
  • + 50% structured pruning → ~12 MB
  • + MobileNetV2-তে distillation → ~3.4 MB (INT8) — মূলের চেয়ে ~30× ছোট

Medical imaging-এ এই পথে সাধারণত 1–3 percentage point accuracy কমে (সাধারণ সাহিত্যের পরিসর; প্রকৃত ক্ষতি dataset-নির্ভর — নিজে মেপে দেখুন, কোনো সার্বজনীন সংখ্যা বিশ্বাস করবেন না)। Compression ratio-গুলো উদ্ধৃত পেপারগুলোর; ক্ষতির পরিসরটি সাধারণ অনুশীলনের।

৭.৫ Split Learning — মডেলটাই ভাগ করে ফেলা

হাসপাতাল মডেলের শুধু প্রথম কয়েকটি layer চালায় এবং একটি cut layer-এর activation ("smashed data") সার্ভারে পাঠায়; বাকি ভারী অংশ সার্ভার চালায়। হাসপাতালের compute-চাহিদা নাটকীয়ভাবে কমে যায় — অধ্যায় ১০-এ এর পূর্ণ ব্যবহার দেখব।

Split Learning for Health

Vepakomma, Gupta, Swedish & Raskar · NeurIPS 2018 workshop / arXiv:1812.00564; Gupta & Raskar, J. Network & Computer Applications 116:1–8, 2018

স্বাস্থ্যখাতের জন্যই নকশা করা: ভিন্ন modality বা vertical partition ধারণকারী হাসপাতালদের জন্য, এমনকি shared label না থাকলেও। সতর্কতা: cut-layer activation থেকেও input অনুমান করা যায় — encryption বা DP/noise যোগ করুন (NoPeek, Vepakomma et al. 2020)।

অধ্যায় ০৮ · Chapter 8

মাল্টি-সাইট রিসোর্স অপ্টিমাইজেশন — Multi-Site Resource Optimization

দশটি হাসপাতাল, দশ রকম কম্পিউটার, দশ রকম ইন্টারনেট। এই অধ্যায়ের প্রশ্ন: যোগাযোগ কমানো (compression), সময় মেলানো (scheduling), ধীরদের জন্য অপেক্ষা না করা (asynchronous) এবং স্তরভিত্তিক aggregation (hierarchical) — এই চার কৌশলে পুরো সিস্টেমটিকে কীভাবে সবার জন্য চালানো যায়।

৮.১ Gradient compression: Top-k sparsification

gsparsei = gi যদি |gi| top-k-তে থাকে; নইলে 0
শুধু সবচেয়ে বড় kটি coordinate পাঠানো হয় (যেমন top 1%)। Error feedback বাধ্যতামূলক: না-পাঠানো অংশ residual et+1 = (gt + et) − vt হিসেবে স্থানীয়ভাবে জমিয়ে পরের রাউন্ডে যোগ করতে হয় — নইলে ছোট gradient চিরতরে হারিয়ে training diverge করে।

Deep Gradient Compression (DGC)

Lin, Han, Mao, Wang & Dally · ICLR 2018 · arXiv:1712.01887

Momentum correction + local gradient accumulation + warm-up training মিলিয়ে accuracy না কমিয়ে 270–600× gradient compression: ResNet-50 gradient 97 MB → 0.35 MB, DeepSpeech 488 MB → 0.74 MB। (পেপার) ভিত্তি: Aji & Heafield (arXiv:1704.05021, 2017)-এর gradient dropping।

⚠ Index overhead — লুকানো খরচ

Top-k পাঠালে "কোন কোন coordinate পাঠালাম" সেই তালিকাও (index) পাঠাতে হয়। SmartIdx (AAAI 2022) দেখিয়েছে quantization-এর পর এই index overhead মোট ট্র্যাফিকের 89–94% পর্যন্ত হতে পারে। অর্থাৎ "100× compression" দাবি শুনলে জিজ্ঞেস করুন: indexসহ হিসাব তো?

QSGD (Alistarh et al., NeurIPS 2017) stochastic quantization দিয়ে প্রতি coordinate-এ কয়েক bit-এ নামিয়ে আনে। (দ্রষ্টব্য: "FedZip" নামে একটি compression scheme সাহিত্যে উল্লেখ পাওয়া যায়, তবে এই গবেষণায় তার মূল পেপার বা যাচাইকৃত সংখ্যা পাওয়া যায়নি — তাই এখানে কোনো FedZip ফলাফল উদ্ধৃত করা হলো না।)

চিত্র ৮.১ — Compression-এর প্রভাব: এক রাউন্ডের upload (ResNet-50 gradient, 97 MB ভিত্তি)

Full FP32 97 MB INT8 (4×) ~24 MB Top-1% + INT8* ~0.5–1 MB (indexসহ বাস্তবসম্মত) DGC (পেপার) 0.35 MB (270×+) * Top-k-এর তাত্ত্বিক আকার ~0.24 MB; index overhead ধরে বাস্তব পরিসর দেখানো হয়েছে মূল্য: একই accuracy-তে পৌঁছাতে সাধারণত কয়েকটি অতিরিক্ত রাউন্ড লাগে
চিত্র ৮.১। অধ্যায় ২-এর সিমুলেটরে এই সংখ্যাগুলো বসিয়ে নিজের নেটওয়ার্কের মোট ট্র্যাফিক হিসাব করুন। উদাহরণ: 10 হাসপাতাল × 100 রাউন্ডে sync FedAvg-এর 20 GB ট্র্যাফিক Top-1%+INT8 দিয়ে নেমে আসে ~100–200 MB-তে — প্রায় 100× কম।

৮.২ Scheduling ও straggler mitigation

  • Tier-based grouping (TiFL): একই গতির হাসপাতালদের এক tier-এ রেখে tier অনুযায়ী রাউন্ড চালানো।
  • Deadline-based rounds: Nটির মধ্যে প্রথম Mটি এলে রাউন্ড বন্ধ — বাকিদের update পরের রাউন্ডে।
  • FedProx-এর variable work: ধীর হাসপাতাল কম step করেও বৈধভাবে অংশ নেয় (অধ্যায় ২)।
  • Over-selection: প্রয়োজনের 130% ডেকে প্রথম 100% নেওয়া।

৮.৩ Asynchronous FL — কারো জন্য অপেক্ষা নয়

wt+1 = (1 − αt) · wt + αt · wnew
FedAsync (Xie, Koyejo & Gupta, arXiv:1903.03934, 2019): update এলেই সার্ভার সঙ্গে সঙ্গে মেশায়। αt staleness τ বাড়লে কমে (যেমন α ∝ 1/(1+τ)) — পুরনো update-এর ওজন কম। দ্রুত হাসপাতাল কখনো ধীরটির জন্য আটকায় না; মূল্য হলো stale update-এর noise।

FedBuff (Nguyen et al., 2022) মাঝামাঝি পথ: Kটি async update buffer-এ জমিয়ে তারপর একবারে প্রয়োগ — এতে SecAgg-এর সঙ্গে সামঞ্জস্য ফিরে আসে (খাঁটি async + SecAgg মেলে না, কারণ SecAgg-এর প্রতি রাউন্ডে নির্দিষ্ট অংশগ্রহণকারী-সেট লাগে)।

৮.৪ Hierarchical FL — স্তরে স্তরে aggregation

চিত্র ৮.২ — Hierarchical FL: হাসপাতাল → বিভাগ → জাতীয় সার্ভার

National Server Edge: Dhaka Division Edge: Khulna Division Hospital 1 Hospital 2 Hospital 3 Hospital 4 Hospital 5 Hospital 6 জাতীয় সার্ভার প্রতি বিভাগ থেকে মাত্র ১টি update পায় — WAN ট্র্যাফিক ও বোঝা দুটোই কমে
চিত্র ৮.২। প্রতিটি স্তর আগে স্থানীয়ভাবে গড় নেয়। Async-HFL (2023) ও Wang (arXiv:2206.00054) দুই স্তরেই asynchronous চালিয়ে state-of-the-art async FL-এর তুলনায় 1.08–1.31× দ্রুত wall-clock convergence ও 21.6% পর্যন্ত কম communication পেয়েছে (সেকেন্ডারি সারসংক্ষেপ)।
অধ্যায় ০৯ · Chapter 9

হেটেরোজেনাস (non-IID) ডেটায় robust মডেল — Heterogeneity

বাস্তব হাসপাতালের ডেটা কখনোই IID নয়। এই heterogeneity-কে ভয় না পেয়ে প্রথমে শ্রেণিবদ্ধ করুন, তারপর প্রতিটি ধরনের জন্য সঠিক অস্ত্র বেছে নিন — কখনো global মডেলটাকেই শক্ত করা, কখনো প্রতিটি হাসপাতালের জন্য personalized মডেল।

৯.১ চার ধরনের skew

ধরনকী আলাদাহাসপাতালের উদাহরণ
Label skewP(y) আলাদাএক হাসপাতালে যক্ষ্মা বেশি, আরেকটায় নিউমোনিয়া। Benchmark-এ Dirichlet α দিয়ে মাপা হয়: α → ∞ মানে IID, α = 0.1 মানে তীব্র non-IID (প্রচলিত benchmark অনুশীলন)।
Feature skewP(x|y) আলাদাএকই রোগ, কিন্তু MRI 1.5T বনাম 3T, ভিন্ন নির্মাতার X-ray মেশিন।
Quantity skewnk আলাদাTertiary হাসপাতালে 50,000 scan, জেলা হাসপাতালে 500 — 100× পার্থক্য; FedAvg-এর nk/n ওজনে বড়টি আধিপত্য করে।
Concept driftসময়/স্থানভেদে সম্পর্ক বদলায়রোগের prevalence ও চিকিৎসা-protocol সময়ের সঙ্গে বদলায়।

চিত্র ৯.১ — Dirichlet α: label বণ্টন কতটা অসম (৩টি class, ধারণাগত চিত্র)

α = 10 (≈ IID) ~34% ~33% ~33% α = 0.5 ~55% ~30% ~15% α = 0.1 (তীব্র non-IID) ~85% ~10% ~5% একটি হাসপাতালে প্রায় একটিই রোগের class — FedAvg এখানে সবচেয়ে বেশি কষ্ট পায়
চিত্র ৯.১। নিজের হাসপাতাল-নেটওয়ার্কের label বণ্টন মেপে α-এর সঙ্গে তুলনা করুন — কোন পদ্ধতি লাগবে তার প্রথম ইঙ্গিত এখানেই।

৯.২ প্রথম সারির প্রতিরক্ষা (global মডেলের জন্য)

অধ্যায় ২-এর FedProx, SCAFFOLD, FedNova — সবই আসলে heterogeneity-মোকাবিলার হাতিয়ার। এছাড়া robust aggregation (অধ্যায় ৩) শুধু আক্রমণ নয়, চরম বণ্টনের হাসপাতালের অনিয়ন্ত্রিত প্রভাবও কমায়। আর মূল্যায়নে অবশ্যই worst-hospital মেট্রিক দেখুন (অধ্যায় ১২)।

৯.৩ Personalized FL — একটি মডেল সবার জন্য নয়

pFedMe — Personalized FL with Moreau Envelopes

Dinh, Tran & Nguyen · NeurIPS 2020 · arXiv:2006.08848

প্রতিটি ক্লায়েন্ট নিজের personalized model θi রাখে, যা global w-এর কাছাকাছি থাকে:

minθi Fi(θi) + (λ/2)·‖θi − w‖²

Global model এখানে একটি meta-model — দ্রুত local adaptation-এর ভিত্তি। Non-IID benchmark-এ FedAvg-এর উপর শক্তিশালী লাভের কথা বলা হয়েছে (সেকেন্ডারি সারসংক্ষেপ)।

Ditto — Fair and Robust FL Through Personalization

Li, Hu, Beirami & Smith · ICML 2021 · arXiv:2011.02856

Global model (FedAvg) ও personal model যুগপৎ শেখে: min Fi(wi) + (λ/2)·‖wi − wglobal‖²। Personalization শুধু accuracy নয়, fairness (worst-hospital performance) ও poisoning-robustness-ও বাড়ায় — personal model global-এর কাছে তখনই থাকে যখন তা উপকারী (সেকেন্ডারি সারসংক্ষেপ)।

FedPer — Personalization Layers

Arivazhagan, Aggarwal, Singh & Choudhary · arXiv:1912.00818, 2019

সবচেয়ে সরল ও সস্তা কৌশল: নিচের layer গুলো (feature extractor) global, উপরের classification layer প্রতিটি হাসপাতালের নিজের। হাসপাতালের জন্য প্রায়ই এটাই personalization-এর সেরা প্রথম ধাপ।

Clustered FL

Sattler, Müller & Samek, arXiv:1910.01991, 2019 · Ghosh et al. (IFCA), NeurIPS 2020

একই ধরনের ডেটাওয়ালা হাসপাতালদের cluster করে প্রতি cluster-এ একটি মডেল — যেমন Siemens scanner-ওয়ালা হাসপাতালদের একটি, GE-ওয়ালাদের আরেকটি। সাদৃশ্য মাপা হয় gradient/loss similarity বা KL divergence দিয়ে।

✎ সংখ্যার উদাহরণ: personalization কতটা ফেরায়

5টি হাসপাতাল, প্রতিটিতে 10টি disease class-এর মাত্র 2টি করে (2-shards সেটিং)। OCT স্টাডির (অধ্যায় ২) অনুরূপ প্যাটার্নে: IID-তে ~98.9% থেকে FedAvg নেমে আসে ~87%-এ; FedProx ফেরায় ~3.4 point (90.6%)। Personalization (FedPer/Ditto) স্থানীয়ভাবে আরও কয়েক point ফেরাতে পারে বলে সাধারণ প্রত্যাশা — তবে সতর্কতা: personalized accuracy মাপা হয় প্রতি হাসপাতালে আলাদাভাবে; personalization চালু থাকলে global model-এর accuracy আর সঠিক মাপক নয়।

৯.৪ Domain generalization — অদেখা হাসপাতালে যাচাই

প্রশিক্ষণে হাসপাতালগুলোকে পালা করে বাইরে রেখে (leave-one-hospital-out) যাচাই করুন এবং গড় নয়, সবচেয়ে খারাপ হাসপাতালের AUROC রিপোর্ট করুন। ঢাকার বড় হাসপাতালে 0.95 আর জেলা হাসপাতালে 0.70 পাওয়া মডেল deploy-যোগ্য নয় — যতই গড় ভালো হোক। (সাধারণ অনুশীলন)

অধ্যায় ১০ · Chapter 10

কম-রিসোর্স হাসপাতালে FL — যেখানে ভালো কম্পিউটার নেই

জেলা পর্যায়ের অনেক হাসপাতালে GPU তো দূরের কথা, নির্ভরযোগ্য বিদ্যুৎ আর দ্রুত ইন্টারনেটও নেই। ভালো খবর: সঠিক নকশা হলে FL সেখানেও চলে — কারণ ভারী কাজটা ভাগ হয়ে যায় অনেক হাসপাতাল আর অনেক রাউন্ডের মধ্যে। এই অধ্যায়টি পুরোপুরি ব্যবহারিক।

১০.১ যা সত্যিই কাজ করে

  • CPU-only training ছোট মডেলে সম্ভব। MobileNet-ধাঁচের মডেল Raspberry Pi-র CPU-তে শেখে ধীরে (শত শত ছবির epoch-এ মিনিট, সেকেন্ড নয়) — তাই রেসিপি হলো: কম local epoch (E = 1–2), ছোট batch, আর বাকি কাজ ফেডারেশনের উপর (অনেক হাসপাতাল × অনেক রাউন্ড)।
  • Split learning সবচেয়ে উপযুক্ত (অধ্যায় ৭.৫): হাসপাতাল শুধু প্রথম কয়েকটি layer চালায়, ভারী অংশ সার্ভারে। পাঠাতে হয় প্রতি নমুনার activation — মডেল নয়।
  • Offline / asynchronous update: ইন্টারনেট অনিয়মিত হলে হাসপাতাল স্থানীয়ভাবে train করে update জমিয়ে রাখে; সংযোগ ফিরলেই upload (FedAsync/FedBuff, অধ্যায় ৮)। রাউন্ড সংজ্ঞায়িত হয় সময়-জানালা দিয়ে — যেমন প্রতি রাতে sync — সবার জন্য অপেক্ষা করে নয়।

Raspberry Pi 4-এ Flower FL-এর পরিমাপ

Jithish et al. · JATIT 2025 (Flower + TensorFlow, Raspberry Pi 4)

সবচেয়ে ভারী FL মডেলটি Pi 4-এ (4 GB RAM, Cortex-A72 quad-core) ব্যবহার করেছে ~31% memory, 88% CPU এবং 5.19 W বিদ্যুৎ। এটি ওই পেপারের পরিমাপ — সর্বজনীন ধ্রুবক নয়, তবে ক্রম-মাত্রা (order of magnitude) বোঝার জন্য যথেষ্ট। (পেপার)

১০.২ Framework বাছাই

Frameworkবৈশিষ্ট্যকার জন্য
Flower (flwr)Framework-agnostic (PyTorch/TF/JAX/scikit-learn), gRPC; Android/iOS/Raspberry Pi-তে চলে; v1.10 থেকে SuperLink/SuperNode কাঠামোহাসপাতাল-pilot-এর সেরা প্রথম পছন্দ
FedMLMLOps-কেন্দ্রিক, edge/IoT জোর, managed cloud বিকল্পProduction pipeline চাইলে
TensorFlow FederatedGoogle-এর research framework; FedAvg/FedSGD built-inAlgorithm গবেষণা; শুধু TensorFlow, শেখার বক্ররেখা খাড়া
NVIDIA FLARE / PySyft / FATEProduction/healthcare-মুখী কিন্তু ভারী ও GPU-কেন্দ্রিকসম্পূর্ণতার জন্য উল্লেখ; প্রথম low-resource pilot-এর জন্য নয়

১০.৩ খরচের হিসাব — নিজে করে দেখুন

⚠ দাম সম্পর্কে সতর্কতা

এই বইয়ের গবেষণায় বাংলাদেশে Raspberry Pi-র বর্তমান খুচরা দাম যাচাই করা যায়নি — তাই এখানে কোনো টাকার দাম দাবি করা হচ্ছে না। নিচে হিসাবের ছাঁচ (template) দেওয়া হলো; স্থানীয় দাম বসিয়ে নিজে হিসাব করুন।

  • বিদ্যুৎ: Pi 4 ~5 W হারে 24 ঘণ্টা চললে মাসে 5 × 24 × 30 / 1000 = 3.6 kWh। স্থানীয় ট্যারিফে এটি মাসে কয়েক দশ টাকা মাত্র — GPU server-এর তুলনায় নগণ্য।
  • হার্ডওয়্যার (অনুমান, 2026 — স্থানীয়ভাবে যাচাই করুন): একটি Pi 4/5 সেট (board + power supply + microSD + case) মোটামুটি BDT 8,000–15,000-এর ক্রমের। তবে বেশিরভাগ হাসপাতালেই বিদ্যমান desktop PC-টিকেই FL client হিসেবে ব্যবহার করা যায় — তখন অতিরিক্ত হার্ডওয়্যার খরচ ≈ BDT 0। 10-হাসপাতালের pilot-এ নতুন কেনা লাগলেও মোট ~BDT 1–1.5 লাখের ক্রম।
  • Bandwidth: অধ্যায় ৮-এর compressed হিসাবে প্রতি হাসপাতালের 100 রাউন্ডে মোট ~100–200 MB। 10 Mbps লাইনে 100 KB update উঠতে 1 সেকেন্ডেরও কম লাগে; 1 Mbps-এও ~1 সেকেন্ড। বোতল-ঘাড় গতিতে নয়, নির্ভরযোগ্যতায় (reliability)।

✎ সংখ্যার উদাহরণ: একটি জেলা হাসপাতালের এক রাত

500টি chest X-ray, MobileNetV2, E = 1, batch 16 → প্রতি রাউন্ডে ~31 step। Pi 4 CPU-তে step-প্রতি ~2 s ধরলে (দৃষ্টান্তমূলক, হার্ডওয়্যার-নির্ভর) প্রতি রাউন্ডে ~1 মিনিট training — রাতে একবার। 100 রাতে হাসপাতালটি মোট ~100 মিনিট compute দিয়েই 100 রাউন্ডে অবদান রাখে। শিক্ষা: FL-এ "ভালো কম্পিউটার" লাগে না; লাগে ধারাবাহিকতা। (সময়টি দৃষ্টান্তমূলক — আসল ডিভাইসে মেপে নিন।)

চিত্র ১০.১ — কম-রিসোর্স হাসপাতালের রেসিপি: কোন কৌশল কোন ঘাটতি পূরণ করে

GPU নেই / CPU দুর্বল ইন্টারনেট ধীর / অনিয়মিত বিদ্যুৎ সীমিত Split learning + MobileNet + E = 1–2 ভারী অংশ সার্ভারে; স্থানীয়ভাবে শুধু হালকা layer Top-k compression + FedAsync/FedBuff update ছোট; সংযোগ এলে পাঠানো যায়, রাতের sync TinyML/INT8 মডেল (~5 W, Pi-শ্রেণির ডিভাইস) মাসে ~3.6 kWh — বিদ্যুৎ-বিল প্রায় অদৃশ্য
চিত্র ১০.১। তিনটি ঘাটতির তিনটি আলাদা সমাধান — কোনো একটিমাত্র কৌশল সব সমস্যার উত্তর নয়।
অধ্যায় ১১ · Chapter 11

নতুন দিগন্ত: ২০২৪–২০২৬ — Emerging Directions

FL এখন আর শুধু ছোট classifier-এর খেলা নয়। Foundation model-এর যুগে প্রশ্ন বদলেছে: বিলিয়ন-parameter মডেল কীভাবে federated পদ্ধতিতে fine-tune করা যায়, আর আইনের দাবিতে মডেলকে শেখা জিনিস "ভুলিয়ে" দেওয়া যায় কীভাবে?

১১.১ Federated foundation models ও LoRA

W = W0 + B·A,   যেখানে rank r ≪ min(d, k)
LoRA (Hu et al., ICLR 2022, arXiv:2106.09685): মূল weight W₀ freeze করে শুধু ছোট দুটি matrix A, B শেখা হয়। GPT-3 175B-তে trainable parameter 10,000× কম, GPU memory ~3× কম, checkpoint 350 GB → 35 MB (r = 4) — এবং inference-এ বাড়তি latency নেই, কারণ adapter মূল weight-এ merge হয়ে যায়। (পেপার)

FedLoRA-তে শুধু ছোট A, B matrix গুলোই যাতায়াত করে — এটাই federated LLM fine-tuning-কে সাশ্রয়ী করে (Yang et al., "Federated Low-Rank Adaptation for Foundation Models: A Survey", IJCAI 2025)।

✕ Aggregation ফাঁদ — পণ্যের গড় ≠ গড়ের পণ্য

ক্লায়েন্টদের A ও B আলাদাভাবে গড় করলে তা ΔW = BA-গুলোর গড়ের সমান হয় না: avg(A)·avg(B) ≠ avg(BA)। তাই naive FedAvg + LoRA accuracy হারায়; FLoRA/FLoRA-NA-ধাঁচের পদ্ধতি এই ভুল সংশোধন করে। HierFedLoRA (Liu et al., 2025, arXiv:2412.20004) hierarchical near-IID grouping + adaptive aggregation frequency দিয়ে baseline-এর উপর +1.6–4.2% accuracy ও ≥2.1× দ্রুত fine-tuning দাবি করেছে (সেকেন্ডারি সারসংক্ষেপ)।

QLoRA (Dettmers et al., NeurIPS 2023, arXiv:2305.14314): 4-bit NF4-quantized base + LoRA — একটি মাত্র 48 GB GPU-তে 65B মডেল fine-tune করা যায়। যেই হাসপাতালের একটিমাত্র GPU আছে, তার জন্য প্রাসঙ্গিক।

১১.২ Federated Unlearning — "ভুলে যাওয়ার অধিকার" প্রযুক্তিতে

GDPR-এর right to erasure: একটি হাসপাতাল ফেডারেশন ছাড়লে বা একজন রোগী সম্মতি প্রত্যাহার করলে মডেলকে সেই ডেটা "ভুলতে" হবে। Scratch থেকে retrain করাই gold standard, কিন্তু ব্যয়বহুল।

Federated Unlearning: A Survey on Methods, Design Guidelines, and Evaluation Metrics

Romandini et al. · IEEE Trans. Neural Networks & Learning Systems, 2025 · DOI: 10.1109/TNNLS.2024.3478334 · arXiv:2401.05146

পদ্ধতির taxonomy (retraining-based, gradient-ascent/negative-gradient, parameter-scrubbing) এবং মূল্যায়ন: ভুলে যাওয়া কতটা সম্পূর্ণ (ভুলে-যাওয়া ডেটায় membership-inference AUC ~0.5-এ, অর্থাৎ random-এ নামা উচিত), বাকি accuracy কতটা টিকে থাকে, এবং যাচাই (verification)।

SoK: Challenges and Opportunities in Federated Unlearning

Jeong, Ma & Houmansadr · arXiv:2403.02437, 2024

খোলা সমস্যা: একটি হাসপাতাল কীভাবে প্রমাণ করবে যে সে ভুলেছে? এক হাসপাতালের unlearning অন্যদের ক্ষতি করতে পারে (fairness); non-IID ডেটায় জটিলতা আরও বেশি। নির্দিষ্ট পদ্ধতির উদাহরণ: SIFU (Fraboni et al., AISTATS 2024), FATS (Tao et al., VLDB 2024)।

১১.৩ Vertical FL — একই রোগী, আলাদা তথ্য

এতক্ষণ ছিল horizontal FL (একই feature, আলাদা রোগী)। Vertical FL-এ একই রোগীদের সম্পর্কে আলাদা আলাদা feature থাকে আলাদা প্রতিষ্ঠানে — Hospital A-র কাছে lab result, Hospital B-র কাছে imaging। প্রথম ধাপ হলো entity alignment (private set intersection দিয়ে গোপনীয়তা রক্ষা করে মিল খোঁজা); training-এর স্বাভাবিক পদ্ধতি split learning (অধ্যায় ৭.৫)। রেফারেন্স: Liu et al., "Vertical Federated Learning: Concepts, Advances, and Challenges", IEEE Trans. Knowledge & Data Engineering, 2024, 36(7)।

১১.৪ Federated Self-Supervised Learning

চিকিৎসা-ডেটায় label দুর্লভ, কাঁচা ডেটা প্রচুর। Federated পদ্ধতিতে unlabelled ডেটায় self-supervised pre-training (যেমন X-ray-তে masked image modelling) করে তারপর অল্প label দিয়ে fine-tune — এই দিকটি দ্রুত বাড়ছে। (এই গবেষণায় এর কোনো একক benchmark সংখ্যা যাচাই করা হয়নি, তাই এখানে শুধু দিকনির্দেশ হিসেবে উল্লেখ করা হলো।)

১১.৫ Trustworthy ও Explainable FL

Deploy-যোগ্য federated মডেলের শর্ত: প্রতি হাসপাতালে আলাদা calibration (অধ্যায় ১২), uncertainty প্রকাশের ক্ষমতা, blockchain audit trail (অধ্যায় ৪) এবং স্থানীয়ভাবে হিসাব করা ব্যাখ্যা (SHAP/attention)। যেই মডেল বলতে পারে না "এই scanner-ধরনের ছবিতে আমি অনিশ্চিত", সেটি ক্লিনিকে বসানো উচিত নয়।

অধ্যায় ১২ · Chapter 12

মূল্যায়ন, মেট্রিক্স ও নিয়মকানুন — Evaluation & Regulation

শেষ অধ্যায়ে দুটি প্রশ্ন: মডেলটি ভালো কিনা কীভাবে বুঝবেন — শুধু accuracy দিয়ে নয়; আর আইনের চোখে এই পুরো ব্যবস্থাটি কোথায় দাঁড়িয়ে।

১২.১ মেট্রিক্স: কোনটি কখন

মেট্রিকসংজ্ঞা / অর্থকখন অপরিহার্য
AUROCএলোমেলোভাবে বাছাই করা একটি positive case একটি negative-এর চেয়ে বেশি score পাওয়ার সম্ভাবনা। 0.5 = random, 1.0 = নিখুঁত।সবসময় — তবে pooled নয়, প্রতি হাসপাতালে আলাদা করে রিপোর্ট করুন।
AUPRCPrecision–Recall curve-এর নিচের ক্ষেত্রফল।Positive বিরল হলে (যেমন 2% cancer prevalence) — AUROC ভালো দেখালেও precision ভয়াবহ হতে পারে।
ECEExpected Calibration Error: Σm (|Bm|/n)·|acc(Bm) − conf(Bm)| — "90% আত্মবিশ্বাস" মানে সত্যিই 90% সময় ঠিক কিনা।চিকিৎসায় অত্যন্ত জরুরি: AUROC 0.95 অথচ ECE 0.20 ওয়ালা মডেল বিপজ্জনকভাবে overconfident।
Brier scoreপূর্বাভাস-probability ও প্রকৃত ফলাফল (0/1)-এর mean squared error। 0 = নিখুঁত, কম = ভালো।Calibration + discrimination একসঙ্গে মাপতে।

✎ সংখ্যার উদাহরণ: ECE হাতে-কলমে

একটি মডেল 100 জন রোগীর জন্য pneumonia-র probability দিল 0.9, কিন্তু সত্যিকারে মাত্র 70 জনের pneumonia আছে। ওই confidence-bin-এ calibration error = |0.70 − 0.90| = 0.20। ওই bin-এ সব রোগীর অর্ধেক থাকলে ECE-তে তার অবদান 0.10। অর্থাৎ মডেলটি overconfident — ক্লিনিকে ব্যবহারের আগে Platt scaling / temperature scaling দিয়ে recalibrate করা আবশ্যক।

নিয়ম হিসেবে মনে রাখুন: প্রতি মেট্রিক রিপোর্ট করুন (ক) pooled, (খ) প্রতি হাসপাতালে, (গ) worst-hospital, (ঘ) subgroup অনুযায়ী (sex, age, baseline severity) — এবং calibration ছাড়া কোনো probability-ভিত্তিক সিদ্ধান্ত নয়।

১২.২ নিয়মকানুন: GDPR, HIPAA ও বাংলাদেশ

  • GDPR (EU, 2018): স্বাস্থ্য-ডেটা "special category" — explicit consent বা Article 9-এর অন্য ভিত্তি লাগে; data minimisation, purpose limitation, right to erasure প্রযোজ্য। FL সাহায্য করে (ডেটা স্থানীয় থাকে), কিন্তু স্বয়ংক্রিয়ভাবে GDPR-compliant করে না — model update থেকে কাউকে শনাক্ত করা গেলে সেটিও personal data।
  • HIPAA (US): Protected Health Information নিয়ে কাজে Business Associate Agreement এবং de-identification / expert-determination বিশ্লেষণ লাগে।

⚠ বাংলাদেশের আইন — প্রকাশের আগে আইনজীবীর যাচাই আবশ্যক

এই বইয়ের গবেষণাকালে (নভেম্বর ২০২৬) বাংলাদেশের ডেটা-সুরক্ষা আইনের অবস্থা রূপান্তরকালীন ও পরস্পরবিরোধী সূত্রে পাওয়া গেছে: ICT Act 2006 + Cyber Security Act 2023 কাঠামোতে কোনো পূর্ণাঙ্গ data-protection আইন ছিল না (Chambers, 2026 guide); জুলাই 2025-এ একটি খসড়া Personal Data Protection Ordinance মন্ত্রিসভায় উপস্থাপিত হয় (GDPR-ধাঁচের consent, erasure-এর অধিকার, "data mirroring" — অন্তত একটি কপি বাংলাদেশে রাখা — এবং বিদেশি কোম্পানির জন্য global turnover-এর 5% পর্যন্ত জরিমানার কথা সেকেন্ডারি প্রতিবেদনে এসেছে); আবার একটি সেকেন্ডারি আইনি guide দাবি করেছে Personal Data Protection Act, 2026 (Act No. 63 of 2026) 10 April 2026-এ পাস হয়েছে। এই সূত্রগুলো পরস্পরবিরোধী এবং কোনোটিই মূল gazette থেকে যাচাই করা যায়নি। বইটি ছাপানোর আগে বর্তমান gazette দেখে বাংলাদেশি আইনজীবীর পর্যালোচনা নিন। এছাড়া early 2026 পর্যন্ত বাংলাদেশে আলাদা AI/health-AI আইন ছিল না (সেকেন্ডারি AI-policy tracker)।

১২.৩ শেষ কথা: একটি বাস্তবসম্মত রেসিপি

✓ ১০-হাসপাতালের pilot-এর জন্য প্রস্তাবিত স্তূপ (stack)

  • Algorithm: FedAvg baseline → FedProx (μ = 0.1 থেকে শুরু) → দরকারে FedAdam server optimizer
  • Model: MobileNetV2 / EfficientNet-Lite, INT8 quantization; জেলা হাসপাতালে split learning
  • Privacy: SecAgg + DP (ε ≈ 2–8, Rényi accountant দিয়ে হিসাব) + norm clipping
  • Security: ML-DSA signature প্রতিটি update-এ (hybrid migration পরিকল্পনাসহ), robust aggregation (Trimmed Mean), permissioned blockchain-এ শুধু hash দিয়ে audit trail
  • System: Flower framework, Top-k compression, রাতের async sync (FedBuff), hierarchical aggregation বিভাগ অনুযায়ী
  • Evaluation: leave-one-hospital-out, প্রতি হাসপাতালে AUROC/AUPRC/ECE/Brier, worst-hospital রিপোর্ট বাধ্যতামূলক
পরিশিষ্ট · Appendix

তথ্যসূত্র — References

নিচের প্রতিটি সূত্র এই বইয়ের গবেষণায় (নভেম্বর ২০২৬) web index/search থেকে পড়া হয়েছে। যেসব সংখ্যা preprint বা সেকেন্ডারি সারসংক্ষেপ থেকে এসেছে, মূল অধ্যায়ে তা চিহ্নিত করা আছে — প্রকাশের আগে মূল PDF থেকে পুনঃযাচাই করুন।

  1. McMahan, B., Moore, E., Ramage, D., Hampson, S., & Agüera y Arcas, B. (2017). Communication-Efficient Learning of Deep Networks from Decentralized Data. AISTATS. arXiv:1602.05629
  2. Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., & Smith, V. (2020). Federated Optimization in Heterogeneous Networks (FedProx). MLSys. arXiv:1812.06127
  3. Karimireddy, S. P., Kale, S., Mohri, M., Reddi, S., Stich, S., & Suresh, A. T. (2020). SCAFFOLD: Stochastic Controlled Averaging for Federated Learning. ICML, PMLR 119:5132–5143. proceedings.mlr.press
  4. Wang, J., Liu, Q., Liang, H., Joshi, G., & Poor, H. V. (2020). Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization (FedNova). NeurIPS.
  5. Reddi, S., Charles, Z., Zaheer, M., Garrett, Z., Rush, K., Konečný, J., Kumar, S., & McMahan, H. B. (2021). Adaptive Federated Optimization. ICLR. arXiv:2003.00295
  6. Lai, F., et al. (2021). Oort: Efficient Federated Learning via Guided Participant Selection. OSDI, pp. 19–35.
  7. Abadi, M., Chu, A., Goodfellow, I., McMahan, H. B., Mironov, I., Talwar, K., & Zhang, L. (2016). Deep Learning with Differential Privacy. ACM CCS. DOI: 10.1145/2976749.2978318. arXiv:1607.00133
  8. Bonawitz, K., et al. (2017). Practical Secure Aggregation for Privacy-Preserving Machine Learning. ACM CCS.
  9. Bell, J. H., et al. (2020). Secure Single-Server Aggregation with (Poly)Logarithmic Overhead (SecAgg+). ACM CCS.
  10. Zhu, L., Liu, Z., & Han, S. (2019). Deep Leakage from Gradients. NeurIPS. arXiv:1906.08935
  11. Geiping, J., Bauermeister, H., Dröge, H., & Moeller, M. (2020). Inverting Gradients — How Easy Is It to Break Privacy in Federated Learning? arXiv:2003.14053
  12. Shokri, R., Stronati, M., Song, C., & Shmatikov, V. (2017). Membership Inference Attacks Against Machine Learning Models. IEEE S&P.
  13. Fredrikson, M., Jha, S., & Ristenpart, T. (2015). Model Inversion Attacks That Exploit Confidence Information. ACM CCS.
  14. Blanchard, P., El Mhamdi, E. M., Guerraoui, R., & Stainer, J. (2017). Machine Learning with Adversaries: Byzantine Tolerant Gradient Descent (Krum). NeurIPS.
  15. Yin, D., Chen, Y., Ramchandran, K., & Bartlett, P. (2018). Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates. ICML.
  16. El Mhamdi, E. M., Guerraoui, R., & Rouault, S. (2018). The Hidden Vulnerability of Distributed Learning in Byzantium (Bulyan). ICML.
  17. Kim, H., Park, J., Bennis, M., & Kim, S.-L. (2019). Blockchained On-Device Federated Learning (BlockFL). IEEE Communications Letters. DOI: 10.1109/LCOMM.2019.2921755.
  18. Wang, X., Hu, J., et al. (2021). A Systematic Survey of Blockchained Federated Learning. arXiv:2110.02182
  19. Cheon, J. H., Kim, A., Kim, M., & Song, Y. (2017). Homomorphic Encryption for Arithmetic of Approximate Numbers (CKKS). Asiacrypt.
  20. NIST (2024). FIPS 203 (ML-KEM), FIPS 204 (ML-DSA), FIPS 205 (SLH-DSA) — finalised 13 August 2024; NIST IR 8547 (initial public draft, Nov 2024), transition timelines. ব্যাখ্যা: jacar.es — FIPS 203/204/205 explained
  21. Han, S., Mao, H., & Dally, W. J. (2016). Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. ICLR. arXiv:1510.00149
  22. Howard, A. G., et al. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. arXiv:1704.04861
  23. Tan, M., & Le, Q. V. (2019). EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. ICML.
  24. From Tiny Machine Learning to Tiny Deep Learning: A Survey (2025). arXiv:2506.18927
  25. Vepakomma, P., Gupta, O., Swedish, T., & Raskar, R. (2018). Split Learning for Health. arXiv:1812.00564
  26. Lin, Y., Han, S., Mao, H., Wang, Y., & Dally, W. J. (2018). Deep Gradient Compression. ICLR. arXiv:1712.01887
  27. Aji, A. F., & Heafield, K. (2017). Sparse Communication for Distributed Gradient Descent. arXiv:1704.05021
  28. Alistarh, D., Grubic, D., Li, J., Tomioka, R., & Vojnovic, M. (2017). QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding. NeurIPS.
  29. Xie, C., Koyejo, S., & Gupta, I. (2019). Asynchronous Federated Optimization (FedAsync). arXiv:1903.03934
  30. Wang, H. (2022). Asynchronous Hierarchical Federated Learning. arXiv:2206.00054
  31. Dinh, C. T., Tran, N. H., & Nguyen, T. D. (2020). Personalized Federated Learning with Moreau Envelopes (pFedMe). NeurIPS. arXiv:2006.08848
  32. Li, T., Hu, S., Beirami, A., & Smith, V. (2021). Ditto: Fair and Robust Federated Learning Through Personalization. ICML. arXiv:2011.02856
  33. Arivazhagan, M. G., Aggarwal, V., Singh, A. K., & Choudhary, S. (2019). Federated Learning with Personalization Layers (FedPer). arXiv:1912.00818
  34. Sattler, F., Müller, K.-R., & Samek, W. (2019). Clustered Federated Learning. arXiv:1910.01991; Ghosh, A., et al. (2020). IFCA. NeurIPS.
  35. Hu, E. J., et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. arXiv:2106.09685
  36. Yang, et al. (2025). Federated Low-Rank Adaptation for Foundation Models: A Survey. IJCAI.
  37. Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS. arXiv:2305.14314
  38. Romandini, N., et al. (2025). Federated Unlearning: A Survey on Methods, Design Guidelines, and Evaluation Metrics. IEEE TNNLS. DOI: 10.1109/TNNLS.2024.3478334. arXiv:2401.05146
  39. Jeong, H., Ma, J., & Houmansadr, A. (2024). SoK: Challenges and Opportunities in Federated Unlearning. arXiv:2403.02437
  40. Liu, Y., et al. (2024). Vertical Federated Learning: Concepts, Advances, and Challenges. IEEE TKDE, 36(7).
  41. Dayan, I., et al. (2021). Federated learning for predicting clinical outcomes in patients with COVID-19 (EXAM). Nature Medicine. DOI: 10.1038/s41591-021-01506-3.
  42. Rieke, N., et al. (2020). The future of digital health with federated learning. npj Digital Medicine. DOI: 10.1038/s41746-020-00323-1. arXiv:2003.08119

⚠ যাচাই-বহির্ভূত / খোলা প্রশ্ন (Open Questions)

  • FedZip: মূল পেপার/সংখ্যা এই গবেষণায় পাওয়া যায়নি — primary paper না পেয়ে কোনো ফলাফল উদ্ধৃত করা হয়নি।
  • ML-KEM-এর নির্দিষ্ট key/ciphertext আকার: এখানে যাচাই হয়নি — সরাসরি FIPS 203 দেখুন।
  • FL + ZKP: যাচাইকৃত benchmark-সহ পেপার পাওয়া যায়নি — emerging দিক হিসেবে উপস্থাপিত।
  • বাংলাদেশের ডেটা-সুরক্ষা আইন (2025–2026): সূত্র পরস্পরবিরোধী, gazette যাচাই হয়নি — ছাপার আগে আইনজীবীর পর্যালোচনা আবশ্যক।
  • Preprint দাবি: FedBit (~100×), PQC-FL (97.6% / 18.7%), HierFedLoRA (+1.6–4.2%) — peer-reviewed নয়; মূল PDF থেকে যাচাই করে তবেই headline সংখ্যা হিসেবে ব্যবহার করুন।
  • SCAFFOLD: তত্ত্বে FedAvg-এর চেয়ে ভালো; সাম্প্রতিক বিশ্লেষণে deep net-এ বাস্তবে প্রায়ই নয় — দুই পক্ষই অধ্যায় ২-তে দেওয়া আছে।