PyTorch實(shí)現(xiàn)FedProx聯(lián)邦學(xué)習(xí)算法
I. 前言
FedProx的原理請(qǐng)見(jiàn)：FedAvg聯(lián)邦學(xué)習(xí)FedProx異質(zhì)網(wǎng)絡(luò)優(yōu)化實(shí)驗(yàn)總結(jié)
聯(lián)邦學(xué)習(xí)中存在多個(gè)客戶(hù)端，每個(gè)客戶(hù)端都有自己的數(shù)據(jù)集，這個(gè)數(shù)據(jù)集他們是不愿意共享的。
數(shù)據(jù)集為某城市十個(gè)地區(qū)的風(fēng)電功率，我們假設(shè)這10個(gè)地區(qū)的電力部門(mén)不愿意共享自己的數(shù)據(jù)，但是他們又想得到一個(gè)由所有數(shù)據(jù)統(tǒng)一訓(xùn)練得到的全局模型。
III. FedProx
算法偽代碼：
1. 模型定義
客戶(hù)端的模型為一個(gè)簡(jiǎn)單的四層神經(jīng)網(wǎng)絡(luò)模型：
# -*- coding:utf-8 -*-
"""
@Time: 2022/03/03 12:23
@Author: KI
@File: model.py
@Motto: Hungry And Humble
"""
from torch import nn
class ANN(nn.Module):
def __init__(self, args, name):
super(ANN, self).__init__()
self.name = name
self.len = 0
self.loss = 0
self.fc1 = nn.Linear(args.input_dim, 20)
self.relu = nn.ReLU()
self.sigmoid = nn.Sigmoid()
self.dropout = nn.Dropout()
self.fc2 = nn.Linear(20, 20)
self.fc3 = nn.Linear(20, 20)
self.fc4 = nn.Linear(20, 1)
def forward(self, data):
x = self.fc1(data)
x = self.sigmoid(x)
x = self.fc2(x)
x = self.sigmoid(x)
x = self.fc3(x)
x = self.sigmoid(x)
x = self.fc4(x)
x = self.sigmoid(x)
return x
2. 服務(wù)器端
服務(wù)器端和FedAvg一致，即重復(fù)進(jìn)行客戶(hù)端采樣、參數(shù)傳達(dá)、參數(shù)聚合三個(gè)步驟：
# -*- coding:utf-8 -*-
"""
@Time: 2022/03/03 12:50
@Author: KI
@File: server.py
@Motto: Hungry And Humble
"""
import copy
import random
import numpy as np
import torch
from model import ANN
from client import train, test
class FedProx:
def __init__(self, args):
self.args = args
self.nn = ANN(args=self.args, name='server').to(args.device)
self.nns = []
for i in range(self.args.K):
temp = copy.deepcopy(self.nn)
temp.name = self.args.clients[i]
self.nns.append(temp)
def server(self):
for t in range(self.args.r):
print('round', t + 1, ':')
# sampling
m = np.max([int(self.args.C * self.args.K), 1])
index = random.sample(range(0, self.args.K), m) # st
# dispatch
self.dispatch(index)
# local updating
self.client_update(index, t)
# aggregation
self.aggregation(index)
return self.nn
def aggregation(self, index):
s = 0
for j in index:
# normal
s += self.nns[j].len
params = {}
for k, v in self.nns[0].named_parameters():
params[k] = torch.zeros_like(v.data)
for j in index:
for k, v in self.nns[j].named_parameters():
params[k] += v.data * (self.nns[j].len / s)
for k, v in self.nn.named_parameters():
v.data = params[k].data.clone()
def dispatch(self, index):
for j in index:
for old_params, new_params in zip(self.nns[j].parameters(), self.nn.parameters()):
old_params.data = new_params.data.clone()
def client_update(self, index, global_round): # update nn
for k in index:
self.nns[k] = train(self.args, self.nns[k], self.nn, global_round)
def global_test(self):
model = self.nn
model.eval()
for client in self.args.clients:
model.name = client
test(self.args, model)
3. 客戶(hù)端更新
FedProx中客戶(hù)端需要優(yōu)化的函數(shù)為：
作者在FedAvg損失函數(shù)的基礎(chǔ)上，引入了一個(gè)proximal term，我們可以稱(chēng)之為近端項(xiàng)。引入近端項(xiàng)后，客戶(hù)端在本地訓(xùn)練后得到的模型參數(shù) w將不會(huì)與初始時(shí)的服務(wù)器參數(shù)wt偏離太多。
對(duì)應(yīng)的代碼為：
def train(args, model, server, global_round):
model.train()
Dtr, Dte = nn_seq_wind(model.name, args.B)
model.len = len(Dtr)
global_model = copy.deepcopy(server)
if args.weight_decay != 0:
lr = args.lr * pow(args.weight_decay, global_round)
else:
lr = args.lr
if args.optimizer == 'adam':
optimizer = torch.optim.Adam(model.parameters(), lr=lr,
weight_decay=args.weight_decay)
else:
optimizer = torch.optim.SGD(model.parameters(), lr=lr,
momentum=0.9, weight_decay=args.weight_decay)
print('training...')
loss_function = nn.MSELoss().to(args.device)
loss = 0
for epoch in range(args.E):
for (seq, label) in Dtr:
seq = seq.to(args.device)
label = label.to(args.device)
y_pred = model(seq)
optimizer.zero_grad()
# compute proximal_term
proximal_term = 0.0
for w, w_t in zip(model.parameters(), global_model.parameters()):
proximal_term += (w - w_t).norm(2)
loss = loss_function(y_pred, label) + (args.mu / 2) * proximal_term
loss.backward()
optimizer.step()
print('epoch', epoch, ':', loss.item())
return model
我們?cè)谠蠱SE損失函數(shù)的基礎(chǔ)上加上了一個(gè)近端項(xiàng)：
for w, w_t in zip(model.parameters(), global_model.parameters()):
proximal_term += (w - w_t).norm(2)
然后再反向傳播求梯度，然后優(yōu)化器step更新參數(shù)。
原始論文中還提出了一個(gè)不精確解的概念：
不過(guò)值得注意的是，我并沒(méi)有在原始論文的實(shí)驗(yàn)部分找到如何選擇 γ \gamma γ的說(shuō)明。查了一下資料后發(fā)現(xiàn)是涉及到了近端梯度下降的知識(shí)，本文代碼并沒(méi)有考慮不精確解，后期可能會(huì)補(bǔ)上。
IV. 完整代碼
鏈接：https://pan.baidu.com/s/1hj2EOcqIUmM-C6R1cyjE5Q
提取碼：fghp
項(xiàng)目結(jié)構(gòu)：
其中：
- server.py為服務(wù)器端操作。
- client.py為客戶(hù)端操作。
- data_process.py為數(shù)據(jù)處理部分。
- model.py為模型定義文件。
- args.py為參數(shù)定義文件。
- main.py為主文件，如想要運(yùn)行此項(xiàng)目可直接運(yùn)行：
python main.py
以上就是PyTorch實(shí)現(xiàn)FedProx的聯(lián)邦學(xué)習(xí)算法的詳細(xì)內(nèi)容，更多關(guān)于PyTorch實(shí)現(xiàn)FedProx算法的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python中Thop庫(kù)的基本用例和參數(shù)說(shuō)明
這篇文章主要給大家介紹了關(guān)于Python中Thop庫(kù)的基本用例和參數(shù)說(shuō)明的相關(guān)資料,THOP是PyTorch非常實(shí)用的一個(gè)第三方庫(kù),可以統(tǒng)計(jì)模型的 FLOPs 和參數(shù)量,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-05-05
python的pygal模塊繪制反正切函數(shù)圖像方法
在本篇文章中我們給大家整理了關(guān)于如何用python的pygal模塊繪制反正切函數(shù)圖像的知識(shí)點(diǎn)內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。2019-07-07
在Python中，生成器和迭代器是實(shí)現(xiàn)惰性計(jì)算的兩種重要工具，它們可以幫助我們更有效地處理數(shù)據(jù)接下來(lái)，小編就來(lái)為大家詳細(xì)介紹這兩種工具吧2023-07-07
python中的對(duì)象拷貝示例 python引用傳遞
你想復(fù)制一個(gè)對(duì)象？因?yàn)樵赑ython中，無(wú)論你把對(duì)象做為參數(shù)傳遞，做為函數(shù)返回值，都是引用傳遞的2014-01-01
利用pandas進(jìn)行數(shù)據(jù)清洗的方法
本文主要介紹了利用pandas進(jìn)行數(shù)據(jù)清洗的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-09-09
python實(shí)現(xiàn)126郵箱發(fā)送郵件
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)126郵箱發(fā)送郵件，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-05-05
sqlalchemy對(duì)象轉(zhuǎn)dict的示例
這篇文章主要介紹了sqlalchemy對(duì)象轉(zhuǎn)dict的示例,需要的朋友可以參考下2014-04-04
conda創(chuàng)建環(huán)境、安裝包、刪除環(huán)境步驟詳細(xì)記錄
對(duì)于生信工作者,有一個(gè)方便可用的環(huán)境可以極大地方便我們開(kāi)展分析,conda可以讓我們?cè)诜莚oot的情況下較為方便地切換不同的工作環(huán)境,下面這篇文章主要給大家介紹了關(guān)于conda創(chuàng)建環(huán)境、安裝包、刪除環(huán)境步驟的相關(guān)資料,需要的朋友可以參考下2022-08-08
使用Python進(jìn)行Ping測(cè)試的操作指南
在網(wǎng)絡(luò)工程中,Ping測(cè)試是一種常用的網(wǎng)絡(luò)診斷工具,用于檢查網(wǎng)絡(luò)連接的可達(dá)性和響應(yīng)時(shí)間,隨著Python編程語(yǔ)言的廣泛應(yīng)用,越來(lái)越多的網(wǎng)絡(luò)工程師開(kāi)始使用Python進(jìn)行自動(dòng)化網(wǎng)絡(luò)測(cè)試和管理任務(wù),本篇文章將詳細(xì)介紹如何使用Python進(jìn)行Ping測(cè)試,需要的朋友可以參考下2024-06-06
在本篇內(nèi)容里小編給大家分享的是一篇關(guān)于python異常中else的實(shí)例用法，有興趣的朋友們可以跟著學(xué)習(xí)下。2021-06-06