联邦多任务学习训练节点选择技术研究
摘要
联邦多任务学习是一种面向分布式数据的机器学习方法，该方法在联邦学习的基础
上，将客户端分组成多个任务，为每个任务分配一个更合适的模型。联邦多任务学习主要
用来解决各个客户端节点的数据分布不均匀导致联邦学习的训练结果产生次优解的问题。
然而传统的联邦多任务学习不能很好的解决客户端隐私数据的泄露问题，也不能对客户
端进行彻底的分组，以及无法根据实际情况自适应地动态调整各个任务的优先级。因此，
本文对联邦多任务学习的相似度获取方法和动态调整任务优先级方法进行研究，实现更
加高效准确，能够处理实时变化的任务的联邦多任务学习框架。
首先，针对传统的联邦多任务学习需要访问客户端的原始数据造成用户的隐私泄露
问题，提出了基于余弦相似度的联邦多任务学习模型。通过研究增强的余弦相似度度量方
法和制定合理的客户端分组标准，提出客户端的迭代分组方案。通过与联邦学习和传统联
邦多任务学习的对比，验证提出的客户端分组方案可以在不访问客户端数据本身的情况
下将客户端进行彻底的分组，使客户端的数据价值最大化，提高联邦多任务学习的准确
率。
其次，针对传统联邦多任务学习将过多的训练资源投入到简单任务中，使得困难任务
无法得到充分的训练，导致训练效率低的问题，提出了基于任务优先级的联邦多任务学习
模型。通过研究困难任务的训练先后顺序对整体模型准确率的影响，提出自适应动态调整
任务优先级的层次结构。通过与其他普通联邦多任务学习模型进行对比，验证提出的方案
可以将更多的资源分配给更困难的任务，并优化其他简单任务的优先级，在资源受限的
情况下提高了联邦多任务学习的性能。
关键词：联邦学习；联邦多任务学习；余弦相似度；自适应；优先级
联邦多任务学习训练节点选择技术研究
Abstract
FederatedMulti-TaskLearningisamachinelearningmethodfordistributeddata.Based
onFederatedLearning,thismethoddividestheclientintomultipletasksandassignsamore
suitablemodeltoeachtask.FederatedMulti-TaskLearningismainlyusedtosolvetheproblem
ofunevendatadistributionamongvariousclientnodesleadingtosuboptimaltrainingresultsin
FederatedLearning.However,traditionalFederatedMulti-TaskLearningcannoteffectively
solvetheproblemofclientprivacydataleakage,norcanitthoroughlygroupclients,norcanit
adaptivelyadjustthepriorityofeachtaskaccordingtotheactualsituation.Therefore,this
articlestudiesthesimilarityacquisitionmethodanddynamictaskpriorityadjustmentmethod
forFederatedMulti-TaskLearning,inordertoachieveamoreefficientandaccurateFederated
Multi-TaskLearningframeworkthatcanhandlereal-timechangingtasks.
Firstly,aFederatedMulti-TaskLearningmodelbasedoncosinesimilarityisproposedto
add