- 1、本文档共6页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
SAM的原理是什么?
在梯度下降或任何其他优化算法中,我们的目标是找到一个具有低损失值的参数。但是,与其他常规的优化方法相比,SAM实现了更好的泛化,它将重点放在领域内寻找具有均匀的低损失值的参数(而不是只有参数本身具有低损失值)上。
由于计算邻域参数而不是计算单个参数,损失超平面比其他优化方法更平坦,这反过来增强了模型的泛化。
(左))用SGD训练的ResNet收敛到的一个尖锐的最小值。(右)用SAM训练的相同的ResNet收敛到的一个平坦的最小值。
注意:SAM不是一个新的优化器,它与其他常见的优化器一起使用,比如SGD/Adam。
在Pytorch中实现SAM
在Pytorch中实现SAM非常简单和直接
import?torch
class?SAM(torch.optim.Optimizer):
????def?__init__(self,?params,?base_optimizer,?rho=0.05,?**kwargs):
????????assert?rho?=?0.0,?fInvalidrho,?shouldbenon-negative:?{rho}
????????defaults?=?dict(rho=rho,?**kwargs)
????????super(SAM,?self).__init__(params,?defaults)
????????self.base_optimizer?=?base_optimizer(self.param_groups,?**kwargs)
????????self.param_groups?=?self.base_optimizer.param_groups
????@torch.no_grad()
????def?first_step(self,?zero_grad=False):
????????grad_norm?=?self._grad_norm()
????????for?group?in?self.param_groups:
????????????scale?=?group[rho]?/?(grad_norm?+?1e-12)
????????????for?p?in?group[params]:
????????????????if?p.grad?is?None:?continue
????????????????e_w?=?p.grad?*?scale.to(p)
????????????????p.add_(e_w)??#?climbtothelocalmaximum?w?+?e(w)
????????????????self.state[p][e_w]?=?e_w
????????if?zero_grad:?self.zero_grad()
????@torch.no_grad()
????def?second_step(self,?zero_grad=False):
????????for?group?in?self.param_groups:
????????????for?p?in?group[params]:
????????????????if?p.grad?is?None:?continue
????????????????p.sub_(self.state[p][e_w])??#?getbackto?w?from?w?+?e(w)
????????self.base_optimizer.step()??#?dotheactual?sharpness-aware?update
????????if?zero_grad:?self.zero_grad()
????def?_grad_norm(self):
????????shared_device?=?self.param_groups[0][params][0].device??#?puteverythingonthesamedevice,?incaseofmodelparallelism
????????norm?=?torch.norm(
????????????????????torch.stack([
????????????????????????p.grad.norm(p=2).to(shared_device)
????????????????????????for?group?in?self.param_groups?for?p?in?group[params]
????????????????????????if?p.grad?is?not?None
????????????????????]),
???
您可能关注的文档
- 基于AI的雷达目标检测.docx
- 激光SLAM框架总结.docx
- 自动驾驶建图--道路边缘生成方案探讨.docx
- 图像识别和 AI 算法在带式输送机系统中的应用.docx
- 计算光学成像的演变历程及前景展望.docx
- 机器视觉中的轮廓照明.docx
- 机器视觉在胶带平面度、厚度和内径3D质量检测中的应用.docx
- 深度学习实战之布匹缺陷检测.docx
- 一文了解傅立叶变换在机器学习的应用.docx
- 结合检测、人员追踪和姿势估计的案例分析.docx
- 2025年中青旅新疆国际旅行社有限责任公司人员招聘笔试备考试题及答案解析.docx
- 教科版四年级科学上册《食物中的营养》优质教学设计.docx
- 2025年抵押信用财务贷款担保融资担保金融授信协议.docx
- 2025年中原石化人员招聘笔试备考试题及答案解析.docx
- 2024-2025学年重庆市江津区高教研联合体高考模拟(三)化学试题含解析.doc
- 舞蹈培训学校年度工作总结.pptx
- 2025年中原石油工程有限公司人员招聘笔试备考试题及答案解析.docx
- 2025年河北轨道运输职业技术学院单招语文测试题库通用题库.docx
- 资料员的职业规划.docx
- 2025年子午线胎成型机头项目可行性研究报告.docx
文档评论(0)