分类: 未分类

2 篇文章

微调大模型的优化指南:提升收敛速度与模型泛化能力
在深度学习的世界中,微调(Fine-tuning)预训练模型已成为提升模型性能的关键步骤。尤其是在大规模语言模型的微调过程中,合理的参数配置和优化策略直接影响到训练效率和模型效果。本文将详细介绍在微调过程中常见的优化方法,帮助您有效提升收敛速度,同时确保模型具备良好的泛化能力。 目录 序列长度(--cutoff_len)的影响 梯度累计(Gradi…
thumbnail
【Python小工具】从BeatSaber歌单文件夹中提取自己喜欢的歌曲
最近搬运了大佬的226G BeatSaber曲包,附上链接 https://share.wgzeyu.vip 但是曲包文件过大,非常冗余,导致每次进入游戏加载曲包文件夹要很久,于是写了这个小工具。 用途是从茫茫曲海中选择自己个人歌单里有的歌曲,选出自己喜欢的歌曲,并提取到一个文件夹里,做成一个独立的属于自己的曲包。     食用…