Google新发了一个实验线的模型:VaultGemma
这个模型通过应用差分隐私构建了一个注重隐私保护的大语言模型,尽量保证使用模型时不会暴露出训练数据中的私人信息。
研究人员发现并量化了模型大小、训练数据批次大小和隐私保护强度(噪声量)之间的关系。从而指导模型训练者如何找到最佳的平衡点,在实现强大隐私保护的同时,最大限度地保留模型的性能。
当然现在还只是实验性质的,现在只是一个1B的小模型,性能还不如GPT-2
AI生活指南AI创造营
Google新发了一个实验线的模型:VaultGemma
这个模型通过应用差分隐私构建了一个注重隐私保护的大语言模型,尽量保证使用模型时不会暴露出训练数据中的私人信息。
研究人员发现并量化了模型大小、训练数据批次大小和隐私保护强度(噪声量)之间的关系。从而指导模型训练者如何找到最佳的平衡点,在实现强大隐私保护的同时,最大限度地保留模型的性能。
当然现在还只是实验性质的,现在只是一个1B的小模型,性能还不如GPT-2
AI生活指南AI创造营
猜你喜欢
【48评论】【44点赞】
【179评论】【218点赞】
【52评论】【50点赞】
【2评论】【2点赞】
【6评论】【15点赞】
作者最新文章
热门分类
科技TOP
科技最新文章