HTK新闻网

【[43星]fastsafetensors:高性能的safetensors模型加

【[43星]fastsafetensors:高性能的safetensors模型加载器,让模型加载速度飞起来!亮点:1. 批量、懒加载张量,按需加载节省资源;2. GPU卸载分片、类型转换等操作,减少CPU负担;3. 支持GPU Direct Storage,从存储到GPU内存直接传输,大幅减少拷贝开销】

'fastsafetensors is an efficient safetensors model loader. This library is tested with python 3.9-13 and pytorch 2.1-2.7.'

GitHub: github.com/foundation-model-stack/fastsafetensors

高性能模型加载 PyTorch Python 人工智能 ai兴趣创作计划