【[223星]Tokasaurus：为高吞吐量任务设计的LLM推理引擎，让模型运行更高效！核心价值：支持多种并行化技术，优化内存和计算资源，提升模型推理速度。亮点：1. 支持数据、管道和张量并行化，无缝扩展到多GPU；2. 采用Hydragen技术，自动检测共享前缀，显著提升计算效率；3. 低CPU开销，适合小模型和高性能GPU部署。】

Tokasaurus: The Little (LLM) Engine That Could!

GitHub: github.com/ScalingIntelligence/tokasaurus

LLM推理 高性能计算 并行化技术 人工智能