Zhonghui

Breaking Memory Constraint via Flexible and Efficient Offloading for On-Device LLM Inference

Memory-Efficient LLM Inference by Head-wise Offloading

张量是一个多维数据容器，可以理解为向量和矩阵向更高维度的自然扩展

Perfect Forwarding

Maximizing Throughput for LLM Inference via Adaptive Offloading Policy

使用TorchInductor做融合、调度和代码生成

迟到的端午安康

使用TorchDynamo做抓图