Skip to content
View Li-changwu's full-sized avatar

Highlights

  • Pro

Block or report Li-changwu

Block user

Prevent this user from interacting with your repositories and sending you notifications. Learn more about blocking users.

You must be logged in to block users.

Content in all repositories owned by your account will be closed.
Maximum 250 characters. Please don’t include any personal information such as legal names or email addresses. This note will only be visible to you.
Report abuse

Contact GitHub support about this user’s behavior. Learn more about reporting abuse.

Report abuse
Li-changwu/README.md

Changwu Li

华中科技大学(HUST)博士研究生 · CGCL / IntelliStream Lab · vLLM-HUST

专注于 大模型推理系统(LLM Serving Systems) 与 昇腾 NPU / NVIDIA GPU 异构系统优化,围绕显存受限与异构互联场景下的执行瓶颈开展系统研究与开源构建:

  • 存储层次与专家/KV 卸载:单卡及受限 HBM 下的 MoE 专家缓存、异步搬运与图兼容固定槽位执行(CUDA Graph & Ascend NPU),以及多轮长上下文分层 KV Anti-Caching。
  • 低延迟解码控制面与推测解码:下沉逐 Token 控制循环的昇腾设备驻留解码周期(Device-Resident Decode Epochs),以及面向卸载场景与零额外模型开销的推测解码加速。
  • 数据流系统与推理社区基础设施:非平稳数据流在线指纹选择框架(WWW '26),以及 vLLM / vLLM-Ascend 社区推理演进追踪与技术综述工作台。

代表系统与开源项目

项目 方向与平台 核心机制与关键指标
BriskMoE (MoE-SD) MoE 卸载 × 推测解码
CUDA · vLLM
非侵入式 vLLM 插件;通过 Pool-Direct、无同步路由(TASER)、草稿引导预取(DIPP)与推测感知替换消除缓存开销与瞬态溢出,单卡 RTX A6000 实现 Qwen3-30B-A3B 4.80×、GPT-OSS-120B 5.00× 解码加速。
Cruise 设备驻留解码控制面
Ascend 910B2 · CANN
基于 DataFlow Device UDF 将解码内层循环、Paged-KV 更新与采样下沉至昇腾设备侧按有界 Epoch 执行;单 Epoch 控制边界载荷从 136.9 MB 降至 628 B,Host 控制耗时降低 3.54×。
vllm-moe-offload-ascend 昇腾 MoE 专家卸载
Ascend NPU · vLLM
面向 vllm-ascend-hust 的平台级 MoE 卸载插件;支持基于 HBM 预算的自动槽位推导、固定槽位(Fixed-Slot)规划、Hit/Miss 多阶段切分与独立流异步预取。
LatchMoE-GPU 图兼容 MoE 专家卸载
CUDA Graph · vLLM
面向 vLLM PIECEWISE 图重放的 CUDA MoE Offload 插件;通过活跃专家去重、连续 DMA 批量搬运与固定 HBM 槽位计算,缓解 UVA 远端 PCIe 按需访存瓶颈。
KV_Cache 长上下文分层 KV 管理
vLLM · HBM/DRAM/SSD
面向多轮长上下文推理的 Persistent KV Anti-Caching 原型;通过内存常驻三级状态索引与执行前 PrePass,将 SSD 冷对象恢复移出在线请求关键路径。
Flash-SD 零开销语义推测解码
PyTorch · Transformers
无需训练、即插即用的推测解码框架;利用目标模型熵动态调节验证阈值并结合并行前瞻锚定,以 O(1) 标量投影校验开销实现语义级推理加速。

学术论文

  • [WWW '26] Changwu Li, Tongjun Shi, Shuhao Zhang, Binbin Chen, Bingsheng He, Xiaofei Liao, Hai Jin.
    StreamFP: Fingerprint-guided Data Selection for Efficient Stream Learning.
    In Proceedings of the ACM Web Conference 2026. [Code] · [DOI]

开源社区与工具生态


技术栈

  • 推理系统与异构算力:vLLM (V1 Engine / Platform Plugins) · PyTorch · CUDA / CUDA Graph · Ascend CANN (ACLGraph / DataFlow Device UDF) · Triton
  • 系统开发与性能剖析:Python · C / C++ · TypeScript · PyTorch Profiler / Nsight / Ascend Profiling · Linux

Popular repositories Loading

  1. FlashSD FlashSD Public

    Flash-SD:无需训练、即插即用的零开销语义推测解码框架,基于目标模型熵制导轨迹对齐与并行前瞻锚定实现 O(1) 标量级验证加速

    Python

  2. DiffLaR DiffLaR Public

    Python

  3. FlowRAG FlowRAG Public

    Forked from CGCL-codes/FlowRAG

    FlowRAG: Continual Learning for Retrieval-Augmented Generation

    Python

  4. MoE-SD MoE-SD Public

    BriskMoE:面向单卡 MoE 权重卸载的非侵入式 vLLM 推测解码加速插件(Qwen3-30B 4.80× / GPT-OSS-120B 5.00× 加速)

    Python

  5. KV_Cache KV_Cache Public

    面向多轮长上下文推理的持久化分层 KV Anti-Caching 系统原型(三级 KV 状态索引 + PrePass 冷对象预恢复)

    Python

  6. vllm-ascend-hust vllm-ascend-hust Public

    Forked from intellistream/vllm-ascend-hust-legacy-20260831

    IntelliStream fork of vllm-ascend for vllm-hust integration and Ascend runtime convergence

    Python