Tropical: Enhancing SLO Attainment in Disaggregated LLM Serving via SLO-Aware Multiplexing

To guarantee service quality in transformer based large language model (LLM) serving, it is essential to meet the latency constraints of both the prefill phase (measured by Time-to-First-Token, TTFT) and the decode phase (measured by Time-per-Output-Token, TPOT). Non-disaggregated serving places pre...

Celý popis

Podrobná bibliografie

Vydáno v:	2025 62nd ACM/IEEE Design Automation Conference (DAC) s. 1 - 7
Hlavní autoři:	Ma, Jinming, Chen, Jiefei, Li, Xiuhong, Duan, Jiangfei, Duanmu, Haojie, Zhang, Xingcheng, Yang, Chao, Lin, Dahua
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 22.06.2025
Témata:	Design automation Interference Large language models LLM Serving Multiplexing Phase measurement Queueing analysis Root cause analysis SLO-Aware Scheduling Transformers
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!