Edge-LLM: A Collaborative Framework for Large Language Model Serving in Edge Computing

The rapid advancement and extensive implementation of Large Language Models (LLMs) are milestones in the realm of artificial intelligence. Although Parameter-Efficient Transfer Learning (PETL), a.k.a. Adapter, methods have reduced the barrier for fine-tuning and inference on LLMs, it becomes a chall...

Celý popis

Podrobná bibliografie

Vydáno v:	Proceedings (IEEE International Conference on Web Services. Online) s. 799 - 809
Hlavní autoři:	Cai, Fenglong, Yuan, Dong, Yang, Zhe, Cui, Lizhen
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 07.07.2024
Témata:	Adaptation models Collaboration collaborative framework Computational modeling edge computing Frequency modulation Graphics processing units large language model Large language models online scheduling algorithm Quality of service Quantization (signal) Scheduling algorithms service Web services
ISSN:	2836-3868
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!