Cherry on Top: Parameter Heterogeneity and Quantization in Large Language Models

This paper reveals the phenomenon of parameter heterogeneity in large language models (LLMs). We find that a small subset of "cherry" parameters exhibit a disproportionately large influence on model performance, while the vast majority of parameters have minimal impact. This heterogeneity...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	arXiv.org 2024-11
Hauptverfasser:	Cui, Wanyun, Wang, Qianle
Format:	Artikel
Sprache:	eng
Schlagworte:	Heterogeneity Large language models Mathematical models Parameter identification
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!