PC für Sprachmodelle (LLMs) lokal zu nutzen

[Oyibo]

Hallo,

Ich möchte mir einen PC zusammenstellen, um Sprachmodelle wie z.B. LlaMA-30B lokal auf meinem Rechner zu nutzen.

Einen Artikel zum Thema Hardwareanforderungen findet man z.B. hier:
Computer Hardware Required to Run LLaMA AI Model Locally
Die Hardware-Empfehlungen von "Hardware-Corner" für die Ausführung von LlaMA-Modellen sind wie folgt:

1. GPU-Anforderungen:
- Für LLaMA-30B: Eine GPU mit mindestens 20 GB VRAM, wie die RTX 3080 20 GB, A4500, A5000, 3090, 4090, 6000, Tesla V100 oder Tesla P40.

2. CPU-Empfehlungen:
- Geeignete CPUs für den Betrieb von LLaMA sind Intel Core i9-10900K, i7-12700K oder Ryzen 9 5900x. Ein leistungsstärkerer Prozessor wie der AMD Ryzen Threadripper 3990X mit 64 Kernen und 128 Threads kann bessere Leistung bieten.

3. Speicher (RAM)-Anforderungen:
- Für 4-Bit LLaMA-30B wird mindestens 32 GB RAM empfohlen, aber für größere Datensätze oder längere Texte sind 64 GB oder 128 GB möglicherweise vorzuziehen.

4. Speicher:
- Mindestens 1 TB NVMe SSD ist erforderlich, um die Modellparameter und Daten mit schneller Lese- und Schreibgeschwindigkeit zu speichern. Erwägen Sie größere Speicheroptionen wie 2 TB oder 4 TB für mehr Daten oder Sicherungen.

5. GPU-Quantisierung:
- 4-Bit-quantisierte LLaMA-Modelle sind speichereffizienter und können auf GPUs mit geringeren VRAM-Kapazitäten ausgeführt werden, während 8-Bit-quantisierte Modelle mehr GPU-Speicher und Rechenleistung erfordern.

6. Tipps und Hinweise:
- Bauen Sie Ihren PC um die GPU herum und berücksichtigen Sie PCIe-Unterstützung, Motherboard-Steckplätze, CPU und RAM.
- Berücksichtigen Sie die VRAM-Anforderungen bei der Auswahl einer GPU für bestimmte LLaMA-Modelle.
- Streben Sie mindestens 1,5-mal die VRAM-Kapazität oder das Doppelte des VRAM im regulären RAM an.
- Priorisieren Sie eine PCIe-4.0-NVMe-SSD mit hoher Geschwindigkeit für das initiale Laden des Modells.
- Die Single-Thread-Geschwindigkeit der CPU ist für Aufgaben wie Datenverarbeitung und Modellladen entscheidend.
- Beachten Sie die Kapazität des Netzteil und die Gehäusebelüftung für Stabilität und Temperaturkontrolle.

Als Betriebssystem möchte ich Linux Mint Cinnamon (Edge) verwenden.
Basierend auf den Empfehlungen des Artikels habe ich mir PC Komponenten zusammengestellt (hier der Link: PC-LLaMa-30B)

Prozessor: AMD Ryzen 7 7700, 8C/16T, 3.80-5.30GHz
Grafikkarte: XFX Speedster MERC 310 Radeon RX 7900 XT Black Edition, 20GB GDDR6
Mainboard: MSI PRO B650-P WIFI
Arbeitsspeicher: G.Skill Ripjaws S5 schwarz DIMM Kit 64GB, DDR5-6000
Festplatte: Western Digital WD_BLACK SN850X NVMe SSD 1TB, M.2
Gehäuse: ENDORFY Arx 700 Air, Glasfenster
Kühler: ENDORFY Navis F360
Netzteil: be quiet! Pure Power 12 M 1000W ATX 3.0

Mein Fokus liegt auf der Funktionalität des Geräts. Das Aussehen ist mir nicht wichtig (z.B. kein RGB notwendig).

Habt ihr Hinweise zu Eignung der Komponenten, Kompatibilität und Preis-Leistungsverhältnis.
Mein Budget liegt zwischen 1.500-2.000 €.

Besten Dank im Voraus!