Zusammenfassung: Was wir 2024 über LLMs gelernt haben

Dies ist eine Zusammenfassung von Simon Willisons umfassendem LLM-Jahresrückblick 2024.

Wichtige Entwicklungen bei LLMs im Jahr 2024

1. Die GPT-4-Grenze wurde durchbrochen

• 18 Organisationen haben nun Modelle, die höher eingestuft werden als das ursprüngliche GPT-4 vom März 2023
• Zu den wichtigsten Akteuren gehören Google, OpenAI, Alibaba, Anthropic, Meta und andere
• Die Entwicklung eines GPT-4-überlegenen Modells wurde 2024 alltäglich

2. Lokales Ausführen von Modellen wurde möglich

• GPT-4-Klasse-Modelle können jetzt auf Consumer-Hardware laufen
• Beispiele sind Qwen2.5-Coder-32B und Metas Llama 3.3 70B
• Erhebliche Verbesserungen der Modelleffizienz machten dies möglich

3. LLM-Preise sind eingebrochen

• GPT-4-Preise fielen von 30 $/Million Token auf deutlich niedrigere Raten
• Aktuelle Kosten:
  • GPT-4o: 2,50 $/Million Token
  • GPT-4o mini: 0,15 $/Million Token
  • Claude 3 Haiku: 0,25 $/Million Token
  • Gemini 1.5 Flash: 0,075 $/Million Token

4. Multimodale Fähigkeiten wurden erweitert

• Bild-, Audio- und Videoverarbeitung wurden zu üblichen Funktionen
• Wichtige Veröffentlichungen waren:
  • Claude 3-Serie (März)
  • Gemini 1.5 Pro (April)
  • Verschiedene Vision-Modelle von Meta, Mistral und anderen

5. Sprach- und Live-Kamera-Integration

• Fortgeschrittene Sprachinteraktionen wurden verfügbar
• Echtzeit-Kameraverarbeitung wurde eingeführt
• Sowohl ChatGPT als auch Google Gemini boten diese Funktionen an

6. Neue Entwicklungen in der Modellarchitektur

• Einführung von Inferenz-skalierenden “Reasoning”-Modellen
• OpenAIs o1- und o3-Serie
• DeepSeek v3’s effizienter Trainingsansatz

Umweltauswirkungen

Positive Entwicklungen

• Reduzierter Energieverbrauch pro Anfrage
• Effizientere Trainingsmethoden
• Niedrigere Kosten deuten auf bessere Ressourcennutzung hin

Bedenken

• Massiver Infrastrukturausbau durch Technologieunternehmen
• Erhebliche Rechenzentrum-Erweiterungen
• Wachsende Anforderungen an das Stromnetz

Herausforderungen und Bedenken

1. Nutzungsprobleme

   • LLMs wurden komplexer in der effektiven Nutzung
   • Wachsende Wissenslücke zwischen Experten und Gelegenheitsnutzern
   • Bedarf an besserer Bildung und Dokumentation

2. Wissensverteilung

   • Ungleichmäßiges Bewusstsein für verfügbare Tools und Möglichkeiten
   • Schnelles Entwicklungstempo erschwert das Mithalten

3. Kritische Bewertung erforderlich

   • Balance zwischen Kritik und praktischer Anwendung
   • Bedarf an Richtlinien für verantwortungsvolle Implementierung
   • Bedeutung des Verständnisses von Grenzen und Möglichkeiten

Ausblick

Das Feld entwickelt sich weiterhin rasant, mit neuen Möglichkeiten und Herausforderungen. Der Fokus scheint sich zu verschieben in Richtung:

• Effizientere Trainingsmethoden
• Bessere multimodale Integration
• Verbesserte Zugänglichkeit und Benutzerfreundlichkeit
• Verantwortungsvolle Entwicklung und Bereitstellung

Quelle: Diese Zusammenfassung basiert auf Simon Willisons ausführlichem Artikel “Things we learned about LLMs in 2024”