Open-Weights-Modelle ohne eigene Hardware testen am Beispiel Kolibri-1
Erfahre, wie du Open-Weights-Modelle ohne eigene Hardware testest, bevor du sie selbst betreibst. Am Beispiel von Kolibri-1 (Aleph Alpha) startet Claude Code das Modell auf RunPod und wertet zehn Testanfragen aus.
Dieser Snip gehört zum Mitgliederbereich. Melde dich an, um deinen Zugriff zu prüfen und weiterzulernen.
Anmelden und ansehenEin Snip von Constantin Falk
Über diesen Snip
Mit Kolibri-1 hat Aleph Alpha ein Open-Weights-Modell vorgestellt, das explizit auf Deutsch und Englisch ausgelegt ist. Ein Modell mit 80 Milliarden Parametern selbst zu betreiben, braucht allerdings leistungsstarke Grafikkarten. In diesem Snip erfährst du, wie du Kolibri-1 ohne eigene Hardware testest und dabei siehst, welche Grafikkarte und welche Kosten ein Eigenbetrieb verursachen würde.
Im Praxisteil verbindest du den MCP-Server des Cloud-GPU-Anbieters RunPod mit Claude. Danach reicht ein Prompt: Claude Code wählt eine passende Grafikkarte (hier eine NVIDIA H200 SXM mit 141 GB Videospeicher), richtet den Pod ein, lädt die rund 78 GB Modellgewichte über vLLM und schickt anschließend zehn Testanfragen aus einer JSON-Datei an das Modell.
Zum Schluss wertet Claude die Antworten aus, unter anderem zu Leichter Sprache, Rechenaufgaben, Halluzinationen und Regelbefolgung. Du siehst außerdem, warum ein nur gestoppter Pod weiter Speicherkosten verursachen kann und wie du ihn löschst. Der gesamte Testlauf hat rund 3,20 Dollar gekostet.
Wichtig: RunPod ist ein US-Anbieter. Der Aufbau eignet sich zum Testen, nicht für einen souveränen Produktivbetrieb.
Vom Anschauen zum Anwenden
Was möchtest du aus diesem Snip in deinem Arbeitsalltag ausprobieren? Wähle eine konkrete Aufgabe und überlege, wie du das Ergebnis überprüfen kannst.
