LiteLLM VPS att hyra.

Du betalar för VPS:en. Priset beror på paket (RAM, CPU och lagring), löptid – en längre löptid sänker månadspriset – och plats och visas live i shoppen. Open source-versionen av LiteLLM har ingen licensavgift. Kostnaden för själva modellerna betalar du direkt till respektive LLM-leverantör – med budgetar per nyckel håller du den under kontroll.

• Livepris per paket i shoppen
• LiteLLM utan licensavgift
• Modellkostnader direkt hos leverantören

Välj LiteLLM bland One-Click Apps, så installeras proxyn automatiskt med ett klick via Coolify. Därefter loggar du in i admin-UI:t med din master key och lägger till dina första modeller. Uppdateringar och finjusteringar av konfigurationen gör du själv när det passar dig.

• Ingen manuell Docker-setup behövs
• Modeller läggs till direkt i admin-UI:t
• Uppdatera via Coolify när du vill

Används LiteLLM som ren proxy räcker ett mindre paket. Lägger du till en databas för spend-loggar eller kör lokala modeller via Ollama behöver du mer RAM och CPU – välj då ett större paket. Paketen skalas efter RAM, CPU och lagring.

• Ren proxy: mindre paket räcker
• Databas för loggar: mer RAM
• Lokala modeller via Ollama: mest RAM och CPU

Ja. Du lägger in dina egna nycklar från OpenAI, Anthropic, Gemini och andra leverantörer i LiteLLM, och de lagras på din egen server. Till appar och team delar du ut virtuella nycklar med egna budgetar och gränser, så att de riktiga nycklarna aldrig lämnar proxyn.

• Leverantörsnycklar stannar på din server
• Virtuella nycklar per app eller team
• Budget och gränser per nyckel

Ja. Varje VPS får en daglig automatisk Backup som ingår, även utan ZapX Pass. Med ZapX Pass får du dessutom egna och manuella Backuper, snapshots samt hantering och återställning. DDoS-skydd ingår alltid och filtrerar attacker innan de når din LiteLLM-proxy. Läs mer om ZapX Pass i hjälpcentret

• Daglig automatisk Backup ingår
• Manuella Backuper och snapshots med ZapX Pass
• DDoS-skydd ingår alltid

Ja, din VPS kan sägas upp när som helst. Uppsägningen gäller vid slutet av den löptid du har valt, och fram till dess kör din LiteLLM-server som vanligt. Så avslutar du en tjänst

• Kan sägas upp när som helst
• Uppsägningen gäller vid löptidens slut

Sätt en stark master key, gör admin-UI:t nåbart bara via HTTPS med din egen domän i Coolify och begränsa åtkomsten med brandväggen. Exponera inte API-dokumentationen öppet mot internet. Med full root-åtkomst bestämmer du själv vilka tjänster som är nåbara utifrån.

• Stark master key
• HTTPS och egen domän via Coolify
• Brandvägg för admin-UI:t

Vi har datacenter på platser i Europa och Amerika, och du väljer fritt vid beställningen. Välj platsen nära dina användare eller de LLM-leverantörer du anropar mest. Många team i Europa börjar ofta med FFM/Eygelshoven. Oavsett plats ligger dina nycklar och loggar på din egen server. Läs mer om DDoS-skyddet

• Platser i Europa och Amerika att välja mellan
• Välj platsen nära dina användare
• Nycklar och loggar på din egen server