Ferrum
Ferrum: Rust ile Yerel LLM Çalıştırın
Sunum hazırlarken saatler harcamak yerine, tek bir Rust ikili dosyasıyla yerel LLM’leri çalıştırın. Hem CLI hem de OpenAI‑uyumlu API ile hızlı prototipleme yapabilirsiniz.
Neden kullanmalısın: Gizlilikten ödün vermeden, hızlı ve bağımsız yerel LLM deneyimi isteyen geliştiriciler için.
- Tek Rust ikili dosyası ile tüm platformda çalışır
- Apple Silicon Metal ve NVIDIA CUDA desteği
- OpenAI uyumlu HTTP API sağlar
- Python ve PyTorch bağımlılığını ortadan kaldırır
- CLI ile interaktif kullanım sunar
Detaylı İnceleme
Ferrum, Rust dilinde yazılmış tek bir ikili dosyasıyla yerel dil modellerini çalıştırmanızı sağlayan açık kaynaklı bir runtime’dur. Python, PyTorch veya vLLM gerektirmeden Apple Silicon Metal ve NVIDIA CUDA üzerinde çalışır, bu sayede hem Mac’inizde hem de NVIDIA GPU’lu sistemlerde yüksek performans elde edersiniz. CLI üzerinden interaktif deneyim alırken, aynı zamanda OpenAI’nin Chat Completions API’ine benzer HTTP uç noktalarını da expose edebilirsiniz. Böylece kendi uygulamanızda yerel bir LLM’i kullanmak için ek bir servis kurma ihtiyacı kalmaz. Gizlilik odaklı geliştiriciler, veri güvenliği konusunda sıkı kuralları olan kurumlar ve hızlı prototipleme yapmak isteyen araştırmacılar için idealdir. Tek bir binary ile hem geliştirme hem de dağıtım sürecini basitleştirirken, GPU hızlandırma sayesinde yanıt süreleri minimal kalır.🔗 Benzer Araçlar
ej
Karar verme sürecinde anlık sonuçlara mı ihtiyaç duyuyorsun?
XianScan
Çeviri sürecini hızlandırmak mı istiyorsun? XianScan, manga bölümlerini yerel olarak çevirip Android uygulamalarına anında aktarır.
Cosen
Maliyet, izleme ve güvenlik sorunlarınızı tek bir araçla çözmek ister misiniz? Cosen, LLM-agnostik yaklaşımıyla AI projelerinizi yerel sunucuda güvenle yönetmenize olanak tanır.
Attenta
Yasal belgeleri hızlıca anlamak ister misiniz? Attenta, tamamen Rust ile yazılmış bir Transformer modeli sunarak metinleri anında analiz eder. Özelleştirilebilir tokenizasyon ve beam search desteği sayesinde, hukuki metinleri derinlemesine inceler.
