Ferrum
Ferrum: Rust ile Yerel LLM Çalıştırın
Sunum hazırlarken saatler harcamak yerine, tek bir Rust ikili dosyasıyla yerel LLM’leri çalıştırın. Hem CLI hem de OpenAI‑uyumlu API ile hızlı prototipleme yapabilirsiniz.
Neden kullanmalısın: Gizlilikten ödün vermeden, hızlı ve bağımsız yerel LLM deneyimi isteyen geliştiriciler için.
- Tek Rust ikili dosyası ile tüm platformda çalışır
- Apple Silicon Metal ve NVIDIA CUDA desteği
- OpenAI uyumlu HTTP API sağlar
- Python ve PyTorch bağımlılığını ortadan kaldırır
- CLI ile interaktif kullanım sunar
Detaylı İnceleme
Ferrum, Rust dilinde yazılmış tek bir ikili dosyasıyla yerel dil modellerini çalıştırmanızı sağlayan açık kaynaklı bir runtime’dur. Python, PyTorch veya vLLM gerektirmeden Apple Silicon Metal ve NVIDIA CUDA üzerinde çalışır, bu sayede hem Mac’inizde hem de NVIDIA GPU’lu sistemlerde yüksek performans elde edersiniz. CLI üzerinden interaktif deneyim alırken, aynı zamanda OpenAI’nin Chat Completions API’ine benzer HTTP uç noktalarını da expose edebilirsiniz. Böylece kendi uygulamanızda yerel bir LLM’i kullanmak için ek bir servis kurma ihtiyacı kalmaz. Gizlilik odaklı geliştiriciler, veri güvenliği konusunda sıkı kuralları olan kurumlar ve hızlı prototipleme yapmak isteyen araştırmacılar için idealdir. Tek bir binary ile hem geliştirme hem de dağıtım sürecini basitleştirirken, GPU hızlandırma sayesinde yanıt süreleri minimal kalır.🔗 Benzer Araçlar
Verace V1
Yapay zeka projelerinde saatler harcamak yerine, Verace V1 gibi bir araçla daha verimli çalışabilirsiniz. Verace V1, dört standardı değiştiren bir open source mimari sunar. Bu sayede geliştiriciler daha hızlı ve etkili bir şekilde yapay zeka projelerini gerçekleştirebilirler.
Hybrid RAG
Kod tabanınızı anında derleyip sorularınıza cevap veren bir asistanla tanışın.
Memrust
Yapay zeka ajanlarınızın sadece vektör aramadan ibaret bir 'hafıza' ile yetinmesinden sıkıldınız mı? Memrust, RUST tabanlı, açık kaynaklı bir bellek motoru olarak bu soruna kökten bir çözüm sunuyor. Ajanlarınız için sadece anlamsal arama değil, BM25, varlık grafikleri ve güncelik odaklı sıralama gibi gelişmiş teknikleri bir araya getirerek gerçek bir 'hatırlama' yeteneği sağlıyor.
SpeakoFlow Mini
Sunum hazırlarken saatler harcamak yerine metnin hatalarını anında düzeltir. Sadece hatalı bölümleri düzeltir, doğru kısmı olduğu gibi bırakır.
