Vmlx: AI Modelleri için Apple Silicon Çıkarım Sunucusu
Vmlx, Jjang AI tarafından geliştirilen bir MCP sunucu aracıdır ve Apple Silicon donanımında büyük AI modellerini yerel olarak çalıştırmak için tasarlanmıştır. Öncelikle Python ile inşa edilmiştir ve optimize edilmiş performans için Apple'ın MLX çerçevesini kullanmaktadır. Vmlx, büyük dil modelleri, görsel-dil modelleri ve görüntü üretim modelleri için açık kaynaklı bir yerel çıkarım sunucusu olarak hizmet vermekte olup, macOS üzerinde bir HTTP çıkarım sunucusu olarak çalışmaktadır. Ücretsiz bir lisans altında mevcuttur ve MCP sunucusu ve AI Ajansları yeteneği olarak kategorize edilmiştir, M serisi çiplerde doğrudan model yürütme sunmaktadır.
En Çok Önerilen Alternatif
Vmlx neye bağlanır?
Vmlx, çeşitli büyük AI modellerine, LLM'ler, VLM'ler ve görüntü üretim modelleri dahil olmak üzere, bağlanan ve hizmet veren açık kaynaklı bir yerel çıkarım sunucusu olarak işlev görmektedir. Sadece Apple Silicon donanımı (M1/M2/M3/M4) için özel olarak inşa edilmiştir ve macOS üzerinde HTTP çıkarım sunucusu olarak yerel olarak çalışmaktadır. Temel işlevi, bulut bağımlılıklarını atlayarak gelişmiş AI yeteneklerinin yerel olarak çalıştırılmasını sağlamaktır. Vmlx, bir MCP sunucusu ve AI Ajansları becerisi olarak kategorize edilmekte olup, AI model işlemleri için kendine yeterli bir ortam sunmaktadır.
Temel özellikler ve araçlar
Vmlx, birkaç çağrılabilir araç ve API uç noktası sunmaktadır. Bunlar arasında Araç Çağırma qwen, llama ve mistral gibi model aileleri için otomatik algılanan ayrıştırıcılarla, ve Akıl Yürütme / Düşünme Modu qwen3 ve minimax_m2 için ayrıştırıcılarla yer almaktadır. API uç noktaları, Sohbet tamamlama (akış), Anthropic Mesajları API'si, Gömme, Metinden konuşmaya, Konuşmadan metne, Görüntü üretimi ve Yeniden sıralama gibi işlevleri kapsamaktadır. CLI komutları arasında "vmlx serve", "vmlx convert", "vmlx info" ve "vmlx bench" bulunmaktadır. MLX Studio masaüstü uygulaması, Sohbet, Görüş ve Oturum Yönetimi özelliklerini eklemektedir.
Kime yöneliktir?
Vmlx, büyük AI modellerini yerel olarak çalıştırmak isteyen geliştiriciler, AI kodlama asistanı kullanıcıları ve yaratıcı profesyoneller için tasarlanmıştır. AI yeteneklerini doğrudan Apple Silicon donanımında dağıtmayı hedefleyen bireyler için faydalı olacaktır. Bulut API'lerini ve bunlarla ilişkili masrafları atlamak isteyenler için uygundur. Eğer AI modellerini Apple Silicon dışındaki donanımlarda dağıtmanız gerekiyorsa bunu atlayın.
Nasıl başlanır
Sunucu, belirli /v1 uç noktaları için isteğe bağlı bir API anahtarı kullanarak kimlik doğrulaması yapmaktadır. Öncelikle taşınabilir bir protokol olarak akışa uygun HTTP'yi desteklemektedir.
Kullanım durumları
- Yerel AI kodlama yardımı: Dosya işlemleri, Git entegrasyonu ve terminal erişimi gibi yerleşik araçlarla, çevrimdışı bile işlevsel olan, ajanslı sohbet moduna sahip yetenekli bir kodlama asistanı sağlar.
- Çok modlu içerik oluşturma: Görüntü kavramları oluşturmak, bunları doğal dil ile düzenlemek, ses üretmek ve yerel olarak OpenAI uyumlu bir API aracılığıyla video açıklamaları üretmek için yetenekleri zincirler.
- Kendi barındırılan LLM çıkarımı: Büyük dil modellerini, görsel-dil modellerini ve görüntü üretim modellerini Apple Silicon üzerinde yerel olarak çalıştırarak bulut API'lerine olan ihtiyacı ortadan kaldırır.
Vmlx, gizlilik ve kontrolü artırarak Apple Silicon üzerinde AI modellerini doğrudan çalıştırmak için güçlü, yerel bir çözüm sunar. Python temeli ve MLX çerçevesi, macOS kullanıcıları için optimize edilmiş performans sağlar. Araç, çeşitli model türlerini barındırma ve birden fazla API'yi açığa çıkarma yeteneği ile çeşitli AI uygulamaları için çok yönlü hale gelir.
