freellmpool: sebuah gerbang MCP lokal yang mengagregasi titik akhir LLM gratis
freellmpool, dikembangkan oleh 0xzr, adalah server dan gerbang API Model Context Protocol (MCP) sumber terbuka yang mengagregasi tingkat gratis dari puluhan Model Bahasa Besar ke dalam satu titik akhir lokal. Alat ini mengumpulkan beberapa penyedia yang dihosting, mengekspos antarmuka yang kompatibel dengan OpenAI, dan menawarkan pengalihan, pelacakan penggunaan, dan jalur quickstart tanpa kunci untuk pengujian segera. Ditargetkan kepada pengembang dan pengguna pemrograman AI, ini mengurangi upaya mengelola banyak SDK penyedia dan kunci selama pengembangan agen.
Menggabungkan banyak model yang dihosting dan mengekspos alat asli MCP untuk agen
freellmpool beroperasi sebagai server MCP yang mengkatalogkan lebih dari 24 penyedia dan lebih dari 400 model chat sambil mengekspos alat khusus seperti 'tanya', 'pertarungan', dan 'resep' untuk klien AI. Alat ini mencakup shim untuk pesan gaya Codex dan gaya Anthropic serta mencantumkan kompatibilitas dengan klien yang mematuhi MCP, misalnya Claude Desktop dan Cursor.
- Katalog penyedia: 24+ penyedia
- Katalog model: 400+ model chat
- Target agen: agen pengkodean seperti Claude Code, Cursor
Logika routing dan cooldown menjaga aliran permintaan tetapi tergantung pada ketersediaan eksternal
Failover otomatis dan routing mengalihkan permintaan ketika penyedia mengembalikan kesalahan batas-kecepatan atau offline, dan alat ini menerapkan cooldown cerdas yang menangguhkan penyedia yang mencapai batas untuk menghindari kesalahan 429 yang berulang. Pelacakan penggunaan memantau konsumsi per hari sehingga beban terdistribusi; kontinuitas dengan demikian meningkat relatif terhadap pengaturan penyedia tunggal, sementara waktu aktif dan throughput yang sebenarnya tetap terkait dengan layanan tingkat gratis yang digabungkan.
Integrasi setup rendah untuk eksperimen, dengan batas praktis untuk beban kerja yang berkelanjutan
Instalasi dan integrasi menargetkan eksperimen cepat: alat ini diinstal melalui Python (pip), mendukung penggunaan CLI di berbagai platform desktop, dan menyediakan proxy yang kompatibel dengan OpenAI/Anthropic sehingga perangkat lunak yang ada menerima titik akhir lokal tanpa perubahan kode. Quickstart tanpa kunci memberikan akses langsung ke penyedia tertentu, dan pengguna dapat menambahkan kunci mereka sendiri untuk kuota yang lebih tinggi. Karena menggabungkan tingkat gratis, alat ini cocok untuk prototyping dan pengujian agen daripada menjalankan produksi volume tinggi yang terjamin.
Pilihan praktis untuk eksperimen, kurang cocok untuk throughput produksi yang terjamin
freellmpool adalah opsi praktis bagi pengembang dan pengguna AI-coding yang membutuhkan akses cepat ke banyak model yang dihosting melalui satu endpoint lokal; perilaku dan ketersediaan model mencerminkan penyedia hulu, jadi harapkan variabilitas yang terkait dengan tingkat gratis tersebut. Perlakukan keluaran sebagai respons model hulu dan lengkapi dengan kunci penyedia jika kapasitas yang berkelanjutan atau jaminan waktu aktif yang lebih ketat diperlukan.
