FreeLLMAPI

FreeLLMAPI là gì?

FreeLLMAPI là ứng dụng desktop gốc dành cho macOS, cho phép bạn chạy một điểm cuối API cục bộ tương thích OpenAI và bảng điều khiển ngay trên máy Mac của mình. Ứng dụng được thiết kế cho nhà phát triển và người dùng nâng cao muốn kết nối một client hoặc quy trình làm việc với nhiều nhà cung cấp AI thông qua một giao diện duy nhất. Ứng dụng có thể định tuyến yêu cầu qua các nhà cung cấp được hỗ trợ, chuyển sang nhà cung cấp khác khi một nhà cung cấp không khả dụng hoặc bị giới hạn tốc độ, đồng thời giúp bạn quản lý khóa API và mức sử dụng từ một bảng điều khiển cục bộ. Ứng dụng cũng hỗ trợ các điểm cuối tùy chỉnh tương thích OpenAI, điều này có thể khiến nó hữu ích cho việc thử nghiệm các backend mô hình cục bộ hoặc từ xa bên cạnh các dịch vụ được lưu trữ. Bản desktop lưu trữ dữ liệu làm việc trên máy Mac của bạn và bao gồm trải nghiệm thanh menu để truy cập nhanh vào trạng thái, nhật ký và bảng điều khiển. FreeLLMAPI được phát hành bởi Tashfeen Ahmed.

Tính năng chính

• Chạy một điểm cuối API cục bộ tương thích OpenAI trên máy Mac của bạn
• Định tuyến yêu cầu qua nhiều nhà cung cấp LLM được hỗ trợ
• Chuyển đổi dự phòng sang nhà cung cấp khác khi chạm giới hạn yêu cầu hoặc gặp sự cố ngừng hoạt động
• Quản lý khóa API và mức sử dụng từ bảng điều khiển cục bộ tích hợp
• Sử dụng các điểm cuối chat, embedding, hình ảnh và âm thanh tùy chỉnh tương thích OpenAI
• Truy cập nhanh các điều khiển trạng thái từ thanh menu
• Xem lại nhật ký cục bộ để khắc phục sự cố và chẩn đoán

Tổng quan về an toàn

Trạng thái: Phần lớn an toàn

FreeLLMAPI là phần mềm hướng đến nhà phát triển, xử lý khóa API và định tuyến các yêu cầu AI, vì vậy ứng dụng có thể xử lý prompt, phản hồi và thông tin xác thực của nhà cung cấp như một phần của quá trình sử dụng thông thường. Quyền truy cập đó là phù hợp với mục đích của ứng dụng, nhưng bạn vẫn nên sử dụng cẩn thận với dữ liệu nhạy cảm và theo dõi những nhà cung cấp upstream mà bạn kết nối. Việc gỡ bỏ ứng dụng sẽ không tự động xóa thư mục dữ liệu cục bộ của nó, vì vậy các cài đặt, nhật ký và tệp cơ sở dữ liệu đã lưu có thể vẫn còn cho đến khi bạn xóa riêng chúng.

Khuyến nghị: Hãy giữ FreeLLMAPI nếu bạn đang chủ động dùng nó để hợp nhất nhiều nhà cung cấp AI phía sau một điểm cuối cục bộ hoặc bảng điều khiển duy nhất. Nếu bạn không còn dùng các quy trình làm việc đó nữa, bạn có thể gỡ bỏ ứng dụng, và cũng có thể xóa các tệp hỗ trợ còn lại sau đó nếu muốn giải phóng dung lượng đĩa và loại bỏ các cài đặt đã lưu.

Đường dẫn phổ biến

• /Applications/FreeLLMAPI.app

Đường dẫn hỗ trợ

• ~/Library/Application Support/FreeLLMAPI
• ~/Library/Application Support/FreeLLMAPI/logs

Ứng dụng liên quan

• OpenAI
• Ollama
• LM Studio

Trang 'Tôi có thể xóa không' liên quan

• ~/Library/Application Support/FreeLLMAPI

Chia sẻ trải nghiệm

Hãy là người đầu tiên chia sẻ trải nghiệm.