NVIDIA PAIR

NVIDIA PAIR là gì?

NVIDIA PAIR là một ứng dụng định tuyến AI cục bộ cho macOS, giúp người dùng phân phối các yêu cầu suy luận giữa nhiều máy tính đã ghép nối trên cùng một mạng. Ứng dụng được thiết kế cho những người đang chạy các công cụ và tác nhân AI cục bộ, những người muốn có một điểm cuối cục bộ duy nhất có thể gửi tác vụ đến bất kỳ máy nào đang sẵn sàng. Các cách dùng phổ biến bao gồm kết nối quy trình làm việc cục bộ với các engine như Ollama, llama.cpp hoặc LM Studio, ghép nối một máy Mac với các hệ thống được hỗ trợ khác, và quản lý các tác vụ phục vụ mô hình từ một nơi. Ứng dụng bao gồm các màn hình thiết lập và tổng quan để ghép nối thiết bị, theo dõi công việc và quản lý các engine được dùng cho quy trình suy luận cục bộ. Ứng dụng phù hợp nhất với người dùng đang xây dựng môi trường AI cục bộ cá nhân hoặc cho nhóm nhỏ hơn là cho nhu cầu sử dụng máy tính để bàn hằng ngày nói chung. NVIDIA Corporation phát hành NVIDIA PAIR cho macOS 13 trở lên, với các bản dựng cho cả máy Mac Apple silicon và Intel.

Tính năng chính

• Định tuyến các yêu cầu suy luận AI cục bộ giữa các máy tính đã ghép nối trên cùng một mạng
• Ghép nối một máy Mac với các hệ thống được hỗ trợ khác để chia sẻ năng lực tính toán cục bộ
• Sử dụng một điểm cuối cục bộ duy nhất cho các ứng dụng và quy trình làm việc của tác nhân
• Hoạt động với các engine suy luận cục bộ như Ollama, llama.cpp và LM Studio
• Quản lý các thiết bị đã ghép nối và hoạt động của engine từ giao diện ứng dụng
• Theo dõi các tác vụ suy luận trên các hệ thống được kết nối

Tổng quan về an toàn

Trạng thái: Phần lớn an toàn

NVIDIA PAIR là phần mềm AI cục bộ hợp pháp, nhưng được xây dựng để điều phối hoạt động phục vụ mô hình giữa các thiết bị trên mạng cục bộ của bạn. Điều đó có nghĩa là ứng dụng có thể yêu cầu quyền truy cập mạng hoặc tường lửa thông thường và có thể quản lý các engine AI cục bộ hoặc các mô hình đã tải xuống như một phần của quá trình thiết lập. Đây là điều được mong đợi với mục đích của ứng dụng. Chỉ sử dụng ứng dụng này trên các thiết bị và mạng mà bạn tin cậy, đồng thời xem xét mọi nội dung tải xuống của engine hoặc lời nhắc về mạng trước khi cho phép quyền truy cập rộng hơn.

Khuyến nghị: Hãy giữ NVIDIA PAIR nếu bạn sử dụng các mô hình AI cục bộ trên nhiều máy tính hoặc muốn có một điểm định tuyến cục bộ duy nhất cho các công cụ AI tương thích. Nếu bạn không còn sử dụng quy trình làm việc này nữa, bạn có thể gỡ ứng dụng như các ứng dụng Mac khác; việc đó cũng có thể dừng định tuyến thiết bị đã ghép nối, quản lý engine và quyền truy cập vào mọi cài đặt cục bộ dành riêng cho ứng dụng.

Ứng dụng liên quan

• Ollama
• LM Studio

Chia sẻ trải nghiệm

Hãy là người đầu tiên chia sẻ trải nghiệm.