Trước khi xây dựng bằng AI, bạn phải chọn nền tảng mà AI được lưu trữ. Lựa chọn của bạn sẽ ảnh hưởng đến tốc độ, chi phí, khả năng mở rộng và độ tin cậy của hệ thống AI. Bạn có thể chọn giữa:
- AI phía máy khách: Chạy trực tiếp trong trình duyệt. Điều này có nghĩa là dữ liệu có thể vẫn ở chế độ riêng tư, trên thiết bị của người dùng và không có độ trễ mạng. Tuy nhiên, để hoạt động hiệu quả, AI phía máy khách cần có các trường hợp sử dụng được xác định rõ ràng và cụ thể.
- AI phía máy chủ: Chạy trên đám mây. Nó có khả năng cao và có thể mở rộng, nhưng tốn kém hơn về độ trễ và chi phí.
Mỗi lựa chọn đều có ưu và nhược điểm riêng, đồng thời chế độ thiết lập phù hợp sẽ phụ thuộc vào trường hợp sử dụng, kỹ năng của nhóm và nguồn lực của bạn. Ví dụ: bạn có thể cung cấp một công cụ tóm tắt chạy cục bộ để người dùng có thể đặt câu hỏi cá nhân mà không cần quản lý thông tin nhận dạng cá nhân (PII). Tuy nhiên, nhân viên hỗ trợ khách hàng có thể đưa ra câu trả lời hữu ích hơn bằng cách sử dụng một mô hình dựa trên đám mây có quyền truy cập vào một cơ sở dữ liệu lớn gồm nhiều tài nguyên.
Trong học phần này, bạn sẽ tìm hiểu cách:
- So sánh những điểm đánh đổi giữa AI phía máy khách và AI phía máy chủ.
- Chọn nền tảng phù hợp với trường hợp sử dụng và khả năng của nhóm bạn.
- Thiết kế các hệ thống kết hợp, cung cấp AI trên máy khách và máy chủ, để phát triển cùng với sản phẩm của bạn.
Xem các lựa chọn
Đối với việc triển khai, hãy xem xét các nền tảng AI theo hai trục chính. Bạn có thể chọn:
- Nơi mô hình chạy: Mô hình có đang chạy ở phía máy khách hay phía máy chủ không?
- Khả năng tuỳ chỉnh: Bạn có quyền kiểm soát kiến thức và khả năng của mô hình đến mức nào? Nếu có thể kiểm soát mô hình, tức là bạn có thể sửa đổi trọng số mô hình, thì bạn có thể tuỳ chỉnh hành vi của mô hình để đáp ứng các yêu cầu cụ thể của mình.
AI phía máy khách
AI phía máy khách chạy trong trình duyệt và quá trình tính toán diễn ra trên thiết bị của người dùng. Bạn không cần cung cấp thông tin về hoạt động tính toán trong thời gian suy luận và dữ liệu vẫn nằm trên máy của người dùng. Điều này giúp WebAssembly trở nên nhanh chóng, riêng tư và phù hợp với những trải nghiệm tương tác, có dung lượng nhẹ.
Tuy nhiên, các mô hình phía máy khách thường khá nhỏ, điều này có thể hạn chế khả năng và hiệu suất của chúng. Các mô hình này phù hợp nhất với những nhiệm vụ có độ chuyên biệt cao, chẳng hạn như phát hiện nội dung độc hại hoặc phân tích cảm xúc. Thông thường, đây là các tác vụ AI dự đoán với không gian đầu ra có giới hạn.
Có hai lựa chọn chính:
- AI tích hợp sẵn: Các trình duyệt như Google Chrome và Microsoft Edge đang tích hợp các mô hình AI. Bạn có thể truy cập vào các dịch vụ này thông qua lệnh gọi JavaScript mà không cần thiết lập hoặc lưu trữ. Sau khi được tải xuống, mô hình này có thể được gọi bởi tất cả các trang web sử dụng mô hình đó.
- Mô hình tuỳ chỉnh: Bạn có thể dùng các thư viện phía máy khách, chẳng hạn như Transformers.js và MediaPipe, để tích hợp các mô hình vào ứng dụng của mình. Điều này có nghĩa là bạn có thể kiểm soát trọng số của mô hình. Tuy nhiên, điều đó cũng có nghĩa là mọi người dùng trang web của bạn đều phải tải mô hình tuỳ chỉnh xuống. Ngay cả những mô hình AI nhỏ nhất cũng có kích thước lớn trong bối cảnh của một trang web.
AI phía máy chủ
Với AI phía máy chủ, ứng dụng web của bạn sẽ gọi một API để gửi dữ liệu đầu vào đến mô hình AI và nhận dữ liệu đầu ra của mô hình đó. Chế độ thiết lập này hỗ trợ các mô hình lớn hơn, phức tạp hơn và không phụ thuộc vào phần cứng của người dùng.
AI phía máy chủ có 2 danh mục:
- Dịch vụ được quản lý: Đây là những mô hình được bên thứ ba lưu trữ trong các trung tâm dữ liệu, chẳng hạn như Gemini 3 và GPT-5. Chủ sở hữu mô hình cung cấp một API để truy cập vào mô hình đó. Điều này có nghĩa là bạn có thể sử dụng các mô hình hiện đại mà không cần thiết lập nhiều. Những mô hình này rất phù hợp để tạo mẫu nhanh, đàm thoại không giới hạn và suy luận cho mục đích chung. Tuy nhiên, việc mở rộng quy mô trên một dịch vụ được quản lý có thể tốn kém.
- Mô hình tự lưu trữ: Bạn có thể triển khai các mô hình có trọng số mở, chẳng hạn như Gemma hoặc Llama, trên cơ sở hạ tầng của riêng bạn hoặc trong một vùng chứa được quản lý, chẳng hạn như Vertex AI hoặc Hugging Face Inference. Cách tiếp cận này có nghĩa là bạn có thể hưởng lợi từ quá trình huấn luyện trước do người tạo mô hình thực hiện, nhưng bạn vẫn duy trì quyền kiểm soát đối với mô hình, dữ liệu tinh chỉnh và hiệu suất.
Chọn một nền tảng ban đầu
Xem xét các đặc điểm kiến trúc của nền tảng AI và phân tích các điểm đánh đổi để quyết định chế độ thiết lập ban đầu.
Xác định các yêu cầu về kiến trúc
Với mỗi quyết định, bạn đều phải thoả hiệp. Hãy xem xét các đặc điểm chính xác định chi phí và giá trị của nền tảng AI:
- Sức mạnh của mô hình: Mức độ hiệu quả của mô hình đối với nhiều người dùng và tác vụ mà không cần điều chỉnh. Điều này thường tương quan với kích thước mô hình.
- Khả năng tuỳ chỉnh: Mức độ mà bạn có thể tinh chỉnh, sửa đổi hoặc kiểm soát hành vi và cấu trúc của mô hình.
- Độ chính xác: Chất lượng và độ tin cậy tổng thể của các dự đoán hoặc nội dung được tạo của mô hình.
- Quyền riêng tư: Mức độ mà dữ liệu người dùng được lưu trữ cục bộ và do người dùng kiểm soát.
- Chi phí cố định: Khoản chi phí định kỳ cần thiết để vận hành hệ thống AI, bất kể mức sử dụng, bao gồm cả việc cung cấp và bảo trì cơ sở hạ tầng.
- Chi phí cho mỗi yêu cầu: Chi phí bổ sung cho mỗi yêu cầu đến.
- Khả năng tương thích: Mức độ phổ biến của phương pháp này trên nhiều trình duyệt, thiết bị và môi trường mà không cần logic dự phòng.
- Sự thuận tiện cho người dùng: Liệu người dùng có cần thực hiện thêm các bước để sử dụng hệ thống AI hay không, chẳng hạn như tải một mô hình xuống.
- Sự thuận tiện cho nhà phát triển: Hầu hết nhà phát triển đều có thể triển khai, tích hợp và duy trì mô hình này một cách nhanh chóng và dễ dàng mà không cần kiến thức chuyên môn về AI.
Bảng sau đây đưa ra ví dụ về mức ước tính hiệu suất của từng nền tảng cho từng tiêu chí, trong đó 1 là thấp nhất và 5 là cao nhất.
| Tiêu chí | Khách hàng | Máy chủ | ||
| AI tích hợp hoặc trên thiết bị | Mô hình tuỳ chỉnh | Dịch vụ có quản lý | Mô hình tự lưu trữ | |
| Công suất của mô hình |
Tại sao chỉ có 2 sao cho sức mạnh của mô hình?AI tích hợp và AI trên thiết bị sử dụng các mô hình trình duyệt nhỏ, được tải sẵn và tối ưu hoá cho các tính năng hẹp, dành riêng cho từng tác vụ, thay vì cuộc trò chuyện hoặc hoạt động suy luận không giới hạn. |
Tại sao mô hình này chỉ có 3 sao?Các thư viện tuỳ chỉnh phía máy khách linh hoạt hơn AI tích hợp, nhưng bạn vẫn bị hạn chế về kích thước tải xuống, giới hạn bộ nhớ và phần cứng của người dùng. |
Tại sao lại là 4 sao cho công suất mô hình?Với các dịch vụ được quản lý và tính năng tự lưu trữ, bạn có thể truy cập vào các mô hình lớn, hiện đại, có khả năng suy luận phức tạp, xử lý ngữ cảnh dài và bao quát nhiều nhiệm vụ. |
|
| Khả năng tuỳ chỉnh |
Tại sao khả năng tuỳ chỉnh chỉ được đánh giá 1 sao?Các mô hình tích hợp sẵn không cho phép truy cập vào trọng số mô hình hoặc dữ liệu huấn luyện. Cách chính để tuỳ chỉnh hành vi của các mô hình này là thông qua kỹ thuật tạo câu lệnh |
Tại sao khả năng tuỳ chỉnh được đánh giá 5 sao?Lựa chọn này giúp bạn kiểm soát việc lựa chọn và trọng số của mô hình. Nhiều thư viện phía máy khách cũng cho phép tinh chỉnh và huấn luyện mô hình. |
Tại sao khả năng tuỳ chỉnh chỉ được đánh giá 1 sao?Các dịch vụ được quản lý cung cấp các mô hình mạnh mẽ nhưng có rất ít quyền kiểm soát đối với hành vi nội bộ của chúng. Việc tuỳ chỉnh thường chỉ giới hạn ở ngữ cảnh gợi ý và nhập. |
Tại sao lại đánh giá 5 sao cho Khả năng tuỳ chỉnh?Các mô hình tự lưu trữ cho phép bạn kiểm soát hoàn toàn trọng số mô hình, dữ liệu huấn luyện, tinh chỉnh và cấu hình triển khai. |
| Độ chính xác |
Tại sao độ chính xác chỉ có 2 sao?Độ chính xác của các mô hình tích hợp là đủ cho các tác vụ có phạm vi rõ ràng, nhưng kích thước mô hình và khả năng khái quát hoá có giới hạn sẽ làm giảm độ tin cậy đối với các đầu vào phức tạp hoặc tinh tế. |
Tại sao độ chính xác là 3 sao?Bạn có thể cải thiện độ chính xác của mô hình tuỳ chỉnh phía máy khách trong quy trình chọn mô hình. Tuy nhiên, hiệu suất vẫn bị hạn chế bởi kích thước mô hình, lượng tử hoá và tính biến thiên của phần cứng máy khách. |
Tại sao cần đánh giá 5 sao về độ chính xác?Các dịch vụ được quản lý thường có độ chính xác tương đối cao, nhờ các mô hình lớn, dữ liệu huấn luyện mở rộng và những điểm cải tiến liên tục của nhà cung cấp. |
Tại sao độ chính xác là 4 sao?Độ chính xác có thể cao, nhưng phụ thuộc vào mô hình đã chọn và nỗ lực điều chỉnh. Hiệu suất có thể chậm hơn so với các dịch vụ được quản lý. |
| Độ trễ mạng |
Tại sao độ trễ mạng lại được đánh giá 5 sao?Quá trình xử lý diễn ra trực tiếp trên thiết bị của người dùng. |
Tại sao độ trễ mạng chỉ được 2 sao?Có một chuyến đi khứ hồi đến máy chủ. |
||
| Quyền riêng tư |
Tại sao quyền riêng tư lại được đánh giá 5 sao?Theo mặc định, dữ liệu người dùng sẽ vẫn nằm trên thiết bị, giúp giảm thiểu nguy cơ lộ dữ liệu và đơn giản hoá việc tuân thủ quyền riêng tư. |
Tại sao quyền riêng tư chỉ được đánh giá 2 sao?Dữ liệu đầu vào của người dùng phải được gửi đến các máy chủ bên ngoài, làm tăng khả năng lộ dữ liệu và các yêu cầu tuân thủ. Tuy nhiên, có những giải pháp cụ thể để giảm thiểu các vấn đề về quyền riêng tư, chẳng hạn như Điện toán AI riêng tư. |
Tại sao quyền riêng tư được đánh giá 3 sao?Dữ liệu vẫn nằm trong quyền kiểm soát của tổ chức bạn, nhưng vẫn rời khỏi thiết bị của người dùng và yêu cầu các biện pháp xử lý và tuân thủ an toàn. |
|
| Chi phí cố định |
Tại sao chi phí cố định lại được đánh giá 5 sao?Các mô hình chạy trên thiết bị hiện có của người dùng, nên không mất thêm chi phí cơ sở hạ tầng. |
Tại sao chi phí cố định lại được đánh giá 5 sao?Hầu hết các API đều tính phí dựa trên mức sử dụng, nên không có chi phí cố định. |
Tại sao chi phí cố định lại có 2 sao?Chi phí cố định bao gồm cơ sở hạ tầng, hoạt động bảo trì và chi phí vận hành. |
|
| Chi phí cho mỗi yêu cầu |
Tại sao lại có 5 sao cho chi phí cho mỗi yêu cầu?Không có chi phí cho mỗi yêu cầu vì quá trình suy luận diễn ra trên thiết bị của người dùng. |
Tại sao chỉ có 2 sao cho chi phí cho mỗi yêu cầu?Các dịch vụ được quản lý thường có mức giá theo yêu cầu. Chi phí mở rộng quy mô có thể trở nên đáng kể, đặc biệt là khi lưu lượng truy cập cao. |
Tại sao chỉ có 3 sao cho chi phí cho mỗi yêu cầu?Không có chi phí trực tiếp cho mỗi yêu cầu; chi phí hiệu quả cho mỗi yêu cầu phụ thuộc vào mức sử dụng cơ sở hạ tầng. |
|
| Khả năng tương thích |
Tại sao khả năng tương thích chỉ được đánh giá 2 sao?Phạm vi cung cấp tuỳ thuộc vào trình duyệt và thiết bị, cần có các giải pháp dự phòng cho những môi trường không được hỗ trợ. |
Tại sao khả năng tương thích chỉ được đánh giá 1 sao?Khả năng tương thích phụ thuộc vào chức năng phần cứng và khả năng hỗ trợ thời gian chạy, hạn chế phạm vi tiếp cận trên các thiết bị. |
Tại sao khả năng tương thích lại được đánh giá 5 sao?Các nền tảng phía máy chủ tương thích rộng rãi với tất cả người dùng, vì suy luận diễn ra ở phía máy chủ và máy khách chỉ sử dụng một API. |
|
| Sự thuận tiện cho người dùng |
Tại sao lại đánh giá 3 sao cho sự thuận tiện của người dùng?Nhìn chung, tính năng này hoạt động liền mạch sau khi có sẵn, nhưng AI tích hợp yêu cầu tải mô hình ban đầu xuống và trình duyệt hỗ trợ. |
Tại sao lại đánh giá 2 sao cho sự thuận tiện của người dùng?Người dùng có thể gặp phải tình trạng chậm trễ do quá trình tải xuống hoặc phần cứng không được hỗ trợ. |
Tại sao lại đánh giá 4 sao cho sự thuận tiện của người dùng?Hoạt động ngay lập tức mà không cần tải xuống hoặc đáp ứng các yêu cầu về thiết bị, mang lại trải nghiệm mượt mà cho người dùng. Tuy nhiên, có thể xảy ra tình trạng trễ nếu kết nối mạng yếu. |
|
| Sự thuận tiện cho nhà phát triển |
Tại sao lại đánh giá 5 sao cho sự thuận tiện của nhà phát triển?AI tích hợp sẵn không yêu cầu thiết lập nhiều, không cần cơ sở hạ tầng và không cần nhiều kiến thức chuyên môn về AI, giúp bạn dễ dàng tích hợp và duy trì. |
Tại sao lại đánh giá 2 sao cho sự thuận tiện của nhà phát triển?Yêu cầu quản lý các mô hình, thời gian chạy, tối ưu hoá hiệu suất và khả năng tương thích trên các thiết bị. |
Tại sao bạn đánh giá 4 sao cho sự thuận tiện của nhà phát triển?Các dịch vụ được quản lý giúp đơn giản hoá việc triển khai và mở rộng quy mô. Tuy nhiên, bạn vẫn cần tích hợp API, quản lý chi phí và thiết kế câu lệnh. |
Tại sao lại đánh giá 1 sao cho sự thuận tiện của nhà phát triển?Việc triển khai tuỳ chỉnh phía máy chủ đòi hỏi chuyên môn đáng kể về cơ sở hạ tầng, quản lý mô hình, giám sát và tối ưu hoá. |
| Nỗ lực bảo trì |
Tại sao lại đánh giá 4 sao cho nỗ lực bảo trì?Trình duyệt xử lý việc cập nhật và tối ưu hoá mô hình, nhưng nhà phát triển phải thích ứng với tình trạng thay đổi về khả năng cung cấp. |
Tại sao nỗ lực bảo trì chỉ được 2 sao?Cần có các bản cập nhật liên tục cho mô hình, việc điều chỉnh hiệu suất và khả năng tương thích khi trình duyệt và thiết bị phát triển. |
Tại sao bạn đánh giá 5 sao cho nỗ lực bảo trì?Nhà cung cấp sẽ xử lý việc bảo trì. |
Tại sao nỗ lực bảo trì chỉ được 2 sao?Yêu cầu bảo trì liên tục, bao gồm cả việc cập nhật mô hình, quản lý cơ sở hạ tầng, mở rộng quy mô và bảo mật. |
Phân tích các lựa chọn đánh đổi
Để minh hoạ quy trình đưa ra quyết định, chúng ta sẽ thêm một tính năng khác vào Example Shoppe, một nền tảng thương mại điện tử cỡ trung. Bạn muốn tiết kiệm chi phí dịch vụ khách hàng ngoài giờ, vì vậy, bạn quyết định xây dựng một trợ lý dựa trên AI để trả lời câu hỏi của người dùng về đơn đặt hàng, việc trả lại hàng và sản phẩm.
Bạn có thể xem bản thiết kế đầy đủ về hệ thống AI, trong đó nêu bật cơ hội và giải pháp.
Phân tích tình huống bằng hai góc độ: yêu cầu về trường hợp sử dụng và các hạn chế về kinh doanh hoặc nhóm.
| Yêu cầu | Phân tích | Tiêu chí | Hàm ý |
| Độ chính xác cao và tính linh hoạt | Người dùng đặt nhiều câu hỏi phức tạp về đơn đặt hàng, sản phẩm và việc trả lại hàng. | Sức mạnh và độ chính xác của mô hình | Cần có mô hình ngôn ngữ lớn (LLM). |
| Tính cụ thể của dữ liệu | Bạn cần trả lời các câu hỏi cụ thể về dữ liệu, sản phẩm và chính sách của công ty. | Khả năng tuỳ chỉnh | Cần có quá trình nhập dữ liệu, chẳng hạn như RAG, nhưng không cần tinh chỉnh mô hình. |
| Yêu cầu | Phân tích | Tiêu chí | Hàm ý |
| Cơ sở người dùng | Hàng trăm nghìn người dùng. | Khả năng mở rộng, khả năng tương thích | Cần có một cấu trúc xử lý lưu lượng truy cập cao và đáng tin cậy. |
| Trọng tâm sau khi phát hành | Nhóm sẽ chuyển sang các dự án khác sau khi phiên bản 1 ra mắt. | Nỗ lực bảo trì | Cần một giải pháp không cần bảo trì liên tục. |
| Chuyên môn của nhóm | Nhà phát triển web có năng lực, nhưng ít kinh nghiệm về AI/ML | Sự thuận tiện cho nhà phát triển | Giải pháp phải dễ triển khai và tích hợp mà không cần kỹ năng chuyên môn về AI. |
Giờ đây, khi đã ưu tiên các tiêu chí, bạn có thể tham khảo bảng ước tính sự đánh đổi để xác định nền tảng nào phù hợp với tiêu chí có mức độ ưu tiên cao nhất của bạn:
Từ thông tin phân tích này, rõ ràng là bạn nên sử dụng AI phía máy chủ và có thể là một dịch vụ được quản lý. Điều này mang đến một mô hình linh hoạt cho các câu hỏi phức tạp của khách hàng. Việc này giúp giảm thiểu công sức bảo trì và phát triển bằng cách chuyển cơ sở hạ tầng, chất lượng mô hình và thời gian hoạt động cho nhà cung cấp.
Mặc dù khả năng tuỳ chỉnh bị hạn chế, nhưng đây là một sự đánh đổi đáng giá đối với nhóm phát triển web có ít kinh nghiệm về kỹ thuật mô hình.
Thiết lập tạo sinh tăng cường truy xuất (RAG) có thể giúp bạn cung cấp ngữ cảnh phù hợp cho mô hình tại thời điểm suy luận.
AI kết hợp
Các hệ thống AI hoàn thiện hiếm khi chạy trên một nền tảng duy nhất hoặc với một mô hình. Thay vào đó, họ phân phối các tải công việc AI để tối ưu hoá các điểm đánh đổi.
Nhận diện cơ hội cho AI kết hợp
Sau khi ra mắt, bạn nên tinh chỉnh các yêu cầu dựa trên dữ liệu và ý kiến phản hồi thực tế. Trong ví dụ của chúng tôi, Example Shoppe, bạn đợi vài tháng để phân tích kết quả và nhận thấy những điều sau:
- Khoảng 80% yêu cầu là yêu cầu lặp lại ("Đơn đặt hàng của tôi ở đâu?", "Làm cách nào để trả lại sản phẩm này?"). Việc gửi các yêu cầu này đến một dịch vụ được quản lý sẽ tạo ra nhiều chi phí và gánh nặng.
- Chỉ 20% yêu cầu đòi hỏi khả năng suy luận sâu hơn và một cuộc trò chuyện tương tác, không giới hạn.
Một mô hình cục bộ đơn giản có thể phân loại thông tin đầu vào của người dùng và trả lời các câu hỏi thường gặp, chẳng hạn như "Chính sách trả lại hàng của bạn là gì?" Bạn có thể chuyển các câu hỏi phức tạp, hiếm gặp hoặc mơ hồ đến mô hình phía máy chủ.
Bằng cách triển khai cả AI phía máy chủ và phía máy khách, bạn có thể giảm chi phí và độ trễ, đồng thời duy trì quyền truy cập vào khả năng suy luận mạnh mẽ khi cần.
Phân phối khối lượng công việc
Để xây dựng hệ thống kết hợp này cho Example Shoppe, bạn nên bắt đầu bằng cách xác định hệ thống mặc định. Trong trường hợp này, tốt nhất là bạn nên bắt đầu từ phía máy khách. Ứng dụng sẽ chuyển đến AI phía máy chủ trong hai trường hợp:
- Giải pháp dự phòng dựa trên khả năng tương thích: Nếu thiết bị hoặc trình duyệt của người dùng không xử lý được yêu cầu, thì yêu cầu đó sẽ được chuyển về máy chủ
- Tăng cấp dựa trên khả năng: Nếu yêu cầu quá phức tạp hoặc quá chung chung đối với mô hình phía máy khách (theo các tiêu chí được xác định trước), thì yêu cầu đó sẽ được chuyển đến một mô hình phía máy chủ lớn hơn. Bạn có thể sử dụng một mô hình để phân loại yêu cầu là phổ biến (bạn thực hiện tác vụ phía máy khách) hoặc không phổ biến (bạn gửi yêu cầu đến hệ thống phía máy chủ). Ví dụ: nếu mô hình phía máy khách xác định rằng câu hỏi liên quan đến một vấn đề không phổ biến, chẳng hạn như nhận tiền hoàn lại bằng một đơn vị tiền tệ khác.
Tính linh hoạt làm tăng độ phức tạp
Việc phân phối tải công việc giữa hai nền tảng giúp bạn linh hoạt hơn, nhưng cũng làm tăng độ phức tạp:
- Điều phối: Hai môi trường thực thi có nghĩa là có nhiều thành phần chuyển động hơn. Bạn cần có logic để định tuyến, thử lại và dự phòng.
- Tạo phiên bản: Nếu bạn sử dụng cùng một mô hình trên nhiều nền tảng, thì mô hình đó phải duy trì khả năng tương thích trên cả hai môi trường.
- Kỹ thuật tạo câu lệnh và kỹ thuật tạo bối cảnh: Nếu sử dụng các mô hình khác nhau trên mỗi nền tảng, bạn cần thực hiện kỹ thuật tạo câu lệnh cho từng mô hình.
- Giám sát: Nhật ký và chỉ số được tách riêng và cần thêm nỗ lực hợp nhất.
- Bảo mật: Bạn đang duy trì hai khu vực tấn công. Cả điểm cuối cục bộ và điểm cuối trên đám mây đều cần được tăng cường bảo mật.
Đây là một điểm đánh đổi khác mà bạn nên cân nhắc. Nếu có một nhóm nhỏ hoặc đang xây dựng một tính năng không thiết yếu, thì bạn có thể không muốn thêm sự phức tạp này.
Điểm cần nhớ
Hãy chuẩn bị cho việc lựa chọn nền tảng của bạn sẽ thay đổi. Bắt đầu từ trường hợp sử dụng, điều chỉnh cho phù hợp với kinh nghiệm và tài nguyên của nhóm, đồng thời lặp lại khi cả sản phẩm và AI của bạn đều phát triển. Nhiệm vụ của bạn là tìm ra sự kết hợp phù hợp giữa tốc độ, quyền riêng tư và quyền kiểm soát cho người dùng, sau đó xây dựng với một số tính linh hoạt. Bằng cách này, bạn có thể thích ứng với các yêu cầu thay đổi và hưởng lợi từ các bản cập nhật nền tảng và mô hình trong tương lai.
Tài nguyên
- Vì lựa chọn nền tảng và mô hình phụ thuộc lẫn nhau, hãy đọc thêm về lựa chọn mô hình.
- Đọc cách vượt ra ngoài đám mây bằng AI kết hợp và AI phía máy khách
Kiểm tra mức độ hiểu biết của bạn
Đâu là 2 yếu tố chính cần cân nhắc khi chọn một nền tảng AI cho ứng dụng của bạn?
Khi nào thì Dịch vụ được quản lý phía máy chủ (chẳng hạn như Gemini Pro) là lựa chọn tốt nhất cho nền tảng của bạn?
Lợi ích chính của việc triển khai hệ thống AI kết hợp là gì?