Dziękujemy za zainteresowanie konferencją Google I/O. Oglądanie treści na żądanie.

Wybierz platformę

Zanim zaczniesz korzystać z AI, musisz wybrać platformę, na której będzie ona hostowana. Twój wybór wpływa na szybkość, koszt, skalowalność i wiarygodność systemu AI. Możesz wybrać jedną z tych opcji:

AI po stronie klienta: działa bezpośrednio w przeglądarce. Oznacza to, że dane mogą pozostać prywatne na urządzeniu użytkownika i nie występuje opóźnienie sieci. Aby jednak działać skutecznie, AI po stronie klienta potrzebuje bardzo konkretnych, dobrze zdefiniowanych przypadków użycia.
AI po stronie serwera: działa w chmurze. Jest bardzo wydajny i skalowalny, ale wiąże się z większym czasem oczekiwania i kosztem.

Każda opcja ma swoje wady i zalety, a odpowiednia konfiguracja zależy od przypadku użycia, umiejętności zespołu i zasobów. Możesz na przykład oferować narzędzie do podsumowywania, które działa lokalnie, dzięki czemu użytkownicy mogą zadawać osobiste pytania bez konieczności zarządzania informacjami umożliwiającymi identyfikację. Pracownik obsługi klienta może jednak udzielać bardziej przydatnych odpowiedzi, korzystając z modelu opartego na chmurze, który ma dostęp do dużej bazy danych zasobów.

Z tego modułu dowiesz się, jak:

Porównaj zalety i wady AI po stronie klienta i po stronie serwera.
Dopasuj platformę do swojego przypadku użycia i możliwości zespołu.
Projektuj systemy hybrydowe, które oferują AI na urządzeniu klienta i serwerze, aby rozwijać się wraz z Twoim produktem.

Sprawdź opcje

W przypadku wdrażania platform AI należy wziąć pod uwagę 2 główne aspekty. Możesz wybrać:

Miejsce działania modelu: czy działa on po stronie klienta czy serwera?
Możliwość dostosowania: jak dużą kontrolę masz nad wiedzą i możliwościami modelu? Jeśli masz kontrolę nad modelem, czyli możesz modyfikować wagi modelu, możesz dostosować jego działanie do swoich konkretnych wymagań.

Przykłady modeli oparte na platformie i kontroli. — Ilustracja 1. Opcje platformy AI Platform, rozróżnione według platformy wdrożenia i poziomu kontroli.

AI po stronie klienta

Sztuczna inteligencja po stronie klienta działa w przeglądarce, a obliczenia są wykonywane lokalnie na urządzeniu użytkownika. Nie musisz zapewniać mocy obliczeniowej w czasie wnioskowania, a dane pozostają na urządzeniu użytkownika. Dzięki temu jest szybki, prywatny i odpowiedni do lekkich, interaktywnych treści.

Modele po stronie klienta są jednak zwykle dość małe, co może ograniczać ich możliwości i skuteczność. Najlepiej sprawdzają się w przypadku wysoce specjalistycznych zadań, takich jak wykrywanie toksyczności czy analiza nastawienia. Często są to zadania związane z AI predykcyjną o ograniczonej przestrzeni wyjściowej.

Dostępne są 2 główne opcje:

Wbudowana AI: przeglądarki, takie jak Google Chrome i Microsoft Edge, integrują modele AI. Są one dostępne za pomocą wywołań JavaScriptu i nie wymagają konfiguracji ani hostingu. Po pobraniu modelu mogą go wywoływać wszystkie witryny, które go używają.
Modele niestandardowe: możesz używać bibliotek po stronie klienta, takich jak Transformers.js i MediaPipe, aby zintegrować modele z aplikacją. Oznacza to, że możesz kontrolować wagi modelu. Oznacza to jednak również, że każdy użytkownik Twojej witryny musi pobrać Twój model niestandardowy. Nawet najmniejsze modele AI są duże w kontekście witryny.

AI po stronie serwera

W przypadku AI po stronie serwera aplikacja internetowa wywołuje interfejs API, aby wysyłać dane wejściowe do modelu AI i otrzymywać jego dane wyjściowe. Ta konfiguracja obsługuje większe i bardziej złożone modele oraz jest niezależna od sprzętu użytkownika.

Sztuczna inteligencja po stronie serwera dzieli się na 2 kategorie:

Usługi zarządzane: są to modele hostowane w centrach danych przez podmiot zewnętrzny, np. Gemini 3 i GPT-5. Właściciel modelu udostępnia interfejs API, który umożliwia dostęp do niego. Oznacza to, że możesz korzystać z najnowocześniejszych modeli przy minimalnej konfiguracji. Doskonale nadają się do szybkiego prototypowania, otwartych rozmów i ogólnego rozumowania. Skalowanie w przypadku usługi zarządzanej może być jednak kosztowne.
Modele hostowane samodzielnie: możesz wdrażać modele o otwartych wagach, takie jak Gemma lub Llama, we własnej infrastrukturze lub w zarządzanym kontenerze, np. Vertex AI lub Hugging Face Inference. Dzięki temu możesz korzystać z wstępnego trenowania wykonanego przez twórcę modelu, ale zachowujesz kontrolę nad modelem, danymi do dostrajania i wydajnością.

Wybierz platformę początkową

Sprawdź charakterystykę architektoniczną platform AI i przeanalizuj kompromisy, aby podjąć decyzję dotyczącą konfiguracji początkowej.

Określ wymagania dotyczące architektury

Przy każdej decyzji musisz iść na kompromis. Zapoznaj się z kluczowymi cechami, które określają koszt i wartość Twojej platformy AI:

Moc modelu: jak dobrze model radzi sobie w przypadku wielu użytkowników i zadań bez dostrajania. Często jest to powiązane z rozmiarem modelu.
Możliwość dostosowania: zakres, w jakim możesz dostrajać, modyfikować lub kontrolować zachowanie i architekturę modelu.
Dokładność: ogólna jakość i niezawodność prognoz lub generowanych treści modelu.
Prywatność: stopień, w jakim dane użytkownika pozostają lokalne i pod jego kontrolą.
Koszt stały: powtarzający się wydatek wymagany do obsługi systemu AI niezależnie od jego wykorzystania, w tym udostępnianie i utrzymanie infrastruktury.
Koszt żądania: dodatkowy koszt każdego żądania przychodzącego.
Zgodność: jak szeroko podejście działa w różnych przeglądarkach, na różnych urządzeniach i w różnych środowiskach bez logiki rezerwowej.
Wygoda użytkownika: czy użytkownicy muszą wykonywać dodatkowe czynności, aby korzystać z systemu AI, np. pobrać model.
Wygoda dla deweloperów: jak szybko i łatwo większość deweloperów może wdrażać, integrować i utrzymywać model bez specjalistycznej wiedzy z zakresu AI.

W tabeli poniżej znajdziesz przykładowe szacunki skuteczności poszczególnych platform w przypadku każdego kryterium. 1 oznacza najniższą, a 5 – najwyższą skuteczność.

Kryteria	Klient		serwer.
	Wbudowana AI lub na urządzeniu	Model niestandardowy	Usługa zarządzana	Model hostowany samodzielnie
Moc modelu	Dlaczego model ma 2 gwiazdki za moc? Wbudowana i działająca na urządzeniu AI korzysta z małych, wstępnie załadowanych modeli przeglądarki zoptymalizowanych pod kątem wąskich, konkretnych funkcji, a nie otwartych rozmów czy wyciągania wniosków.	Dlaczego model ma 3 gwiazdki za moc? Niestandardowe biblioteki po stronie klienta oferują większą elastyczność niż wbudowana AI, ale nadal obowiązują w ich przypadku ograniczenia dotyczące rozmiaru pobierania, limitów pamięci i sprzętu użytkownika.	Dlaczego model ma 4 gwiazdki za moc? W przypadku usług zarządzanych i samodzielnego hostingu masz dostęp do dużych, zaawansowanych modeli, które potrafią przeprowadzać złożone rozumowanie, obsługiwać długie konteksty i wykonywać wiele różnych zadań.
Możliwość dostosowania	Dlaczego dostosowywanie ma 1 gwiazdkę? Wbudowane modele nie umożliwiają dostępu do wag modelu ani danych treningowych. Głównym sposobem dostosowywania ich działania jest inżynieria promptów.	Dlaczego dostosowywanie oceniamy na 5 gwiazdek? Ta opcja daje Ci kontrolę nad wyborem modeli i ich wagami. Wiele bibliotek po stronie klienta umożliwia też dostrajanie i trenowanie modeli.	Dlaczego dostosowywanie ma 1 gwiazdkę? Usługi zarządzane udostępniają zaawansowane modele, ale zapewniają minimalną kontrolę nad ich wewnętrznym działaniem. Dostosowywanie jest zwykle ograniczone do promptów i kontekstu danych wejściowych.	Dlaczego 5 gwiazdek za możliwość dostosowania? Modele hostowane samodzielnie zapewniają pełną kontrolę nad wagami modelu, danymi treningowymi, dostrajaniem i konfiguracją wdrożenia.
Dokładność	Dlaczego dokładność oceniono na 2 gwiazdki? Dokładność wbudowanych modeli jest wystarczająca w przypadku dobrze zdefiniowanych zadań, ale ograniczony rozmiar modelu i uogólnianie zmniejszają niezawodność w przypadku złożonych lub zniuansowanych danych wejściowych.	Dlaczego dokładność jest oznaczona 3 gwiazdkami? Dokładność niestandardowego modelu po stronie klienta można zwiększyć w procesie wyboru modelu. Jest on jednak ograniczony rozmiarem modelu, kwantyzacją i zmiennością sprzętu klienta.	Dlaczego 5 gwiazdek za dokładność? Usługi zarządzane zwykle oferują stosunkowo wysoką dokładność dzięki dużym modelom, obszernym danym treningowym i ciągłemu ulepszaniu przez dostawcę.	Dlaczego dokładność oceniono na 4 gwiazdki? Dokładność może być wysoka, ale zależy od wybranego modelu i nakładu pracy poświęconego na dostrajanie. Wydajność może być niższa niż w przypadku usług zarządzanych.
Opóźnienie sieciowe	Dlaczego opóźnienie sieci ma 5 gwiazdek? Przetwarzanie odbywa się bezpośrednio na urządzeniu użytkownika.		Dlaczego opóźnienie sieci ma 2 gwiazdki? Wymaga to podróży w obie strony do serwera.
Prywatność	Dlaczego 5 gwiazdek za prywatność? Dane użytkownika powinny domyślnie pozostawać na urządzeniu, co minimalizuje ryzyko ich ujawnienia i ułatwia zachowanie zgodności z zasadami ochrony prywatności.		Dlaczego 2 gwiazdki za prywatność? Dane wprowadzane przez użytkowników muszą być wysyłane na serwery zewnętrzne, co zwiększa ryzyko ujawnienia danych i wymagania dotyczące zgodności. Istnieją jednak konkretne rozwiązania, które pozwalają ograniczyć problemy związane z prywatnością, np. Private AI Compute.	Dlaczego 3 gwiazdki za prywatność? Dane pozostają pod kontrolą organizacji, ale nadal opuszczają urządzenie użytkownika i wymagają bezpiecznego przetwarzania oraz środków zapewniających zgodność z przepisami.
Stały koszt	Dlaczego 5 gwiazdek w przypadku stałych kosztów? Modele działają na urządzeniach użytkowników, więc nie ma dodatkowych kosztów infrastruktury.		Dlaczego 5 gwiazdek w przypadku stałych kosztów? Większość interfejsów API pobiera opłaty na podstawie wykorzystania, więc nie ma stałych kosztów.	Dlaczego koszt stały ma 2 gwiazdki? Koszty stałe obejmują infrastrukturę, konserwację i nakład pracy związany z działaniem.
Koszt żądania	Dlaczego w przypadku kosztu za żądanie przyznano 5 gwiazdek? Nie ma kosztów związanych z poszczególnymi żądaniami, ponieważ wnioskowanie odbywa się na urządzeniu użytkownika.		Dlaczego w przypadku kosztu za żądanie przyznano 2 gwiazdki? Usługi zarządzane mają zwykle ceny za żądanie. Koszty skalowania mogą być znaczne, zwłaszcza przy dużym natężeniu ruchu.	Dlaczego kosztowi za żądanie przyznano 3 gwiazdki? Brak bezpośrednich kosztów za żądanie. Efektywny koszt za żądanie zależy od wykorzystania infrastruktury.
Zgodność	Dlaczego zgodność oceniono na 2 gwiazdki? Dostępność zależy od przeglądarki i urządzenia, dlatego w nieobsługiwanych środowiskach wymagane są rozwiązania zastępcze.	Dlaczego ocena zgodności to 1 gwiazdka? Zgodność zależy od możliwości sprzętowych i obsługi środowiska wykonawczego, co ogranicza zasięg na różnych urządzeniach.	Dlaczego 5 gwiazdek za zgodność? Platformy po stronie serwera są w dużej mierze kompatybilne ze wszystkimi użytkownikami, ponieważ wnioskowanie odbywa się po stronie serwera, a klienci korzystają tylko z interfejsu API.
Wygoda użytkownika	Dlaczego wygoda użytkownika została oceniona na 3 gwiazdki? Gdy ta funkcja jest dostępna, działa zwykle bezproblemowo, ale wbudowana AI wymaga początkowego pobrania modelu i obsługi przeglądarki.	Dlaczego wygoda użytkownika została oceniona na 2 gwiazdki? Użytkownicy mogą napotkać opóźnienia z powodu pobierania lub nieobsługiwanego sprzętu.	Dlaczego wygoda użytkownika została oceniona na 4 gwiazdki? Działa od razu, bez konieczności pobierania plików ani spełniania wymagań dotyczących urządzenia, co zapewnia płynną obsługę. Jeśli jednak połączenie sieciowe jest słabe, może wystąpić opóźnienie.
Wygoda dla programistów	Dlaczego wygoda dewelopera została oceniona na 5 gwiazdek? Wbudowana AI wymaga minimalnej konfiguracji, nie potrzebuje infrastruktury i nie wymaga specjalistycznej wiedzy z zakresu AI, dzięki czemu jest łatwa w integracji i utrzymaniu.	Dlaczego wygoda dewelopera została oceniona na 2 gwiazdki? Wymaga zarządzania modelami, środowiskami wykonawczymi, optymalizacją wydajności i zgodnością na różnych urządzeniach.	Dlaczego wygoda dewelopera została oceniona na 4 gwiazdki? Usługi zarządzane upraszczają wdrażanie i skalowanie. Wymagają one jednak integracji z interfejsem API, zarządzania kosztami i inżynierii promptów.	Dlaczego 1 gwiazdka za wygodę dewelopera? Wdrożenie niestandardowe po stronie serwera wymaga znacznej wiedzy z zakresu infrastruktury, zarządzania modelami, monitorowania i optymalizacji.
Nakład pracy związany z konserwacją	Dlaczego przy nakładzie pracy związanym z konserwacją przyznano 4 gwiazdki? Przeglądarki obsługują aktualizacje i optymalizację modeli, ale deweloperzy muszą dostosowywać się do zmieniającej się dostępności.	Dlaczego przyznano 2 gwiazdki za wysiłek związany z konserwacją? Wymaga ciągłych aktualizacji modeli, dostrajania wydajności i zgodności w miarę rozwoju przeglądarek i urządzeń.	Dlaczego przyznano 5 gwiazdek za wysiłek związany z konserwacją? Konserwacją zajmuje się dostawca.	Dlaczego przyznano 2 gwiazdki za wysiłek związany z konserwacją? Wymaga ciągłej obsługi, w tym aktualizacji modelu, zarządzania infrastrukturą, skalowania i zabezpieczeń.

Analizowanie kompromisów

Aby zilustrować proces podejmowania decyzji, dodamy kolejną funkcję do Example Shoppe, średniej wielkości platformy e-commerce. Chcesz obniżyć koszty obsługi klienta poza godzinami pracy, więc decydujesz się na stworzenie asystenta opartego na AI, który będzie odpowiadać na pytania użytkowników dotyczące zamówień, zwrotów i produktów.

Rysunek 2. W tej części skupiamy się głównie na warstwie danych i inteligencji w projekcie systemu AI dla Example Shoppe.
Możesz zapoznać się z pełnym planem systemu AI, który zawiera opis możliwości i rozwiązania.

Przeanalizuj scenariusz z 2 perspektyw: wymagań dotyczących przypadku użycia oraz ograniczeń biznesowych lub zespołowych.

Wymagania dotyczące przypadków użycia
Wymaganie	Analiza	Kryteria	Implikacja
Wysoka dokładność i wszechstronność	Użytkownicy zadają różne złożone pytania dotyczące zamówień, produktów i zwrotów.	Moc i dokładność modelu	Wymaga dużego modelu językowego (LLM).
Specyficzność danych	Musi odpowiadać na pytania dotyczące danych, produktów i zasad firmy.	Możliwość dostosowywania	Wymaga pozyskiwania danych, np. RAG, ale nie dostrajania modelu.

Ograniczenia dotyczące firmy lub zespołu
Wymaganie	Analiza	Kryteria	Implikacja
Baza użytkowników	Setki tysięcy użytkowników.	Skalowalność, zgodność	Wymaga architektury, która obsługuje duży, niezawodny ruch.
Działania po wprowadzeniu na rynek	Po wprowadzeniu wersji 1 zespół przejdzie do innych projektów.	Nakład pracy związany z konserwacją	Potrzebujesz rozwiązania, które wymaga minimalnego nakładu pracy przy bieżącym utrzymaniu.
Wiedza zespołu	Doświadczeni programiści stron internetowych, niewielka wiedza o AI/ML	Wygoda programistów	Rozwiązanie musi być łatwe do wdrożenia i zintegrowania bez specjalistycznych umiejętności w zakresie AI.

Po ustaleniu priorytetów kryteriów możesz sprawdzić w tabeli szacowania kompromisów, która platforma spełnia Twoje kryteria o najwyższym priorytecie:

Kryteria priorytetowe	Zwycięzca na platformie
Moc modelu	Po stronie serwera
Możliwość dostosowywania	Po stronie serwera: model hostowany lokalnie
Wygoda programistów	Po stronie serwera: usługa zarządzana
Nakład pracy związany z konserwacją	Po stronie serwera: usługa zarządzana
Zgodność i skalowalność	Po stronie serwera

Z tego podziału jasno wynika, że należy używać AI po stronie serwera, a prawdopodobnie także usługi zarządzanej. Dzięki temu uzyskasz wszechstronny model do odpowiadania na skomplikowane pytania klientów. Minimalizuje to wysiłek związany z konserwacją i rozwojem, ponieważ dostawca odpowiada za infrastrukturę, jakość modelu i czas działania.

Chociaż możliwości dostosowywania są ograniczone, jest to opłacalny kompromis dla zespołu ds. tworzenia stron internetowych, który ma niewielkie doświadczenie w zakresie inżynierii modeli.

Konfiguracja generowania rozszerzonego przez wyszukiwanie w zapisanych informacjach (RAG) może pomóc w dostarczaniu odpowiedniego kontekstu do modelu w czasie wnioskowania.

Hybrydowa AI

Zaawansowane systemy AI rzadko działają na jednej platformie lub z jednym modelem. Zamiast tego rozdzielają zadania AI, aby zoptymalizować kompromisy.

Znajdowanie możliwości wykorzystania hybrydowej AI

Po uruchomieniu usługi należy dopracować wymagania na podstawie rzeczywistych danych i opinii. W naszym przykładzie, Example Shoppe, czekasz kilka miesięcy, aby przeanalizować wyniki i stwierdzić, że:

Około 80% zgłoszeń się powtarza („Gdzie jest moje zamówienie?”, „Jak mogę zwrócić ten produkt?” Wysyłanie tych żądań do usługi zarządzanej generuje duże obciążenie i koszty.
Tylko 20% zapytań wymaga głębszego uzasadnienia i otwartej, interaktywnej rozmowy.

Lekki model lokalny może klasyfikować dane wejściowe użytkownika i odpowiadać na rutynowe zapytania, np. „Jakie są zasady zwrotów?”. Złożone, rzadkie lub niejednoznaczne pytania możesz kierować do modelu po stronie serwera.

Dzięki wdrożeniu AI po stronie serwera i po stronie klienta możesz obniżyć koszty i opóźnienia, a jednocześnie w razie potrzeby zachować dostęp do zaawansowanego wnioskowania.

Rozdzielanie zadań

Aby zbudować ten hybrydowy system dla Example Shoppe, zacznij od zdefiniowania systemu domyślnego. W takim przypadku najlepiej zacząć od strony klienta. Aplikacja powinna kierować żądania do AI po stronie serwera w 2 przypadkach:

Wycofywanie się na podstawie zgodności: jeśli urządzenie lub przeglądarka użytkownika nie mogą obsłużyć żądania, powinny wycofać się na serwer.
Eskalacja na podstawie możliwości: jeśli żądanie jest zbyt złożone lub otwarte dla modelu po stronie klienta (zgodnie z określonymi wcześniej kryteriami), powinno zostać przekazane do większego modelu po stronie serwera. Możesz użyć modelu do sklasyfikowania żądania jako typowego, aby wykonać zadanie po stronie klienta, lub nietypowego, aby wysłać żądanie do systemu po stronie serwera. Na przykład jeśli model po stronie klienta stwierdzi, że pytanie dotyczy nietypowego problemu, np. uzyskania zwrotu środków w innej walucie.

Elastyczność zwiększa złożoność

Rozdzielanie zadań między 2 platformy zwiększa elastyczność, ale też złożoność:

Orkiestracja: 2 środowiska wykonawcze oznaczają więcej elementów. Potrzebujesz logiki do wyznaczania tras, ponawiania prób i przełączania się na alternatywne rozwiązania.
Wersjonowanie: jeśli używasz tego samego modelu na różnych platformach, musi on zachować zgodność w obu środowiskach.
Inżynieria promptów i inżynieria kontekstu: jeśli na każdej platformie używasz innego modelu, musisz przeprowadzić inżynierię promptów dla każdego z nich.
Monitorowanie: dzienniki i dane są rozdzielone i wymagają dodatkowego ujednolicenia.
Bezpieczeństwo: utrzymujesz 2 obszary ataku. Zarówno lokalne, jak i chmurowe punkty końcowe wymagają wzmocnienia.

To kolejna kwestia, którą warto rozważyć. Jeśli masz mały zespół lub tworzysz funkcję, która nie jest niezbędna, możesz nie chcieć dodawać tego poziomu złożoności.

Wnioski

Pamiętaj, że wybór platformy może się zmieniać. Zacznij od przypadku użycia, dopasuj go do doświadczenia i zasobów zespołu, a następnie wprowadzaj zmiany w miarę rozwoju produktu i dojrzewania AI. Twoim zadaniem jest znalezienie odpowiedniego połączenia szybkości, prywatności i kontroli dla użytkowników, a następnie stworzenie elastycznego rozwiązania. Dzięki temu możesz dostosowywać się do zmieniających się wymagań i korzystać z przyszłych aktualizacji platformy i modelu.

Zasoby

Wybór platformy i modelu jest od siebie zależny, więc dowiedz się więcej o wybieraniu modelu.
Dowiedz się, jak wykorzystać AI hybrydową i po stronie klienta.