Jak firma Tokopedia obniżyła koszty operacyjne, ulepszając swoją aplikację internetową sprzedawcy za pomocą systemów uczących się

Dendi Sunardi
Dendi Sunardi
Geoffrey Prasetyo
Geoffrey Prasetyo
Swetha Gopalakrishnan
Swetha Gopalakrishnan

Tokopedia to indonezyjska firma technologiczna, która prowadzi jedną z największych platform e-commerce. Na platformie tej dostępnych jest ponad 40 produktów cyfrowych i ponad 14 milionów zarejestrowanych sprzedawców.

Mitra Tokopedia, część działalności Tokopedia, to aplikacja internetowa, która pomaga właścicielom małych firm sprzedawać produkty cyfrowe, takie jak kupony na gry i doładowania, pakiety danych, tokeny energii elektrycznej, rachunki za krajową opiekę zdrowotną i inne. Witryna jest jednym z głównych kanałów dla sprzedawców Mitra Tokopedia w ponad 700 miastach, dlatego zapewnienie płynnego działania jest kluczowe.

Kluczowym krokiem w procesie rejestracji jest weryfikacja tożsamości sprzedawców. Aby przejść proces weryfikacji, sprzedawca musi przesłać swój dokument tożsamości oraz selfie z tym dokumentem. Ten proces jest nazywany „Poznaj swojego klienta” (PSK).

Dzięki dodaniu funkcji uczenia maszynowego do tego kluczowego procesu KYC w aplikacji internetowej firma Mitra Tokopedia mogła zapewnić użytkownikom lepsze wrażenia i zmniejszyć liczbę nieudanych weryfikacji o ponad 20%. Udało się też obniżyć koszty operacyjne dzięki zmniejszeniu liczby ręcznych zatwierdzeń o prawie 70%.

Wyzwanie

Większość danych KYC była odrzucana, co powodowało, że zespół operacyjny otrzymywał tysiące zgłoszeń tygodniowo dotyczących ręcznej weryfikacji. Powodowało to nie tylko wysokie koszty operacyjne, ale też negatywnie wpływało na wrażenia sprzedawców, których proces weryfikacji się opóźniał. Najczęstszym powodem odrzucenia było to, że sprzedawcy nie przesyłali prawidłowo selfie z dowodem tożsamości. Firma Mitra Tokopedia chciała rozwiązać ten problem w sposób skalowalny, korzystając z nowoczesnych funkcji internetowych.

Rozwiązanie

Zespół Tokopedia postanowił rozwiązać ten problem za pomocą uczenia maszynowego i TensorFlow.js na samym początku procesu KYC, czyli podczas przesyłania zdjęć przez użytkownika. Wykorzystali MediaPipe i bibliotekę wykrywania twarzy TensorFlow, aby wykrywać twarz sprzedawcy na podstawie 6 kluczowych punktów, gdy sprzedawca przesyła dowód tożsamości i zdjęcia selfie. Wyniki modelu są następnie porównywane z kryteriami akceptacji. Po pomyślnej weryfikacji informacje są wysyłane do backendu. Jeśli weryfikacja się nie powiedzie, sprzedawca otrzyma komunikat o błędzie i opcję ponownej próby. Zastosowano podejście hybrydowe, w którym model wykonuje wnioskowanie na urządzeniu lub po stronie serwera, w zależności od specyfikacji telefonu. Urządzenie niższej klasy będzie wykonywać wnioskowanie na serwerze.

Użycie modelu ML na wczesnym etapie procesu KYC pozwala:

  • Zmniejszenie odsetka odrzuceń w procesie KYC.
  • Ostrzegaj użytkowników o możliwym odrzuceniu ich zdjęć na podstawie jakości ocenionej przez model.

Dlaczego warto wybrać uczenie maszynowe, a nie inne rozwiązania?

Uczenie maszynowe może automatyzować powtarzalne zadania, które w przeciwnym razie byłyby czasochłonne lub niepraktyczne do wykonania ręcznie. W przypadku Tokopedii optymalizacja obecnego rozwiązania bez uczenia maszynowego nie przyniosła znaczących wyników, podczas gdy rozwiązanie oparte na uczeniu maszynowym mogło znacznie zmniejszyć obciążenie zespołu operacyjnego, który musiał ręcznie przetwarzać tysiące zatwierdzeń tygodniowo. Dzięki rozwiązaniu opartemu na uczeniu maszynowym sprawdzanie obrazów może odbywać się niemal natychmiast, co zapewnia lepsze wrażenia użytkowników i zwiększa wydajność operacyjną. Dowiedz się więcej o formułowaniu problemu, aby określić, czy uczenie maszynowe jest odpowiednim rozwiązaniem Twojego problemu.

Co należy wziąć pod uwagę przy wyborze modelu

Podczas wyboru modelu ML uwzględniono te czynniki.

Koszt

ocenili ogólny koszt korzystania z modelu. Ponieważ TensorFlow.js to pakiet open source, który jest dobrze utrzymywany przez Google, oszczędzamy na kosztach licencji i utrzymania. Dodatkową kwestią jest koszt wnioskowania. Możliwość uruchamiania wnioskowania po stronie klienta pozwala zaoszczędzić sporo pieniędzy w porównaniu z przetwarzaniem po stronie serwera z użyciem drogich procesorów GPU, zwłaszcza jeśli dane okażą się nieprawidłowe i nieprzydatne.

Skalowalność

Uwzględniono skalowalność modelu i technologii. Czy poradzi sobie ze wzrostem ilości danych i złożoności modelu w miarę rozwoju projektu? Czy można go rozszerzyć, aby obsługiwał inne projekty lub przypadki użycia? Przetwarzanie na urządzeniu pomaga, ponieważ model może być hostowany w sieci CDN i dostarczany po stronie klienta, co jest bardzo skalowalne.

Wydajność

Wzięli pod uwagę rozmiar biblioteki (w KB) i czas oczekiwania procesu środowiska wykonawczego. Większość użytkowników Mitra Tokopedia ma urządzenia ze średniej lub niższej półki, które zapewniają umiarkowaną szybkość internetu i jakość połączenia. Dlatego wydajność pod względem pobierania i czasu działania (czyli szybkości, z jaką model może wygenerować dane wyjściowe) jest najwyższym priorytetem, aby zaspokoić ich konkretne potrzeby i zapewnić im doskonałe wrażenia.

Inne uwagi

Zgodność z przepisami: firma musiała się upewnić, że wybrana biblioteka jest zgodna z odpowiednimi przepisami dotyczącymi ochrony danych i prywatności.

Umiejętności: oceniono wiedzę i umiejętności zespołu. Niektóre platformy i biblioteki uczenia maszynowego mogą wymagać określonych języków programowania lub wiedzy specjalistycznej w danym obszarze. Dzięki uwzględnieniu tych czynników podjęli świadomą decyzję przy wyborze odpowiedniego modelu do projektu uczenia maszynowego.

Wybrana technologia

Po rozważeniu tych czynników firma uznała, że TensorFlow.js spełnia jej potrzeby. Może działać w pełni na urządzeniu, korzystając z backendu WebGL do używania GPU urządzenia. Uruchomienie modelu na urządzeniu umożliwia szybsze przekazywanie informacji zwrotnych użytkownikowi dzięki mniejszym opóźnieniom serwera i obniża koszty obliczeniowe serwera. Więcej informacji o systemach uczących się na urządzeniu znajdziesz w artykule Zalety i ograniczenia systemów uczących się na urządzeniu.

TensorFlow.js to biblioteka uczenia maszynowego typu open source od Google przeznaczona dla programistów JavaScriptu, która może działać po stronie klienta w przeglądarce. To najbardziej dojrzała opcja dla AI w internecie z kompleksową obsługą operatorów backendu WebGL, WebAssembly i WebGPU, którą można wykorzystać w przeglądarce, aby uzyskać wysoką wydajność”. – How Adobe used Web ML with TensorFlow.js to enhance Photoshop for web

Implementacja techniczna

Mitra Tokopedia wykorzystuje MediaPipe i bibliotekę wykrywania twarzy TensorFlow, czyli pakiet, który udostępnia modele do wykrywania twarzy w czasie rzeczywistym. W tym rozwiązaniu wykorzystano model MediaPipeFaceDetector-TFJS dostępny w tej bibliotece, który implementuje środowisko wykonawcze tfjs.

Zanim przejdziemy do implementacji, krótko przypomnijmy, czym jest MediaPipe. MediaPipe umożliwia tworzenie i wdrażanie rozwiązań ML na urządzeniach mobilnych (Android, iOS), w internecie, na komputerach, urządzeniach brzegowych i IoT.

W momencie pisania tego posta MediaPipe oferuje 14 różnych rozwiązań. Możesz użyć środowiska wykonawczego mediapipe lub tfjs. Środowisko wykonawcze tfjs jest oparte na języku JavaScript i udostępnia pakiet JavaScript, który aplikacja internetowa może pobrać z zewnątrz. Różni się to od środowiska wykonawczego mediapipe, które jest tworzone w C++ i kompilowane do modułu WebAssembly. Główne różnice dotyczą wydajności, możliwości debugowania i tworzenia pakietów. Pakiet JavaScriptu można połączyć z klasycznymi pakietami, takimi jak webpack. Z kolei moduł Wasm jest większym i osobnym zasobem binarnym (co jest łagodzone przez to, że nie jest zależnością czasu wczytywania) i wymaga innego przepływu pracy debugowania Wasm. Jednak działa szybciej, co pomaga spełnić wymagania techniczne i wydajnościowe.

Diagram przedstawiający działanie modeli MediaPipe i TensorFlow w różnych środowiskach wykonawczych na przykładzie wykrywania twarzy.
Ogólna ilustracja przedstawiająca działanie modeli MediaPipe i TensorFlow w różnych środowiskach wykonawczych na przykładzie FaceDetection

Wracając do implementacji Tokopedia, pierwszym krokiem jest zainicjowanie modelu w następujący sposób. Gdy użytkownik przesyła zdjęcie, do detektora przekazywany jest obiekt HTMLImageElement.

// Create the detector.
const model = faceDetection.SupportedModels.MediaPipeFaceDetector;
const detectorConfig = {
  runtime: 'tfjs'
};

const detector = await faceDetection.createDetector(model, detectorConfig);

// Run inference to start detecting faces.
const estimationConfig = {flipHorizontal: false};
const faces = await detector.estimateFaces(image, estimationConfig);

Wynik listy twarzy zawiera wykryte twarze dla każdej twarzy na obrazie. Jeśli model nie wykryje żadnych twarzy, lista będzie pusta. W przypadku każdej twarzy zawiera ramkę ograniczającą wykrytą twarz oraz tablicę 6 punktów kluczowych wykrytej twarzy. Obejmuje to takie elementy jak oczy, nos i usta. Każdy kluczowy punkt zawiera współrzędne x i y oraz nazwę.

[
  {
    box: {
      xMin: 304.6476503248806,
      xMax: 502.5079975897382,
      yMin: 102.16298762367356,
      yMax: 349.035215984403,
      width: 197.86034726485758,
      height: 246.87222836072945
    },
    keypoints: [
      {x: 446.544237446397, y: 256.8054528661723, name: "rightEye"},
      {x: 406.53152857172876, y: 255.8, "leftEye },
      ...
    ],
  }
]

box reprezentuje ramkę ograniczającą twarzy w przestrzeni pikseli obrazu, przy czym xMin, xMax oznaczają granice osi X, yMin, yMax oznaczają granice osi Y, a width, height to wymiary ramki ograniczającej. W przypadku keypoints, x i y reprezentują rzeczywistą pozycję kluczowego punktu w przestrzeni pikseli obrazu. name zawiera etykietę kluczowego punktu, którym jest odpowiednio 'rightEye', 'leftEye', 'noseTip', 'mouthCenter', 'rightEarTragion' i 'leftEarTragion'. Jak wspomniano na początku tego posta, aby przejść weryfikację, sprzedawca musi przesłać swój dowód tożsamości oraz selfie z tym dokumentem. Dane wyjściowe modelu są następnie porównywane z kryteriami akceptacji, czyli 6 wspomnianymi wcześniej kluczowymi punktami, które muszą być zgodne, aby dokument tożsamości i zdjęcie selfie zostały uznane za prawidłowe.

Po pomyślnej weryfikacji odpowiednie informacje o sprzedawcy są przekazywane do backendu. Jeśli weryfikacja się nie powiedzie, sprzedawca otrzyma komunikat o błędzie i opcję ponownej próby. Żadne informacje nie zostaną wysłane do backendu.

Schemat przedstawiający stronę Mitra KYC, model TensorFlow.js i serwer, które wchodzą ze sobą w interakcje.
Jak strona Mitra KYC, model TensorFlow.js i serwer współdziałają ze sobą

Uwagi dotyczące wydajności na urządzeniach niższej klasy

Ten pakiet ma tylko 24,8 KB (po zmniejszeniu i skompresowaniu), co nie wpływa znacząco na czas pobierania. Jednak w przypadku urządzeń niższej klasy przetwarzanie w czasie działania zajmuje dużo czasu. Dodano dodatkową logikę, która sprawdza pamięć RAM i procesor urządzenia przed przekazaniem 2 obrazów do modelu uczenia maszynowego do wykrywania twarzy.

Jeśli urządzenie ma więcej niż 4 GB pamięci RAM, połączenie sieciowe szybsze niż 4G i procesor z ponad 6 rdzeniami, obrazy są przekazywane do modelu na urządzeniu w celu weryfikacji twarzy. Jeśli te wymagania nie są spełnione, model na urządzeniu jest pomijany, a obrazy są wysyłane bezpośrednio na serwer w celu weryfikacji przy użyciu podejścia hybrydowego, które obsługuje te starsze urządzenia. Z czasem, wraz z rozwojem sprzętu, coraz więcej urządzeń będzie mogło odciążać serwer od obliczeń.

Wpływ

Dzięki integracji z systemami uczenia maszynowego firma Tokopedia skutecznie rozwiązała problem wysokiego współczynnika odrzuceń i uzyskała następujące wyniki:

  • Współczynnik odrzuceń spadł o ponad 20%.
  • Liczba zatwierdzeń ręcznych spadła o prawie 70%.

Dzięki temu nie tylko poprawiliśmy wrażenia sprzedawców, ale też obniżyliśmy koszty operacyjne zespołu Tokopedia.

Podsumowanie

Ogólnie wyniki tego studium przypadku pokazały, że w odpowiednich przypadkach użycia rozwiązania ML na urządzeniu w internecie mogą być przydatne do poprawy wrażeń użytkowników i skuteczności funkcji, a także do obniżenia kosztów i uzyskania innych korzyści biznesowych.

Wypróbuj funkcję wykrywania twarzy MediaPipe, korzystając z MediaPipe Studio i przykładowego kodu detektora twarzy MediaPipe w internecie.

Jeśli chcesz rozszerzyć możliwości swojej aplikacji internetowej za pomocą uczenia maszynowego na urządzeniu, zapoznaj się z tymi materiałami: