Testowanie i monitorowanie pozwalają sprawdzić, jak agenci AI w monday service obsługują zgłoszenia przed ich użyciem przez osoby zgłaszające i po nim. W tym artykule wyjaśniamy, jak Service AI Supervisor kieruje zgłoszenia i z jakich zestawów instrukcji korzysta, jak przetestować całą konfigurację, jak śledzić wyniki działania AI na tablicy zgłoszeń i jak analizować wydajność. Zanim zaczniesz testowanie, skonfiguruj zespoły i agentów zgodnie z instrukcjami w artykule Pierwsze kroki z agentami AI w monday service.

Service AI Supervisor

Service AI Supervisor kieruje każde zgłoszenie do odpowiedniego agenta lub eksperta i pokazuje, jak dobrze dopasowywane są zgłoszenia. Aby go otworzyć, wybierz Agenci (Agents) w lewym panelu, przejdź do karty Agenci usług (Service agents) i przewiń do sekcji Operacje serwisowe (Service Ops). W sekcji Operacje serwisowe znajdziesz Supervisor, Asystenta wiedzy (Knowledge Assistant) i Service Sidekick. Na karcie Supervisora widać współczynnik dopasowania i status. Wybierz Supervisor, aby go otworzyć:

Gdy pojawi się zgłoszenie, Supervisor rozpoznaje jego intencję i sprawdza, czy tematy danego agenta AI obejmują zgłoszenie. Jeśli Supervisor znajdzie dopasowanie, przypisuje rozmowę do tego agenta AI. Jeśli nie znajdzie odpowiedniego agenta AI, dalsze działanie zależy od kanału. W przypadku czatu w portalu (zobacz Ustawienia czatu AI w ustawieniach portalu klienta w monday service) Supervisor może najpierw spróbować pomóc, korzystając z zasobów portalu, a następnie przekazać zgłoszenie ekspertowi. W pozostałych kanałach zgłoszenie jest kierowane bezpośrednio do eksperta.

Zanim agent AI odpowie, system sprawdza, czy ma on wystarczające pokrycie wiedzy dotyczącej zgłoszenia. Jeśli pokrycie jest zbyt niskie, zgłoszenie zostaje przekazane ekspertowi zamiast obsłużone przez AI.

Uwaga: Agenci AI nie przekazują rozmów innym agentom AI. Jeśli rozmowa wykracza poza tematy przypisanego agenta, pokrycie wiedzy dotyczącej zgłoszenia jest niewystarczające lub osoba zgłaszająca poprosi o kontakt z człowiekiem, rozmowa zostaje przekazana ekspertowi.

Panel Supervisora zawiera dwie grupy w lewym panelu. W sekcji Ustawienia agenta (Agent's settings) znajdziesz karty Przepływ (Flow) i Zestawy instrukcji (Playbooks). W sekcji Wydajność agenta (Agent's performance) znajdziesz kartę Aktywność (Activity).

Przepływ

Karta Przepływ przedstawia wizualną mapę obsługi zgłoszeń w wybranym obszarze roboczym. Zaczyna się od Otrzymano zgłoszenie (Request received), gdzie widać kanały, przez które napływają zgłoszenia. Następnie Supervisor kieruje zgłoszenie. Zgłoszenie pasujące do tematów agenta trafia do sekcji Dopasowano temat (Topic match), gdzie zostaje przypisane jednemu z agentów zespołu. Zgłoszenie bez dopasowanego agenta trafia do sekcji Brak dopasowania (No match), a jego status AI zmienia się na Przekazano człowiekowi (Routed to human).

Zestawy instrukcji

Supervisor ma własne zestawy instrukcji w trzech kategoriach: Komunikacja (Communication), Zbieranie informacji (Info collection) i Przekazanie człowiekowi (Human handoff). Typy reguł i sposób ich tworzenia działają tak samo jak w przypadku agentów. Zobacz Pierwsze kroki z agentami AI w monday service.

Kategoria Komunikacja określa sposób, w jaki Supervisor rozmawia z użytkownikami. Zawiera reguły takie jak Długość odpowiedzi (Answer length), Ton głosu (Tone of voice) i Spersonalizowane powitanie (Personalized greeting).

W kategorii Przekazanie człowiekowi reguły Eskalacja i przekazanie (Escalation & handoff) oraz Podsumowanie przesłanego formularza (Form submission summary) są zablokowane, a regułę Przekazywanie automatycznych odpowiedzi (Hand off automatic replies) można edytować. Dodane reguły pokazują swoją nazwę i osobę, która ostatnio je edytowała.

Zbieranie informacji

Funkcja zbierania informacji pozwala Supervisorowi uzyskać szczegóły od osób zgłaszających w trakcie rozmowy i uzupełnić je na tablicy zgłoszeń. Pyta tylko o brakujące informacje, których potrzebują automatyzacje i eksperci. Nie wysyła linku do formularza.

Na stronie znajdziesz listę tablic zgłoszeń, kolumn do uzupełnienia oraz ich status - Włączone (On) lub Wyłączone (Off). Wybierz Ustaw zbieranie kolumn (Set columns collection), aby wskazać kolumny na tablicy.

Zbieranie informacji konfigurujesz dla Supervisora, a nie poszczególnych agentów. Każda dodana kolumna będzie uzupełniana dla każdego zgłoszenia skierowanego na daną tablicę - niezależnie od tego, który agent je obsługuje. Agenci mogą prosić o więcej szczegółów w swoich zestawach instrukcji, ale tylko Supervisor uzupełnia kolumny zgłoszeń.

Aby uzyskać lepsze wyniki:

• Używaj konkretnych nazw kolumn. Supervisor na podstawie nazwy kolumny decyduje, o co zapytać. „Lokalizacja osoby zgłaszającej” sprawdzi się lepiej niż „Lokalizacja”, która może prowadzić do ogólnych pytań, pomijania kolumn lub błędnych wartości.
• Dodaj kontekst do kolumny. Jeśli dodasz wytyczne dla kolumny, Supervisor zada dotyczące jej pytania. Bez wytycznych pytania będą ogólne.
• Przygotuj się na odpowiedzi tekstowe. Osoby zgłaszające nie mogą wybierać spośród dostępnych opcji. W przypadku kolumn statusu i list rozwijanych Supervisor dopasowuje odpowiedź do najbliższej opcji, na przykład „FL” do „Floryda”.

Gdy Supervisor przekazuje rozmowę człowiekowi, wysyła stałą wiadomość: „Przekazuję Cię prawdziwej osobie”. Nie możesz jej edytować ani dodać linku do formularza. Aby wysłać powiadomienie przy przekazaniu, utwórz automatyzację, która uruchomi się, gdy kolumna Status AI (AI Status) zmieni wartość na Przekazano człowiekowi. Powiadomienie jest osobną wiadomością, a nie częścią rozmowy osoby zgłaszającej w portalu ani korespondencji e-mail. Więcej informacji o statusie AI znajdziesz w sekcji Śledzenie postępu AI.

Aktywność

Karta Aktywność pokazuje, jak dobrze dopasowywane są zgłoszenia. Użyj menu obszaru roboczego, aby wybrać obszar roboczy lub Wszystkie obszary robocze (All Workspaces). Trzy karty pokazują Dopasowane zgłoszenia (Matched requests), Niedopasowane zgłoszenia (Unmatched requests) i Współczynnik dopasowania (Match rate). Poniżej, w Dzienniku aktywności (Activity feed), znajdziesz każdą decyzję o przekierowaniu: zdarzenie (na przykład Przypisano do (Assigned to) agenta), powiązane zgłoszenie, kanał, przez który wpłynęło zgłoszenie, szczegóły (na przykład „Dopasowano, wysoka pewność”) oraz czas zdarzenia. Dziennik pokazuje również odpowiedzi Supervisora, takie jak Powiadomienie o przekazaniu (Handoff notice). Możesz filtrować dziennik według typu zdarzenia lub czasu.

Przetestuj cały przepływ

1. Wybierz Agenci w lewym panelu, a następnie Testuj (Test) pod Zarządzaj agentami (Manage agents), aby otworzyć środowisko testowe dla osób zgłaszających. Symuluje ono ich doświadczenia z agentami AI w monday service. Rozmowy w tym środowisku są bezpieczną symulacją - nie tworzą zgłoszeń ani nie wpływają na dane na żywo.

2. Wybierz obszar roboczy. Obecnie jedynym kanałem dostępnym do testowania jest Czat AI w portalu (Portal AI chat). Obsługa e-maili i formularzy będzie dostępna wkrótce.

3. Rozpocznij rozmowę, aby sprawdzić, jak Supervisor kieruje zgłoszenie i jak działa cały przepływ:

Każdy test jest zapisywany jako osobna rozmowa. Możesz wrócić do wcześniejszych testów, porównać wyniki i przeglądać je w kolejnych dniach. Możesz też tworzyć nowe testy i usuwać te, których już nie potrzebujesz.

Ta funkcja różni się od karty Test pokrycia (Coverage test) dostępnej w ustawieniach pojedynczego agenta. Strona Testuj służy do testowania całej konfiguracji Service AI, a karta Test pokrycia - do testowania pojedynczego agenta.

Śledź postęp AI

Gdy zgłoszenie zostaje utworzone przez czat AI w portalu, pojawia się na połączonej tablicy zgłoszeń.

Na tablicy znajduje się specjalna kolumna Status AI, która śledzi postęp zgłoszenia w przepływie AI. Dostępne statusy AI to W toku (In progress), Oczekuje na odpowiedź klienta (Pending customer response), Rozwiązane przez AI (AI resolved) i Przekazano człowiekowi (Routed to human).

Kolumna Status AI i zwykła kolumna Status w przepływie pracy na tablicy są od siebie niezależne. Status AI jest ustawiany przez system i nie można go edytować ręcznie. Zwykła kolumna Status zarządza przepływem pracy na tablicy i automatyzacjami.

Uwaga: Jeśli chcesz, aby osoby zgłaszające widziały postęp AI w portalu, utwórz automatyzację, która odwzoruje wartości Statusu AI w głównej kolumnie Status. W przeciwnym razie osoba zgłaszająca może nadal widzieć zgłoszenie jako otwarte w portalu, dopóki nie zaktualizujesz zwykłej kolumny Status.

Kiedy AI rozwiązuje zgłoszenie

Zgłoszenie otrzymuje status Rozwiązane przez AI dopiero wtedy, gdy system stwierdzi, że AI skutecznie je obsłużyło i nie przekazało go człowiekowi. Nie dzieje się to od razu.

System czeka 24 godziny od ostatniej odpowiedzi AI w rozmowie przez portal i 72 godziny od ostatniej odpowiedzi AI w rozmowie e-mailowej, zanim oznaczy zgłoszenie jako rozwiązane.

Po oznaczeniu zgłoszenia jako rozwiązane przez AI każda nowa odpowiedź osoby zgłaszającej przekazuje je ekspertowi. Dotyczy to zarówno portalu, jak i e-maila. Status AI zmienia się na Przekazano człowiekowi, a za pomocą automatyzacji możesz ustawić odpowiedni status również w zwykłym przepływie pracy.

Co oznacza status „Rozwiązane przez AI”?

Zgłoszenie uznaje się za rozwiązane przez AI tylko wtedy, gdy rozmowa pozostała w obsłudze AI, interakcja była wartościowa, osoba zgłaszająca wyraźnie potwierdziła rozwiązanie lub pośrednio zaakceptowała odpowiedź, a rozmowa nie zawierała negatywnych sygnałów, takich jak niezadowolenie, krążenie w kółko, wymijające odpowiedzi lub porzucenie rozwiązywania problemu.

Analizuj wydajność

Wybierz Wydajność (Performance) w lewym panelu, aby monitorować wydajność agentów AI w monday service. Możesz filtrować dane według zakresu dat i obszaru roboczego.

Na stronie znajdują się trzy karty podsumowania: Zgłoszenia rozwiązane przez AI (AI resolved requests), Współczynnik zaangażowania AI (AI involvement rate) i Współczynnik rozwiązań AI (AI resolution rate). Każda pokazuje bieżącą wartość oraz zmianę względem wcześniejszego okresu. Lejek wydajności (Performance funnel) przedstawia przepływ zgłoszeń: ich łączną liczbę, liczbę zgłoszeń obsłużonych przez AI oraz podział na zgłoszenia rozwiązane przez AI, będące w toku, niedopasowane i przekazane człowiekowi.

Niżej możesz przeanalizować trendy

• Zaangażowanie AI w czasie (AI involvement over time) i Najaktywniejsi agenci AI (Top AI agents by involvement): agenci, którzy obsługują najwięcej zgłoszeń.
• Rozwiązania AI w czasie (AI resolution over time) i Najskuteczniejsi agenci AI (Top AI agents by resolution): agenci, którzy skutecznie rozwiązują najwięcej zgłoszeń.
• Powody przekazywania zgłoszeń ekspertom (Reasons requests are routed to human experts): zestawienie powodów przekazania zgłoszeń przez AI, takich jak zbyt małe pokrycie wiedzy, brak możliwości rozwiązania problemu lub prośba użytkownika.
• Zgłoszenia przekazane człowiekowi w czasie (Routed to human over time): zmiany współczynnika przekazywania zgłoszeń.

Tabela Wydajność agentów AI (AI agent performance) zawiera listę wszystkich agentów, ich zespołów, liczbę zgłoszeń i współczynnik rozwiązań. Dzięki temu możesz porównać wydajność agentów w całej konfiguracji. Tabela Wydajność dokumentacji (Documentation performance) pokazuje, które źródła wiedzy przyczyniają się do rozwiązywania zgłoszeń: jak często użyto każdego dokumentu, ile zgłoszeń z jego udziałem rozwiązała AI oraz jaki był współczynnik rozwiązań. Wybierz Ulepsz dokument (Improve doc) obok dokumentu, aby go udoskonalić.

Użyj tej strony, aby sprawdzić, jak często AI bierze udział w obsłudze zgłoszeń, jak często skutecznie je rozwiązuje i jak często nadal potrzebna jest pomoc człowieka.

Pulpity zgłoszeń

Pod sekcją Wydajność znajduje się link Pulpity zgłoszeń (Requests dashboards), który prowadzi do pulpitów monday opartych na danych zgłoszeń. Znajdziesz tam na przykład pulpit analityczny IT, pulpit raportowania oraz wszystkie pulpity zgłoszeń skonfigurowane na Twoim koncie.

Wskazówka: Instrukcje tworzenia i konfigurowania agentów znajdziesz w artykule Pierwsze kroki z agentami AI w monday service. Informacje o łączeniu źródeł wiedzy, kanałów i portali znajdziesz w artykule Konfigurowanie źródeł wiedzy i kanałów dla AI w monday service.

Często zadawane pytania

Jak przetestować agentów AI w monday service, zanim zaczną z nich korzystać osoby zgłaszające?

[[DO UZUPEŁNIENIA: jak otworzyć pełny test]] Wybierz obszar roboczy i rozpocznij rozmowę. Obecnie jedynym kanałem dostępnym do testowania jest czat AI w portalu.

Co oznacza status „Rozwiązane przez AI” w monday service?

Rozmowa pozostała w obsłudze AI, osoba zgłaszająca zaakceptowała odpowiedź i nie pojawiły się żadne negatywne sygnały. Status jest ustawiany po 24 godzinach bez nowej odpowiedzi AI w czacie w portalu lub po 72 godzinach w przypadku e-maila.

Czy mogę edytować kolumnę Status AI na tablicy zgłoszeń w monday service?

Nie. Status ustawia system. Użyj zwykłej kolumny Status i automatyzacji, aby odwzorować postęp AI dla osób zgłaszających.

Gdzie mogę sprawdzić, jak często agenci AI w monday service przekazują zgłoszenia człowiekowi?

Otwórz kartę Wydajność i sprawdź sekcje Powody przekazywania zgłoszeń ekspertom oraz Zgłoszenia przekazane człowiekowi w czasie.

Czym strona Test różni się od karty Test pokrycia w monday service?

Karta Test pokrycia służy do testowania pojedynczego agenta. Strona Testuj służy do testowania całej konfiguracji Service AI, w tym sposobu, w jaki Supervisor kieruje zgłoszenia.