Poniedziałek, trzeci tydzień po uruchomieniu nowego CRM. Kierownik regionu otwiera raport lejka i widzi, że wartość szans w etapie negocjacji spadła o połowę w porównaniu z arkuszem, który prowadził do końca zeszłego miesiąca. Pyta dwóch handlowców. Pierwszy mówi, że części jego klientów „nie ma w systemie”, choć są, tylko przypisane do byłego pracownika. Drugi przyznaje, że wpisuje do CRM tylko to, co musi, bo spotkania z kalendarza dublują się po synchronizacji, a każdy nowy lead generuje trzy powiadomienia. Wieczorem w skrzynce kierownika ląduje plik lejek_listopad_v3.xlsx. System działa. Sprzedaż już z niego wyszła.
Formalnie wdrożenie było przetestowane. Zespół wdrożeniowy miał kilkaset przypadków testowych, prawie wszystkie zaliczone, a protokół odbioru podpisano w terminie. Nikt jednak nie sprawdził, czy handlowiec, który zaloguje się w poniedziałek o ósmej, zobaczy swoich klientów, swój lejek i swoje spotkania dokładnie takimi, jakie znał wczoraj.
Ten artykuł jest dla liderów QA, osób z zespołów Sales Ops i kierowników projektów wdrożenia CRM. Teza jest taka: wdrożenie CRM nie upada na brakujących funkcjach, tylko na utracie zaufania do danych w pierwszych tygodniach. Dlatego o starcie powinny decydować przede wszystkim testy uzgodnienia danych i widoczności rekordów, wykonane przez samych handlowców na zmigrowanych danych, a nie odsetek zaliczonych przypadków testowych. Dalej pokazujemy, co dokładnie sprawdzić w siedmiu obszarach i jak ułożyć kryteria decyzji o uruchomieniu.
Dlaczego handlowcy wracają do Excela, choć CRM przeszedł testy?
Bo testy sprawdzały, czy system działa, a handlowcy oceniają, czy system jest prawdziwy. To dwa różne pytania. Przypadek testowy „utwórz szansę sprzedaży i przesuń ją do etapu negocjacji” przejdzie w każdym poprawnie skonfigurowanym CRM. Nie powie jednak nic o tym, czy szansa, którą handlowiec prowadził od trzech miesięcy, ma po migracji właściwą wartość, właściwego właściciela i historię rozmów.
Arkusz ma nad nowym systemem jedną przewagę: handlowiec mu ufa, bo sam go wypełniał. Każda nieścisłość w CRM w pierwszych dniach, czyli brakujący klient, zdublowane spotkanie, cudza szansa widoczna na liście albo własna niewidoczna, jest dowodem, że systemowi nie można wierzyć. Po kilku takich doświadczeniach powstaje „cień”: arkusz prowadzony równolegle, z którego handlowiec naprawdę pracuje, a CRM jest uzupełniany przed spotkaniem z kierownikiem. Od tego momentu raporty w CRM przestają odpowiadać rzeczywistości i problem się pogłębia, bo kierownicy również wracają do arkuszy.
Powody powrotu do Excela da się sprowadzić do pięciu kategorii i każda z nich jest testowalna przed startem:
- dane są niekompletne, nieaktualne, zdublowane albo przypisane do złych osób;
- widoczność jest błędna: handlowiec nie widzi swoich rekordów albo widzi cudze;
- integracje z pocztą, kalendarzem, ERP i telefonią działają z opóźnieniem, dublują wpisy albo gubią dane;
- automatyzacje zalewają ludzi powiadomieniami albo przypisują leady niezgodnie z umową w zespole;
- wydajność listy klientów czy raportu na telefonie w terenie jest tak słaba, że szybciej sprawdzić w arkuszu.
Zwróć uwagę, że funkcjonalność w wąskim sensie, czyli to, czy przycisk tworzy rekord, pojawia się na tej liście dopiero pośrednio. To nie znaczy, że testy funkcjonalne są zbędne. Znaczy, że same nie wystarczą do decyzji o starcie.
Co właściwie testujemy we wdrożeniu CRM, skoro platforma jest gotowa?
Przy gotowej platformie, takiej jak Salesforce, HubSpot czy Microsoft Dynamics 365, kod samego produktu testuje jego producent. Nie testujesz więc, czy formularz kontaktu zapisuje dane w bazie. Testujesz to, co Twoja firma i partner wdrożeniowy do platformy dodali i co z nią połączyli. Przy własnym CRM, budowanym na zamówienie, testujesz dodatkowo cały kod, ale reszta listy zostaje taka sama. Różnice między tymi wariantami opisaliśmy w artykule o tym, kiedy CRM szyty na miarę się opłaca; tutaj zakładamy, że decyzja zapadła i system zbliża się do startu.
Zakres testów wdrożenia CRM obejmuje zwykle sześć warstw:
- Konfiguracja: obiekty, pola, listy wartości, etapy lejka, reguły walidacji, układy formularzy, widoki list.
- Dostosowania: własny kod, wtyczki, skrypty, komponenty interfejsu, pola wyliczane.
- Model uprawnień: role, profile, zespoły, jednostki organizacyjne, reguły udostępniania, zabezpieczenia pól.
- Dane: migracja ze starego systemu, arkuszy i skrzynek pocztowych, reguły deduplikacji, słowniki.
- Integracje: poczta, kalendarz, ERP, telefonia, formularze na stronie, platforma marketingowa, podpis elektroniczny, systemy partnerów.
- Procesy i automatyzacje: przypisywanie leadów, eskalacje, przypomnienia, zatwierdzanie rabatów, generowanie ofert, powiadomienia.
Na tę listę nakłada się wymóg, o którym łatwo zapomnieć: wszystko trzeba przetestować na danych i rolach, które są możliwie bliskie produkcyjnym. Przypadek testowy wykonany przez administratora na pięciu sztucznych rekordach nie wykrywa ani problemów z uprawnieniami (administrator widzi wszystko), ani problemów z wydajnością (pięć rekordów zawsze ładuje się szybko), ani problemów z jakością danych (sztuczne rekordy są idealnie czyste).
Druga uwaga dotyczy aktualizacji. Platformy SaaS wydają nowe wersje kilka razy w roku i każda z nich może zmienić zachowanie Twoich dostosowań. Zestaw testów przygotowany przed startem nie jest więc jednorazowym kosztem. To początek zestawu regresji, który będzie uruchamiany po każdej aktualizacji platformy i po każdej zmianie konfiguracji. Warto od początku pisać przypadki testowe tak, żeby dało się je przekazać i powtarzać; o tym, jak pisać scenariusze i przypadki testowe, które ktoś inny wykona, piszemy osobno.
Jak sprawdzić migrację danych, zanim zobaczy ją pierwszy handlowiec?
Migracja jest najważniejszym obszarem testów wdrożenia CRM, bo to dane, a nie ekrany, decydują o zaufaniu. Typowy błąd polega na tym, że migrację sprawdza się przez przeglądanie próbek: ktoś otwiera dwadzieścia losowych firm i porównuje je ze starym systemem. Próbka wykrywa błędy, które dotyczą wszystkich rekordów, ale nie wykrywa tych, które dotyczą jednego procenta, a to one później psują raporty.
Zamiast próbek potrzebne jest uzgodnienie, czyli porównanie wartości zagregowanych między źródłem a CRM, z wyjaśnieniem każdej różnicy. Minimalny zestaw uzgodnień wygląda tak:
- liczba rekordów każdego typu (firmy, kontakty, leady, szanse sprzedaży, aktywności, produkty, cenniki) w źródle i w CRM;
- suma wartości otwartych szans według etapu, handlowca i regionu, bo to tę liczbę kierownik porówna ze swoim arkuszem pierwszego dnia;
- liczba otwartych zadań i zaplanowanych spotkań na najbliższe tygodnie, bo zgubione spotkanie to najszybsza droga do utraty zaufania;
- rozkład właścicieli rekordów, w tym rekordy przypisane do osób, które już nie pracują w firmie;
- liczba duplikatów według uzgodnionej reguły dopasowania (na przykład ten sam NIP, ta sama domena e-mail, ten sam adres e-mail kontaktu);
- rekordy odrzucone przez migrację, z przyczyną dla każdego.
Każda różnica musi mieć jedno z trzech wyjaśnień: rekord odrzucony z zapisanym powodem, rekord scalony jako duplikat albo dane świadomie pominięte decyzją biznesu. Różnica bez wyjaśnienia jest błędem, nawet jeśli wynosi kilka rekordów.
Duplikaty zasługują na osobny test, bo pojawiają się z dwóch stron. Pierwsza to migracja: te same firmy wpisane w różnych arkuszach przez różnych handlowców. Druga to integracje po starcie: formularz na stronie, import z targów, synchronizacja poczty. Platformy mają mechanizmy wykrywania duplikatów, ale trzeba je skonfigurować i przetestować. Dokumentacja Microsoft dla Dynamics 365 podaje na przykład, że domyślne reguły wykrywania duplikatów obejmują firmy i kontakty, ale nie inne typy rekordów, a dla jednego typu rekordu można jednocześnie opublikować najwyżej pięć reguł. Test powinien więc sprawdzić nie tylko, czy reguła działa przy ręcznym tworzeniu rekordu, ale też przy imporcie i przy rekordach tworzonych przez integracje.
Historia to trzecia warstwa. Handlowiec, który otwiera klienta, chce zobaczyć ostatnie rozmowy, oferty i notatki. Jeśli migracja przenosi tylko bieżący stan bez aktywności, test akceptacyjny musi to wyraźnie pokazać, a biznes musi to świadomie zaakceptować. Lepiej, żeby handlowiec usłyszał przed startem, że historia sprzed dwóch lat będzie dostępna w archiwum, niż żeby odkrył to w rozmowie z klientem.
Migracja to także moment, w którym obowiązują zasady RODO. Artykuł 5 ust. 1 rozporządzenia wymaga między innymi, żeby dane osobowe były ograniczone do tego, co niezbędne do celu przetwarzania, prawidłowe i w razie potrzeby uaktualniane, oraz przechowywane nie dłużej, niż to konieczne. Dla testów oznacza to dwa konkretne sprawdzenia: czy do CRM nie trafiły kontakty, których firma nie powinna już przechowywać (na przykład osoby, które wycofały zgodę marketingową), i czy zgody i podstawy przetwarzania zostały przeniesione razem z kontaktami. Porządkowanie danych przed migracją to osobna praca; o tym, które jej elementy, takie jak profilowanie i jakość danych, można zlecić na zewnątrz, piszemy w artykule o zarządzaniu danymi jako usłudze.
Ostatni krok testu migracji wykonują sami handlowcy: każdy dostaje polecenie, żeby sprawdził swoją listę klientów i swój lejek i zgłosił, czego brakuje albo co jest nie tak. To kilkanaście minut na osobę i najskuteczniejszy test, jaki można przeprowadzić, bo nikt nie zna tych danych lepiej.
Jak testować uprawnienia i widoczność rekordów?
Uprawnienia w CRM to coś więcej niż „kto ma dostęp do systemu”. Salesforce w materiałach szkoleniowych Trailhead opisuje cztery poziomy dostępu do danych: organizację (kto i kiedy może się zalogować), obiekty (co użytkownik może robić z danym typem rekordu), pola (które pola widzi) i rekordy (które konkretne rekordy widzi). Na poziomie rekordów działają kolejne mechanizmy: domyślny poziom dostępu w całej organizacji, hierarchia ról, która daje przełożonym dostęp do rekordów podwładnych, reguły udostępniania i ręczne udostępnianie pojedynczych rekordów. Microsoft Dataverse, na którym działa Dynamics 365, opiera się na jednostkach organizacyjnych, rolach zabezpieczeń z poziomami dostępu (użytkownik, jednostka, jednostka z podrzędnymi, organizacja), zespołach i zabezpieczeniach na poziomie kolumn.
Z dokumentacji Dataverse wynika zasada, która dla testera jest kluczowa: uprawnienia się sumują. Użytkownik dostaje najszerszy dostęp wynikający ze wszystkich jego ról i członkostw w zespołach. Jeśli jedna rola daje odczyt wszystkich kontaktów w organizacji, inna rola nie ukryje przed nim konkretnego kontaktu. Dlatego błąd uprawnień rzadko wynika z jednej źle ustawionej roli. Najczęściej powstaje z kombinacji: handlowiec, który jest jednocześnie członkiem zespołu obsługi kluczowych klientów, nagle widzi lejek całego regionu.
Uprawnienia testuje się macierzą. Wiersze to role biznesowe, a nie techniczne nazwy profili: handlowiec terenowy, handlowiec wewnętrzny, kierownik regionu, dyrektor sprzedaży, obsługa klienta, księgowość, marketing, partner zewnętrzny. Kolumny to typy rekordów i operacje: odczyt, edycja, usunięcie, eksport, zmiana właściciela, widoczność pól wrażliwych (marża, rabat, dane osobowe). W każdej komórce zapisujesz oczekiwany wynik, a test polega na zalogowaniu się jako użytkownik testowy z daną rolą i sprawdzeniu go.
Trzy rodzaje przypadków warto dodać do macierzy wprost:
- testy negatywne: handlowiec z regionu północnego nie widzi szans z regionu południowego, partner zewnętrzny nie widzi marż, marketing nie może eksportować całej bazy kontaktów;
- zmiany w organizacji: handlowiec przechodzi do innego regionu, kierownik odchodzi z firmy, klient zmienia opiekuna. Co dzieje się z rekordami, otwartymi zadaniami i dostępem?
- ścieżki pośrednie: raporty, wyszukiwarka globalna, eksport, aplikacja mobilna, powiadomienia e-mail i integracje. Rekord ukryty na liście bywa widoczny w raporcie albo w treści automatycznego powiadomienia.
Uprawnienia są jedynym obszarem, w którym błąd działa w obie strony na zaufanie. Handlowiec, który nie widzi własnych klientów, przestaje wierzyć systemowi. Handlowiec, który widzi cudze prowizje, przestaje wierzyć, że jego dane są bezpieczne. Pierwszy błąd zobaczysz w zgłoszeniach. Drugi często dopiero wtedy, gdy ktoś o nim opowie przy kawie, i to jest powód, dla którego testy negatywne muszą być w planie testów, a nie w nadziei.
Dla zespołu QA to także kwestia zgodności. Artykuł 32 RODO wymaga procesu regularnego testowania, mierzenia i oceniania skuteczności środków technicznych i organizacyjnych mających zapewnić bezpieczeństwo przetwarzania. Udokumentowana macierz uprawnień i wynik jej testu to dobry dowód takiego procesu, jeśli kiedyś trzeba będzie go pokazać.
Jak testować integrację z pocztą i kalendarzem?
Synchronizacja poczty i kalendarza to funkcja, którą handlowiec odczuwa najczęściej, bo dotyczy każdego dnia jego pracy. Jednocześnie to obszar, w którym oczekiwania najczęściej rozmijają się z tym, jak działa platforma.
Przykład z dokumentacji Microsoft: synchronizacja po stronie serwera w Dynamics 365 działa według harmonogramu dla każdej skrzynki. Po zakończeniu cyklu odbioru poczty skrzynka czeka pięć minut na kolejny, a po cyklu synchronizacji spotkań, kontaktów i zadań od pięciu do dwunastu minut. Microsoft wprost pisze, że dla czasu trwania cyklu synchronizacji nie ma zdefiniowanego SLA, bo zależy on od dostawcy poczty, liczby elementów, ograniczeń połączeń, załączników i dostosowań. Dla testera to ważna informacja: jeśli handlowiec oczekuje, że spotkanie dodane w Outlooku pojawi się w CRM natychmiast, test musi tę różnicę ujawnić, a szkolenie musi ją wyjaśnić, zanim zostanie ona zgłoszona jako błąd.
Z tej samej dokumentacji wynika jeszcze jedna zasada: jedna skrzynka pocztowa może być przypisana tylko do jednego użytkownika i odwrotnie. Asystentka, która obsługuje kalendarze trzech dyrektorów, to scenariusz testowy, który trzeba przemyśleć przed startem.
Scenariusze testowe dla poczty i kalendarza warto ułożyć wokół problemów, które handlowcy zauważą od razu:
- duplikaty spotkań: spotkanie utworzone w CRM, zsynchronizowane do kalendarza, przesunięte w kalendarzu i zsynchronizowane z powrotem. Ile jest po tym rekordów i który jest aktualny?
- strefy czasowe: spotkanie z klientem w innej strefie czasowej, zmiana czasu na zimowy lub letni w trakcie serii spotkań cyklicznych;
- spotkania prywatne: czy wizyta u lekarza z kalendarza handlowca nie trafia do CRM jako aktywność widoczna dla kierownika?
- powiązanie wiadomości z rekordem: czy e-mail od klienta trafia do właściwej firmy, gdy kontakt ma dwa adresy albo gdy ten sam adres występuje w dwóch firmach (na przykład w grupie kapitałowej)?
- wiadomości wychodzące: czy oferta wysłana z CRM pojawia się w folderze wysłanych w programie pocztowym i czy odpowiedź klienta wraca do tego samego rekordu?
- załączniki i rozmiary: co dzieje się z dużym załącznikiem i czy nie przekracza on limitów przechowywania platformy.
Synchronizację trzeba testować na prawdziwych skrzynkach testowych u tego samego dostawcy poczty, z którego korzysta firma, a nie na symulacji. Wiele problemów wynika z konfiguracji serwera poczty, polityk bezpieczeństwa i uprawnień aplikacji, których symulacja nie odtworzy.
Jak testować integrację z ERP, telefonią i formularzami?
Integracje z systemami spoza CRM mają jedną wspólną cechę: dane mają w nich dwóch potencjalnych właścicieli. Zanim zaczniesz testować, sprawdź, czy dla każdego pola istnieje zapisana decyzja, który system jest źródłem prawdy. Jeśli nie istnieje, test nie ma oczekiwanego wyniku, a każdy konflikt danych będzie rozstrzygany ad hoc przez programistę integracji.
ERP. Typowy przepływ obejmuje klientów i ich dane rozliczeniowe, produkty i cenniki, zamówienia, faktury, saldo należności i limity kredytowe. Dla każdego z nich testujesz:
- kierunek i moment synchronizacji (natychmiast, co kwadrans, raz na dobę);
- konflikt: ten sam klient zmieniony w obu systemach przed synchronizacją;
- powtórzenie: ten sam komunikat wysłany dwa razy po błędzie sieci nie może utworzyć dwóch zamówień;
- błąd po drugiej stronie: ERP niedostępny w trakcie zamknięcia miesiąca. Czy dane czekają w kolejce, czy giną, i czy ktoś dostaje powiadomienie?
- rekordy, których ERP nie przyjmie: brak NIP, niepoprawny kod kraju, produkt wycofany ze sprzedaży.
Handlowiec rzadko zobaczy błąd integracji bezpośrednio. Zobaczy jego skutek: klienta z zablokowanym limitem, któremu właśnie wysłał ofertę, albo cenę w ofercie inną niż w fakturze. Każdy taki przypadek to argument za powrotem do „sprawdzę w ERP i zapiszę sobie w arkuszu”.
Limity API. Integracje działają w granicach limitów platformy, a testy funkcjonalne na kilkudziesięciu rekordach ich nie wykryją. HubSpot w dokumentacji dla deweloperów podaje dla aplikacji prywatnych limit 100 zapytań na 10 sekund i 250 000 dziennie w planach Free i Starter, 190 zapytań na 10 sekund i 625 000 dziennie w planie Professional oraz 190 na 10 sekund i 1 000 000 dziennie w planie Enterprise. Inne platformy mają własne limity. Test integracji powinien sprawdzić zachowanie przy ich osiągnięciu: czy integracja zwalnia i ponawia zapytania, czy gubi dane. Najbardziej narażone są migracja i pierwsza pełna synchronizacja, kiedy jednorazowo przesyłasz całą bazę.
Telefonia. Integracja z centralą telefoniczną lub systemem call center zwykle obejmuje dzwonienie z rekordu, rozpoznawanie numeru przy połączeniu przychodzącym i automatyczne zapisywanie połączenia jako aktywności. Najczęstsze problemy wynikają z formatu numerów: ten sam numer zapisany jako „600 100 200”, „+48600100200” i „0048 600-100-200” to dla integracji trzy różne numery. Test powinien sprawdzić rozpoznawanie numeru w każdym formacie występującym w zmigrowanych danych, a migracja powinna je ujednolicić do jednego formatu międzynarodowego. Do tego połączenia nieodebrane, przekierowane i z numerów zastrzeżonych oraz to, czy nagrania rozmów, jeśli są, mają właściwe uprawnienia.
Formularze i źródła leadów. Formularz kontaktowy na stronie, landing page kampanii, import listy z targów, czat. Testujesz kompletność pól, źródło leada (bez którego marketing nie policzy skuteczności kampanii), deduplikację z istniejącymi kontaktami, zapis zgód i czas od wysłania formularza do przypisania leada handlowcowi.
Wycena tych integracji to temat na osobną rozmowę; jeśli dopiero ustalasz ich zakres, przeczytaj, jak wycenić projekt integracji przez API z ERP, CRM i płatnościami. Z perspektywy testów najważniejsze jest, żeby każdy przepływ miał opisany scenariusz błędu, a nie tylko scenariusz poprawny, bo integracje częściej psują zaufanie przez to, jak zawodzą, niż przez to, jak działają.
Jak sprawdzić automatyzacje i powiadomienia, żeby nie zalały skrzynek?
Automatyzacje to obszar, w którym CRM może być jednocześnie poprawny i nie do zniesienia. Każda reguła z osobna robi to, co zapisano w wymaganiach. Razem tworzą strumień powiadomień, który handlowcy po tygodniu zaczynają filtrować do folderu, którego nikt nie czyta.
Testy automatyzacji wdrożenia CRM warto podzielić na trzy poziomy.
Pojedyncza reguła. Czy przypisanie leada działa zgodnie z umową w zespole: według regionu, branży, wielkości firmy, w trybie rotacyjnym? Co dzieje się, gdy handlowiec, do którego reguła przypisuje leada, jest na urlopie albo odszedł z firmy? Czy eskalacja po 48 godzinach bez kontaktu liczy dni robocze czy kalendarzowe i czy uwzględnia święta?
Interakcje między regułami. Jedna reguła zmienia status szansy, co uruchamia drugą, która aktualizuje pole w firmie, co uruchamia trzecią, która wysyła powiadomienie. Najgroźniejsze są pętle: dwie reguły, które wzajemnie aktualizują swoje pola, albo integracja z ERP, która po każdej synchronizacji uruchamia automatyzację „rekord zmieniony”. Testujesz to, wykonując pełne procesy od leada do zamówienia i licząc, ile zdarzeń i powiadomień powstało po drodze.
Wolumen. Import tysiąca kontaktów z targów to tysiąc nowych rekordów. Jeśli każdy uruchamia regułę powitalną i powiadomienie do opiekuna, handlowiec dostanie w ciągu kilku minut kilkaset wiadomości, a klienci dostaną e-maile, które miały wyjść dopiero po weryfikacji. Ten sam problem dotyczy migracji: jeśli automatyzacje są włączone w trakcie ładowania danych, stary klient dostanie wiadomość „witamy w gronie klientów”. Test powinien sprawdzić zarówno to, że automatyzacje są wyłączone w trakcie migracji i masowych importów, jak i to, że zostały włączone z powrotem po ich zakończeniu.
Prosty test, który wykrywa większość problemów z powiadomieniami: przez jeden dzień testów akceptacyjnych zbieraj wszystkie powiadomienia, które dostał każdy uczestnik, a na koniec dnia zapytaj, które z nich były potrzebne. Jeśli odpowiedź brzmi „mniej niż połowa”, masz do poprawienia konfigurację, zanim system trafi do całej sprzedaży.
Jak testować wydajność CRM, skoro to nie jest sklep internetowy?
CRM nie ma tysięcy anonimowych użytkowników w czasie promocji, więc wydajność bywa pomijana w planie testów. To błąd, bo problemy z wydajnością CRM mają inny kształt niż w sklepie: nie dotyczą liczby jednoczesnych użytkowników, tylko wolumenu danych i złożoności konfiguracji.
Wolny CRM to zwykle jedno z poniższych:
- widoki list i wyszukiwanie na pełnej bazie, a nie na danych testowych: lista „moi klienci” u handlowca z kilkoma tysiącami firm, wyszukiwanie po fragmencie nazwy;
- raporty i pulpity, zwłaszcza te liczone na żywo na całej historii szans sprzedaży, otwierane przez wszystkich kierowników w poniedziałek rano;
- formularze rekordu z wieloma powiązanymi listami, polami wyliczanymi i komponentami pobierającymi dane z ERP przy każdym otwarciu;
- aplikacja mobilna w terenie, na słabym zasięgu, z synchronizacją danych offline;
- operacje masowe: zmiana właściciela kilkuset rekordów po reorganizacji regionu, import, aktualizacja cennika.
Testy wydajności CRM wykonuje się więc przede wszystkim na środowisku z pełnym, zmigrowanym wolumenem danych i z kompletem dostosowań, a nie na pustym środowisku testowym. Zanim zaczniesz mierzyć, ustal z biznesem progi, które mają sens dla tej pracy: na przykład, że otwarcie rekordu klienta na laptopie w biurze ma trwać nie dłużej niż kilka sekund, a lista klientów na telefonie ma się załadować w czasie, w którym handlowiec czeka przed spotkaniem. To przykładowe progi, nie norma; ważne, żeby były zapisane przed testem, a nie ustalone po nim.
Dokumentacja Microsoft dla synchronizacji poczty zwraca uwagę na jeszcze jedną zależność: długo działające dostosowania uruchamiane synchronicznie w procesie dostarczania poczty obniżają przepustowość synchronizacji. To dobry przykład ogólnej zasady: każda wtyczka czy reguła wykonywana przy zapisie rekordu dodaje czas do każdej operacji, także tej wykonywanej przez integrację. Jeśli potrzebujesz zewnętrznego wsparcia, testy wydajnościowe jako usługa mają swój zakres, harmonogram i cenę, które opisaliśmy osobno.
Jak zorganizować testy akceptacyjne z handlowcami, żeby nie były pokazem?
Testy akceptacyjne użytkowników (UAT) w projekcie CRM często zamieniają się w prezentację: zespół wdrożeniowy pokazuje funkcje, handlowcy kiwają głowami, protokół zostaje podpisany. Taki UAT nie wykrywa niczego, bo handlowcy nie wykonywali swojej pracy, tylko oglądali cudzą.
UAT, który chroni przed powrotem do Excela, ma cztery cechy.
Testują handlowcy, a nie ich przedstawiciele. Do testów potrzebni są ludzie z każdej roli: handlowiec terenowy, handlowiec wewnętrzny, kierownik, obsługa klienta, ktoś z finansów. Nie tylko najbardziej entuzjastyczni i nie tylko ci, którzy byli w zespole projektowym. Najcenniejsze uwagi dają zwykle najbardziej sceptyczni, bo to oni pierwsi wrócą do arkusza.
Testują na swoich danych. Każdy uczestnik pracuje na zmigrowanych danych, logując się jako on sam, z docelową rolą. Pierwsze zadanie to sprawdzenie własnej listy klientów i własnego lejka. Dopiero potem scenariusze procesowe.
Scenariusze opisują tydzień pracy, a nie funkcje. Zamiast „utwórz szansę sprzedaży” scenariusz brzmi: „W poniedziałek rano przejrzyj swoje zadania na ten tydzień, przygotuj się do spotkania z klientem X, po spotkaniu zapisz notatkę i następny krok, wyślij ofertę z rabatem wymagającym zatwierdzenia, sprawdź, czy kierownik ją zatwierdził, i zaktualizuj prognozę”. Taki scenariusz przechodzi przez dane, uprawnienia, integracje, automatyzacje i wydajność naraz. Dobre scenariusze akceptacyjne mają jasne kryteria akceptacji, żeby „działa” i „nie działa” nie były kwestią nastroju.
Zgłoszenia są traktowane poważnie. Uwaga „to jest wolne” albo „nie wiem, gdzie to znaleźć” to zgłoszenie, nie opinia. Może skończyć się poprawką konfiguracji, zmianą szkolenia albo świadomą decyzją, że tak zostaje, ale musi mieć właściciela i odpowiedź przed startem.
Planowanie UAT, przygotowanie danych zgodnie z RODO i sam sign-off to tematy na osobny tekst; zebraliśmy je w checkliście UAT. Dla CRM dodaj do niej jedną rzecz: rundę końcową na danych z ostatniej migracji próbnej, wykonaną w tym samym składzie, co pierwsza. Jeśli handlowcy w drugiej rundzie znajdują te same problemy co w pierwszej, system nie jest gotowy, niezależnie od liczby zamkniętych zgłoszeń.
Jakie kryteria go/no-go powinny decydować o starcie CRM?
Decyzja o starcie powinna zapaść na podstawie kryteriów zapisanych przed testami, a nie wynegocjowanych w ostatnim tygodniu. Poniższa tabela pokazuje zestaw kryteriów, który odpowiada tezie tego artykułu: najwięcej wagi mają dane i widoczność, a odsetek zaliczonych przypadków testowych jest jednym z wielu sygnałów. Progi w ostatniej kolumnie są przykładami do uzgodnienia z biznesem, a nie normą branżową.
| Obszar | Co sprawdzasz | Kto potwierdza | Przykładowy próg do uzgodnienia |
|---|---|---|---|
| Migracja danych | Uzgodnienie liczby rekordów, wartości lejka, otwartych zadań i właścicieli między źródłem a CRM | Lider QA i Sales Ops | Każda różnica wyjaśniona i zaakceptowana przez biznes |
| Dane handlowców | Każdy handlowiec sprawdził swoją listę klientów i lejek | Kierownicy regionów | 100% handlowców potwierdziło, zgłoszenia zamknięte |
| Duplikaty | Liczba duplikatów według reguły dopasowania po migracji i po imporcie testowym | Sales Ops | Nie więcej niż uzgodniony limit, reguły aktywne dla importów i integracji |
| Uprawnienia | Macierz ról i operacji, w tym testy negatywne, raporty i eksport | Lider QA i inspektor ochrony danych | Brak otwartych błędów w testach negatywnych |
| Poczta i kalendarz | Duplikaty spotkań, strefy czasowe, spotkania prywatne, powiązanie e-maili z rekordami | Lider QA, użytkownicy pilotażowi | Brak duplikatów, opóźnienia synchronizacji opisane w szkoleniu |
| ERP i telefonia | Kierunek, konflikty, ponowienia, błędy po drugiej stronie, formaty numerów | Zespół integracji | Każdy scenariusz błędu ma opisane i sprawdzone zachowanie |
| Automatyzacje | Pełne procesy od leada do zamówienia, liczba powiadomień na uczestnika, wyłączenie w trakcie importu | Sales Ops | Uczestnicy UAT uznają większość powiadomień za potrzebne |
| Wydajność | Listy, raporty, formularze i aplikacja mobilna na pełnym wolumenie | Lider QA | Uzgodnione czasy spełnione dla kluczowych ekranów |
| UAT | Scenariusze tygodnia pracy wykonane przez każdą rolę w dwóch rundach | Właściciel biznesowy | Brak otwartych błędów blokujących, druga runda bez powtórzeń z pierwszej |
| Plan wycofania | Co robimy, jeśli start się nie uda: dane, integracje, komunikacja | Kierownik projektu | Plan przetestowany na środowisku testowym |
Dwa kryteria z tej tabeli warto omówić osobno. Pierwsze to potwierdzenie przez każdego handlowca. Wydaje się nadmiarowe, ale to jedyny sposób, żeby odpowiedzialność za poprawność danych rozłożyła się na ludzi, którzy te dane znają. Handlowiec, który potwierdził swój lejek przed startem, nie powie po tygodniu, że „w systemie są bzdury”. Drugie to plan wycofania. Rzadko jest używany, ale jego brak zmienia dynamikę decyzji: jeśli nie ma drogi powrotu, każdy problem w ostatnim tygodniu zostaje uznany za „do poprawienia po starcie”.
Jak mierzyć adopcję po starcie i kiedy reagować?
Testowanie wdrożenia CRM nie kończy się w dniu startu. Pierwsze tygodnie po uruchomieniu to okres, w którym zaufanie do systemu albo się ugruntuje, albo powstaną pierwsze arkusze w cieniu. Dlatego warto zaplanować okres wzmożonego wsparcia i mierzyć sygnały adopcji od pierwszego dnia.
Liczba logowań to słaby wskaźnik, bo handlowiec może logować się codziennie tylko po to, żeby uzupełnić minimum. Lepsze sygnały to:
- aktualność szans sprzedaży: odsetek otwartych szans zaktualizowanych w ostatnich siedmiu dniach;
- aktywności: liczba zalogowanych spotkań, rozmów i notatek na handlowca, porównana z tym, ile spotkań handlowcy faktycznie mają w kalendarzach;
- spójność prognozy: różnica między prognozą w CRM a tym, co kierownicy raportują na spotkaniach zespołu;
- eksporty: liczba eksportów list klientów i szans do arkuszy, bo regularny eksport to często początek cienia;
- zgłoszenia: liczba i rodzaj zgłoszeń od użytkowników, podzielone na dane, uprawnienia, integracje, automatyzacje, wydajność i obsługę.
Każdy z tych sygnałów warto traktować jak wynik testu, a nie jak problem dyscypliny. Jeśli aktywności spadają w jednym regionie, przyczyną może być błąd synchronizacji kalendarza u konkretnego dostawcy poczty, a nie lenistwo zespołu. Jeśli rośnie liczba eksportów, warto zapytać, czego handlowcom brakuje w widokach i raportach. Odpowiedź często wskazuje brakujące pole albo filtr, który można dodać w kilka godzin.
Na okres wsparcia warto zarezerwować ludzi, którzy znają zarówno konfigurację, jak i zestaw testów. Każda poprawka wprowadzona po starcie wymaga uruchomienia odpowiedniej części testów regresji, bo w pierwszych tygodniach zmian jest najwięcej i najłatwiej o to, że poprawka uprawnień w jednym regionie otworzy dostęp w innym.
Kto powinien testować CRM: partner wdrożeniowy, własny zespół czy niezależny QA?
Każda z tych stron testuje coś innego i żadna nie zastąpi pozostałych.
Partner wdrożeniowy testuje to, co zbudował: konfigurację, dostosowania i integracje zgodnie ze specyfikacją. Zna platformę najlepiej, ale ma naturalny konflikt interesów: jego testy pokazują, że wykonał zakres umowy. Rzadko szuka problemów w miejscach, których specyfikacja nie opisała, takich jak kombinacje uprawnień, interakcje automatyzacji czy zachowanie integracji przy błędach.
Własny zespół, czyli Sales Ops, handlowcy i administratorzy, wnosi wiedzę o danych i procesach, której nie ma nikt inny. Bez niego nie da się przeprowadzić uzgodnienia migracji ani wiarygodnego UAT. Zwykle nie ma jednak doświadczenia w projektowaniu testów, budowie macierzy uprawnień czy testach wydajności i nie ma czasu, bo jednocześnie sprzedaje.
Niezależny zespół QA projektuje strategię testów, buduje macierz uprawnień i scenariusze błędów integracji, przygotowuje i prowadzi UAT, raportuje wyniki właścicielowi biznesowemu i pilnuje kryteriów go/no-go. Jego wartością jest to, że nie odpowiada ani za budowę, ani za sprzedaż, więc może powiedzieć „nie jesteśmy gotowi”, gdy dane tego dowodzą.
W praktyce najlepiej działa podział, w którym partner wdrożeniowy odpowiada za testy jednostkowe i funkcjonalne swojego zakresu, własny zespół za uzgodnienie danych i UAT, a niezależny QA za strategię, testy przekrojowe (uprawnienia, integracje, automatyzacje, wydajność) i decyzję opartą na kryteriach. Jeśli tego trzeciego elementu brakuje, ktoś musi przejąć jego obowiązki, zwykle kierownik projektu po stronie klienta, i trzeba to zapisać w planie.
ARDURA prowadzi testowanie oprogramowania, w tym testy funkcjonalne, testy API i integracji, testy wydajnościowe, testy regresji i wsparcie UAT; stawki wynoszą od 70 do 180 zł netto za godzinę dla testerów manualnych i od 90 do 250 zł dla inżynierów automatyzacji testów. Jeśli zaczynasz od zera, osobną usługą jest strategia testów i zarządzanie testami: pakiet o stałym zakresie, trwający dwa tygodnie, w cenie od 16 000 zł, obejmujący strategię opartą na ryzyku, dobór i konfigurację narzędzia do zarządzania testami oraz przekazanie zespołowi.
Jakie są kluczowe wnioski przed startem CRM?
Wdrożenie CRM nie przegrywa z brakiem funkcji. Przegrywa z pierwszym tygodniem, w którym handlowiec nie znajduje swojego klienta, widzi zdublowane spotkanie albo dostaje trzydzieści niepotrzebnych powiadomień i wraca do arkusza, który zna. Testy, które mają temu zapobiec, muszą więc mierzyć zaufanie do danych, a nie tylko poprawność funkcji.
Zapamiętaj siedem rzeczy:
- Uzgadniaj migrację, a nie przeglądaj próbek. Liczby rekordów, wartość lejka, otwarte zadania i właściciele muszą się zgadzać ze źródłem, a każda różnica musi mieć wyjaśnienie.
- Daj każdemu handlowcowi sprawdzić jego dane przed startem. To kilkanaście minut na osobę i najskuteczniejszy test w całym projekcie.
- Testuj uprawnienia macierzą, z testami negatywnymi. Uprawnienia się sumują, więc błędy powstają z kombinacji ról, a nie z jednej roli.
- Dla każdej integracji opisz scenariusz błędu. Konflikty, ponowienia, niedostępność drugiej strony i limity API wykrywa się przed startem albo poznaje od handlowców po nim.
- Licz powiadomienia. Automatyzacje mogą być poprawne pojedynczo i nie do zniesienia razem; wyłącz je w trakcie migracji i importów.
- Testuj wydajność na pełnym wolumenie danych, z kompletem dostosowań, na laptopie i na telefonie w terenie.
- Ustal kryteria go/no-go przed testami i mierz adopcję od pierwszego dnia po starcie, traktując każdy sygnał powrotu do arkusza jak zgłoszenie błędu.
Jeśli przygotowujesz start CRM i chcesz, żeby ktoś niezależny od partnera wdrożeniowego zaprojektował testy, przeprowadził uzgodnienie danych i UAT z handlowcami, zobacz, jak pracujemy w testowaniu oprogramowania, albo umów rozmowę. Zaczniemy od listy ryzyk Twojego wdrożenia i kryteriów, po których spełnieniu sprzedaż może przejść do nowego systemu.