Zarząd firmy logistycznej wybiera wykonawcę asystenta, który ma odpowiadać klientom na pytania o status przesyłek i reklamacje. Na ostatnią prezentację przychodzą dwie firmy. Pierwsza pokazuje płynne demo: asystent rozmawia naturalnie, zna nazwy produktów, odpowiada w ułamku sekundy. Druga nie pokazuje dema. Prosi o 300 prawdziwych, zanonimizowanych zgłoszeń z ostatniego kwartału, proponuje dwa tygodnie na zbudowanie zbioru testowego i dopiero potem chce rozmawiać o progu jakości, który znajdzie się w umowie.
Zarząd wybiera pierwszą. Trzy miesiące później asystent działa, ale nikt nie umie powiedzieć, jak dobrze. Jedna osoba z działu obsługi twierdzi, że myli się co piątą rozmowę, wykonawca twierdzi, że rzadko. Żadna ze stron nie ma liczby, bo nikt nie ustalił wcześniej, co znaczy „poprawna odpowiedź”. Spór o odbiór trwa dłużej niż budowa.
Ten artykuł jest dla prezesów i dyrektorów technologii, którzy wybierają firmę od wdrożeń AI, czyli wykonawcę, który zbuduje dla nich system oparty na modelach językowych albo uczeniu maszynowym. Jego teza jest taka: przy zamawianiu systemu AI portfolio i demo są prawie bez znaczenia, a rozstrzygają odpowiedzi na pytania o pomiar, własność i wyjście. Firma, która przed podpisaniem umowy nie potrafi opisać, jak udowodni działanie systemu na Twoich danych, albo obiecuje konkretną skuteczność, zanim je zobaczyła, powinna odpaść niezależnie od ceny i referencji. Poniżej znajdziesz 12 pytań, które to sprawdzają, i odpowiedzi, które powinny zakończyć rozmowę.
Dlaczego portfolio i demo firmy AI mówią mniej, niż się wydaje?
Bo w systemach AI różnica między wersją, która dobrze wygląda, a wersją, która dobrze działa, jest większa niż w zwykłym oprogramowaniu. Formularz w aplikacji internetowej albo działa, albo nie, i widać to od razu. Asystent oparty na modelu językowym odpowiada płynnie zawsze, także wtedy, gdy się myli. Demo przygotowane na kilkunastu wybranych pytaniach pokazuje, że firma umie podłączyć model i napisać dobry prompt. Nie pokazuje, jak system zachowa się na tysiącu Twoich zgłoszeń, z literówkami, załącznikami, pytaniami spoza zakresu i klientami, którzy celowo próbują go wyprowadzić z równowagi.
Portfolio ma podobne ograniczenie. Lista zrealizowanych asystentów, systemów rekomendacji i automatyzacji dokumentów mówi, że firma takie projekty prowadziła. Nie mówi, czy wiedziała, jak dobrze działały. Pytanie, które naprawdę coś mówi o referencji, brzmi: „Jak zmierzyliście jakość tego systemu i jaki był wynik?”. Firma, która odpowiada wrażeniami klienta zamiast liczb ze zbioru testowego, opowiada o projekcie, którego jakości sama nie znała.
Uczciwy kontrargument jest taki: demo pokazuje jednak kompetencje zespołu, a pomiar można ustalić później. Częściowo to prawda. Demo odsiewa firmy, które w ogóle nie umieją pracować z modelami. Problem polega na tym, że „później” oznacza zwykle po podpisaniu umowy, kiedy zamawiający traci dźwignię negocjacyjną, a wykonawca ma naturalny interes w tym, żeby miara jakości była łatwa do spełnienia. Ustalenie metody pomiaru przed umową nie wymaga dużo pracy. Wymaga tylko, żeby firma ją miała.
Druga przyczyna, dla której demo jest słabym sygnałem, to tempo zmian w modelach. Demo zbudowane na konkretnej wersji modelu za kilka miesięcy może działać inaczej, bo ta wersja zostanie wycofana. Wartość, która zostaje po projekcie, to nie prompt dopasowany do jednej wersji, tylko zbiór testowy, który pozwoli sprawdzić każdą kolejną. Dlatego większość z 12 pytań dotyczy rzeczy, które przetrwają zmianę modelu: pomiaru, danych, kosztów, ról regulacyjnych i warunków wyjścia.
Czym zamówienie systemu AI różni się od zakupu gotowego narzędzia?
Na blogu ARDURA opisaliśmy już, jak oceniać dostawców gotowych narzędzi AI: podział ról w AI Act, artefakty zgodności, pochodzenie danych treningowych, porównywanie cenników liczonych w różnych jednostkach i klauzule licencyjne. Tamten tekst dotyczy sytuacji, w której kupujesz produkt. Ten dotyczy innej sytuacji: zamawiasz u firmy zewnętrznej budowę systemu, który będzie Twój.
Różnica ma trzy praktyczne skutki. Po pierwsze, przy gotowym narzędziu jakość jest cechą produktu, którą sprawdzasz w pilotażu. Przy systemie budowanym na zamówienie jakość dopiero powstanie, więc musisz z góry ustalić, jak będzie mierzona i kto ma ostatnie słowo. Po drugie, przy gotowym narzędziu własność intelektualna zostaje u producenta, a Ty dostajesz licencję. Przy budowie na zamówienie powstają artefakty, które mogą należeć do Ciebie: kod, prompty, zbiory testowe, dane do dostrojenia, wagi modelu, potoki przetwarzania danych. Jeśli umowa ich nie wymieni, część z nich zostanie u wykonawcy. Po trzecie, przy budowie systemu w łańcuchu pojawia się trzeci podmiot: dostawca modelu bazowego, czyli firma, której model wykonawca wywołuje przez API. Jego decyzje o cenach i wycofywaniu wersji wpływają na Twój system, choć nie jesteś stroną jego umowy z wykonawcą albo jesteś stroną, o której wykonawca nie powiedział.
Ogólne zasady umowy z wykonawcą oprogramowania, takie jak przeniesienie praw autorskich, odbiór, gwarancja i kary umowne, opisaliśmy w artykule o klauzulach chroniących zamawiającego w umowie z software house’em. Tutaj skupiamy się na tym, czego zwykła umowa na oprogramowanie nie przewiduje, a co w projekcie AI rozstrzyga o koszcie i ryzyku.
Jak firma udowodni, że system działa?
To najważniejsza grupa pytań, bo od niej zależy, czy pozostałe w ogóle mają sens. Bez metody pomiaru nie da się odebrać systemu, porównać go z wersją poprzednią ani sprawdzić, czy zmiana modelu coś zepsuła.
Pytanie 1: Jak zmierzycie, że system działa, i kto zbuduje zbiór ewaluacyjny?
Dobra odpowiedź brzmi mniej więcej tak: zbudujemy zbiór ewaluacyjny z Twoich prawdziwych przypadków, z udziałem Twoich ekspertów, którzy określą, jak wygląda poprawna odpowiedź. Zbiór obejmie typowe przypadki, przypadki brzegowe i pytania spoza zakresu, na które system powinien odmówić albo przekazać sprawę człowiekowi. Określimy, jak oceniamy odpowiedzi: dokładnym porównaniem, regułą sprawdzaną w kodzie, oceną przez drugi model według opisanych kryteriów albo oceną człowieka. Zbiór będzie wersjonowany i należy do Ciebie.
Taka odpowiedź nie jest wymysłem tego artykułu. Dokumentacja Anthropic dla twórców aplikacji opartych na modelach Claude zaczyna budowę aplikacji od zdefiniowania kryteriów sukcesu, które mają być konkretne, mierzalne, osiągalne i istotne, a dopiero potem od projektowania ewaluacji, które je mierzą. Zaleca też automatyzację oceny tam, gdzie to możliwe, i stwierdza wprost, że więcej przypadków ocenianych automatycznie, choć z nieco słabszym sygnałem, jest lepsze niż kilka ocenianych ręcznie. Firma, która pracuje z modelami językowymi zawodowo, powinna mówić tym językiem bez podpowiedzi. Jak taki zbiór zbudować i oceniać odpowiedzi systemu, który za każdym razem odpowiada inaczej, opisaliśmy w tekście o testowaniu aplikacji z LLM.
Odpowiedź dyskwalifikująca: „Przetestujemy system z Państwa zespołem w fazie UAT”. Testy akceptacyjne użytkowników są potrzebne, ale nie zastąpią zbioru ewaluacyjnego, bo nie są powtarzalne. Kilka osób, które przez tydzień rozmawiają z asystentem, daje wrażenie, a nie pomiar, i tego wrażenia nie da się odtworzyć po zmianie modelu. Druga odpowiedź dyskwalifikująca: „Zbiór testowy przygotujemy sami”. Zbiór przygotowany przez wykonawcę mierzy to, co wykonawca uznał za ważne, a wykonawca ma interes w tym, żeby wynik był wysoki.
Pytanie 2: Jaki próg jakości wpiszemy do odbioru i co się stanie, gdy nie zostanie osiągnięty?
Dobra odpowiedź: próg ustalimy po krótkim etapie pomiaru wstępnego, kiedy zobaczymy, jak działa najprostsza wersja na Twoim zbiorze. Próg będzie wyrażony konkretnie, na przykład odsetek poprawnych odpowiedzi w podziale na kategorie spraw, maksymalny odsetek odpowiedzi szkodliwych albo zmyślonych i maksymalny czas odpowiedzi. Umowa opisze, co się dzieje, gdy próg nie zostanie osiągnięty: dodatkowa iteracja na koszt wykonawcy, zmiana zakresu albo zakończenie współpracy po etapie, bez płacenia za kolejne.
Odpowiedź dyskwalifikująca to obietnica konkretnej liczby, zanim firma zobaczyła dane. „Gwarantujemy 95% skuteczności” brzmi dobrze w ofercie, ale nikt nie może tego uczciwie obiecać, nie wiedząc, jak trudne są Twoje przypadki i co liczy się jako sukces. Taka obietnica oznacza zwykle jedno z dwóch: albo liczba będzie mierzona na zbiorze, który dobierze wykonawca, albo nie będzie mierzona wcale. W obu przypadkach płacisz za liczbę, która nic nie znaczy.
Ważna jest też jednostka progu. Średnia skuteczność na całym zbiorze ukrywa kategorie, w których system zawodzi. Jeśli 80% zgłoszeń dotyczy statusu przesyłki, a 5% reklamacji z odszkodowaniem, system może mieć 92% skuteczności ogółem i mylić się w połowie reklamacji. Próg powinien być podany osobno dla kategorii, które mają największy koszt błędu.
Co się stanie z jakością po wdrożeniu?
Systemy AI tracą jakość z powodów, których zwykłe oprogramowanie nie zna. Zmienia się rozkład pytań, bo klienci zaczynają pytać o nowy produkt. Zmieniają się dokumenty, z których system czerpie wiedzę. Zmienia się wreszcie sam model, bo dostawca wypuszcza nową wersję albo wycofuje starą. Kod, którego nikt nie dotykał, może zacząć działać gorzej.
Pytanie 3: Jak wykryjecie spadek jakości po wdrożeniu i po zmianie wersji modelu?
Dobra odpowiedź ma dwie części. Pierwsza to testy regresyjne: zbiór ewaluacyjny z pytania 1 uruchamiany automatycznie przy każdej zmianie promptu, dokumentów źródłowych, konfiguracji wyszukiwania albo wersji modelu, z wynikiem porównywanym z poprzednim. To ta sama logika co w testowaniu regresyjnym zwykłego oprogramowania, tylko z ocenianiem odpowiedzi zamiast sprawdzania pól formularza. Druga część to monitoring produkcyjny: próbka rzeczywistych rozmów oceniana regularnie, wskaźniki takie jak odsetek przekazań do człowieka, odsetek odmów i oceny użytkowników, oraz próg, po którego przekroczeniu ktoś dostaje alert.
Odpowiedź dyskwalifikująca: „Model jest stabilny, więc nie ma potrzeby”. Modele dostępne przez API nie są stabilne w sensie, który ma znaczenie dla zamawiającego, bo dostawcy je wycofują. Anthropic informuje w swojej dokumentacji, że przed wycofaniem publicznie udostępnionego modelu powiadamia klientów z co najmniej 60-dniowym wyprzedzeniem. Przykład z tego roku: o wycofaniu modelu Claude Sonnet 4 poinformowano 14 kwietnia 2026 roku, a 15 czerwca 2026 roku zapytania do niego przestały działać. Model udostępniony w maju 2025 roku działał więc nieco ponad rok. Zespół, który nie ma automatycznego zbioru ewaluacyjnego, ma wtedy dwa miesiące na ręczne sprawdzenie, czy nowa wersja zachowuje się tak samo. Zespół, który go ma, uruchamia pomiar i po godzinie wie, co się zmieniło.
Warto też zapytać, kto ponosi koszt dostosowania systemu do nowej wersji modelu. Jeśli wycofanie modelu nie jest opisane w umowie, wykonawca wyceni migrację jako zmianę zakresu, choć była przewidywalna od pierwszego dnia.
Do kogo będą należeć prompty, dane i wagi?
W projekcie AI powstaje więcej rodzajów artefaktów niż w zwykłym projekcie programistycznym, a nie wszystkie są oczywistym utworem w rozumieniu prawa autorskiego. To sprawia, że standardowa klauzula o przeniesieniu praw do „oprogramowania i dokumentacji” może ich nie objąć.
Pytanie 4: Do kogo będą należeć prompty, zbiór ewaluacyjny, dane do dostrojenia i wagi modelu?
Lista artefaktów, które warto wymienić w umowie z nazwy, wygląda tak: kod aplikacji i integracji; prompty systemowe i szablony promptów; zbiór ewaluacyjny wraz z oczekiwanymi odpowiedziami i kryteriami oceny; dane przygotowane do dostrojenia modelu (przykłady, etykiety, poprawki); wagi modelu dostrojonego w projekcie albo adaptery; konfiguracja wyszukiwania i podziału dokumentów; potoki przetwarzania danych i skrypty ich odtworzenia; dokumentacja architektury i decyzji projektowych.
Przy kodzie sytuacja prawna jest jasna: program komputerowy jest chroniony jak utwór, a przeniesienie autorskich praw majątkowych wymaga umowy na piśmie z wymienionymi polami eksploatacji. Przy promptach, zbiorach testowych i wagach jest mniej jasna. Prompt może być utworem albo nie, w zależności od tego, ile w nim twórczości. Wagi modelu powstają w procesie obliczeniowym i ich ochrona prawnoautorska jest co najmniej sporna. Najbezpieczniej nie opierać się na tym, czy dany artefakt jest utworem, tylko zapisać w umowie wprost: wykonawca przekazuje te artefakty, przenosi do nich prawa w zakresie, w jakim istnieją, a w pozostałym zakresie udziela wyłącznej, bezterminowej licencji i zobowiązuje się traktować je jako tajemnicę przedsiębiorstwa zamawiającego.
Odpowiedź dyskwalifikująca: „Prompty i metodologia to nasze know-how”. Wykonawca może mieć prawo do swoich narzędzi i bibliotek, z których korzysta w wielu projektach, i rozsądnie jest dać mu licencję zwrotną albo zostawić je przy nim z licencją dla Ciebie. Ale prompty i zbiór testowy zbudowane na Twoich danych, dla Twojego procesu, to właśnie te elementy, bez których system jest nieprzenośny. Jeśli zostaną u wykonawcy, każdy kolejny wykonawca zaczyna od zera.
Pytanie 5: Gdzie trafią nasze dane i czy ktokolwiek będzie na nich trenował?
Dane w projekcie AI przechodzą przez więcej rąk niż w zwykłym projekcie: przez wykonawcę, przez dostawcę modelu, często przez dostawcę bazy wektorowej i narzędzi do monitoringu. Każdy z nich powinien być wymieniony jako podmiot przetwarzający albo dalszy podmiot przetwarzający w umowie powierzenia, jeśli w grę wchodzą dane osobowe.
Pytanie o trenowanie ma konkretną odpowiedź u głównych dostawców modeli, ale trzeba ją znać. OpenAI w dokumentacji dla programistów podaje, że od 1 marca 2023 roku dane wysyłane do API nie są domyślnie używane do trenowania ani ulepszania modeli, a dzienniki służące wykrywaniu nadużyć przechowuje domyślnie przez 30 dni. Tryb bez przechowywania danych (Zero Data Retention) jest dostępny tylko dla klientów zatwierdzonych przez OpenAI. To są warunki dla API, a nie dla wersji konsumenckich, i mogą się różnić w zależności od produktu i umowy. Firma od wdrożeń AI powinna umieć powiedzieć, przez którą usługę i na jakich warunkach będzie wysyłać Twoje dane, w którym regionie są przetwarzane i czy ma podpisane warunki ograniczające przechowywanie.
Odpowiedź dyskwalifikująca: „Korzystamy z API, więc dane są bezpieczne”. Ta odpowiedź pomija pytanie o region przetwarzania, o czas przechowywania, o to, czy wykonawca sam zapisuje rozmowy w logach, i o to, czy pracownicy wykonawcy używają Twoich danych w narzędziach, których nie ma w umowie. Druga odpowiedź dyskwalifikująca: „Wykorzystamy Państwa dane do ulepszenia naszego rozwiązania dla innych klientów”, podana bez osobnej zgody i wyceny.
Ile będzie kosztować system, gdy zacznie działać na produkcji?
Koszt budowy systemu AI łatwo porównać między ofertami, bo jest wyrażony w osobodniach albo w cenie projektu. Koszt działania jest trudniejszy, bo zależy od architektury, której zamawiający zwykle nie widzi. W systemach opartych na modelach językowych płacisz za każde wywołanie modelu, a jedno pytanie użytkownika może oznaczać kilka wywołań: klasyfikację intencji, wyszukiwanie w dokumentach, przygotowanie odpowiedzi, sprawdzenie jej przez drugi model. O tym, jak rozkłada się budżet od pilotażu do produkcji, pisaliśmy w tekście o koszcie wdrożenia AI od PoC do produkcji. Tutaj chodzi o pytanie, które trzeba zadać, zanim wybierzesz architekturę.
Pytanie 6: Ile kosztuje jedno zdarzenie biznesowe przy obecnym i dziesięciokrotnym wolumenie?
Dobra odpowiedź to rachunek, a nie stawka. Firma powinna policzyć: ile wywołań modelu przypada na jedno zdarzenie biznesowe (jedną obsłużoną sprawę, jeden przetworzony dokument), ile tokenów wejściowych i wyjściowych średnio zużywa każde z nich, jaka jest cena wybranego modelu, ile kosztują ponowienia przy błędach, wyszukiwanie w bazie wektorowej, przechowywanie logów i monitoring. Wynik pomnożony przez obecny wolumen daje koszt miesięczny. Wynik pomnożony przez dziesięciokrotny wolumen pokazuje, czy architektura ma sens przy sukcesie.
Prosty przykład pokazuje, dlaczego to ważne. Załóżmy, że asystent obsługuje 20 000 zgłoszeń miesięcznie. Wersja pierwsza wysyła do modelu przy każdym pytaniu cały regulamin i historię rozmowy, razem około 15 000 tokenów wejściowych. Wersja druga wyszukuje tylko trzy właściwe fragmenty regulaminu i skraca historię, co daje około 3 000 tokenów. Przy tej samej cenie za token koszt wejścia w wersji drugiej jest pięciokrotnie niższy, a przy dziesięciokrotnym wolumenie różnica przestaje być pozycją w budżecie IT i staje się pozycją w rachunku wyników. To przykład liczony na założonych wartościach, a nie cennik konkretnego modelu, ale proporcja jest typowa dla decyzji, które zapadają w pierwszych tygodniach projektu.
Odpowiedź dyskwalifikująca: „Koszt API jest pomijalny”. Bywa pomijalny w pilotażu ze stoma użytkownikami. Na produkcji zależy od architektury, a firma, która nie umie go policzyć na etapie oferty, nie zaprojektowała jeszcze architektury, tylko demo.
Pytanie 7: Kto płaci rachunki za API modelu i na jakich zasadach?
Są trzy typowe układy. Pierwszy: zamawiający ma własne konto u dostawcy modelu i płaci bezpośrednio, a wykonawca korzysta z niego w imieniu zamawiającego. Drugi: wykonawca płaci i refakturuje koszt z jawną marżą albo bez niej. Trzeci: wykonawca wlicza koszt modelu w ryczałt za usługę.
Pierwszy układ daje zamawiającemu najwięcej kontroli: widzi zużycie, ustawia limity, a przy zmianie wykonawcy konto zostaje. Drugi i trzeci są wygodniejsze na początku, ale ukrywają zużycie i wiążą Cię z wykonawcą mocniej, niż wynika z umowy, bo klucze, limity i historia zużycia są po jego stronie. Odpowiedź dyskwalifikująca nie dotyczy wyboru układu, tylko przejrzystości: „Koszt modelu jest wliczony w abonament” bez limitu, bez raportu zużycia i bez zasady, co się dzieje, gdy wolumen wzrośnie. Taki zapis oznacza, że przy wzroście ruchu albo zapłacisz za renegocjację, albo wykonawca zacznie oszczędzać na jakości, przełączając system na tańszy model.
Co, jeśli dostawca modelu zmieni zasady gry?
Firma, którą wybierasz, prawie na pewno nie jest autorem modelu bazowego. Korzysta z modelu jednego z dużych dostawców albo z modelu otwartego uruchamianego na własnej infrastrukturze. W obu przypadkach Twój system zależy od decyzji, na które ani Ty, ani wykonawca nie macie wpływu.
Pytanie 8: Co się stanie, gdy dostawca modelu wycofa wersję, zmieni cennik albo warunki?
Dobra odpowiedź ma trzy elementy. Pierwszy: warstwa abstrakcji, czyli kod napisany tak, żeby model dało się wymienić w jednym miejscu, bez przepisywania całej aplikacji. Drugi: zbiór ewaluacyjny z pytania 1, który pozwala w kilka godzin sprawdzić, czy inny model albo nowa wersja daje porównywalne wyniki. Trzeci: plan awaryjny, czyli wskazany drugi model, który przeszedł ten sam pomiar i może przejąć ruch, gdy pierwszy jest niedostępny albo zdrożeje.
Zmiany nie dotyczą tylko wycofywania całych modeli. Dostawcy usuwają też parametry wywołań i zmieniają wersje API. Dokumentacja Anthropic odnotowuje na przykład, że w wersji API z 21 października 2026 roku usunięto parametry temperature, top_p i top_k, a zapytania z nimi zwracają błąd. Dla aplikacji, która ustawiała te parametry na sztywno, to zmiana wymagająca poprawki kodu i ponownego pomiaru jakości. Takich zmian nie da się przewidzieć co do daty, ale da się przewidzieć, że nastąpią.
Odpowiedź dyskwalifikująca: „Pracujemy wyłącznie z modelem X, bo jest najlepszy”. Wybór jednego modelu jako domyślnego jest rozsądny. Zbudowanie systemu tak, żeby nie dało się go przenieść, jest decyzją, której koszt poniesiesz Ty. Ogólne mechanizmy uzależnienia od dostawcy są dobrze znane z projektów chmurowych i outsourcingowych. W projekcie AI uzależnienie ma dwa piętra: od wykonawcy i od dostawcy modelu, i oba trzeba zaadresować osobno.
Czy firma zaczyna od najprostszego rozwiązania?
Nie każdy problem, który zarząd nazywa problemem AI, wymaga dużego modelu językowego. Część da się rozwiązać klasycznym uczeniem maszynowym na danych tabelarycznych, część regułami, część dobrze napisanym promptem bez żadnej dodatkowej infrastruktury. Firma od wdrożeń AI zarabia jednak więcej na bardziej złożonych projektach, więc warto sprawdzić, czy jej rekomendacja wynika z problemu, czy z oferty.
Pytanie 9: Od czego zaczniecie: prompt, wyszukiwanie w dokumentach, dostrajanie czy klasyczne uczenie maszynowe, i dlaczego?
Dobra odpowiedź zaczyna się od najprostszego wariantu, który może zadziałać, i opisuje, jaki wynik pomiaru uzasadni przejście do bardziej złożonego. Typowa kolejność dla zadań językowych wygląda tak: najpierw model z dobrze opisanym promptem i kilkoma przykładami; jeśli brakuje mu wiedzy o firmie, wyszukiwanie w dokumentach (RAG); dopiero gdy pomiar pokazuje, że te dwa sposoby nie wystarczają, dostrajanie modelu na własnych przykładach. Dla zadań predykcyjnych na danych liczbowych, takich jak prognoza popytu czy ocena ryzyka rezygnacji klienta, punktem wyjścia jest często prosty model statystyczny, który da się wyjaśnić i utrzymać, a nie model językowy.
Odpowiedź dyskwalifikująca: „Zbudujemy dla Państwa własny model”, padająca przed jakimkolwiek pomiarem. Dostrajanie ma sens, ale wymaga przygotowania danych treningowych, infrastruktury, ponownego dostrajania przy każdej nowej wersji modelu bazowego i kompetencji z zakresu MLOps, które trzeba będzie utrzymać po zakończeniu projektu. Jeśli prompt z wyszukiwaniem osiąga uzgodniony próg, dostrajanie zwiększa koszt i uzależnienie bez zwiększenia wartości. Firma, która proponuje je na starcie, sprzedaje to, co umie sprzedać, a nie to, czego potrzebujesz. Kiedy w ogóle warto zatrudnić zewnętrznych ekspertów od uczenia maszynowego i jak ocenić ich efekt, omawia artykuł o konsultingu machine learning.
Druga odpowiedź dyskwalifikująca: „Nasz autorski silnik AI”. Jeśli za tym sformułowaniem stoi model jednego z dużych dostawców z warstwą promptów, to nie jest problem, ale trzeba to wiedzieć, bo od tego zależą odpowiedzi na pytania 5, 7 i 8. Jeśli firma nie chce powiedzieć, jaki model stoi pod spodem, nie wiesz, gdzie trafiają Twoje dane ani co się stanie, gdy ten model zostanie wycofany.
Kto odpowiada za zgodność z AI Act?
Rozporządzenie (UE) 2024/1689, czyli AI Act, rozdziela obowiązki między role. Dostawca (provider) to w uproszczeniu podmiot, który rozwija system AI lub zleca jego rozwój i wprowadza go do obrotu albo oddaje do użytku pod własną nazwą lub znakiem towarowym. Podmiot stosujący (deployer) to podmiot, który używa systemu AI w ramach swojej działalności. Przy systemie zbudowanym na zamówienie i używanym pod Twoją marką Twoja firma może być dostawcą, a software house jedynie wykonawcą, który pracuje na Twoje zlecenie. To odwraca intuicję wielu zarządów, które zakładają, że obowiązki regulacyjne „ma firma od AI”.
Pytanie 10: Kto będzie dostawcą, a kto podmiotem stosującym, i jakie dokumenty dostaniemy?
Pytanie ma znaczenie przede wszystkim dla systemów wysokiego ryzyka, czyli m.in. zastosowań z załącznika III, takich jak rekrutacja i decyzje dotyczące pracowników, ocena zdolności kredytowej osób fizycznych czy dostęp do usług podstawowych. Art. 25 rozporządzenia opisuje sytuacje, w których dystrybutor, importer, podmiot stosujący albo inna strona trzecia staje się dostawcą systemu wysokiego ryzyka: gdy umieszcza na nim własną nazwę lub znak towarowy, gdy dokonuje istotnej modyfikacji systemu, który pozostaje systemem wysokiego ryzyka, albo gdy zmienia przeznaczenie systemu w taki sposób, że staje się on systemem wysokiego ryzyka. Pierwotny dostawca ma wtedy obowiązek współpracy: przekazania potrzebnych informacji i dokumentacji technicznej.
Terminy trzeba sprawdzać na bieżąco, bo w 2026 roku się zmieniły. Według aktualnego brzmienia art. 113 ogólne stosowanie rozporządzenia rozpoczęło się 2 sierpnia 2026 roku, ale wymogi dla systemów wysokiego ryzyka z załącznika III stosuje się od 2 grudnia 2027 roku, a dla AI wbudowanej w produkty objęte załącznikiem I od 2 sierpnia 2028 roku. Obowiązki dla modeli AI ogólnego przeznaczenia stosuje się od 2 sierpnia 2025 roku. Wytyczne Komisji Europejskiej dla dostawców takich modeli wskazują, że obowiązki dostawcy modelu dotyczą tylko tych, którzy dokonują istotnej modyfikacji modelu, a nie każdego, kto go dostraja. Dla zamawiającego wniosek jest praktyczny: system, którego budowę zlecasz dziś, będzie działał, gdy wymogi wysokiego ryzyka zaczną obowiązywać, więc dokumentację warto tworzyć razem z systemem, a nie odtwarzać później.
Dobra odpowiedź firmy: wstępna klasyfikacja ryzyka Twojego przypadku z uzasadnieniem, propozycja podziału ról zapisana w umowie i lista dokumentów, które wykonawca przekaże: opis przeznaczenia i ograniczeń systemu, wyniki ewaluacji, opis danych użytych do budowy, opis mechanizmu nadzoru i logowania. Odpowiedź dyskwalifikująca: „AI Act nas nie dotyczy, bo korzystamy z gotowego modelu”. To pomylenie obowiązków dostawcy modelu ogólnego przeznaczenia z obowiązkami dostawcy systemu, który ten model wykorzystuje. Szczegółowe artefakty zgodności przy zakupie gotowych narzędzi omawia wspomniany wcześniej tekst o kryteriach wyboru dostawcy AI.
Pytanie 11: Gdzie w procesie zostaje człowiek i co system zapisuje w logach?
Nawet poza systemami wysokiego ryzyka obowiązki przejrzystości z art. 50 stosuje się od 2 sierpnia 2026 roku: ludzie mają wiedzieć, że rozmawiają z systemem AI, chyba że jest to oczywiste z kontekstu. Dla systemów wysokiego ryzyka art. 14 wymaga zaprojektowania skutecznego nadzoru człowieka, a art. 26 nakłada na podmiot stosujący obowiązek przechowywania automatycznie generowanych logów przez co najmniej sześć miesięcy.
Dobra odpowiedź firmy wskazuje konkretne punkty w procesie, w których decyzję podejmuje albo zatwierdza człowiek, kryteria, według których system przekazuje sprawę człowiekowi, oraz zakres logów: wejście, wyjście, wersja modelu i promptu, użyte dokumenty źródłowe, decyzja człowieka. Logi powinny dać się wyeksportować bez udziału wykonawcy. Jak zaprojektować nadzór, który nie zamienia się w klikanie „zatwierdź”, opisaliśmy w artykule o człowieku w pętli w procesach z AI. Odpowiedź dyskwalifikująca: „System jest w pełni autonomiczny, człowiek nie jest potrzebny”, padająca przy procesie, w którym błąd dotyka klienta albo pracownika.
Kto będzie pracował nad projektem i jak się rozstaniecie?
Ostatnie pytanie łączy dwie rzeczy, które w praktyce idą razem: ludzi i wyjście. System AI, którego nikt poza autorami nie rozumie, jest uzależnieniem, nawet jeśli umowa przenosi wszystkie prawa.
Pytanie 12: Kto konkretnie będzie pracował nad projektem i jak wygląda przekazanie systemu, gdy zakończymy współpracę?
Pierwsza część dotyczy zespołu. Projekty AI wymagają rzadkiego połączenia kompetencji: inżyniera, który zna modele i ewaluację, inżyniera danych, który przygotuje i utrzyma potoki, programisty, który zintegruje system z Twoimi aplikacjami, i analityka, który przełoży proces biznesowy na przypadki testowe. Poproś o imiona i nazwiska osób w zespole, ich udział czasowy i zasadę zastępstwa. Prezentacja z udziałem doświadczonego architekta, który po podpisaniu umowy znika z projektu, to znany wzorzec, a w projekcie AI jego skutki są większe, bo wiedza o tym, dlaczego prompt wygląda tak, a nie inaczej, rzadko trafia do dokumentacji.
Druga część dotyczy wyjścia. Dobra odpowiedź opisuje pakiet przekazania: repozytorium kodu, prompty, zbiór ewaluacyjny z wynikami ostatniego pomiaru, dane do dostrojenia i wagi, jeśli powstały, konfigurację infrastruktury w postaci kodu, dostęp do kont u dostawców modeli i narzędzi monitoringu, instrukcję uruchomienia pomiaru i opis decyzji architektonicznych. Do tego okres wsparcia przy przekazaniu i cena tego wsparcia podana liczbą. Najlepszy test to poproszenie o spis treści pakietu przekazania już na etapie oferty.
Odpowiedź dyskwalifikująca: „Przekażemy kod źródłowy”. Kod bez zbioru ewaluacyjnego i bez promptów w aktualnej wersji jest w projekcie AI jak samochód bez kluczyków: formalnie należy do Ciebie, ale nowy zespół nie wie, czy po pierwszej zmianie system działa tak samo jak wcześniej.
Które odpowiedzi dyskwalifikują firmę od razu?
Poniższa tabela zbiera 12 pytań w formie, którą można wykorzystać na spotkaniu z dostawcami albo w zapytaniu ofertowym. Kolumna z odpowiedzią dyskwalifikującą nie zawiera odpowiedzi słabych, tylko takie, po których dalsza rozmowa nie ma sensu, niezależnie od ceny.
| Nr | Pytanie | Dobra odpowiedź zawiera | Odpowiedź dyskwalifikująca |
|---|---|---|---|
| 1 | Jak zmierzycie, że system działa? | Zbiór ewaluacyjny z Twoich przypadków, kryteria oceny, wersjonowanie, własność po Twojej stronie | „Sprawdzimy w UAT” albo „zbiór przygotujemy sami” |
| 2 | Jaki próg jakości wpiszemy do odbioru? | Próg ustalony po pomiarze wstępnym, w podziale na kategorie, ze skutkiem nieosiągnięcia | Gwarancja konkretnej skuteczności przed zobaczeniem danych |
| 3 | Jak wykryjecie spadek jakości? | Automatyczne testy regresyjne przy każdej zmianie, monitoring próbki produkcyjnej, alerty | „Model jest stabilny, nie ma potrzeby” |
| 4 | Do kogo należą prompty, zbiór testowy, wagi? | Artefakty wymienione z nazwy, przeniesienie praw lub wyłączna licencja, przekazanie w użytecznym formacie | „Prompty i metodologia to nasze know-how” |
| 5 | Gdzie trafią nasze dane? | Lista podmiotów przetwarzających, region, czas przechowywania, brak trenowania bez zgody | „Korzystamy z API, więc dane są bezpieczne” |
| 6 | Ile kosztuje jedno zdarzenie biznesowe? | Rachunek kosztu na zdarzenie przy obecnym i dziesięciokrotnym wolumenie | „Koszt API jest pomijalny” |
| 7 | Kto płaci za API modelu? | Jawny układ, raport zużycia, limity, zasada przy wzroście wolumenu | Ryczałt bez limitu i bez raportu zużycia |
| 8 | Co, gdy dostawca modelu wycofa wersję? | Warstwa abstrakcji, pomiar zamiennika, model zapasowy, koszt migracji w umowie | „Pracujemy tylko z modelem X” bez planu przeniesienia |
| 9 | Od czego zaczniecie? | Najprostszy wariant i próg pomiaru uzasadniający kolejny krok | Własny model albo dostrajanie przed jakimkolwiek pomiarem; nieujawniony model bazowy |
| 10 | Kto będzie dostawcą w AI Act? | Wstępna klasyfikacja ryzyka, podział ról w umowie, lista dokumentów | „AI Act nas nie dotyczy, bo używamy gotowego modelu” |
| 11 | Gdzie zostaje człowiek, co jest w logach? | Punkty decyzji człowieka, kryteria przekazania, zakres i eksport logów | „System jest w pełni autonomiczny” przy procesie z kosztownym błędem |
| 12 | Kto pracuje i jak wygląda wyjście? | Nazwiska i udział czasowy, spis pakietu przekazania, cena wsparcia przy wyjściu | „Przekażemy kod źródłowy” jako cały plan wyjścia |
Trzy pierwsze wiersze i wiersz dziewiąty mają szczególną wagę, bo sprawdzają, czy firma ma metodę, a nie tylko ofertę. Firma może nie mieć gotowej odpowiedzi na pytanie o AI Act, jeśli Twój przypadek jest nietypowy, i to da się nadrobić z prawnikiem. Firma, która nie ma metody pomiaru, nie nadrobi jej w trakcie projektu, bo każda kolejna decyzja techniczna będzie podejmowana na wyczucie.
Jak zadać te pytania, żeby odpowiedzi dało się porównać?
Pytania zadane ustnie na prezentacji dają odpowiedzi, które trudno porównać, bo każda firma odpowiada w innej kolejności i na innym poziomie szczegółu. Lepiej zadać je na piśmie, jako część zapytania ofertowego, i poprosić o odpowiedź w ustalonym formacie: krótki opis, przykładowy artefakt (fragment zbioru ewaluacyjnego z innego projektu po anonimizacji, wzór raportu z pomiaru, spis treści pakietu przekazania) i proponowany zapis w umowie.
Prośba o artefakt jest najlepszym filtrem. Firma, która naprawdę mierzy jakość, ma wzór raportu z ewaluacji i potrafi pokazać go w godzinę. Firma, która mierzy na wyczucie, odpowie, że „przygotuje go po starcie projektu”. Ta różnica jest widoczna szybciej niż w jakimkolwiek demie.
Drugi krok to płatny etap wstępny zamiast pełnego projektu. Zamiast wybierać wykonawcę na cały projekt na podstawie ofert, warto zlecić krótki etap, w którym firma zbuduje zbiór ewaluacyjny z Twoimi ekspertami, zmierzy najprostszy wariant i zaproponuje próg do umowy. Etap kończy się dokumentem i zbiorem testowym, które należą do Ciebie i które możesz wykorzystać także przy innym wykonawcy. Jeśli firma odmawia takiego etapu albo chce go wycenić jako część całego projektu, z którego nie da się wyjść, to także jest odpowiedź. Obowiązują tu te same zasady co przy każdym proof of concept: kryterium sukcesu zapisane przed startem i jawna decyzja o kolejnym kroku po zakończeniu.
Trzeci krok to rozmowa referencyjna z pytaniem o pomiar. Zamiast pytać byłego klienta, czy był zadowolony, zapytaj, jak mierzył jakość systemu, czy dostał zbiór ewaluacyjny, co się stało przy pierwszej zmianie wersji modelu i ile kosztuje mu dziś miesiąc działania systemu w porównaniu z tym, co zakładała oferta. Te cztery pytania pokazują, czy referencja dotyczy systemu, który działa, czy systemu, który kiedyś został odebrany.
Czwarty krok to skład zespołu po Twojej stronie. Żadna z dobrych odpowiedzi nie zadziała, jeśli po stronie zamawiającego nie ma osoby, która będzie właścicielem zbioru ewaluacyjnego i progu jakości. Zwykle jest to ktoś z działu, którego proces system obsługuje, wspierany przez kogoś z IT. Bez takiej osoby nawet najlepsza metoda pomiaru zostanie u wykonawcy, bo tylko on będzie umiał z niej korzystać.
Jakie są kluczowe wnioski przed podpisaniem umowy?
Wybór firmy od wdrożeń AI rozstrzyga się w odpowiedziach na pytania, których nie da się sprawdzić na demie. Demo i portfolio pokazują, że firma umie zbudować coś, co wygląda dobrze. Pytania o pomiar, własność, koszt działania i wyjście pokazują, czy po zakończeniu umowy zostaniesz z systemem, który umiesz ocenić, utrzymać i przenieść.
Zapamiętaj pięć rzeczy. Po pierwsze, zbiór ewaluacyjny zbudowany z Twoich przypadków i należący do Ciebie jest najcenniejszym artefaktem projektu, bo przetrwa zmianę modelu, wykonawcy i architektury. Po drugie, firma, która obiecuje konkretną skuteczność przed zobaczeniem danych, nie ma metody pomiaru i powinna odpaść. Po trzecie, poproś o koszt jednego zdarzenia biznesowego przy obecnym i dziesięciokrotnym wolumenie, bo to on, a nie cena budowy, zdecyduje o opłacalności. Po czwarte, wymień w umowie z nazwy prompty, zbiory testowe, dane do dostrojenia i wagi, bo standardowa klauzula o oprogramowaniu może ich nie objąć. Po piąte, ustal role w AI Act przed startem projektu, bo przy systemie pod Twoją marką dostawcą możesz być Ty.
ARDURA Consulting wspiera firmy, które budują systemy AI, w dwóch modelach. Możemy dołączyć do Twojego zespołu inżynierów, którzy zbudują zbiór ewaluacyjny, potoki danych i integracje, w ramach współpracy w modelu programistów Python z kompetencjami AI i uczenia maszynowego, z 2-tygodniową gwarancją wymiany specjalisty i 30-dniowym okresem wypowiedzenia. Możemy też poprowadzić projekt w modelu tworzenia oprogramowania na zamówienie, zaczynając od fazy discovery trwającej 1–2 tygodnie. Jeśli chcesz przejść przez 12 pytań dla konkretnego przypadku, zanim wyślesz zapytanie ofertowe, umów rozmowę.