Ta sama kampania, dwie sprzeczne rekomendacje. Test AI na koncie Meta Ads

Sztuczna inteligencja podłączona do konta reklamowego brzmi dziś jak gotowa odpowiedź na pytanie „co zrobić z budżetem”. Postanowiłem to sprawdzić uczciwie.

Obie oceny powstały niezależnie. Druga nie znała pierwszej. Wyszły sprzeczne.

Nazwy kampanii i wartości liczbowe zostały zmienione. Zachowane są proporcje i kierunki, bo to one stanowią treść tego tekstu.

Jak wyglądał eksperyment

Konto sklepu internetowego z wysoką wartością koszyka. Kilkanaście tysięcy złotych wydatku miesięcznie, dziewięć aktywnych kampanii. Pytanie było jedno: które kampanie zwiększyć i o ile.

Ścieżka pierwsza: model językowy

Wygląda z zewnątrz na najprostszą i taka też jest w środku — cztery kroki, jedno rozumowanie.

Dodatkowo dostępna jest ocena wystawiana przez sam system reklamowy. Na badanym koncie wyniosła 75 na 100, a wśród podpowiedzi dominowały: dodanie pionowego wideo, generowanie teł przez sztuczną inteligencję i tworzenie wariantów obrazów. Warto wiedzieć, czyj to głos — ocena pochodzi od dostawcy powierzchni reklamowej, a większość podpowiedzi promuje jego własne funkcje. To nie znaczy, że są złe. Znaczy, że nie są bezstronne.

Ścieżka druga: silnik na danych

Tu decyzja nie powstaje w jednym kroku, tylko przechodzi przez łańcuch, w którym każde ogniwo może ją zatrzymać. Dwa zatrzymały.

Dane trafiają do własnej bazy i są weryfikowane

Dane dzienne zapisujemy lokalnie, zamiast odpytywać na bieżąco. Po pobraniu suma zapisanych dni jest porównywana z sumą podaną przez źródło. Braki są wykrywane i uzupełniane. Bez tego kroku każda kolejna liczba stoi na niesprawdzonym fundamencie.

Okna czasu nie zachodzą na siebie

Porównujemy ostatnie 7 dni z siedmioma poprzednimi, 14 z czternastoma, 28 z dwudziestoma ośmioma. Ten sam dzień nie występuje po obu stronach porównania. To jedyny sposób, żeby zobaczyć kierunek, a nie stan.

Każda zmiana przechodzi test

Klikalność i współczynnik konwersji sprawdza test Z dla dwóch proporcji, bo to udziały, a nie średnie. Koszt zamówienia i zwrot z wydatku — test t Welcha na obserwacjach dziennych, który nie zakłada równej zmienności w obu okresach. Wartości nietypowe wykrywa metoda oparta na medianie odchyleń, odporna na pojedyncze skrajne dni.

Wielokrotne testy dostają korektę

To miejsce, w którym większość narzędzi analitycznych milczy. Jeśli dla jednej kampanii wykonasz kilkanaście testów, część wyników wyjdzie „istotna” wyłącznie przez przypadek — przy progu 5% mniej więcej co dwudziesty. Stosujemy procedurę Benjaminiego-Hochberga kontrolującą odsetek fałszywych odkryć. W praktyce część zmian widocznych gołym okiem zostaje odrzucona jako niepotwierdzona. I tak ma być.

Skąd wziął się rozjazd

Trzy kampanie dostały przeciwne zalecenia. To nie jest różnica w rachunku — to różnica w tym, na jakim okresie liczony jest wynik.

Średnia miesięczna ukrywa załamanie

Kampania „Katalog” w ujęciu trzydziestodniowym wygląda na jedną z lepszych: 29 złotych sprzedaży z każdej wydanej złotówki. W ostatnich czternastu dniach to już 7,4 złotego. Wynik z pierwszej połowy miesiąca podtrzymywał średnią, choć kampania od dwóch tygodni schodziła w dół.

Model językowy zobaczył średnią i zaproponował zwiększenie budżetu. Nie pomylił się w rachunku — patrzył na jedną liczbę zamiast na kierunek.

Konto jako całość spadało, nie rosło

W oknie bazowym konto traciło 38% przychodu i 35% zamówień. Odbicie z ostatniego tygodnia jest prawdziwe, ale przy wysokiej wartości koszyka pojedyncza transakcja przestawia cały tydzień — dlatego reguły zabraniają opierać decyzji na najświeższym oknie.

Jest tam też drugi sygnał: średnia wartość zamówienia rośnie, a zamówień ubywa. Sprzedaje się drożej, ale rzadziej. Zmienia się struktura sprzedaży, nie jej wielkość.

Próg opłacalności jest ustaleniem z klientem

Zwrot 29× brzmi znakomicie w oderwaniu od kontekstu. Ale dla tego klienta mamy zapisany konkretny próg, poniżej którego kampania przestaje się opłacać — ustalony wspólnie, na podstawie jego wiedzy o własnym biznesie. Kampania „Katalog” zeszła poniżej tego progu.

Tej liczby nie ma i nie będzie w żadnym systemie reklamowym. Model językowy może ją tylko zgadnąć — a najczęściej podstawia w to miejsce średnią z rynku albo średnią z samego konta, co przy koncie w spadku oznacza porównywanie się do własnego pogorszenia.

Zmiana potwierdzona kontra zmiana zauważona

Dla jednej z kampanii silnik wykrył spadek skuteczności o 47% i potwierdził go testem jako zmianę istotną, a nie przypadkową. Równolegle odnotował, że zainteresowanie samą reklamą rosło — czyli problem leży dalej, już po kliknięciu, a nie w kreacji. To rozróżnienie zmienia zalecenie o 180 stopni: przy spadku zainteresowania wymienia się reklamę, przy spadku po kliknięciu szuka się przyczyny na stronie.

Trzy rzeczy, które zadecydowały

Co z tego wynika

Model językowy podłączony do konta reklamowego liczy poprawnie i pisze przekonująco. Problem polega na tym, że przekonująco brzmi także wtedy, gdy podstawa jest za wąska: średnia zamiast kierunku, pięć zdarzeń zamiast próbki, cudzy punkt odniesienia zamiast progu ustalonego z klientem.

Silnik nie jest mądrzejszy. Jest wolniejszy w wydawaniu opinii i ma reguły, których nie wolno mu obejść — musi pokazać kierunek, zanim coś zarekomenduje, musi odnieść wynik do progu klienta, musi potwierdzić zmianę testem i musi odmówić decyzji, gdy danych jest za mało.

Różnica nie leży w inteligencji narzędzia, tylko w tym, czy wolno mu wydać opinię bez pokrycia.

Czego nie twierdzę

• Że model językowy jest bezużyteczny — do szybkiego rozeznania, przeglądu konta i wychwycenia rzeczy nietypowych sprawdza się bardzo dobrze i bywa szybszy.
• Że silnik zawsze ma rację — działa na regułach i progach, a te trzeba ustawić i okresowo weryfikować.
• Że wysokie zwroty na tym koncie oznaczają czysty zysk — część z nich to sprzedaż, która i tak by nastąpiła, a reklama jedynie przypisuje ją sobie. To osobny temat.
• Że którakolwiek z rekomendacji jest gwarancją wyniku. Zwiększenie budżetu nigdy nie przekłada się na sprzedaż wprost.

Pięć pytań do dowolnego narzędzia

Pytanie nie brzmi „czy używać sztucznej inteligencji”, bo obie metody z tego tekstu na niej stoją. Pytanie brzmi: na czym opiera się decyzja, którą dostajesz, i czy da się ją sprawdzić.

• Na jakim okresie liczona jest rekomendacja? Średnia miesięczna potrafi ukryć dwutygodniowe załamanie.
• Ile zdarzeń stoi za tą liczbą? Przy kilku zamówieniach wynik jest przypadkiem, nie tendencją.
• Czy zmiana została potwierdzona, czy tylko zauważona? Bez testu nie odróżnisz realnego spadku od wahania.
• Na jakim poziomie zapada decyzja? Średnia kampanii ukrywa rozrzut między zestawami i reklamami.
• Czy da się to cofnąć? Każda zmiana budżetu powinna mieć drogę powrotu.

A na jakim okresie liczy rekomendacje narzędzie, którego używasz?