I02 Stacja 2 z 11
Co to jest LLM (duży model językowy) i jak działa – wyjaśnienie dla osób zajmujących się SEO
Duży model językowy (ang. large language model, LLM) to program, który na podstawie ogromnej ilości przeczytanego tekstu nauczył się przewidywać, jaki fragment tekstu powinien pojawić się dalej. Odpowiedź w ChatGPT, Gemini czy Przeglądzie od AI powstaje właśnie tak: model dopisuje kolejne fragmenty wyrazów, jeden po drugim, wybierając te najbardziej prawdopodobne w danym kontekście. Model nie przeszukuje przy tym bazy faktów – jeśli ma podać aktualne informacje, musi je otrzymać z zewnątrz, najczęściej z wyszukiwarki.
Poniżej wyjaśniamy, jak model dzieli tekst, jak się uczy, skąd się biorą jego błędy i dlaczego to wszystko ma znaczenie dla stron, które chcą być cytowane w odpowiedziach AI.
Co to jest LLM w jednym akapicie
Modele językowe istniały na długo przed premierą ChatGPT – to ogólna nazwa systemów, które oceniają, jak prawdopodobny jest dany ciąg słów. Wcześniejsze modele, takie jak BERT, służyły głównie do rozumienia tekstu: klasyfikacji, dopasowywania zapytania do dokumentu i wyszukiwania. Duże modele językowe różnią się skalą (liczbą parametrów oraz ilością danych treningowych) oraz tym, że potrafią generować tekst. Niemal wszystkie dzisiejsze LLM-y opierają się na architekturze transformera, opisanej w 2017 roku w pracy „Attention Is All You Need”. Szersze tło – to, jak komputery w ogóle przetwarzają język – opisujemy w artykule o przetwarzaniu języka naturalnego (NLP).
Tokeny – jak model widzi tekst
Model nie operuje na literach ani na całych słowach, tylko na tokenach. Token to fragment tekstu z ustalonego słownika modelu: może to być całe krótkie słowo, część dłuższego słowa, znak interpunkcyjny albo spacja z fragmentem wyrazu. Słowo „pozycjonowanie” zostanie zwykle podzielone na kilka tokenów, a popularne angielskie słowo „the” – zapisane za pomocą jednego.
Dla osoby zajmującej się SEO wynikają z tego dwa praktyczne wnioski:
- Limity i koszty liczone są w tokenach, a nie w słowach czy znakach. Tekst w języku polskim wymaga zwykle większej liczby tokenów niż ten sam tekst po angielsku, ponieważ słowniki modeli powstają głównie na bazie danych anglojęzycznych, a bogata polska fleksja generuje wiele form jednego wyrazu.
- Model nie „widzi” pisowni tak jak człowiek. Dlatego gorzej radzi sobie z zadaniami takimi jak „policz litery w słowie” czy „ułóż wyrazy alfabetycznie” – operuje na fragmentach wyrazów, a nie na pojedynczych znakach.
Każdy token jest w modelu zamieniany na wektor, czyli długi ciąg liczb, który opisuje jego znaczenie w relacji do innych tokenów. Na tym samym pomyśle – zapisie znaczenia w postaci liczb – opiera się wyszukiwanie wektorowe, o którym wspominamy w artykule o RAG.
Jak trenuje się duży model językowy
Trening odbywa się zwykle w kilku etapach. Szczegóły różnią się w zależności od firmy i większość z nich nie jest ujawniana, ale ogólny schemat został dobrze opisany w literaturze.
Pretrening – nauka na ogromnym zbiorze tekstów
W pierwszym etapie model otrzymuje miliardy zdań (strony internetowe, książki, kod, artykuły) i ćwiczy jedno zadanie: przewidzieć następny token. Widzi początek zdania „Plik robots.txt umieszcza się w katalogu…”, zgaduje kolejny token, porównuje wynik z oryginałem i minimalnie koryguje swoje parametry. Powtarzane ogromną liczbę razy, to proste zadanie zmusza model do „przyswojenia” zasad gramatyki, faktów, stylu i zależności między pojęciami. Po pretreningu model dobrze uzupełnia tekst, ale nie jest jeszcze asystentem – na pytanie potrafi odpowiedzieć kolejnym pytaniem, bo tak też wyglądają teksty w sieci.
Dostrajanie – nauka formy odpowiedzi
W drugim etapie (ang. fine-tuning) model uczy się na znacznie mniejszym zbiorze przykładów przygotowanych przez ludzi, składających się z polecenia i wzorcowej odpowiedzi. Dzięki temu zaczyna odpowiadać na pytania, trzymać się instrukcji oraz wymaganego formatu.
RLHF – nauka na podstawie ocen ludzi
Trzeci etap to często RLHF (ang. reinforcement learning from human feedback, uczenie ze wzmocnieniem na podstawie ocen ludzi). Ludzie porównują kilka odpowiedzi modelu na to samo polecenie i wskazują lepszą. Na podstawie tych ocen trenuje się model pomocniczy, który „przewiduje”, co ludzie uznają za dobrą odpowiedź, a główny model jest dostrajany tak, by takie odpowiedzi dawał częściej. Metodę w zastosowaniu do modeli językowych opisali badacze OpenAI w pracy z marca 2022 roku o modelach InstructGPT („Training language models to follow instructions with human feedback”). Dziś firmy stosują też inne odmiany tego etapu, ale cel jest ten sam: model ma być pomocny i bezpieczny, a nie tylko „poprawny statystycznie”.
Przewidywanie kolejnego tokenu – jak powstaje odpowiedź
Gdy wpisujesz pytanie, model nie wyszukuje gotowej odpowiedzi. Robi to, czego nauczył się podczas treningu:
- Zamienia całe polecenie (razem z instrukcjami systemowymi i ewentualnymi dołączonymi tekstami) na tokeny.
- Oblicza prawdopodobieństwo wystąpienia każdego tokenu ze swojego słownika jako kolejnego elementu.
- Wybiera jeden z najbardziej prawdopodobnych – nie zawsze ten pierwszy, bo odrobina losowości sprawia, że tekst brzmi naturalnie.
- Dopisuje go do tekstu i powtarza cały proces, aż uzna odpowiedź za zakończoną.
Dlatego to samo pytanie zadane dwukrotnie może przynieść dwie różne odpowiedzi i dwa odmienne zestawy cytowanych stron. Jeśli sprawdzasz, czy Twoja marka pojawia się w odpowiedziach AI, jedno zapytanie niczego nie dowodzi – trzeba zadać je kilkukrotnie i ocenić powtarzalność wyników.
Okno kontekstu – ile model „pamięta” naraz
Okno kontekstu to maksymalna liczba tokenów, którą model bierze pod uwagę przy generowaniu pojedynczej odpowiedzi. Mieści się w nim wszystko: instrukcje, historia rozmowy, załączone dokumenty, fragmenty stron pobrane z wyszukiwarki oraz sama generowana treść. To, czego nie ma w oknie, dla modelu w danej chwili nie istnieje – poza wiedzą „zapisaną” w parametrach podczas treningu.
Rozmiary okien w nowych modelach szybko rosną i różnią się w zależności od narzędzia, dlatego nie podajemy tu konkretnych liczb. Istotniejsze jest co innego: nawet duże okno ma swoje ograniczenia, a system generujący odpowiedź nie wprowadza do niego całego internetu. Wybiera zaledwie kilka lub kilkanaście fragmentów stron, które uzna za najbardziej przydatne. To właśnie ten wybór decyduje o tym, czy treść Twojej witryny w ogóle trafi do odpowiedzi.
Dlaczego model zmyśla
Model jest trenowany do tworzenia prawdopodobnego tekstu, a nie prawdziwego. Zwykle jedno idzie w parze z drugim, ale nie zawsze. Gdy model nie ma w danych wystarczających informacji – na przykład w przypadku niszowego tematu, małej firmy, niedawnego wydarzenia czy konkretnej liczby – i tak wygeneruje płynną, pewnie brzmiącą odpowiedź. Takie zmyślenia nazywa się halucynacjami. Typowe przykłady to nieistniejące źródła, pomylone daty, wymyślone parametry produktu albo przypisanie usługi niewłaściwej firmie.
Ryzyko halucynacji spada, gdy model otrzymuje w oknie kontekstu wiarygodne teksty i polecenie, by się na nich opierać – nie znika ono jednak całkowicie. Dla właściciela strony oznacza to, że jasno przedstawione fakty o firmie, produkcie czy usłudze (ceny, zakres oferty, lokalizacja, autor) stanowią materiał, z którego model może skorzystać, zamiast zgadywać.
Wiedza z momentu treningu – dlaczego asystenci korzystają z wyszukiwarki
Wiedza „zapisana” w parametrach modelu kończy się w momencie, w którym zebrano dane treningowe. Model nie wie, co wydarzyło się później, nie zna nowych produktów, zmian w przepisach ani aktualnych cen. Ponowny trening jest kosztowny i nie odbywa się codziennie.
Dlatego asystenci AI, którzy mają odpowiadać na bieżące pytania, łączą model z wyszukiwarką. System najpierw wyszukuje strony pasujące do zapytania, przekazuje wybrane fragmenty do okna kontekstu, a model generuje odpowiedź na ich podstawie i podaje linki do źródeł. To podejście nazywa się RAG – mechanizm ten krok po kroku opisujemy w artykule o RAG, czyli generowaniu wspartym wyszukiwaniem. Na tej zasadzie działają m.in. wyszukiwanie w ChatGPT i Przegląd od AI w Google, który według dokumentacji Google opiera się na wynikach z indeksu wyszukiwarki.
| Skąd model czerpie informacje | Aktualność | Czy da się wskazać źródło |
|---|---|---|
| Parametry modelu (wiedza z treningu) | Do daty zebrania danych treningowych | Nie – model nie „pamięta”, z której strony pochodzi informacja |
| Fragmenty stron pobrane z wyszukiwarki (RAG) | Taka jak aktualność indeksu | Tak – system może podać link do strony, z której pobrał fragment |
Co z tego wynika dla SEO
Z działania modeli LLM wynikają trzy wnioski. Po pierwsze, w odpowiedziach zawierających linki do źródeł model opiera się na stronach, które system wyszukiwania wcześniej odnalazł i wyselekcjonował – obecność w indeksie oraz wysokie pozycje w wyszukiwarce nadal są więc punktem wyjścia. Po drugie, do okna kontekstu trafiają jedynie fragmenty, a nie całe serwisy, dlatego kluczowe znaczenie ma to, czy konkretny akapit wyczerpująco i precyzyjnie odpowiada na pytanie. Po trzecie, odpowiedź jest wybierana na podstawie rozkładu prawdopodobieństwa, dlatego widoczność w AI mierzy się w oparciu o wiele prób, a nie na podstawie pojedynczego zrzutu ekranu.
To, jak przekłada się to na wyszukiwarkę Google, opisujemy w artykule o AI Overviews, a konkretne działania – z podziałem na to, co potwierdzają twórcy modeli, co wykazały badania, a co stanowi jedynie branżową praktykę – w tekście o tym, jak strona trafia do cytowań w odpowiedziach AI. Szerszy obraz zmian zachodzących w wyszukiwarkach znajdziesz w przewodniku SEO w czasach AI.
Najczęstsze pytania
Co to jest LLM?
LLM (large language model), czyli duży model językowy, to program wytrenowany na ogromnej ilości tekstu, który generuje odpowiedź, przewidując kolejne fragmenty tekstu (tokeny). Na takich modelach działają m.in. ChatGPT, Gemini i Claude.
Czym jest token w modelu językowym?
Token to fragment tekstu ze słownika modelu – całe słowo, jego część albo znak. Model czyta i pisze tekst token po tokenie, a limity długości i koszty są liczone w tokenach.
Dlaczego ChatGPT czasem podaje nieprawdziwe informacje?
Wynika to z faktu, że model generuje tekst statystycznie najbardziej prawdopodobny, a nie zweryfikowany pod kątem prawdy. Gdy brakuje mu danych, tworzy płynną, lecz zmyśloną odpowiedź – zjawisko to określa się mianem halucynacji. Ryzyko błędów maleje, gdy model opiera się na fragmentach stron pobranych z wyszukiwarki.
Czy duży model językowy zna aktualne informacje?
Sam model dysponuje wyłącznie wiedzą zgromadzoną do momentu zakończenia zbierania danych treningowych. Aktualne informacje uzyskuje z wyszukiwarki, która dostarcza mu świeże fragmenty stron do okna kontekstu.
Co to jest okno kontekstu?
To limit tokenów, które model może przetworzyć w ramach pojedynczej odpowiedzi. W oknie tym mieszczą się m.in. instrukcje systemowe, historia rozmowy, załączone teksty oraz fragmenty stron z wyszukiwarki. Tego, co nie znalazło się w oknie kontekstu ani w danych treningowych, model w danej chwili nie bierze pod uwagę.
Cała linia: AI Search
- I01węzeł
SEO a AI
- I02jesteś tutaj
LLM
- I03
RAG
- I04
Query fan-out
- I05
AI Overviews
- I06
Tryb AI
- I07
ChatGPT Search
- I08
GEO
- I09
Cytowania w AI
- I10
Crawlery AI
- I11
Treści z AI
Przesiadki
Węzły pozostałych linii – od nich zaczyna się każdy dział Akademii.
- Co to jest SEO? Kompleksowy przewodnik po optymalizacji w 2026 rokuPodstawy SEO
- Jak skutecznie wyszukiwać słowa kluczoweSłowa kluczowe
- Przewodnik po kodach statusu HTTP: jak interpretować odpowiedzi serweraTechniczne SEO
- Topical authority w SEO – jak stać się autorytetem w swojej niszy?Semantyczne SEO
- Wpływ crawl budgetu na pozycjonowanie stron – jak skutecznie zarządzać zasobami skanowaniaCrawlowanie i indeksacja
- Nawigacja fasetowa – jak optymalizować ją dla SEO?SEO dla e-commerce
- Jak algorytm Panda zmienił zasady gry w SEO?Algorytmy Google
- Analiza danych w Google Search Console i ich wpływ na ruch internetowyNarzędzia SEO