RAG vs Self-RAG: Jak AI nauczyła się sprawdzać siebie

Czym jest RAG i dlaczego ma znaczenie

Duże modele językowe mają jedną krytyczną słabość: znają tylko to, na czym zostały wytrenowane. Zapytaj model o coś z zeszłego miesiąca lub o coś w twoich wewnętrznych dokumentach, a albo coś wymyśli, albo przyzna, że nie wie.

Retrieval-Augmented Generation (RAG) zostało zaprojektowane, aby to naprawić. Zamiast polegać wyłącznie na wytrenowanych parametrach, RAG łączy model z zewnętrznym źródłem wiedzy, zazwyczaj bazą wektorową. Gdy użytkownik zadaje pytanie, system pobiera najbardziej odpowiednie dokumenty i przekazuje je modelowi jako kontekst.

Wynikiem jest system, który jest bardziej rzetelny faktycznie, łatwiejszy do aktualizacji i znacznie tańszy w utrzymaniu niż wielokrotne dostrajanie modelu na nowych danych.

Problem ze standardowym RAG

Standardowy RAG ma jedną fundamentalną decyzję projektową wbudowaną: zawsze pobiera dane. Każde zapytanie uruchamia wyszukiwanie wektorowe, niezależnie od tego, czy pytanie faktycznie wymaga zewnętrznego kontekstu.

Zadaj proste pytanie matematyczne, a standardowy potok RAG posłusznie przeszuka swoją bazę wiedzy, znajdzie marginalnie powiązane dokumenty i przekaże je jako kontekst przed odpowiedzią. To marnotrawstwo i może faktycznie pogorszyć jakość odpowiedzi.

• Niepotrzebne pobieranie: proste pytania faktyczne nie potrzebują zewnętrznego kontekstu
• Brak autokorekty: jeśli pobrane dokumenty są błędne lub nieistotne, standardowy RAG nie ma mechanizmu do wykrycia tego
• Brak walidacji wyjścia: po wygenerowaniu odpowiedzi nic nie sprawdza, czy odpowiedź jest faktycznie poparta pobranym dowodem

Czym jest Self-RAG

Self-RAG to zaawansowany framework, który dodaje warstwę autonomicznego rozumowania na standardowy RAG. Zamiast zawsze pobierać, model najpierw decyduje, czy pobieranie jest w ogóle konieczne. Po pobraniu ocenia, czy to, co znalazł, jest istotne. Po wygenerowaniu sprawdza, czy wynik jest faktycznie poparty dowodami.

To samokrytyczne zachowanie sprawia, że Self-RAG jest znacznie bardziej niezawodny niż jego poprzednik. Model nie jest pasywnym generatorem tekstu, działa jako własna warstwa kontroli jakości przez cały potok.

Jak działają tokeny refleksji

Mechanizm stojący za Self-RAG to zestaw specjalnych znaczników zwanych tokenami refleksji. Nie są pobierane ze źródeł zewnętrznych, są generowane przez sam model jako część procesu rozumowania. Istnieją trzy kluczowe typy:

• Token pobierania: model generuje go, aby zdecydować "czy muszę czegoś szukać dla tego zapytania, czy mogę odpowiedzieć z własnej wiedzy?" Jeśli odpowiedź to nie, pobieranie jest całkowicie pomijane
• Token istotności: po pobraniu dokumentów model ocenia każdy z nich. "Czy ten dokument jest naprawdę istotny dla zadanego pytania?" Nieistotne dokumenty są odrzucane przed generowaniem
• Token wsparcia: po wygenerowaniu odpowiedzi model sprawdza "czy ta odpowiedź jest faktycznie poparta pobranym dowodem?" Jeśli odpowiedź nie jest zakorzeniona w pobranej treści, model ją oznacza lub poprawia

Ta trójetapowa samoocena drastycznie redukuje halucynacje i znacznie poprawia wiarygodność generowanych odpowiedzi w porównaniu ze standardowym RAG.

Agentyczny RAG vs liniowy RAG

Zarówno standardowy RAG, jak i Self-RAG podążają stosunkowo liniowym procesem: odbiór zapytania, pobranie dokumentów, wygenerowanie odpowiedzi. Agentyczny RAG całkowicie przełamuje tę liniowość.

W agentycznym systemie RAG model może planować wieloetapową strategię pobierania. Może pobrać z jednego źródła, ocenić wyniki, zdecydować, że potrzebuje więcej informacji z innego źródła, pobrać ponownie, zsyntezować z wielu dokumentów i dopiero wtedy wygenerować ostateczną odpowiedź.

• Liniowy RAG: jeden krok pobierania, jeden krok generowania, gotowe
• Self-RAG: decyduje czy pobieranie jest potrzebne, krytykuje pobraną treść, waliduje jakość wyjścia
• Agentyczny RAG: wieloetapowe planowanie, wiele źródeł pobierania, dynamiczna strategia na podstawie wyników pośrednich

RAG vs fine-tuning: dlaczego RAG wygrywa w większości przypadków

Częstym pytaniem jest, czy używać RAG, czy po prostu dostroić model bazowy na danych dziedzinowych. Fine-tuning ma jednak poważne praktyczne wady:

• Koszt: dostrojenie dużego modelu kosztuje tysiące złotych i musi być powtarzane za każdym razem, gdy baza wiedzy się zmienia
• Aktualność: dostrojone modele nie mogą być aktualizowane w czasie rzeczywistym. RAG pobiera z aktywnej bazy wiedzy przy każdym zapytaniu
• Przejrzystość: dzięki RAG widzisz dokładnie, których dokumentów model użył. Przy fine-tuningu wiedza jest nieprzejrzysta w wagach
• Weryfikowalność: odpowiedzi RAG można śledzić do dokumentów źródłowych. Odpowiedzi fine-tuned nie

Dla większości zastosowań biznesowych RAG, a zwłaszcza Self-RAG, jest bardziej opłacalnym, łatwiejszym w utrzymaniu i niezawodnym wyborem.

Obejrzyj pełne wyjaśnienie

Obejrzyj nasz film na YouTube, aby zobaczyć wizualne omówienie standardowego RAG, tokenów refleksji Self-RAG i agentycznego RAG z prawdziwymi przykładami: https://youtu.be/ztSvMbz4NPU

Podsumowanie

Standardowy RAG był dużym krokiem naprzód w zakorzenieniu AI w weryfikowalnej wiedzy. Self-RAG idzie dalej, dając modelowi możliwość rozumowania o tym, kiedy pobierać, czy to, co pobrał, jest użyteczne, i czy jego własne wyjście można zaufać.

Jeśli budujesz systemy AI, w których dokładność ma znaczenie, zrozumienie tych różnic nie jest opcjonalne. Różnica między standardowym potokiem RAG a potokiem Self-RAG może być różnicą między asystentem AI, który pewnie podaje błędne odpowiedzi, a takim, który wie, kiedy powiedzieć "muszę to sprawdzić".

Zasoby