Dlaczego modele halucynują
Model językowy przewiduje kolejne słowa na podstawie wzorców z treningu. Gdy nie „zna” odpowiedzi, i tak wygeneruje najbardziej prawdopodobną – a ta bywa fałszywa. Nie ma wbudowanego mechanizmu odróżniania faktu od zgadywania.
Jak ograniczać halucynacje
Trzy sprawdzone warstwy: RAG (model odpowiada na podstawie dostarczonych, sprawdzonych źródeł), cytowanie źródeł (odpowiedź da się zweryfikować) oraz zasada „cytuj albo się wstrzymaj” – jeśli model nie ma podstawy w danych, oznacza sprawę do decyzji człowieka zamiast zgadywać.