В России предложили эффективное решение для поиска галлюцинаций больших языковых моделей

Учёные из Сбера разработали метод, который на 30% точнее среди локальных SOTA решений выявляет галлюцинации в ответах LLM и использует малое количество данных для обучения. Вместо тонны размеченных данных — всего 250 примеров. Всё за счёт метамоделей и хитрой работы с внутренними состояниями ИИ.

Под капотом — классика ML и быстрые трансформеры вроде TabPFNv2. Метод отслеживает, как нейросеть меняется внутри, когда отвечает правильно или начинает галлюцинировать.

Инструмент можно использовать как для отладки LLM, так и для снижения риска дезинформации.