Главный сценарий Haystack и, вероятно, самый полезный для вашей школы
GPT и Claude не читали транскрипты ваших эфиров, методички и регламенты школы. Спросите у «голой» модели «что Юрий говорил про промптинг на эфире 12 мая» — она либо честно откажется, либо выдумает. Дообучать модель на своих данных — дорого, долго и данные мгновенно устаревают.
RAG (Retrieval-Augmented Generation, «генерация, усиленная поиском») — подход из трёх шагов:
RAG — это экзамен с открытой книгой. Студент (модель) не зубрил ваш учебник, но перед ответом библиотекарь (поисковик) кладёт ему на стол нужные страницы. Ответ получается по вашему учебнику, а не по смутным воспоминаниям.
RAG-система в Haystack — это обычно два отдельных пайплайна:
| Индексация («наполняем библиотеку») | Запрос («отвечаем ученику») | |
|---|---|---|
| Когда работает | Заранее и при добавлении материалов | Каждый раз, когда задан вопрос |
| Что делает | Файлы → текст → нарезка на фрагменты → превращение в векторы → сохранение | Вопрос → поиск фрагментов → промпт → ответ модели |
| Из чего собран | Converters, Splitters, Embedders | Retriever, PromptBuilder, Generator |
Два основных способа поиска, и Haystack поддерживает оба:
RAG дешевле и гибче дообучения: добавили новый эфир в базу — ассистент уже отвечает по нему. Плюс контроль галлюцинаций: модель можно заставить отвечать «не знаю», если в найденных фрагментах ответа нет, и показывать источники ответа.