Ollama как настроить?

Что настраивается в самой Ollama Выбор модели по размеру под вашу память, размер контекстного окна, системная инструкция и параметры генерации. Всё это задаётся при запуске модели или в файле её описания.

Что нужно для ответов по вашим файлам Отдельный слой поверх: он режет документы на фрагменты, строит по ним индекс и при каждом вопросе подкладывает модели подходящие куски. Сама Ollama в папку не заглядывает.

Чем это делают Веб-интерфейсы с загрузкой документов, где индекс собирается в пару кликов, или библиотеки для самостоятельной сборки, когда хочется управлять нарезкой и числом отрывков.

На что смотреть Памяти нужно с запасом: под модель, под индекс и под контекст. При нехватке ответы замедляются в разы, а длинные документы просто не помещаются в окно и обрезаются на середине.

Скормить папку напрямую нельзя, потому что Ollama это мотор, который крутит модель и ничего не знает про ваш диск, так что путь один: поверх ставится оболочка с поиском по документам, она режет файлы на куски, считает по ним эмбеддинги той же локальной моделью, складывает всё в маленькую базу и при каждом вопросе подкладывает модели три-четыре подходящих отрывка вместе с вашим вопросом, и вот тогда возникает ощущение, что она читала ваши файлы, хотя читает она ровно то, что ей подсунули секундой раньше. Готовых оболочек хватает: есть веб-интерфейсы с загрузкой документов, где всё делается мышкой и работает из коробки, есть библиотеки для тех, кто пишет код сам и хочет крутить размер кусков, число отрывков и модель эмбеддингов, и разница между ними ровно в том, сколько вечеров вы готовы потратить, потому что качество ответов упирается не в модель, а в нарезку: мелкие куски теряют контекст и модель отвечает обрывками, крупные забивают окно и она начинает говорить общими словами, а отдельная засада ждёт со сканами и pdf из картинок, из которых текст сначала надо вытащить распознаванием, иначе оболочка честно проиндексирует пустоту и будет уверенно врать про содержимое вашей же папки, причём тем увереннее, чем красивее выглядит интерфейс.