Создаем собственного локального ИИ чат-бота

[Пятачок 1]

Минимальные системные требования

• Процессор поддерживающий AVX или AVX2
• От 8 ГБ оперативной памяти (рекомендуется 16 ГБ)
• Пару десятков ГБ памяти на жестком диске
• Не обязательно, но так же рекомендуется иметь хоть какую-то видеокарту

 

Инструкция

Для начала необходимо понять, поддерживает ли наш процессор AVX2. Для этого открываем панель управления, наконец-то узнаем, какой у нас стоит проц и гуглим, поддерживает ли он AVX2.

 

Для процессоров которые поддерживают AVX2

Переходим на сайт lmstudio.ai

 

Ищем свою ОС и скачиваем установщик для нее. Далее запускаем инсталлер, после чего программа сама установится на Диск C.

 

Для процессоров которые поддерживают только AVX

Переходим на сайт lmstudio.ai и нажимаем на текст LM studio Beta Releases.

 

Видим такую картину, как на скриншоте ниже и листаем в самый низ.

 

Нажимаем на LM-Studio-0.2.10-Setup-avx-beta-4.exe и скачиваем установщик.

 

Запускаем инсталлер, после чего программа сама установится на Диск C.

 

Скачиваем модель чат-бота

Запускаем программу. Смотрим налево и ищем кнопочку с лупой и нажимаем на нее.

 

Ищем любую модель себе по душе. Лучше всего lmstudio поддерживает gguf формат, так что в приоритете ищем модели именно с этим форматом.

Нажимаем на модельку, после чего справа появятся все версии модели. Лично я использую llama2_7b_chat_uncensored.Q4-K-M.gguf.

 

 

Используем нашего чат-бота

Опять смотрим на сайдбар и кликаем на кнопку с эмодзи сообщения.

 

Сверху жмем на широкую кнопочку и выбираем модель, которую мы скачали ранее.

 

Ждем пока наша модель загрузится и... начинаем общаться.

 

 

Как задать prompt и использовать видеокарту

На правом сайдбаре мы видим такую картину:

 

В System prompt / Pre-prompt пишем наш промпт.

 

Включаем GPU Acceleration и по-немногу добавляем слои, это ускорит работу чат-бота.

 

После всего проделанного перезагружаем бота (желтая кнопка снизу у набора сообщения) и кайфуем.

 

 

Да, так просто ✌️