Устанавливаем ChatGPT на компьютер с любым ПО за 1 минуту
Приветствую вас на канале Житель Интернета, и сегодня мы вместе с вами установим ChatGPT на компьютер с любым ПО, в виде десктопного приложения.
Установить можно по ссылке: https://twitter.com/BrianRoemmele/status/1646714552602460160?s=20
Данную программу создал проект LLaMa, который использовал современные методы глубокого обучения и нейронных сетей, для создания CHAT GPT 4 — программу, способную генерировать тексты на естественном языке, которые кажутся практически неразличимыми от текстов, написанных человеком.
Как заявляют создатели — это ChatGPT 4 и она может быть установлена на ваш компьютер и использоваться в дальнейшем без подключения к интернету и VPN.
Ну так давайте попробуем:
Если было интересно подписывайтесь на мой Ютуб канал.
Конечно, на ChatGPT 4 вообще не похоже, но все же, программа более чем достойна и напоминает более раннюю версию CHAT GPT 3.
Опять наебалово, проект LLaMa опять хотят спутать как будто это ChatGPT/GPT4.
По факту тут только вебморда похожая, а мозги ничего общего не имеют к OpenAI GPT4.
Я прошел по ссылке и попал в гииену огненную маска — твиттер, а не установил чатгпт. Сплошное наебалово
как проверить что это модель4? Или не в курсе
Речь вообще не о GPT4, это игра слов — GPT 4 All, GPT для всех. GPT4 невозможно поставить и использовать локально и не будет возможно лет 10 еще, если под локально мы не имеем ввиду небольшой кластер из видях. Из локальных на потребительском железе (3090/4090) самая лучшая как по мне это metal-gpt4-x-alpaca-30b-4bit, там GPT4 тоже не значит что это GPT4, это значит, проще говоря что она на базе llama (alpaca) и дотюнена ответами gpt4. Из 13b мне нравится Wizard-vicuna-13B-GPTQ-4bit, она на 3090 прям летает. Поговаривают что скоро 65b можно будет запустить на 24Гб видеопамяти, тогда заживем. Я использую oobabooga
Какую модель можно скормить 4070 с 12 гигами?
Раньше был сайт в закладках, где этими моделями делились. Утерял.
Лучше этой таблички не встречал https://www.reddit.com/r/LocalLLaMA/wiki/models/ Ну 13b 4bit должны нормально работать, я Wizard чекнул в первую очередь, потом другие на базе Vicuna
Чел ты советуешь metal-gpt4-x-alpaca-30b-4bit но используешь oobabooga эта лал
А что надо использовать? (Без наезда)
я хз. Скачал эту прогу увидел кол-во моделей, закрыл чз чо лучше для придумывания небольших текстов
Бесплатный GPT3 текста общего назначения пишет лучше, чем любая модель 30b, которые я пробовал, без пердолинга с настройками и выкачиванием гигабайтов не понятно чего.
А переводить не пробовали? грят какая-то модель llama лучше чем sugoi offline tranlsator
Так прям что-то серьзное и большое не пробовал, иногда что-то спрашивал, длинной не больше параграфа, переводит, но потом еще начинает переводить того чего нет и объяснять смысл слов, продолжает мысль. "Подвижность" от настроек зависит, я люблю побольше выкрутить. Многие модели понимают русский кстати, не знаю на каком уровне, но иногда бывает лень что-то вспоминать, пишу на русском часть предложения, понимает, иногда на русском отвечать начинает после этого. Но это все так эфемерно — как на какой-то серьезный инструмент я бы не рассчитывал, любым локальным моделям не хватает длины контекста (просто забывают что было раньше), GPT3 в этом плане выигрывает опять же, те написать книжку невозможно "в одном потоке".
Так сам авто темы говорит что похоже больше на gpt3.
Думается мне что за v4 сейчас охотятся крупные конторы и если кто и получит доступ к исходникам он найдёт кому это продать, а не выложит в общий доступ.
Cross platform Qt based GUI for GPT4All versions with GPT-J as the base model
GPT4All-J is an Apache-2 licensed chatbot
trained over a massive curated corpus of assistant interactions including word problems,
multi-turn dialogue, code, poems, songs, and
stories.
Выглядит как кастомная модель. А судя по заявленному размеру файла в 3-8 гигов — весов там явно меньше чем у Open AI
ChatGPT | Как установить ChatGPT на компьютер?
Да, возможно установить ChatGPT на свой компьютер. Это вариант языковой модели GPT-3, разработанной компанией OpenAI, предназначенной для генерации текста в разговорном стиле, похожего на человеческий, и может использоваться для различных задач обработки естественного языка, включая чат-ботов, языковой перевод и ответы на вопросы.
Установка ChatGPT на локальном компьютере является простой задачей. Необходимо установить клиент OpenAI API и настроить ключ API.
Перед установкой ChatGPT следует выполнить предварительные условия:
- Установите Python версии 3.7 или выше, которую можно загрузить с официального сайта.
- Если вы хотите использовать ChatGPT локально в своем Python-коде, установите клиент OpenAI API, выполнив следующую команду:
pip install openai
- Зарегистрируйтесь на веб-сайте OpenAI, чтобы получить доступ к настройке API.
- Установите необходимые библиотеки Python, включая requests, numpy и tqdm, которые нужны для работы ChatGPT. Для этого выполните следующую команду:
pip install requests numpy tqdm
Теперь вы можете использовать ChatGPT, импортировав его в свой Python-код и вызвав метод openai.Completion.create().
Пример генерации текста с помощью ChatGPT:
model_engine = “text-davinci-002” prompt = “Hello, how are you today?” completion = openai.Completion.create(engine=model_engine, prompt=prompt, max_tokens=1024, n=1, stop=None, temperature=0.7) message = completion.choices[0].text print(message)
Для установки менеджера загрузок ChatGPT_0.10.3_x64_en-US.msi можно воспользоваться несколькими способами. Один из них — использовать менеджер установки пакетов «winget».
Для установки последней версии ChatGPT необходимо выполнить следующую команду в командной строке:
winget install -id lencx.ChatGPT -e
Если вы хотите установить определенную версию ChatGPT, то нужно указать номер версии в команде. Например, для установки версии 0.10.0 нужно выполнить следующую команду:
winget install -id lencx.ChatGPT -e -version 0.10.0
Важно учитывать, что если путь установки и имя приложения совпадают с другими программами, то это может привести к конфликту, о котором необходимо помнить (#142).
Рекомендуется использовать уникальное имя и путь при установке ChatGPT на компьютер.
Вариант 1: Чтобы загрузить ChatGPT на компьютер Mac, вы можете воспользоваться менеджером загрузок, скачав файл ChatGPT_0.10.3_x64.dmg. Также можно использовать альтернативный способ и загрузить установщик в формате .app с расширением tar.gz.
Вариант 2: Если вы предпочитаете использовать Homebrew, то существует возможность установить ChatGPT с помощью Homebrew (Cask). Для этого выполните следующие команды в терминале:
brew tap lencx/chatgpt https://github.com/lencx/ChatGPT.git brew install -cask chatgpt —no-quarantine
Если у вас уже есть Brewfile, можно добавить следующие строки:
repo = «lencx/chatgpt» tap repo, «https://github.com/#
Таким образом, вы сможете установить ChatGPT на свой компьютер Mac, используя менеджер загрузок или Homebrew.
ChatGPT-бот в Telegram предоставляет простой и бесплатный способ взаимодействия с ИИ, без необходимости регистрации, использования VPN и дополнительных номеров — ССЫЛКА.
Этот бот отличается от других тем, что не требует оплаты за использование и может быть использован в любом количестве — пользуйтесь на здоровье.
How to Install ChatGPT Locally
Yes, you can install ChatGPT locally on your machine. ChatGPT is a variant of the GPT-3 (Generative Pre-trained Transformer 3) language model, which was developed by OpenAI. It is designed to generate human-like text in a conversational style, and can be used for a variety of natural language processing tasks such as chatbots, language translation, and question answering.
To install ChatGPT, you will need to install the OpenAI API client and set up an API key. You will also need to install the Python programming language and the required libraries.
Как установить полноценный аналог ChatGPT на домашний ПК
Если последние пару лет вы хоть немного интересовались развитием технологий, то наверняка уже слышали о таком революционном инструменте на основе нейронных сетей, как ChatGPT. Инструмент вне сомнений потрясающий, ибо позволяет всего за пару кликов получить множество полезной информации на любую тему. Однако IT-гиганты не были бы сами собой, если бы не взяли столь полезный инструмент под тотальный контроль и не ограничили его итоговый функционал для широкой публики. В этой небольшой инструкции вы узнаете, как совершенно бесплатно установить на свой личный ПК полноценный аналог ChatGPT без какой-либо цензуры.
Содержание
Минимальные требования
- CPU: Минимум 8-поточный процессор с поддержкой AVX (Лучше AVX2). Отлично подойдут процессоры семейства AMD Ryzen 1600+.
- RAM: 8-16 Гб современной памяти стандарта DDR4/5 (Больше>лучше).
- GPU: Не требуется. Вся обработка происходит силами CPU.
Узнать характеристики своего ПК и поддержку процессором необходимых инструкций вы всегда можете с помощью бесплатной утилиты CPU-Z.
AVX-инструкции
Установка
Для работы ChatGPT на домашнем ПК необходимо выполнить установку интерпретатора, чтобы компьютер понимал, как, собственно, ему работать с нейросетью, и отображал ответы в понятном человеку виде.
1. Скачачиваем программу Alpaca Electron с GitHub и выполняем её установку. Если вы используете Windows, то Alpaca-Electron-win-x64-v1.0.5.exe это ваш выбор.
2. Запускаем программу.
Пока перед нами всего лишь пустое окно с полем ввода и статистикой потребляемых ресурсов. Чтобы программа заработала, нам наобходимо скачать ей мозги (обученную модель нейросети).
3. Скачиваем модель с веб-сайта huggingface.co, где люди делятся заранее обученными моделями. Для лучшей совместимости с ПО выбирайте модели с поддержкой библиотеки llama.cpp и файлы, в название которых есть GGML. В пути до модели не должно быть русских букв! Так же имейте в виду, что чем больше у выбранной модели квантов (q2, q4, q8), то тем больше ей требуется ресурсов ПК для беспроблемной работы.
P.S. Дополнительно вы можете попробовать последнюю совершенную модель WizardLM-30B-Uncensored. Подробней почитать о ней можно здесь. Я же только поясню, что возможности WizardLM-30B на 97,8% соответствуят возможностям ChatGPT 4. И всё это без какой-либо цензуры!
4. Открываем Alpaca-Electron и через левую вкладку Change model указывем ему путь до файла нашей модели. В моём случае это ggml-model-q41.bin.
Вот, собственно, и всё! С этого момента в ваших руках кладезь знаний всего человечества. Вы можете попросить нейросеть написать вам реферат для института, исправить ошибки в тексте статьи или поискать нужную вам информацию. В общем, всё что угодно! Выключим интернет и зададим парочку вопросов для проверки работоспособности нейросети.
Для этой инструкции я умышленно ограничил выбор модели. Если вы хотите использовать версию с ответами на всё и вся и без каких-либо ограничений, то воспользуйтесь llama-30b-supercot-GGML/OpenAssistant-SFT-7-Llama-30B-GGML (Не проверены) или поиском.
Программа также принимает любые другие файлы моделей с 4-битным квантованием .bin. Если вы можете найти другие файлы моделей в формате .bin, вы можете использовать их вместо файла, рекомендованного в руководстве, чтобы экспериментировать с различными моделями. Как всегда, будьте осторожны с тем, что вы загружаете из Интернета.
Автор программы Alpaca Electron
Демонстрация
Несмотря на то, что я забыл попросить её отвечать на Русском, она весьма точно ответила на все заданные вопросы. А если учитывать, что при этом был полностью выключен интернет, то это просто поражает!
Если не работает!
Если модель не хочет загружаться в Alpaca Electron, то обязательно попробуйте аналогичный интерпретатор Koboldcpp. Далает всё тоже самое, но модели переваривает намного лучше!
1. Запускаем программу от имени администратора.
2. Выставляем количество потоков CPU.
3. Выбираем модель.
4. Пользуемся.
Проверенные модели
- ggml-model-q4.1
- hippogriff-30b.ggmlv3.q4.1
- WizardLM-30B-Uncensored.ggmlv3.q41.bin
Заключение
Страшно представить, какими возможностями обладает ChatGPT лишённый ограничений. Тем не менее важно помнить, что это всего лишь инструмент, и только человек решает, как и для чего его использовать. Уважайте свободу, используйте проверенное ПО и ни в коем случае не предавайте себя!