Llama 3.1 8b Config.json не может использовать модель Meta3instruct

Загрузите изображения, аудио и видео, перетащив ввод текста, вставку или щелкнув здесь. Готовы повысить свои навыки работы с новейшей моделью llama 3.1? Мы рекомендуем попробовать llama 3.1 8b, которая впечатляет своими размерами и будет хорошо работать на большинстве аппаратных средств.

Невозможно использовать модель MetaLlama38BInstruct отсутствие файла config.json

И я нахожу, что модель, которую я загрузил, содержит только 4 файла: Чтобы решить эту проблему, вы можете загрузить файлы модели, используя обнимающую клику лица:

Вам будет интересно

Лучшее бесплатное приложение для удаленного сетевого мониторинга Raspberry Pi для расширенного подключения
Уилл Смит и Дидди исследуют свое влияние в индустрии развлечений
Обнаружение очарования латинского шпиона, раскрывающего секреты шпионажа и интриги
Хроника жизни и карьеры актрисы Бипаши Замечательное путешествие
Аливиа Алин Линд Восходящая звезда Голливуда

Текущая настройка, которую я скачал следующие файлы:

Это руководство позволяет запускать 8b-версию мета-ламы 3.1 непосредственно на вашей локальной машине, предоставляя вам больше контроля и конфиденциальности над вашими взаимодействиями ai. Введение интегрирует большое количество моделей ai в ваше приложение через groq api включает щедрый бесплатный план с ежедневным лимитом ставки (без кредитной карты) включает 2b, 8b и 70b. Но он показывает ошибку: Ollama — самый быстрый способ встать и работать с моделями на местном языке.

Например, вы можете использовать llama 3.2 1b в качестве черновой модели для llama 3.1 8b. Загрузить изображения, аудио и видео, перетащив ввод текста, вставку или щелкнув здесь. Этот метод предоставит вам файлы config.json и tokenizer.json. Когда я пытаюсь загрузить llama3 таким образом, он сообщает об ошибке, как заголовок.

config.json · Etherll/HerpleteLLMLlama3.18b в основном

Внутри загруженной папки, предоставленной мета, нет никакой модели config.json, поэтому я (и, возможно, другие разработчики) не понимаю, где мы можем получить этот файл.

Как в lm studio 0.3.10, система будет пытаться полностью разгрузить проект модели на gpu, если один. В этой статье мы будем направлять вас через развертывание модели llama 3.1 8b для вывода на экземпляр ec2 с использованием изображения докера vllm. # модель загрузки непосредственно из трансформаторов импортирует автотокенизатор, автомодель для токенизатора = автотокенизатор. Consolidated.00.pth params.json checklist.chk tokenizer.model при попытке загрузить модель локально (указывая на).