Локальные ИИ-агенты - ВСЕ, что тебе нужно знать - параметры, железо, скорость, приватность

Локальный ИИ заменит подписку на ChatGPT и Claude? С бумом open-source моделей и падением требований к железу, идея запустить мощную нейросеть прямо на своем компьютере становится все реальнее. Это полное руководство по запуску локальных LLM на вашем ПК или Mac.

Разберем 5 инференс, VRAM, квантизацию, форматы GGUF и MLX, сравним все актуальное железо для запуска: видеокарты Nvidia (RTX 3090, 4090), AMD, Intel и системы с объединенной памятью вроде Mac Studio. Рассмотрим аренду облачных GPU как альтернативу покупке. В конце проведем тесты разных моделей (Qwen, Ornis, Gemma) на реальной задаче, чтобы понять, какой уровень интеллекта можно получить на своем устройстве.

Арендуйте сервер с видеокартой для запуска ИИ-моделей: https://slc.tl/a2zl6

Разверните готовую ИИ-модель в облаке: https://slc.tl/yx8qd

Реклама. АО «Селектел», ИНН 7810962785. erid: CQH36pWzJqV7DdPpGnrik91w6eJTS96AbQLzRzFLu5ApS9

⚡️ Интенсив по ИИ-разработке. Научитесь создавать, деплоить и монетизировать ИИ-продукты с нуля - https://t.me/how2ai_bot?start=dl-1783241708b3e34810eede

#ии #ииагент #claude

Тайм-коды:
00:00 - Интро
01:32 - 5 базовых терминов: инференс, VRAM, квантизация...
08:44 - Какое железо нужно для локального ИИ?
15:05 - Аренда облачных GPU: когда это выгодно?
16:31 - Тесты моделей: что могут локальные LLM на самом деле?
18:44 - Тест GPT-OSS 120B
22:32 - Тест GLM-5.2
23:39 - Qwen3,5-4b
24:44 - Ornith 1.0 9b
25:33 - Gemma 4 12b и 26b
28:03 – Qwen 3.6 27b
29:34 – Qwen 3,6 35b a3b
30:20 – Ornith 1.0 35b
32:27 - Выводы: заменит ли локальный ИИ подписки?

Бусти – https://boosty.to/prodadvice/single-payment/donation/535968/target?share=target_link

Тг How2AI – https://t.me/How2AI 
Тг чат How2AI – https://t.me/how_to_AI
Тг Креативный Совет – https://t.me/creadvice
🥸 Личный тг Дяди Д – https://t.me/true_dyadya_d