Pavel Zloi
AI/ML, MCP, MLOps, LLM, GPT, GNN, NLP, GCN, Python, AWS, Linux, DevOps
Отправить донат:
https://pay.cloudtips.ru/p/937f48ac
Исходники моих проектов:
https://github.com/EvilFreelancer
Где меня искать:
https://dzen.ru/a/ZGI0ytgNQUkpkIME
Отправить донат:
https://pay.cloudtips.ru/p/937f48ac
Исходники моих проектов:
https://github.com/EvilFreelancer
Где меня искать:
https://dzen.ru/a/ZGI0ytgNQUkpkIME
TGlist reytingi
0
0
TuriOmmaviy
Tekshirish
TekshirilmaganIshonchnoma
ShubhaliJoylashuv
TilBoshqa
Kanal yaratilgan sanaApr 14, 2022
TGlist-ga qo'shildi
Mar 02, 2025Muxrlangan guruh
Pavel Zloi's Chat
235
Rekordlar
22.04.202523:59
1.3KObunachilar05.03.202523:59
100Iqtiboslar indeksi25.02.202505:55
2.1KBitta post qamrovi04.02.202523:13
2.1KReklama posti qamrovi13.04.202514:28
11.09%ER25.02.202505:56
190.97%ERRRepost qilingan:
Dealer.AI
20.04.202519:49
Дядя помнит, когда приму курил его дед. А теперь "раскуривать" новый распределённый аналог llama.cpp нам.
So, prima.cpp is a distributed implementation of llama.cpp that lets you run 70B-level LLMs on your everyday devices—💻 laptops, 🖥️ desktops, 📱 phones, and tablets.(с)
В пачке Примы:
- Heterogeneous, low-resource, cross-platform clusters (e.g., home devices connected by Wi-Fi);
- Quantization (Q4K and IQ1);
- Mixed CPU/GPU computing
Disk offloading;
- Piped-ring parallelism with prefetching;
- Automatic workload distribution.
Подробнее тут: https://huggingface.co/papers/2504.08791
So, prima.cpp is a distributed implementation of llama.cpp that lets you run 70B-level LLMs on your everyday devices—💻 laptops, 🖥️ desktops, 📱 phones, and tablets.(с)
В пачке Примы:
- Heterogeneous, low-resource, cross-platform clusters (e.g., home devices connected by Wi-Fi);
- Quantization (Q4K and IQ1);
- Mixed CPU/GPU computing
Disk offloading;
- Piped-ring parallelism with prefetching;
- Automatic workload distribution.
Подробнее тут: https://huggingface.co/papers/2504.08791
07.04.202521:45
Тут главное не перепутать #meme
13.04.202516:16
Добавил документацию в формате OpenAPI/Swagger и простенький UI.
Смотреть тут: https://api.rpa.icu/docs/
Смотреть тут: https://api.rpa.icu/docs/
04.04.202514:01
Решил на днях увеличить количество доступной постоянной памяти для локальных моделей на gpu01.
У меня как-раз был незадействованный nvme на 512гб, только вот без адаптера в сервер его не поставить, так что пару дней сидел выбирал адаптер, и тут вспомнил, что у меня уже есть такой на антресолях.
Полез, достал, собрал, пойду поставлю.
#server
У меня как-раз был незадействованный nvme на 512гб, только вот без адаптера в сервер его не поставить, так что пару дней сидел выбирал адаптер, и тут вспомнил, что у меня уже есть такой на антресолях.
Полез, достал, собрал, пойду поставлю.
#server
06.04.202506:54
RAG это call, теперь официально
При контексте 10M токенов есть мнение, что RAG (в классическом смысле: ретривер из векторной базы и ллм) в скором времени станет очень специализированной технологией для узкого спектра задач.
А учитывая тенденцию на постоянный рост максимального контекста вероятно и вовсе исчезнет из повестки.
При контексте 10M токенов есть мнение, что RAG (в классическом смысле: ретривер из векторной базы и ллм) в скором времени станет очень специализированной технологией для узкого спектра задач.
А учитывая тенденцию на постоянный рост максимального контекста вероятно и вовсе исчезнет из повестки.
Repost qilingan:
Machinelearning
06.04.202504:19
🦙 Встречайте, дамы и господа, LLaMA 4: новые мультимодальные MoE модели!
Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста.
Доступна в 3х вариантах: Llama 4 Scout и Llama 4 Maverick и анонсированный Llama 4 Behemoth.
Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров · 16 эксперто , 109B общих параметров.
Llama 4 Maverick (400B) 17 млрд активных параметров ,128 экспертов, 400 млрд общих параметров · Длина контекста более 1 млн
У зверюги бегемота (еще тренируется) суммарное количество 2T!!! 16 экспертов, 288B активных параметров. Служит в качестве модели для обучения по методу совместной дистилляции Maverick.
Сейчас выпущены только Scout и Maverick, Кот-бегемот еще обучается.
На сегодняшний день Llama 4 Maverick предлагает лучшее в своем классе соотношение производительности и стоимости,
🟡 Model Card
🟡 Веса
🟡 Релиз
@ai_machinelearning_big_data
Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста.
Доступна в 3х вариантах: Llama 4 Scout и Llama 4 Maverick и анонсированный Llama 4 Behemoth.
Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров · 16 эксперто , 109B общих параметров.
Llama 4 Maverick (400B) 17 млрд активных параметров ,128 экспертов, 400 млрд общих параметров · Длина контекста более 1 млн
У зверюги бегемота (еще тренируется) суммарное количество 2T!!! 16 экспертов, 288B активных параметров. Служит в качестве модели для обучения по методу совместной дистилляции Maverick.
Сейчас выпущены только Scout и Maverick, Кот-бегемот еще обучается.
На сегодняшний день Llama 4 Maverick предлагает лучшее в своем классе соотношение производительности и стоимости,
🟡 Model Card
🟡 Веса
🟡 Релиз
@ai_machinelearning_big_data
06.04.202513:01
Поставил плашку с NVME в материнку (зеленая лампочка справа снизу) и между делом докинул пару вентиляторов корпусных на 120мм, через реобас подтюнил скорость вращения чтобы не шумело и теперь полезу ставить эту коробку на антресоль.
А на следующей неделе запущу на нем один публичный проект, о чем отдельно сообщу.
#server
А на следующей неделе запущу на нем один публичный проект, о чем отдельно сообщу.
#server
Ko'proq funksiyalarni ochish uchun tizimga kiring.
