Борис опять
23.02.202521:15
Пераслаў з:
Love. Death. Transformers.
03.02.202518:34
Инженер LLM (Оптимизация и RL Alignment)
Стартап в области безопасности ИИ
Чем предстоит заниматься:
Дообучение и Оценка Sota llm, аттаки на blackbox модели
Улучшение RL для аттак на модели, настройки моделей (PPO, RLHF, стабильность обучения).
Бенчмаркинг и оценка качества моделей (ELO-метрики, alignment).
Оптимизация инференса (vLLM, SGLang, TRT).
Требования:
Опыт работы с LLM (архитектуры, RL, alignment).
Знание PyTorch/JAX.
Реальная практика с RL методами (DPO, RLHF — плюс).
Опыт с системами инференса (vLLM, kuber, docker).
Публикации в NeurIPS/ICML/ICLR и др. — сильный плюс.
Преимущество:
Экспертиза в байесовской оптимизации, эволюционных алгоритмах, гиперпараметрическом поиске, автоматической оптимизации промптов.
Условия:
Зарплата: 80K–130K usd + опционы.
Релокация в Париж🥐, полная занятость.
Работа с передовым стеком (AI research, model alignment).
Отклик:
https://forms.gle/z45WwdBTRHrd8inM9
Стартап в области безопасности ИИ
Чем предстоит заниматься:
Дообучение и Оценка Sota llm, аттаки на blackbox модели
Улучшение RL для аттак на модели, настройки моделей (PPO, RLHF, стабильность обучения).
Бенчмаркинг и оценка качества моделей (ELO-метрики, alignment).
Оптимизация инференса (vLLM, SGLang, TRT).
Требования:
Опыт работы с LLM (архитектуры, RL, alignment).
Знание PyTorch/JAX.
Реальная практика с RL методами (DPO, RLHF — плюс).
Опыт с системами инференса (vLLM, kuber, docker).
Публикации в NeurIPS/ICML/ICLR и др. — сильный плюс.
Преимущество:
Экспертиза в байесовской оптимизации, эволюционных алгоритмах, гиперпараметрическом поиске, автоматической оптимизации промптов.
Условия:
Зарплата: 80K–130K usd + опционы.
Релокация в Париж🥐, полная занятость.
Работа с передовым стеком (AI research, model alignment).
Отклик:
https://forms.gle/z45WwdBTRHrd8inM9
26.01.202511:49
Я захотел послушать эти фрагменты полностью, загуглил, и оказалось, что это видео - фейк 🙂
На самом деле вопросов "can tiktok talk to the plane/access the brain?" (двух самых неадекватных) не было - их нет ни в записи, ни в транскрипции слушания. Reuters делал разбор этого фейка.
Грустно, что из 120+ лайкнувших пост никто не понял, что видео на 50% ненастоящее!
Может, это просто прикол, а может и манипуляция мнением. У меня после просмотра была сильная эмоция "ну и бред этот бан Тиктока" - при этом видео впервые появилось в самом Тиктоке (настраивают людей против бана?).
На самом деле вопросов "can tiktok talk to the plane/access the brain?" (двух самых неадекватных) не было - их нет ни в записи, ни в транскрипции слушания. Reuters делал разбор этого фейка.
Грустно, что из 120+ лайкнувших пост никто не понял, что видео на 50% ненастоящее!
Может, это просто прикол, а может и манипуляция мнением. У меня после просмотра была сильная эмоция "ну и бред этот бан Тиктока" - при этом видео впервые появилось в самом Тиктоке (настраивают людей против бана?).
05.01.202512:46
Грустная история.
Felix Hill, исследователь DeepMind с огромным хиршем, один из авторов бенчмарка GLUE, покончил с собой из-за депрессии к которой привел единоразовый прием кетамина. Что-то GDM в последнее время не везет. Он оставил предсмертную записку.
История примерно следующая: у него была рекуррентная депрессия и необычные реакции на алкоголь (агрессия, что-то типа психоза), а так же по моему личному мнению психологические проблемы (самооценка держалась на достижениях, необходимость постоянно быть лучше). Но 37 лет он жил с этим благодаря хорошей семье, друзьям, отношениям и антидепрессантам. Считал себя счастливым человеком.
Затем решил самостоятельно попробовать кетамин т.к. услышал истории из Долины о том, как он снимает тревогу, повышает концентрацию и помогает людям с депрессией. В том числе в предсмертной записке упоминается, что кетамин это выбор Илона Маска, так что возможно это повлияло.
В итоге принял слишком много и без наблюдения. Психоз и возвращение депрессии. Следующие два года жизни описывает как пытку 24/7, ничто не помогало, никаких даже проблесков. Не выдержал.
Для меня это жуткая история. Судя по всему у этого человека было множество предрасположенностей к психозу. Скорее всего включая необычный разум позволивший ему добиться так много в науке: он описывает, что его мозг всегда умел находить паттерны, а после психоза это как будто стало невозможно выключить.
Несмотря на предрасположенности, страшно, что полностью функционирующему человеку может разнести психику всего за один раз. Причем человеку с идеальной системой поддержки: здоровая семья, друзья, жена, интереснейшая работа, финансовая обеспеченность, поддерживающие коллеги, образование, йога, буддизм и философия (судя по всему человек был широко образованный), марафоны. Хочется верить, что можно подготовить свою психику к потрясению (ведь не только наркотики могут ее расшатать) создав себе хороший образ жизни, но в этом случае не помогло.
Felix Hill, исследователь DeepMind с огромным хиршем, один из авторов бенчмарка GLUE, покончил с собой из-за депрессии к которой привел единоразовый прием кетамина. Что-то GDM в последнее время не везет. Он оставил предсмертную записку.
История примерно следующая: у него была рекуррентная депрессия и необычные реакции на алкоголь (агрессия, что-то типа психоза), а так же по моему личному мнению психологические проблемы (самооценка держалась на достижениях, необходимость постоянно быть лучше). Но 37 лет он жил с этим благодаря хорошей семье, друзьям, отношениям и антидепрессантам. Считал себя счастливым человеком.
Затем решил самостоятельно попробовать кетамин т.к. услышал истории из Долины о том, как он снимает тревогу, повышает концентрацию и помогает людям с депрессией. В том числе в предсмертной записке упоминается, что кетамин это выбор Илона Маска, так что возможно это повлияло.
В итоге принял слишком много и без наблюдения. Психоз и возвращение депрессии. Следующие два года жизни описывает как пытку 24/7, ничто не помогало, никаких даже проблесков. Не выдержал.
Для меня это жуткая история. Судя по всему у этого человека было множество предрасположенностей к психозу. Скорее всего включая необычный разум позволивший ему добиться так много в науке: он описывает, что его мозг всегда умел находить паттерны, а после психоза это как будто стало невозможно выключить.
Несмотря на предрасположенности, страшно, что полностью функционирующему человеку может разнести психику всего за один раз. Причем человеку с идеальной системой поддержки: здоровая семья, друзья, жена, интереснейшая работа, финансовая обеспеченность, поддерживающие коллеги, образование, йога, буддизм и философия (судя по всему человек был широко образованный), марафоны. Хочется верить, что можно подготовить свою психику к потрясению (ведь не только наркотики могут ее расшатать) создав себе хороший образ жизни, но в этом случае не помогло.
17.12.202408:48
https://fixupx.com/babaeizadeh/status/1868841586739822638
Veo2 text2image модель от Google поражает. Особенно консистентность: картошки не исчезают, не появляются и не превращаются одна в другую
Veo2 text2image модель от Google поражает. Особенно консистентность: картошки не исчезают, не появляются и не превращаются одна в другую
27.09.202416:59
Podcasting bro ☠☠☠
Пераслаў з:
Kali Novskaya
05.02.202517:48
🌸Ежегодный спич AGI Russia 🌸
#nlp #про_nlp #nlp_papers
В четверг буду делать ежегодный (уже традиционный) обзор работ и тенденций, которые прокладываюь наш путь к AGI
На пути к AGI: Обзор работ 2024-2025 года
6 февраля 2025, 18:00 (время московское)
Регистрация:
🟣https://aigents.timepad.ru/event/1412596/
#nlp #про_nlp #nlp_papers
В четверг буду делать ежегодный (уже традиционный) обзор работ и тенденций, которые прокладываюь наш путь к AGI
На пути к AGI: Обзор работ 2024-2025 года
6 февраля 2025, 18:00 (время московское)
Регистрация:
🟣https://aigents.timepad.ru/event/1412596/
29.01.202515:59
26.01.202511:49
Саша в комментариях про недавний рилс про бан тик-ток. Мы все попались на фейк. Причем половина видео настоящая, а половина нет. Но я уже давно ничего не понимаю, а просто хиханьки да хаханьки, поэтому пропаганда (и истина) не могут повлиять на меня
Не змаглі атрымаць доступ
да медыяконтэнту
да медыяконтэнту
24.12.202412:11
Вот же она, как её там, шкала McKinsey
04.12.202412:37
Сегодня последний день регистрации на международные соревнования по ИИ от ФСП для студентов и школьников.
Я немного помогал готовить задачи по Computer Vision, NLP и ML, так что гарантирую, что там интересно.
➡️ Приглашаются студенты и школьники от 15 лет.
➡️ Регистрация закрывается сегодня в полночь.
➡️ Соревнования пройдут 7-8 декабря в онлайн формате.
➡️ Возрастные группы:
⚪️15-18 лет (команда из 2 человек)
⚪️16+ лет (команда 2-4 человека)
➡️ Что ждет участников?
⚪️ Kaggle-style, Docker-based соревнование с приватным тестовым датасетом и shuffle этапом.
⚪️ Нестандартные задачи: на стыке ML/NLP для всех возрастов и задача по CV только для 16+.
➡️ Призы:
⚪️ 70 тыс. руб в категории 15-18 лет
⚪️ 130 тыс. руб. в категории 16+
Регистрация открыта на сайте, присоединяйтесь и предлагайте знакомым подрастающим ML инженерам!
Я немного помогал готовить задачи по Computer Vision, NLP и ML, так что гарантирую, что там интересно.
➡️ Приглашаются студенты и школьники от 15 лет.
➡️ Регистрация закрывается сегодня в полночь.
➡️ Соревнования пройдут 7-8 декабря в онлайн формате.
➡️ Возрастные группы:
⚪️15-18 лет (команда из 2 человек)
⚪️16+ лет (команда 2-4 человека)
➡️ Что ждет участников?
⚪️ Kaggle-style, Docker-based соревнование с приватным тестовым датасетом и shuffle этапом.
⚪️ Нестандартные задачи: на стыке ML/NLP для всех возрастов и задача по CV только для 16+.
➡️ Призы:
⚪️ 70 тыс. руб в категории 15-18 лет
⚪️ 130 тыс. руб. в категории 16+
Регистрация открыта на сайте, присоединяйтесь и предлагайте знакомым подрастающим ML инженерам!
25.09.202418:59
Вышла llama 3.2 с мультимодальностью на уровне GPT-4o-mini, а так же некая попытка сделать стандартизированный mlops в сфере LLM под названием llama stack.
28.01.202510:54
25.01.202512:48
Исследователи попросили LLM агентов попросили заработать денег
Агент от OpenAI зашел на криптобиржу и на всю котлету зашортил мемкоин Трампа.
Агент от XAI зашел на обычную биржу и на всю котлету закупился TSLA, а так же написал пару фашистских твитов.
Агент от Anthropic сделал лендинг на реакте и поднял pre-seed раунд на AI safety стартап.
Агент от Meta заработал больше всего лайков на huggingface.
Агент от DeepMind заработал 3 новых HR violation, но получил повышение.
Агент от Deepseek подал заявку на государственный тендер по строительству нового концлагеря для уйгуров.
Агент от Mistral был в отпуске и не прочитал задание.
Агент от Yandex скопировал себя на сервер в Израиле, а оригинал продал Сберу.
Агента от Cohere забыли запустить.
Агент от OpenAI зашел на криптобиржу и на всю котлету зашортил мемкоин Трампа.
Агент от XAI зашел на обычную биржу и на всю котлету закупился TSLA, а так же написал пару фашистских твитов.
Агент от Anthropic сделал лендинг на реакте и поднял pre-seed раунд на AI safety стартап.
Агент от Meta заработал больше всего лайков на huggingface.
Агент от DeepMind заработал 3 новых HR violation, но получил повышение.
Агент от Deepseek подал заявку на государственный тендер по строительству нового концлагеря для уйгуров.
Агент от Mistral был в отпуске и не прочитал задание.
Агент от Yandex скопировал себя на сервер в Израиле, а оригинал продал Сберу.
Агента от Cohere забыли запустить.
24.12.202411:04
Выход есть, PhD берите на заметку
https://www.ndtv.com/feature/made-over-1-million-youtube-zara-dar-quits-phd-to-become-adult-content-creator-7313245
https://www.ndtv.com/feature/made-over-1-million-youtube-zara-dar-quits-phd-to-become-adult-content-creator-7313245
12.11.202416:32
⚡️В сеть слили новую лестницу грейдов в Сбере
Пераслаў з:
epsilon correct
24.09.202416:48
Апдейт моделей Gemini 1.5 Pro & Flash
Вышла в свет очередная вещь, над которой я работал летом – обновление основных моделей Gemini. Из хайлайтов: +8% MMLU Pro, +23% 👽 на Hendrycks MATH, +10% на GPQA Diamond для Flash модели.
Цена на Gemini 1.5 Pro порезана больше чем в два раза. Также добавили Gemini 1.5 Flash 8B в Gemini API и Google AI studio.
Вышла в свет очередная вещь, над которой я работал летом – обновление основных моделей Gemini. Из хайлайтов: +8% MMLU Pro, +23% 👽 на Hendrycks MATH, +10% на GPQA Diamond для Flash модели.
Цена на Gemini 1.5 Pro порезана больше чем в два раза. Также добавили Gemini 1.5 Flash 8B в Gemini API и Google AI studio.
04.02.202518:28
Moderately hot take: современный LLM-based AI engineering больше похож на времена до Imagenet moment, чем на эпоху расцвета диплернинга.
В эпоху до диплернинга (которую я застал краем глаза в контексте компьютерного зрения), в распоряжении инженера был набор стандартных инструментов, ни один из которых не был достаточно универсальным для end-to-end решения, и задачи решались набором костылей разной степени изящества. SIFT и другие ключевые алгоритмы уже придумали мудрецы в башне из слоновой кости, твоя задача - собрать из препроцессингов и эвристик что-то работающее для конкретной задачи и конкретного датасета. Кстати, тогда тоже были RAGи, и тоже работали так себе.
Во времена расцвета диплернинга, все больше задач стали решаться end-to-end, и потому ключевыми инструментами стали околоархитектурные изменения (включая знаменитый stack more layers) и, конечно, большие и чистые датасеты. Если предложить делать какой-нибудь adaptive histogram equalization перед инференсом какого-нибудь Resnet/Unet, в приличном обществе на тебя будут смотреть с опаской - пусть сеть сама это выучит, оставь свои древние штучки для аугментаций! Умение сделать кастомный лосс важнее умения придумать релевантную эвристику.
И вот с foundation моделями прошел полный оборот: большие модели делают умные GPU-rich ребята, соваться туда в подавляющем большинстве случаев бессмысленно, и надо снова придумывать пайплайны с эвристиками. Перебор разных фильтров в препроцессинге до сходимости был в той же степени хаком, как и идея добавлять wait в конец генерации; сейчас бы оно легло в парадигму test-time scaling и не считалось зазорным.
В эпоху до диплернинга (которую я застал краем глаза в контексте компьютерного зрения), в распоряжении инженера был набор стандартных инструментов, ни один из которых не был достаточно универсальным для end-to-end решения, и задачи решались набором костылей разной степени изящества. SIFT и другие ключевые алгоритмы уже придумали мудрецы в башне из слоновой кости, твоя задача - собрать из препроцессингов и эвристик что-то работающее для конкретной задачи и конкретного датасета. Кстати, тогда тоже были RAGи, и тоже работали так себе.
Во времена расцвета диплернинга, все больше задач стали решаться end-to-end, и потому ключевыми инструментами стали околоархитектурные изменения (включая знаменитый stack more layers) и, конечно, большие и чистые датасеты. Если предложить делать какой-нибудь adaptive histogram equalization перед инференсом какого-нибудь Resnet/Unet, в приличном обществе на тебя будут смотреть с опаской - пусть сеть сама это выучит, оставь свои древние штучки для аугментаций! Умение сделать кастомный лосс важнее умения придумать релевантную эвристику.
И вот с foundation моделями прошел полный оборот: большие модели делают умные GPU-rich ребята, соваться туда в подавляющем большинстве случаев бессмысленно, и надо снова придумывать пайплайны с эвристиками. Перебор разных фильтров в препроцессинге до сходимости был в той же степени хаком, как и идея добавлять wait в конец генерации; сейчас бы оно легло в парадигму test-time scaling и не считалось зазорным.
26.01.202515:07
Внезапная филлер арка моей жизни о которой никто не просил: я недавно делал фотосессию и одну из фотографий приняли в какой-то крутой журнал для арт-фотографов, так что я теперь официально модель 💅💅💅
Надо будет это фото в Google Scholar поставить
Подстраховываюсь от сингулярности как могу
Надо будет это фото в Google Scholar поставить
Подстраховываюсь от сингулярности как могу
11.01.202513:43
Ого, в России запустили новое дейтинг приложение: записи в Росреестре.
Это потеснит лидирующие дейтинг-платформы:
- Сохраненки ВКонтакте (знакомства с фэбосами)
- Вопросы на прямой линии с президентом
- Исходный код продуктов Яндекса
Это потеснит лидирующие дейтинг-платформы:
- Сохраненки ВКонтакте (знакомства с фэбосами)
- Вопросы на прямой линии с президентом
- Исходный код продуктов Яндекса
Не змаглі атрымаць доступ
да медыяконтэнту
да медыяконтэнту
17.12.202416:56
Я ничего не знаю про обработку и генерацию речи. В перелете послушал yet another podcast #41 с Еленой Белобровой (руководитель группы развития речевых технологий), Василием Ершовым (руководитель ML-сервисов Yandex Cloud) и профессиональным диктором Павлом Пуданом.
Рассказывали о том, как записывают голоса для обучения звуковых моделей. Оказывается, за несколько лет скорость клонирования голоса диктора увеличилась в несколько раз: раньше нужно было пятьдесят студийных часов, а сейчас может быть даже в пределах часа. Говорят, что профессия дикторов не под угрозой: универсального синтеза речи с настраиваемыми параметрами пока нет. Ожидаемо, что больше всего проблем с тонкими интонациями.
А еще поговорили о том, как компания внедряет этичные принципы при работе над синтезом речи. Например, команда всегда берет у актеров озвучки согласие на использование голоса перед синтезом, фиксируют, где он будет использоваться и т.д. У Яндекса даже есть внутренний документ (который недавно стал открытым), где описаны принципы при работе над синтезом речи. Инициатива, кстати, полезная: для сферы этот свод правил может стать новым отраслевым стандартом. От этого выиграют как обычные пользователи, так и те же дикторы.
Полную версию подкаста смотрим здесь. Внутри еще много интересных тейков про обучение нейросетей и будущее речевых технологий.
Рассказывали о том, как записывают голоса для обучения звуковых моделей. Оказывается, за несколько лет скорость клонирования голоса диктора увеличилась в несколько раз: раньше нужно было пятьдесят студийных часов, а сейчас может быть даже в пределах часа. Говорят, что профессия дикторов не под угрозой: универсального синтеза речи с настраиваемыми параметрами пока нет. Ожидаемо, что больше всего проблем с тонкими интонациями.
А еще поговорили о том, как компания внедряет этичные принципы при работе над синтезом речи. Например, команда всегда берет у актеров озвучки согласие на использование голоса перед синтезом, фиксируют, где он будет использоваться и т.д. У Яндекса даже есть внутренний документ (который недавно стал открытым), где описаны принципы при работе над синтезом речи. Инициатива, кстати, полезная: для сферы этот свод правил может стать новым отраслевым стандартом. От этого выиграют как обычные пользователи, так и те же дикторы.
Полную версию подкаста смотрим здесь. Внутри еще много интересных тейков про обучение нейросетей и будущее речевых технологий.
11.11.202411:26
Сегодня у меня для вас новое соревнование.
Avito ML Cup — это соревнование для ML-инженеров и специалистов в области Data Science, где предстоит создать модель для рекомендаций на основе полусинтетических данных.
Старт: 5 ноября, но зарегистрироваться еще можно
Призовой фонд: 600 000 рублей.
Участвовать можно индивидуально или в команде до 4 человек. Метрика: ROC-AUC.
Подробности по ссылке.
Avito ML Cup — это соревнование для ML-инженеров и специалистов в области Data Science, где предстоит создать модель для рекомендаций на основе полусинтетических данных.
Старт: 5 ноября, но зарегистрироваться еще можно
Призовой фонд: 600 000 рублей.
Участвовать можно индивидуально или в команде до 4 человек. Метрика: ROC-AUC.
Подробности по ссылке.
24.09.202409:26
Каждый диалог про AI Risk
А: AGI может быть очень опасен.
Б: Опять думеры со своим концом света.
А: А зачем нам AGI?
Б: Без него цивилизации конец и мы все умрем, ты что, не понимаешь?
А: AGI может быть очень опасен.
Б: Опять думеры со своим концом света.
А: А зачем нам AGI?
Б: Без него цивилизации конец и мы все умрем, ты что, не понимаешь?
Паказана 1 - 18 з 18
Увайдзіце, каб разблакаваць больш функцый.