Мир сегодня с "Юрий Подоляка"

Труха⚡️Україна

Паглядзець

Николаевский Ванёк

Паглядзець

Мир сегодня с "Юрий Подоляка"

Паглядзець

Труха⚡️Україна

Паглядзець

Николаевский Ванёк

Паглядзець

Наука и данные

Дайджест по полезным и интересным инструментам в науке о данных, машинному обучению и визуализации данных. Создан как записная книжка, которая дополняет страницу https://naukaidannye.netlify.app/

Рэйтынг TGlist

ТыпПублічны

Вертыфікацыя

Не вертыфікаваны

Надзейнасць

Не надзейны

РазмяшчэннеРосія

МоваІншая

Дата стварэння каналаJun 04, 2023

Дадана ў TGlist

Oct 19, 2024

Я ўладальнік канала

Гісторыя змяненняў

Прыкрепленая група

Обсуждение канала Наука и данные

Статыстыка Тэлеграм-канала Наука и данные

Падрабязней

Падпісчыкаў

1 834

24 гадз.

50.3%Тыдзень

170.9%Месяц

824.7%

Індэкс цытавання

0

Згадкі1Рэпостаў на каналах0Згадкі на каналах1

Сярэдняе ахоп 1 паста

337

12 гадз.2940%24 гадз.3370%48 гадз.3580%

Узаемадзеянне (ER)

4.15%

Рэпостаў7Каментары0Рэакцыі7

Узаемадзеянне па ахопу (ERR)

18.43%

24 гадз.0%Тыдзень

9.05%Месяц

3.36%

Ахоп 1 рэкламнага паста

658

1 гадз.21632.83%1 – 4 гадз.13720.82%4 - 24 гадз.21732.98%

Падрабязней

Падключыце нашага бота да канала і даведайцеся пол аўдыторыі гэтага канала.

Усяго пастоў за 24 гадзіны

1

Дынаміка

Апошнія публікацыі ў групе "Наука и данные"

Усе пасты

20.04.202503:00

Information is Beautiful Awards 2024 🌟

Дорогие друзья, в первую очередь, поздравляю всех со светлым праздником Пасхи! 🌟

Information is Beautiful Awards - это награда, которая отмечает выдающиеся достижения и красоту в визуализации данных, инфографике, интерактивных технологиях и информационном искусстве. На награду каждый год подаются сотни, а порой и тысячи визуализаций, начиная с 2012 года.

Вчера был объявлен short list, в который вошли:

🔺 Дата-арт сообщество Цветы & Цифры (ЦиЦ) 🌹 под руководством прекрасной Натальи Киселевой! Я в восторге от этого уютного уголка, объединяющего увлеченных, по-настоящему талантливых людей, созданного для поддержки и общения, в котором и я тоже немножко участвую.

Также я очень рад за участников ЦиЦ:

🔺 Два замечательных 🔥 (просто фантастических!) проекта Надежды Андриановой: One Week in Sound + World in Tangible Fragments

🔺 Потрясающий проект, ❤️ который создала Nina Lindell: Цветы Беслана. Нина сделала из твердой бумаги 334 мака - по числу жертв теракта. Созданный в течение года кропотливой работы, это мемориал ручной работы, где каждый цветок служит «портретом данных», чтобы рассказать историю каждого человека - его возраст, пол и связь с другими (дети представлены в виде маленьких цветов, взрослые - в виде больших, на маковом поле цветы разместили так, чтобы люди из одной семьи были рядом).

Я всех сердечно поздравляю! 🎉

18.04.202508:00

Всем хороших выходных! 👋

18.04.202507:00

Causality and Multiple Regression

Ben Rottman в рамках курса Open Source Research Methods for the Social Sciences сделал Shiny-приложение как инструмент, который поможет понять возможные взаимосвязи между переменными, включая различные эффекты в приложениях к причинно-следственным связям и множественной регрессией.

На приложение обратил внимание Joachim Schork, который ведет собственный YouTube-канал Statistics Globe по R (см. также обзор от H0H1: про HR-аналитику).

17.04.202507:04

GRASS GIS + R 🌳

GRASS GIS — это мощный механизм геообработки, который объединяет более 500 инструментов для пространственного и временного анализа векторных, растровых, 3D-растровых и графических данных. GRASS был разработан для скорости и эффективности, что позволяет ему довольно просто масштабировать рабочие процессы с массивными наборами данных. В то же время R за годы разработки хорошо развивался в статистическом анализе, моделировании и визуализации пространственных данных.

Veronica Andreo на конференции useR! 2024 рассказала о взаимодействии R и GRASS через библиотеку {rgrass}. Например, вы боретесь с большими растровыми наборами данных в R или вам нужен какой-то конкретный инструмент, например, разграничение водоразделов для большой ЦМР высокого разрешения в GRASS, это описано в статье Вероники. Советую также обратить внимание на сайт GRASS, где описано взаимодействие и с Python и присутствуют большие интеерсные руководства.

16.04.202507:02

An Inventory of Spatial Machine Learning Packages in R 👌

Данная страница содержит постер с перечнем библиотек для пространственного машинного обучения в R, представленный на конференции FOSSGIS 2025 в Мюнстере, ФРГ (авторы Nowosad J., Meyer H., Linnenbrink J., Ludwig M.).

Здесь представлено сравнение фреймворков машинного обучения {caret}, {mlr3} и {tidymodels} в R и их возможностей для задач пространственного машинного обучения (ML), а также сделан обзор других библиотек, которые можно использовать для пространственного ML в R.

Постер сопровождается примерами кода, которые демонстрируют, как использовать эти библиотеки для задач пространственного машинного обучения.

Напомню что взаимодействовать в R с ArcGIS можно с помощью {arcgislayers}, с QGIS в {qgisprocess} (см. также презентацию), про GRASS расскажем завтра.

15.04.202507:30

{boxview} 📦

Экспериментальная библиотека {boxview} содержит всего одну функцию boxview::boxview() для отображения кода функции во вложенных блоках, это немного упрощает просмотр кода по сравнению с традиционным способом.

pak::pak("cynkra/boxview")

15.04.202507:02

Model to Meaning (How to Interpret Statistical Models with marginaleffects for R and Python)

Представьте, что вы хотите узнать, как увеличение дохода на 1 000 рублей влияет на вероятность того, что человек купит страховку. Маргинальные эффекты - это способ понять, как изменение одного фактора влияет на результат в статистической моделии, при условии, что все остальные факторы остаются неизменными. Маргинальные эффекты помогают рассчитать «усредненное» влияние для всех наблюдений или для конкретной группы.

Есть хороший повод напомнить про книгу Model to Meaning по библиотеке marginaleffects, которая, по словам автора (Vincent Arel-Bundock) представляет простую, но мощную концептуальную структуру, помогающую аналитикам понимать сложные модели. Дело в том, что теперь книга доступна не только для пользователей R, но и Python и ее манускрипт отправляется в печать.

Это единая точка входа для интерпретации результатов более 100 различных типов статистических моделей и моделей машинного обучения в R и Python.

15.04.202506:01

Уважаемые коллеги!

Красноярский математический центр рад принять у себя участников V Конференции математических центров России, которая пройдет с 11 по 16 августа 2025 г. в г. Красноярске на базе Сибирского федерального университета.

К участию в конференции приглашаются представители российской и мировой математической общественности: аспиранты, студенты, сотрудники математических центров, научные и педагогические работники. Формат работы конференции очный, будут представлены пленарные, секционные и постерные доклады по актуальным направлениям развития и современным достижениям математической науки.

В качестве финансовой поддержки молодых исследователей организаторы конференции предоставят бесплатное проживание ограниченному числу участников по рекомендации руководителей секций.

Подробная информация о мероприятии находится на официальном сайте конференции: https://kmc.sfu-kras.ru/conf2025/
По всем возникающим вопросам следует обращаться на почту оргкомитета по адресу: konf-mc@sfu-kras.ru.

14.04.202507:01

Forecasting: Principles and Practice, the Pythonic Way 🐍🔥

Мы прекрасно знаем, что одна из лучших книг по работе с временными рядами с использованием языка R - Forecasting: Principles and Practice, авторы которой Rob J Hyndman и George Athanasopoulos. Новая книга Forecasting: Principles and Practice, the Pythonic Way призвана предоставить всестороннее введение в методы прогнозирования на Python. Предполагается что здесь не дается подробное обсуждение теоретических деталей, но читатели знакомы с вводным курсом статистики.

Самым важным изменением в этом издании книги является то, что авторы используют nixtlaverse в Python - это коллекция библиотек, разработанная Nixtla, которая предоставляет комплексный инструментарий для прогнозирования временных рядов. Также в новое издание включены две главы по искусственным нейронным сетям и их применениям к задачам временных рядов.

Удачного прогнозирования! 💙

11.04.202508:00

Сегодня выходит R 4.5.0. 🎉
Нововведения можно посмотреть у Jumping Rivers. Пингвины точно будут! 🐧

Хорошего всем обновления! 👋

11.04.202507:03

R Development Guide

В base R входит, по сути, всего 14 библиотек (Eyayaw Beze сделал небольшой обзор), которые можно посмотреть, например, с помощью

Руководство по разработке R - это всеобъемлющий ресурс для внесения для тех, кто хочет внести вклад в base R, охватывающее множесвто вопросов, начиная от отслеживания проблем, создания патчей, документирования, до тестирования предварительных версий и дополнительных вопросов.

10.04.202507:05

A course on Spatial Data Science 🐍 🗺️

Мы уже рассказывали про записки курса Spatial Data Science for Social Geography, который в 2023 году проводился в Charles University, Prague. Курс знакомит с основными принципами программирования и современными вычислительными инструментами с открытым исходным кодом, написанными на языке Python в области науки о пространственных данных. Материалы содержат Jupyter ноутбуки, которые можно запустить локально и отличаются проработанностью. Содержание курса близко к книге Geographic Data Science with Python.

Помимо указанного курса, в Charles University ежегодно выходит и его "облегченная версия", записки которого также доступны.

Напомню про то, что источники по геопространственному анализу можно посмотреть на странице Rесурсы, а всевозможные материалы курсов на соответствующей странице по тегу GeoData.

09.04.202507:03

{equatiomatic} - создание уравнений моделей

Как автоматически отобразить уравнение модели в Quarto / RMarkdown? Один из способов отображения уравнения модели - это использование библиотеки {equatiomatic}. Достаточно создать модель, которая поддерживается библиотекой {broom} (линейная регрессия, логистическая регрессия, и т. д.) и воспользоваться функцией extract_eq(), которая сформирует LaTeX-уравнение.

$$
\operatorname{mpg} = \alpha + \beta_{1}(\operatorname{drat}) + \beta_{2}(\operatorname{wt}) + \beta_{3}(\operatorname{qsec}) + \epsilon
$$

Я узнал об этой библиотеке из статьи замечательного блога, автор которого - Филипп Массикотт. Обратите также внимание на библиотеку {xdvir} для отображения LaTeX в графиках.

08.04.202507:00

Pointblank - валидация данных в R / Python

Качество данных - один из главных залогов успеха в Data Science. Библиотека Pointblank - настоящая находка, она служит настройки конвейеров проверки данных и может помочь обнаружить и устранить такие распространенные ошибки, как дублирование или повреждение данных. Создается агент, которому предоставляется набор функций проверки для определения шагов проверки. Отчетность сделана на очень высоком уровне. При этом библиотека также позволяет указывать правила в отдельном файле YAML, что может дополнительно повысить переносимость между проектами. Пример работы можно посмотреть в блоге Эмили Ридерер.

Теперь Pointblank доступен и на Python в PyPI как библиотека, примеры валидации данных можно посмотреть на сайте.

07.04.202507:00

{gt} 1.0.0 🔥

Обновилась до версии 1.0.0 библиотека {gt}, которая не нуждается в особом представлении - это, пожалуй, лучшая библиотека для создания статических таблиц, обладающая той же философией, что и {ggplot2} - послойного построения компонентов таблиц. Большой анонс еще, видимо, будет, а пока можно почитать:

🔘 огромное количество статей по {gt} в блоге Posit
🔘 статьи по {gt} и {gtExtras}, которые написал Tom Mock в своем блоге
🔘 книгу Creating beautiful tables in R with {gt}, автор которой Albert Rapp

Библиотека так полюбилась многим пользователям, что авторы {gt} сделали аналогичную библиотеку Great Table для Python (см. видеообзор: видео 1 + видео 2 + видео 3), так и пишут - Absolutely Delightful Table-making in Python. 🐍

Must have! 🌟

ожидаем на этой неделе еще один большой релиз!

Усе пасты

Рэкламаваўся7 гадзіна

10.04.202516:43RAntiquity

872

Падрабязней

Рэкорды

20.04.202523:59

1.8KПадпісчыкаў

19.10.202423:59

100Індэкс цытавання

14.04.202507:36

723Ахоп 1 паста

16.04.202502:29

658Ахоп рэкламнага паста

18.12.202423:59

10.89%ER

26.12.202423:59

41.31%ERR

Развіццё

Падрабязней

Падпісчыкаў

Індэкс цытавання

Ахоп 1 паста

Ахоп рэкламнага паста

ERR

Падрабязней

Папулярныя публікацыі Наука и данные

Усе пасты

24.03.202507:00

Telegram каналы по R 🧶

Какие Telegram каналы по R есть на русском языке? Поскольку такой вопрос задают коллеги, можно сделать небольшой обзор по каналам, с авторами которых я так или иначе знаком. Всем сердечно жму руку! 🤝

🔺 R in Action (ru) - уникальный канал, в котором Илья Шутов ставит интересные задачи (в основном связанные с R), предлагает изящные качественные решения; это бортовой журнал с "вдумчивыми заметками", приправленными авторитетным мнением

🔺 R4marketing | канал Алексея Селезнёва | Язык R - канал, в котором публикуются самые разнообразные материалы по языку R; автор канла имеет и свой видеоблог. Пока Алексей находится в силу обстоятельств в творческом отпуске, записи появляются довольно редко, но все что он пишет - 🔝!

🔺 Статистика и R в науке и аналитике - здесь Елена Убогоева подробно разбирает вопросы, связанные со статистикой и языком R, а также темы, относящиеся к с продуктовой аналитике (в том числе и на своей веб-странице)

🔺 RAntiquity - Ольга Алиева (автор курса Компьютерный анализ текста, доцент Школы философии и культурологии НИУ ВШЭ) занимается глубокими исследованиями в цифровых методах в гуманитарных науках, в частности, изучает древнегреческий, и тут без R никак не обойтись. Всем известно, что в ее руках могут зацвести даже ~~связные ациклические графы~~ деревья

🔺 Weekly Charts, автор Юрий Тукачев - большой энтузиаст визуализации данных, Datawrapper, LLM, но для нас интересно, как он делится своими примерами визуализаций в {ggplot2}

🔺 Типизированный R - совершенно новый 🌟 канал, который создал Анатолий Цыпленков. Основная область интересов Анатолия - геопространственный анализ, язык программирования R, но он также обещал делиться своими впечатлениями о жизни в Новой Зеландии, где работает в настоящий момент.

🔹 HSE R Meet Up - Новости и анонсы митапов по R
8<---

Пераслаў з:

Канал влияния

25.03.202507:20

💻 Новый практический гайд по difference-in-differences для исследователей

Мы уже писали, что метод "разности разностей" (Difference-in-Differences, DiD) — один из наиболее распространенных квазиэкспериментальных методов для оценки причинных эффектов в экономике и социальных науках (Garg, Fetzer, 2024; Goldsmith-Pinkham, 2024; Currie et al., 2020)

В середине марта весьма звёздный состав авторов опубликовал методологическое руководство-препринт для всех, кто использует DiD в прикладных исследованиях (Baker et al., 2025)

🙂 В чём ценность работы?
🟤Авторы систематизируют современные подходы к DiD и показывают, что классический дизайн с двумя группами и двумя периодами (2×2) — лишь частный случай
🟤Когда в данных много периодов, есть ступенчатое введение воздействия (staggered treatment adoption), а эффекты гетерогенны по группам или во времени (treatment effect heterogeneity), простое использование регрессии с двунаправленными фиксированными эффектами (Two-Way Fixed Effects, TWFE) может приводить к смещённым оценкам (Roth et al., 2023; de Chaisemartin & D’Haultfoeuille, 2023)
🟤Авторы предлагают переход от обратного проектирования (backwards engineering) (позитивный подход, когда исследователь ориентируется на существующие методы и пытается приспособить их к данным) к прямому проектированию (forward engineering) (нормативный подход, при котором исследователь начинает с определения целей исследования и строит модели и методы, которые соответствуют этим целям)
🟤В рамках этого подхода предлагается рассматривать сложные дизайны как комбинацию элементарных 2×2 сравнений (2×2 building blocks) и использовать аккуратную агрегацию результатов

🖥 Мы собрали основные пакеты в R, которые вам пригодятся в ваших исследованиях с использованием DiD
🟤did (Brantly Callaway, Pedro Sant’Anna) - оценка эффектов DiD при ступенчатом дизайне воздействия, множественных периодах и гетерогенности с агрегацией и визуализацией
🟤fixest (Laurent Berge) - быстрые панельные регрессии с фиксированными эффектами и поддержкой кластеризации и переменных взаимодействия (interactions)
🟤bacondecomp (Andrew Goodman-Bacon) - разложение TWFE-оценки на вклад парных сравнений. Используется для диагностики весов и потенциальных источников смещения
🟤did2s (Kyle Butts, Mike Gardner) - двухшаговая устойчивая оценка DiD при вариации времени воздействия
🟤DRDID (Pedro Sant’Anna, Jun Zhao) - двойная робастная оценка DiD через IPW и outcome regression

#канал_обозревает
#канал_рекомендует
@causal_channel

15.04.202507:02

24.03.202507:00

8<---
Какие каналы еще пишут про язык R / используют в работе?

🔸 Канал влияния, который создали прекрасные девушки экономисты-исследователи (экономический факультет МГУ им. М. В. Ломоносова), их научная направленность - Causal Inference, соответственно, по этому направлению в R они также эксперты

🔸 Спутник ДЗЗ - тут собраны все вопросы дистанционного зондирования Земли; на канале появляются еженедельные заметки по пространственному анализу данных в R, надеюсь, что у них будет возможность собрать все в единый учебный курс

🔸 ЛССИ / LCSR - официальный TG-канал Лаборатории сравнительных социальных исследований им. Р. Ф. Инглхарта НИУ ВШЭ

🔸 Nodes and Links - канал для исследователей и аналитиков социальных сетей, Лаборатория прикладного сетевого анализа НИУ ВШЭ

🔸 People Analytics - канал про HR-аналитику также от Юрия Тукачева, где R используется для анализа и визуализации HR-данных

🔸 GIS AND PEACE - работа с картографическими ГИС-данными с прекрасно оформленными постами от Беллы Мироновой (в основном из языков программирования это Python, но встречается и R)

🔸 Настенька и графики - датавиз-канал Насти Кузнецовой с прекрасными иллюстрациями, который, я думаю, знают все; основной Настин инструмент - Tableau, но R тоже входит в арсенал визуалистов

🔸 Рюмочная ИПП - Институт проблем правоприменения при Европейском университете в Санкт-Петербурге, коллеги делают интересные аналитические отчеты на R

🔸 Если быть точным - данные о социальных проблемах в России, где также используют R при подготовке и анализе данных

🔸 H0H1: про HR-аналитику - канал про HR аналитику и всё, что с этим связано, отличные серии статей, связанных с R и статистикой

Если есть что-то помимо указанного выше, напишите в комментариях. Здесь представлены именно TG-каналы, а не группы для обсуждения.

08.04.202507:00

18.04.202507:00

21.03.202506:56

Visualization for Social Data Science 💥

Онлайн-книга Visualization for Social Data Science охватывает различные аспекты визуализации данных: от фундаментальных основ и EDA до визуализаций географических данных как сетевых данных, визуализации непоределенностей (что перекликается с лекциями Майкла Френдли) и касаются графического повествования и сторителлинга.

Каждая глава знакомит с концепциями для анализа, сопровождаемыми технической реализацией и представляет рабочие процессы с кодом на R для использования графики данных и статистики. Книга предназначена для людей, анализирующих общественные проблемы, в широком смысле - аспирантов, исследователей, журналистов данных и не только.

Прекрасные иллюстрации дополняют уже известные издания в этой области, и я вполне допускаю что данная книга также может стать хрестоматийной.

02.04.202507:30

Lisa Hornung 🍁

Мне очень нравится репозиторий, который ведет Lisa Hornung. Это хранилище небольших проектов по анализу и визуализации данных, порой необычных или забавных, в основном для тестирования библиотек и создания новых типов визуализаций. Здесь особенно то, что главный инструмент Лизы - Python!

07.04.202507:00

14.04.202507:01

09.04.202507:03

$$
\operatorname{mpg} = \alpha + \beta_{1}(\operatorname{drat}) + \beta_{2}(\operatorname{wt}) + \beta_{3}(\operatorname{qsec}) + \epsilon
$$

03.04.202507:30

Docker + R = {dockitect} 🐋

Если вы используете Docker в R, то наверняка слышали про экосистему контейнеров Rocker Project (Docker Containers for the R Environment), однако как сделать, чтобы создание и управление Docker файлами стало естественным продолжением вашего рабочего процесса R? Написание Docker файла вручную может быть утомительным и подверженным ошибкам процессом, особенно когда вам нужно включить специфические для R требования, такие как зависимости библиотек.

Новая библиотека {dockitect} предлагает программный, удобный для конвейеров подход к созданию конфигураций Docker непосредственно из R. Автор проекта James Balamuta сделал подробное описание в статье Introducing dockitect: Making Docker Feel More Native to R.

🐙 GitHub репозиторий
✍️ Страница библиотеки

20.04.202503:00

26.03.202507:30

List of all projection images 🗺️

Географам на заметку: список всех географических проекций - от распространенных до самых необычных можно посмотреть на веб-странице proj.org. Все проекции проиллюстрированы мини-картами, параметрами и пояснениями.

Напомню про веб-сайты Projection Wizard и Spatial Reference List.

10.04.202507:05

Увайдзіце, каб разблакаваць больш функцый.