Наука и данные
Дайджест по полезным и интересным инструментам в науке о данных, машинному обучению и визуализации данных. Создан как записная книжка, которая дополняет страницу https://naukaidannye.netlify.app/
TGlist रेटिंग
0
0
प्रकारसार्वजनिक
सत्यापन
असत्यापितविश्वसनीयता
अविश्वसनीयस्थानРосія
भाषाअन्य
चैनल निर्माण की तिथिJun 04, 2023
TGlist में जोड़ा गया
Oct 19, 2024संलग्न समूह
Обсуждение канала Наука и данные
5
रिकॉर्ड
23.04.202523:59
1.8Kसदस्य19.10.202423:59
100उद्धरण सूचकांक14.04.202507:36
723प्रति पोस्ट औसत दृश्य16.04.202502:29
658प्रति विज्ञापन पोस्ट औसत दृश्य18.12.202423:59
10.89%ER26.12.202423:59
41.31%ERRसे पुनः पोस्ट किया:
Канал влияния
25.03.202507:20
💻 Новый практический гайд по difference-in-differences для исследователей
Мы уже писали, что метод "разности разностей" (Difference-in-Differences, DiD) — один из наиболее распространенных квазиэкспериментальных методов для оценки причинных эффектов в экономике и социальных науках (Garg, Fetzer, 2024; Goldsmith-Pinkham, 2024; Currie et al., 2020)
В середине марта весьма звёздный состав авторов опубликовал методологическое руководство-препринт для всех, кто использует DiD в прикладных исследованиях (Baker et al., 2025)
🙂 В чём ценность работы?
🟤Авторы систематизируют современные подходы к DiD и показывают, что классический дизайн с двумя группами и двумя периодами (2×2) — лишь частный случай
🟤Когда в данных много периодов, есть ступенчатое введение воздействия (staggered treatment adoption), а эффекты гетерогенны по группам или во времени (treatment effect heterogeneity), простое использование регрессии с двунаправленными фиксированными эффектами (Two-Way Fixed Effects, TWFE) может приводить к смещённым оценкам (Roth et al., 2023; de Chaisemartin & D’Haultfoeuille, 2023)
🟤Авторы предлагают переход от обратного проектирования (backwards engineering) (позитивный подход, когда исследователь ориентируется на существующие методы и пытается приспособить их к данным) к прямому проектированию (forward engineering) (нормативный подход, при котором исследователь начинает с определения целей исследования и строит модели и методы, которые соответствуют этим целям)
🟤В рамках этого подхода предлагается рассматривать сложные дизайны как комбинацию элементарных 2×2 сравнений (2×2 building blocks) и использовать аккуратную агрегацию результатов
🖥 Мы собрали основные пакеты в R, которые вам пригодятся в ваших исследованиях с использованием DiD
🟤did (Brantly Callaway, Pedro Sant’Anna) - оценка эффектов DiD при ступенчатом дизайне воздействия, множественных периодах и гетерогенности с агрегацией и визуализацией
🟤fixest (Laurent Berge) - быстрые панельные регрессии с фиксированными эффектами и поддержкой кластеризации и переменных взаимодействия (interactions)
🟤bacondecomp (Andrew Goodman-Bacon) - разложение TWFE-оценки на вклад парных сравнений. Используется для диагностики весов и потенциальных источников смещения
🟤did2s (Kyle Butts, Mike Gardner) - двухшаговая устойчивая оценка DiD при вариации времени воздействия
🟤DRDID (Pedro Sant’Anna, Jun Zhao) - двойная робастная оценка DiD через IPW и outcome regression
#канал_обозревает
#канал_рекомендует
@causal_channel
Мы уже писали, что метод "разности разностей" (Difference-in-Differences, DiD) — один из наиболее распространенных квазиэкспериментальных методов для оценки причинных эффектов в экономике и социальных науках (Garg, Fetzer, 2024; Goldsmith-Pinkham, 2024; Currie et al., 2020)
В середине марта весьма звёздный состав авторов опубликовал методологическое руководство-препринт для всех, кто использует DiD в прикладных исследованиях (Baker et al., 2025)
🙂 В чём ценность работы?
🟤Авторы систематизируют современные подходы к DiD и показывают, что классический дизайн с двумя группами и двумя периодами (2×2) — лишь частный случай
🟤Когда в данных много периодов, есть ступенчатое введение воздействия (staggered treatment adoption), а эффекты гетерогенны по группам или во времени (treatment effect heterogeneity), простое использование регрессии с двунаправленными фиксированными эффектами (Two-Way Fixed Effects, TWFE) может приводить к смещённым оценкам (Roth et al., 2023; de Chaisemartin & D’Haultfoeuille, 2023)
🟤Авторы предлагают переход от обратного проектирования (backwards engineering) (позитивный подход, когда исследователь ориентируется на существующие методы и пытается приспособить их к данным) к прямому проектированию (forward engineering) (нормативный подход, при котором исследователь начинает с определения целей исследования и строит модели и методы, которые соответствуют этим целям)
🟤В рамках этого подхода предлагается рассматривать сложные дизайны как комбинацию элементарных 2×2 сравнений (2×2 building blocks) и использовать аккуратную агрегацию результатов
🖥 Мы собрали основные пакеты в R, которые вам пригодятся в ваших исследованиях с использованием DiD
🟤did (Brantly Callaway, Pedro Sant’Anna) - оценка эффектов DiD при ступенчатом дизайне воздействия, множественных периодах и гетерогенности с агрегацией и визуализацией
🟤fixest (Laurent Berge) - быстрые панельные регрессии с фиксированными эффектами и поддержкой кластеризации и переменных взаимодействия (interactions)
🟤bacondecomp (Andrew Goodman-Bacon) - разложение TWFE-оценки на вклад парных сравнений. Используется для диагностики весов и потенциальных источников смещения
🟤did2s (Kyle Butts, Mike Gardner) - двухшаговая устойчивая оценка DiD при вариации времени воздействия
🟤DRDID (Pedro Sant’Anna, Jun Zhao) - двойная робастная оценка DiD через IPW и outcome regression
#канал_обозревает
#канал_рекомендует
@causal_channel
15.04.202507:02
Model to Meaning (How to Interpret Statistical Models with marginaleffects for R and Python)
Представьте, что вы хотите узнать, как увеличение дохода на 1 000 рублей влияет на вероятность того, что человек купит страховку. Маргинальные эффекты - это способ понять, как изменение одного фактора влияет на результат в статистической моделии, при условии, что все остальные факторы остаются неизменными. Маргинальные эффекты помогают рассчитать «усредненное» влияние для всех наблюдений или для конкретной группы.
Есть хороший повод напомнить про книгу Model to Meaning по библиотеке marginaleffects, которая, по словам автора (Vincent Arel-Bundock) представляет простую, но мощную концептуальную структуру, помогающую аналитикам понимать сложные модели. Дело в том, что теперь книга доступна не только для пользователей R, но и Python и ее манускрипт отправляется в печать.
Это единая точка входа для интерпретации результатов более 100 различных типов статистических моделей и моделей машинного обучения в R и Python.
Представьте, что вы хотите узнать, как увеличение дохода на 1 000 рублей влияет на вероятность того, что человек купит страховку. Маргинальные эффекты - это способ понять, как изменение одного фактора влияет на результат в статистической моделии, при условии, что все остальные факторы остаются неизменными. Маргинальные эффекты помогают рассчитать «усредненное» влияние для всех наблюдений или для конкретной группы.
Есть хороший повод напомнить про книгу Model to Meaning по библиотеке marginaleffects, которая, по словам автора (Vincent Arel-Bundock) представляет простую, но мощную концептуальную структуру, помогающую аналитикам понимать сложные модели. Дело в том, что теперь книга доступна не только для пользователей R, но и Python и ее манускрипт отправляется в печать.
Это единая точка входа для интерпретации результатов более 100 различных типов статистических моделей и моделей машинного обучения в R и Python.
08.04.202507:00
Pointblank - валидация данных в R / Python
Качество данных - один из главных залогов успеха в Data Science. Библиотека Pointblank - настоящая находка, она служит настройки конвейеров проверки данных и может помочь обнаружить и устранить такие распространенные ошибки, как дублирование или повреждение данных. Создается агент, которому предоставляется набор функций проверки для определения шагов проверки. Отчетность сделана на очень высоком уровне. При этом библиотека также позволяет указывать правила в отдельном файле YAML, что может дополнительно повысить переносимость между проектами. Пример работы можно посмотреть в блоге Эмили Ридерер.
Теперь Pointblank доступен и на Python в PyPI как библиотека, примеры валидации данных можно посмотреть на сайте.
Качество данных - один из главных залогов успеха в Data Science. Библиотека Pointblank - настоящая находка, она служит настройки конвейеров проверки данных и может помочь обнаружить и устранить такие распространенные ошибки, как дублирование или повреждение данных. Создается агент, которому предоставляется набор функций проверки для определения шагов проверки. Отчетность сделана на очень высоком уровне. При этом библиотека также позволяет указывать правила в отдельном файле YAML, что может дополнительно повысить переносимость между проектами. Пример работы можно посмотреть в блоге Эмили Ридерер.
Теперь Pointblank доступен и на Python в PyPI как библиотека, примеры валидации данных можно посмотреть на сайте.
21.04.202507:04
LLMs + R
Насколько современные LLMs хороши в написании кода на R?
Simon P. Couch участвовал в разработке таких уважаемых библиотек как {broom}, {workflows}, {bonsai} и т. д. Недавно он выпустил две новые библиотеки на основе LLM ассистентов и {ellmer} - это {gander} (надстройка для Copilot в RStudio и Positron) и {chores} для того, чтобы помочь быстро выполнять повторяющиеся, трудно автоматизируемые задачи.
Сейчас в своем блоге он делится своими соображениями и экспериментами по оценке производительности кодирования в R. В частности, с помощью новой библиотеки {vitals}, которая представляет собой порт R широко распространенного фреймворка Python Inspect, он показывает, как можно делать оценки больших языковых моделей в R.
Статьи по LLM возникают так быстро, что мы не успеваем читать заголовки новостей. Из последнего:
🔹 R with RAGS: An Introduction to rchroma and ChromaDD
🔹 How to Build a Local RAG App with Ollama and ChromaDB in the R Programming Language
См. также Large Language Model tools for R
Насколько современные LLMs хороши в написании кода на R?
Simon P. Couch участвовал в разработке таких уважаемых библиотек как {broom}, {workflows}, {bonsai} и т. д. Недавно он выпустил две новые библиотеки на основе LLM ассистентов и {ellmer} - это {gander} (надстройка для Copilot в RStudio и Positron) и {chores} для того, чтобы помочь быстро выполнять повторяющиеся, трудно автоматизируемые задачи.
Сейчас в своем блоге он делится своими соображениями и экспериментами по оценке производительности кодирования в R. В частности, с помощью новой библиотеки {vitals}, которая представляет собой порт R широко распространенного фреймворка Python Inspect, он показывает, как можно делать оценки больших языковых моделей в R.
Статьи по LLM возникают так быстро, что мы не успеваем читать заголовки новостей. Из последнего:
🔹 R with RAGS: An Introduction to rchroma and ChromaDD
🔹 How to Build a Local RAG App with Ollama and ChromaDB in the R Programming Language
См. также Large Language Model tools for R
18.04.202507:00
Causality and Multiple Regression
Ben Rottman в рамках курса Open Source Research Methods for the Social Sciences сделал Shiny-приложение как инструмент, который поможет понять возможные взаимосвязи между переменными, включая различные эффекты в приложениях к причинно-следственным связям и множественной регрессией.
На приложение обратил внимание Joachim Schork, который ведет собственный YouTube-канал Statistics Globe по R (см. также обзор от H0H1: про HR-аналитику).
Ben Rottman в рамках курса Open Source Research Methods for the Social Sciences сделал Shiny-приложение как инструмент, который поможет понять возможные взаимосвязи между переменными, включая различные эффекты в приложениях к причинно-следственным связям и множественной регрессией.
На приложение обратил внимание Joachim Schork, который ведет собственный YouTube-канал Statistics Globe по R (см. также обзор от H0H1: про HR-аналитику).
22.04.202507:00
Dr. Dominic Royé
Я думаю, что многие видели одни из самых узнаваемых и грамотно составленных графиков и иллюстраций в области цифровой географии и климатологии, созданных Dr. Dominic Royé. Юрий Тукачев в TG-канале Weekly Charts в январе 2025 рассказал о том, что веб-сайт автора обновился и и переведен на платформу Quarto. Обратите внимание: особенно впечатляет оформление публикаций. С тех пор на странице появился новый раздел, посвящённый деятельности исследовательской группы Bioclim.
На страницах блога Dominic делится своими находками на R из мира картографии и визуализации данных, но особенно рекомендую заглянуть в раздел Data Vizualization - это завораживающая красота и источник вдохновения!
Я думаю, что многие видели одни из самых узнаваемых и грамотно составленных графиков и иллюстраций в области цифровой географии и климатологии, созданных Dr. Dominic Royé. Юрий Тукачев в TG-канале Weekly Charts в январе 2025 рассказал о том, что веб-сайт автора обновился и и переведен на платформу Quarto. Обратите внимание: особенно впечатляет оформление публикаций. С тех пор на странице появился новый раздел, посвящённый деятельности исследовательской группы Bioclim.
На страницах блога Dominic делится своими находками на R из мира картографии и визуализации данных, но особенно рекомендую заглянуть в раздел Data Vizualization - это завораживающая красота и источник вдохновения!
21.04.202508:03
Getting Started in R: Tinyverse 2nd Edition
Можно ли в R обойтись без Tidyverse? Мне {tidyverse} очень нравится не только своим подходом, следующим "принципу аккуратных данных", но и тем, что операции преобразования и визуализации данных логичны и его "глаголы" напоминают естественный язык. Тем не менее, Luis Apiolaza написал в свое время интересную серию статей Some love for Base R (часть 1, часть 2, часть 3, часть 4). Преимущество такого подхода - стабильность кода, вернетесь к коду через несколько лет - он работает, никакого перехода между версиями скорее всего не будет.
Основываясь на {data.table} и {tinyplot}, Saghir Bashir и Dirk Eddelbuettel сделали замечательное краткое введение в R на основе Tinyverse-подхода (less is more): такой подход означает меньший занимаемый объем, более быструю установку и, что наиболее важно, меньшее количество элементов в графе зависимостей.
Можно ли в R обойтись без Tidyverse? Мне {tidyverse} очень нравится не только своим подходом, следующим "принципу аккуратных данных", но и тем, что операции преобразования и визуализации данных логичны и его "глаголы" напоминают естественный язык. Тем не менее, Luis Apiolaza написал в свое время интересную серию статей Some love for Base R (часть 1, часть 2, часть 3, часть 4). Преимущество такого подхода - стабильность кода, вернетесь к коду через несколько лет - он работает, никакого перехода между версиями скорее всего не будет.
Основываясь на {data.table} и {tinyplot}, Saghir Bashir и Dirk Eddelbuettel сделали замечательное краткое введение в R на основе Tinyverse-подхода (less is more): такой подход означает меньший занимаемый объем, более быструю установку и, что наиболее важно, меньшее количество элементов в графе зависимостей.
07.04.202507:00
{gt} 1.0.0 🔥
Обновилась до версии 1.0.0 библиотека {gt}, которая не нуждается в особом представлении - это, пожалуй, лучшая библиотека для создания статических таблиц, обладающая той же философией, что и {ggplot2} - послойного построения компонентов таблиц. Большой анонс еще, видимо, будет, а пока можно почитать:
🔘 огромное количество статей по {gt} в блоге Posit
🔘 статьи по {gt} и {gtExtras}, которые написал Tom Mock в своем блоге
🔘 книгу Creating beautiful tables in R with {gt}, автор которой Albert Rapp
Библиотека так полюбилась многим пользователям, что авторы {gt} сделали аналогичную библиотеку Great Table для Python (см. видеообзор: видео 1 + видео 2 + видео 3), так и пишут - Absolutely Delightful Table-making in Python. 🐍
Must have! 🌟
ожидаем на этой неделе еще один большой релиз!
Обновилась до версии 1.0.0 библиотека {gt}, которая не нуждается в особом представлении - это, пожалуй, лучшая библиотека для создания статических таблиц, обладающая той же философией, что и {ggplot2} - послойного построения компонентов таблиц. Большой анонс еще, видимо, будет, а пока можно почитать:
🔘 огромное количество статей по {gt} в блоге Posit
🔘 статьи по {gt} и {gtExtras}, которые написал Tom Mock в своем блоге
🔘 книгу Creating beautiful tables in R with {gt}, автор которой Albert Rapp
Библиотека так полюбилась многим пользователям, что авторы {gt} сделали аналогичную библиотеку Great Table для Python (см. видеообзор: видео 1 + видео 2 + видео 3), так и пишут - Absolutely Delightful Table-making in Python. 🐍
Must have! 🌟
ожидаем на этой неделе еще один большой релиз!
14.04.202507:01
Forecasting: Principles and Practice, the Pythonic Way 🐍🔥
Мы прекрасно знаем, что одна из лучших книг по работе с временными рядами с использованием языка R - Forecasting: Principles and Practice, авторы которой Rob J Hyndman и George Athanasopoulos. Новая книга Forecasting: Principles and Practice, the Pythonic Way призвана предоставить всестороннее введение в методы прогнозирования на Python. Предполагается что здесь не дается подробное обсуждение теоретических деталей, но читатели знакомы с вводным курсом статистики.
Самым важным изменением в этом издании книги является то, что авторы используют nixtlaverse в Python - это коллекция библиотек, разработанная Nixtla, которая предоставляет комплексный инструментарий для прогнозирования временных рядов. Также в новое издание включены две главы по искусственным нейронным сетям и их применениям к задачам временных рядов.
Удачного прогнозирования! 💙
Мы прекрасно знаем, что одна из лучших книг по работе с временными рядами с использованием языка R - Forecasting: Principles and Practice, авторы которой Rob J Hyndman и George Athanasopoulos. Новая книга Forecasting: Principles and Practice, the Pythonic Way призвана предоставить всестороннее введение в методы прогнозирования на Python. Предполагается что здесь не дается подробное обсуждение теоретических деталей, но читатели знакомы с вводным курсом статистики.
Самым важным изменением в этом издании книги является то, что авторы используют nixtlaverse в Python - это коллекция библиотек, разработанная Nixtla, которая предоставляет комплексный инструментарий для прогнозирования временных рядов. Также в новое издание включены две главы по искусственным нейронным сетям и их применениям к задачам временных рядов.
Удачного прогнозирования! 💙
09.04.202507:03
{equatiomatic} - создание уравнений моделей
Как автоматически отобразить уравнение модели в Quarto / RMarkdown? Один из способов отображения уравнения модели - это использование библиотеки {equatiomatic}. Достаточно создать модель, которая поддерживается библиотекой {broom} (линейная регрессия, логистическая регрессия, и т. д.) и воспользоваться функцией
Я узнал об этой библиотеке из статьи замечательного блога, автор которого - Филипп Массикотт. Обратите также внимание на библиотеку {xdvir} для отображения LaTeX в графиках.
Как автоматически отобразить уравнение модели в Quarto / RMarkdown? Один из способов отображения уравнения модели - это использование библиотеки {equatiomatic}. Достаточно создать модель, которая поддерживается библиотекой {broom} (линейная регрессия, логистическая регрессия, и т. д.) и воспользоваться функцией
extract_eq(), которая сформирует LaTeX-уравнение.$$
\operatorname{mpg} = \alpha + \beta_{1}(\operatorname{drat}) + \beta_{2}(\operatorname{wt}) + \beta_{3}(\operatorname{qsec}) + \epsilon
$$
Я узнал об этой библиотеке из статьи замечательного блога, автор которого - Филипп Массикотт. Обратите также внимание на библиотеку {xdvir} для отображения LaTeX в графиках.
03.04.202507:30
Docker + R = {dockitect} 🐋
Если вы используете Docker в R, то наверняка слышали про экосистему контейнеров Rocker Project (Docker Containers for the R Environment), однако как сделать, чтобы создание и управление Docker файлами стало естественным продолжением вашего рабочего процесса R? Написание Docker файла вручную может быть утомительным и подверженным ошибкам процессом, особенно когда вам нужно включить специфические для R требования, такие как зависимости библиотек.
Новая библиотека {dockitect} предлагает программный, удобный для конвейеров подход к созданию конфигураций Docker непосредственно из R. Автор проекта James Balamuta сделал подробное описание в статье Introducing dockitect: Making Docker Feel More Native to R.
🐙 GitHub репозиторий
✍️ Страница библиотеки
Если вы используете Docker в R, то наверняка слышали про экосистему контейнеров Rocker Project (Docker Containers for the R Environment), однако как сделать, чтобы создание и управление Docker файлами стало естественным продолжением вашего рабочего процесса R? Написание Docker файла вручную может быть утомительным и подверженным ошибкам процессом, особенно когда вам нужно включить специфические для R требования, такие как зависимости библиотек.
Новая библиотека {dockitect} предлагает программный, удобный для конвейеров подход к созданию конфигураций Docker непосредственно из R. Автор проекта James Balamuta сделал подробное описание в статье Introducing dockitect: Making Docker Feel More Native to R.
🐙 GitHub репозиторий
✍️ Страница библиотеки
अधिक कार्यक्षमता अनलॉक करने के लिए लॉगिन करें।
