Мир сегодня с "Юрий Подоляка"

Труха⚡️Україна

Карап чыгуу

Николаевский Ванёк

Карап чыгуу

Мир сегодня с "Юрий Подоляка"

Карап чыгуу

Труха⚡️Україна

Карап чыгуу

Николаевский Ванёк

Карап чыгуу

Наука и данные

Дайджест по полезным и интересным инструментам в науке о данных, машинному обучению и визуализации данных. Создан как записная книжка, которая дополняет страницу https://naukaidannye.netlify.app/

TGlist рейтинг

ТипАчык

Текшерүү

Текшерилбеген

Ишенимдүүлүк

Ишенимсиз

ОрдуРосія

ТилиБашка

Канал түзүлгөн датаJun 04, 2023

TGlistке кошулган дата

Oct 19, 2024

Мен каналдын ээсимин

Өзгөрүүлөр тарыхы

Тиркелген топ

Обсуждение канала Наука и данные

Telegram каналы Наука и данные статистикасы

Толугураак

Катталгандар

1 844

24 саат

50.2%Жума

211.2%Ай

874.9%

Цитация индекси

0

Эскерүүлөр1Каналдарда бөлүштү0Каналдарда эскерүүлөр1

1 посттун орточо көрүүлөрү

321

12 саат2980%24 саат321

5.7%48 саат3450%

Катышуу (ER)

7.65%

Кайра посттошту13Комментарийлер0Реакциялар10

Көрүүлөр боюнча катышуу (ERR)

18.49%

24 саат0%Жума

0.99%Ай

3.07%

1 жарнама посттун орточо көрүүлөрү

321

1 саат21667.29%1 – 4 саат13742.68%4 - 24 саат21767.6%

Толугураак

Биздин ботту каналыңызга кошуп, анын аудиториясынын жынысын билүү.

Акыркы 24 саатта бардык посттор

1

Динамика

"Наука и данные" тобундагы акыркы жазуулар

Бардык посттор

23.04.202507:00

Quarto Extensions + Quarto Wizard

Внешний вид страницы Quarto Extensions, которую разрабатывает Mickaël Canouil существенно преобразился - теперь каждому расширению Quarto соответствует красивая карточка с описанием, ссылкой на репозиторий и разбивкой по категориям. В настоящий момент здесь собрано уже >200 расширений!

Также Mickaël сделал расширение Quarto Wizard для Visual Studio Code, которое помогает управлять проектами Quarto и позволяет легко устанавливать расширения Quarto непосредственно из репозитория. Кроме того, оно предлагает набор команд для создания новых документов Quarto, которые вы можете использовать в качестве отправной точки для своих отчетов об ошибках, запросов функций или любого другого контента, связанного с Quarto. Кроме того, предлагаю заглянуть в его блог, где также много интересного по Quarto.

22.04.202507:00

Dr. Dominic Royé

Я думаю, что многие видели одни из самых узнаваемых и грамотно составленных графиков и иллюстраций в области цифровой географии и климатологии, созданных Dr. Dominic Royé. Юрий Тукачев в TG-канале Weekly Charts в январе 2025 рассказал о том, что веб-сайт автора обновился и и переведен на платформу Quarto. Обратите внимание: особенно впечатляет оформление публикаций. С тех пор на странице появился новый раздел, посвящённый деятельности исследовательской группы Bioclim.

На страницах блога Dominic делится своими находками на R из мира картографии и визуализации данных, но особенно рекомендую заглянуть в раздел Data Vizualization - это завораживающая красота и источник вдохновения!

21.04.202508:03

Getting Started in R: Tinyverse 2nd Edition

Можно ли в R обойтись без Tidyverse? Мне {tidyverse} очень нравится не только своим подходом, следующим "принципу аккуратных данных", но и тем, что операции преобразования и визуализации данных логичны и его "глаголы" напоминают естественный язык. Тем не менее, Luis Apiolaza написал в свое время интересную серию статей Some love for Base R (часть 1, часть 2, часть 3, часть 4). Преимущество такого подхода - стабильность кода, вернетесь к коду через несколько лет - он работает, никакого перехода между версиями скорее всего не будет.

Основываясь на {data.table} и {tinyplot}, Saghir Bashir и Dirk Eddelbuettel сделали замечательное краткое введение в R на основе Tinyverse-подхода (less is more): такой подход означает меньший занимаемый объем, более быструю установку и, что наиболее важно, меньшее количество элементов в графе зависимостей.

21.04.202507:04

LLMs + R

Насколько современные LLMs хороши в написании кода на R?

Simon P. Couch участвовал в разработке таких уважаемых библиотек как {broom}, {workflows}, {bonsai} и т. д. Недавно он выпустил две новые библиотеки на основе LLM ассистентов и {ellmer} - это {gander} (надстройка для Copilot в RStudio и Positron) и {chores} для того, чтобы помочь быстро выполнять повторяющиеся, трудно автоматизируемые задачи.

Сейчас в своем блоге он делится своими соображениями и экспериментами по оценке производительности кодирования в R. В частности, с помощью новой библиотеки {vitals}, которая представляет собой порт R широко распространенного фреймворка Python Inspect, он показывает, как можно делать оценки больших языковых моделей в R.

Статьи по LLM возникают так быстро, что мы не успеваем читать заголовки новостей. Из последнего:

🔹 R with RAGS: An Introduction to rchroma and ChromaDD
🔹 How to Build a Local RAG App with Ollama and ChromaDB in the R Programming Language

См. также Large Language Model tools for R

20.04.202503:00

Information is Beautiful Awards 2024 🌟

Дорогие друзья, в первую очередь, поздравляю всех со светлым праздником Пасхи! 🌟

Information is Beautiful Awards - это награда, которая отмечает выдающиеся достижения и красоту в визуализации данных, инфографике, интерактивных технологиях и информационном искусстве. На награду каждый год подаются сотни, а порой и тысячи визуализаций, начиная с 2012 года.

Вчера был объявлен short list, в который вошли:

🔺 Дата-арт сообщество Цветы & Цифры (ЦиЦ) 🌹 под руководством прекрасной Натальи Киселевой! Я в восторге от этого уютного уголка, объединяющего увлеченных, по-настоящему талантливых людей, созданного для поддержки и общения, в котором и я тоже немножко участвую.

Также я очень рад за участников ЦиЦ:

🔺 Два замечательных 🔥 (просто фантастических!) проекта Надежды Андриановой: One Week in Sound + World in Tangible Fragments

🔺 Потрясающий проект, ❤️ который создала Nina Lindell: Цветы Беслана. Нина сделала из твердой бумаги 334 мака - по числу жертв теракта. Созданный в течение года кропотливой работы, это мемориал ручной работы, где каждый цветок служит «портретом данных», чтобы рассказать историю каждого человека - его возраст, пол и связь с другими (дети представлены в виде маленьких цветов, взрослые - в виде больших, на маковом поле цветы разместили так, чтобы люди из одной семьи были рядом).

Я всех сердечно поздравляю! 🎉

18.04.202508:00

Всем хороших выходных! 👋

18.04.202507:00

Causality and Multiple Regression

Ben Rottman в рамках курса Open Source Research Methods for the Social Sciences сделал Shiny-приложение как инструмент, который поможет понять возможные взаимосвязи между переменными, включая различные эффекты в приложениях к причинно-следственным связям и множественной регрессией.

На приложение обратил внимание Joachim Schork, который ведет собственный YouTube-канал Statistics Globe по R (см. также обзор от H0H1: про HR-аналитику).

17.04.202507:04

GRASS GIS + R 🌳

GRASS GIS — это мощный механизм геообработки, который объединяет более 500 инструментов для пространственного и временного анализа векторных, растровых, 3D-растровых и графических данных. GRASS был разработан для скорости и эффективности, что позволяет ему довольно просто масштабировать рабочие процессы с массивными наборами данных. В то же время R за годы разработки хорошо развивался в статистическом анализе, моделировании и визуализации пространственных данных.

Veronica Andreo на конференции useR! 2024 рассказала о взаимодействии R и GRASS через библиотеку {rgrass}. Например, вы боретесь с большими растровыми наборами данных в R или вам нужен какой-то конкретный инструмент, например, разграничение водоразделов для большой ЦМР высокого разрешения в GRASS, это описано в статье Вероники. Советую также обратить внимание на сайт GRASS, где описано взаимодействие и с Python и присутствуют большие интеерсные руководства.

16.04.202507:02

An Inventory of Spatial Machine Learning Packages in R 👌

Данная страница содержит постер с перечнем библиотек для пространственного машинного обучения в R, представленный на конференции FOSSGIS 2025 в Мюнстере, ФРГ (авторы Nowosad J., Meyer H., Linnenbrink J., Ludwig M.).

Здесь представлено сравнение фреймворков машинного обучения {caret}, {mlr3} и {tidymodels} в R и их возможностей для задач пространственного машинного обучения (ML), а также сделан обзор других библиотек, которые можно использовать для пространственного ML в R.

Постер сопровождается примерами кода, которые демонстрируют, как использовать эти библиотеки для задач пространственного машинного обучения.

Напомню что взаимодействовать в R с ArcGIS можно с помощью {arcgislayers}, с QGIS в {qgisprocess} (см. также презентацию), про GRASS расскажем завтра.

15.04.202507:30

{boxview} 📦

Экспериментальная библиотека {boxview} содержит всего одну функцию boxview::boxview() для отображения кода функции во вложенных блоках, это немного упрощает просмотр кода по сравнению с традиционным способом.

pak::pak("cynkra/boxview")

15.04.202507:02

Model to Meaning (How to Interpret Statistical Models with marginaleffects for R and Python)

Представьте, что вы хотите узнать, как увеличение дохода на 1 000 рублей влияет на вероятность того, что человек купит страховку. Маргинальные эффекты - это способ понять, как изменение одного фактора влияет на результат в статистической моделии, при условии, что все остальные факторы остаются неизменными. Маргинальные эффекты помогают рассчитать «усредненное» влияние для всех наблюдений или для конкретной группы.

Есть хороший повод напомнить про книгу Model to Meaning по библиотеке marginaleffects, которая, по словам автора (Vincent Arel-Bundock) представляет простую, но мощную концептуальную структуру, помогающую аналитикам понимать сложные модели. Дело в том, что теперь книга доступна не только для пользователей R, но и Python и ее манускрипт отправляется в печать.

Это единая точка входа для интерпретации результатов более 100 различных типов статистических моделей и моделей машинного обучения в R и Python.

15.04.202506:01

Уважаемые коллеги!

Красноярский математический центр рад принять у себя участников V Конференции математических центров России, которая пройдет с 11 по 16 августа 2025 г. в г. Красноярске на базе Сибирского федерального университета.

К участию в конференции приглашаются представители российской и мировой математической общественности: аспиранты, студенты, сотрудники математических центров, научные и педагогические работники. Формат работы конференции очный, будут представлены пленарные, секционные и постерные доклады по актуальным направлениям развития и современным достижениям математической науки.

В качестве финансовой поддержки молодых исследователей организаторы конференции предоставят бесплатное проживание ограниченному числу участников по рекомендации руководителей секций.

Подробная информация о мероприятии находится на официальном сайте конференции: https://kmc.sfu-kras.ru/conf2025/
По всем возникающим вопросам следует обращаться на почту оргкомитета по адресу: konf-mc@sfu-kras.ru.

14.04.202507:01

Forecasting: Principles and Practice, the Pythonic Way 🐍🔥

Мы прекрасно знаем, что одна из лучших книг по работе с временными рядами с использованием языка R - Forecasting: Principles and Practice, авторы которой Rob J Hyndman и George Athanasopoulos. Новая книга Forecasting: Principles and Practice, the Pythonic Way призвана предоставить всестороннее введение в методы прогнозирования на Python. Предполагается что здесь не дается подробное обсуждение теоретических деталей, но читатели знакомы с вводным курсом статистики.

Самым важным изменением в этом издании книги является то, что авторы используют nixtlaverse в Python - это коллекция библиотек, разработанная Nixtla, которая предоставляет комплексный инструментарий для прогнозирования временных рядов. Также в новое издание включены две главы по искусственным нейронным сетям и их применениям к задачам временных рядов.

Удачного прогнозирования! 💙

11.04.202508:00

Сегодня выходит R 4.5.0. 🎉
Нововведения можно посмотреть у Jumping Rivers. Пингвины точно будут! 🐧

Хорошего всем обновления! 👋

11.04.202507:03

R Development Guide

В base R входит, по сути, всего 14 библиотек (Eyayaw Beze сделал небольшой обзор), которые можно посмотреть, например, с помощью

Руководство по разработке R - это всеобъемлющий ресурс для внесения для тех, кто хочет внести вклад в base R, охватывающее множесвто вопросов, начиная от отслеживания проблем, создания патчей, документирования, до тестирования предварительных версий и дополнительных вопросов.

Бардык посттор

Жарнамаланган7 саат

10.04.202516:43RAntiquity

872

Толугураак

Рекорддор

23.04.202523:59

1.8KКатталгандар

19.10.202423:59

100Цитация индекси

14.04.202507:36

7231 посттун көрүүлөрү

16.04.202502:29

6581 жарнама посттун көрүүлөрү

18.12.202423:59

10.89%ER

26.12.202423:59

41.31%ERR

Өнүгүү

Толугураак

Катталуучулар

Citation индекси

Бир посттун көрүүсү

Жарнамалык посттун көрүүсү

ERR

Толугураак

Наука и данные популярдуу жазуулары

Бардык посттор

24.03.202507:00

Telegram каналы по R 🧶

Какие Telegram каналы по R есть на русском языке? Поскольку такой вопрос задают коллеги, можно сделать небольшой обзор по каналам, с авторами которых я так или иначе знаком. Всем сердечно жму руку! 🤝

🔺 R in Action (ru) - уникальный канал, в котором Илья Шутов ставит интересные задачи (в основном связанные с R), предлагает изящные качественные решения; это бортовой журнал с "вдумчивыми заметками", приправленными авторитетным мнением

🔺 R4marketing | канал Алексея Селезнёва | Язык R - канал, в котором публикуются самые разнообразные материалы по языку R; автор канла имеет и свой видеоблог. Пока Алексей находится в силу обстоятельств в творческом отпуске, записи появляются довольно редко, но все что он пишет - 🔝!

🔺 Статистика и R в науке и аналитике - здесь Елена Убогоева подробно разбирает вопросы, связанные со статистикой и языком R, а также темы, относящиеся к с продуктовой аналитике (в том числе и на своей веб-странице)

🔺 RAntiquity - Ольга Алиева (автор курса Компьютерный анализ текста, доцент Школы философии и культурологии НИУ ВШЭ) занимается глубокими исследованиями в цифровых методах в гуманитарных науках, в частности, изучает древнегреческий, и тут без R никак не обойтись. Всем известно, что в ее руках могут зацвести даже ~~связные ациклические графы~~ деревья

🔺 Weekly Charts, автор Юрий Тукачев - большой энтузиаст визуализации данных, Datawrapper, LLM, но для нас интересно, как он делится своими примерами визуализаций в {ggplot2}

🔺 Типизированный R - совершенно новый 🌟 канал, который создал Анатолий Цыпленков. Основная область интересов Анатолия - геопространственный анализ, язык программирования R, но он также обещал делиться своими впечатлениями о жизни в Новой Зеландии, где работает в настоящий момент.

🔹 HSE R Meet Up - Новости и анонсы митапов по R
8<---

Кайра бөлүшүлгөн:

Канал влияния

25.03.202507:20

💻 Новый практический гайд по difference-in-differences для исследователей

Мы уже писали, что метод "разности разностей" (Difference-in-Differences, DiD) — один из наиболее распространенных квазиэкспериментальных методов для оценки причинных эффектов в экономике и социальных науках (Garg, Fetzer, 2024; Goldsmith-Pinkham, 2024; Currie et al., 2020)

В середине марта весьма звёздный состав авторов опубликовал методологическое руководство-препринт для всех, кто использует DiD в прикладных исследованиях (Baker et al., 2025)

🙂 В чём ценность работы?
🟤Авторы систематизируют современные подходы к DiD и показывают, что классический дизайн с двумя группами и двумя периодами (2×2) — лишь частный случай
🟤Когда в данных много периодов, есть ступенчатое введение воздействия (staggered treatment adoption), а эффекты гетерогенны по группам или во времени (treatment effect heterogeneity), простое использование регрессии с двунаправленными фиксированными эффектами (Two-Way Fixed Effects, TWFE) может приводить к смещённым оценкам (Roth et al., 2023; de Chaisemartin & D’Haultfoeuille, 2023)
🟤Авторы предлагают переход от обратного проектирования (backwards engineering) (позитивный подход, когда исследователь ориентируется на существующие методы и пытается приспособить их к данным) к прямому проектированию (forward engineering) (нормативный подход, при котором исследователь начинает с определения целей исследования и строит модели и методы, которые соответствуют этим целям)
🟤В рамках этого подхода предлагается рассматривать сложные дизайны как комбинацию элементарных 2×2 сравнений (2×2 building blocks) и использовать аккуратную агрегацию результатов

🖥 Мы собрали основные пакеты в R, которые вам пригодятся в ваших исследованиях с использованием DiD
🟤did (Brantly Callaway, Pedro Sant’Anna) - оценка эффектов DiD при ступенчатом дизайне воздействия, множественных периодах и гетерогенности с агрегацией и визуализацией
🟤fixest (Laurent Berge) - быстрые панельные регрессии с фиксированными эффектами и поддержкой кластеризации и переменных взаимодействия (interactions)
🟤bacondecomp (Andrew Goodman-Bacon) - разложение TWFE-оценки на вклад парных сравнений. Используется для диагностики весов и потенциальных источников смещения
🟤did2s (Kyle Butts, Mike Gardner) - двухшаговая устойчивая оценка DiD при вариации времени воздействия
🟤DRDID (Pedro Sant’Anna, Jun Zhao) - двойная робастная оценка DiD через IPW и outcome regression

#канал_обозревает
#канал_рекомендует
@causal_channel

15.04.202507:02

24.03.202507:00

8<---
Какие каналы еще пишут про язык R / используют в работе?

🔸 Канал влияния, который создали прекрасные девушки экономисты-исследователи (экономический факультет МГУ им. М. В. Ломоносова), их научная направленность - Causal Inference, соответственно, по этому направлению в R они также эксперты

🔸 Спутник ДЗЗ - тут собраны все вопросы дистанционного зондирования Земли; на канале появляются еженедельные заметки по пространственному анализу данных в R, надеюсь, что у них будет возможность собрать все в единый учебный курс

🔸 ЛССИ / LCSR - официальный TG-канал Лаборатории сравнительных социальных исследований им. Р. Ф. Инглхарта НИУ ВШЭ

🔸 Nodes and Links - канал для исследователей и аналитиков социальных сетей, Лаборатория прикладного сетевого анализа НИУ ВШЭ

🔸 People Analytics - канал про HR-аналитику также от Юрия Тукачева, где R используется для анализа и визуализации HR-данных

🔸 GIS AND PEACE - работа с картографическими ГИС-данными с прекрасно оформленными постами от Беллы Мироновой (в основном из языков программирования это Python, но встречается и R)

🔸 Настенька и графики - датавиз-канал Насти Кузнецовой с прекрасными иллюстрациями, который, я думаю, знают все; основной Настин инструмент - Tableau, но R тоже входит в арсенал визуалистов

🔸 Рюмочная ИПП - Институт проблем правоприменения при Европейском университете в Санкт-Петербурге, коллеги делают интересные аналитические отчеты на R

🔸 Если быть точным - данные о социальных проблемах в России, где также используют R при подготовке и анализе данных

🔸 H0H1: про HR-аналитику - канал про HR аналитику и всё, что с этим связано, отличные серии статей, связанных с R и статистикой

Если есть что-то помимо указанного выше, напишите в комментариях. Здесь представлены именно TG-каналы, а не группы для обсуждения.

08.04.202507:00

Pointblank - валидация данных в R / Python

Качество данных - один из главных залогов успеха в Data Science. Библиотека Pointblank - настоящая находка, она служит настройки конвейеров проверки данных и может помочь обнаружить и устранить такие распространенные ошибки, как дублирование или повреждение данных. Создается агент, которому предоставляется набор функций проверки для определения шагов проверки. Отчетность сделана на очень высоком уровне. При этом библиотека также позволяет указывать правила в отдельном файле YAML, что может дополнительно повысить переносимость между проектами. Пример работы можно посмотреть в блоге Эмили Ридерер.

Теперь Pointblank доступен и на Python в PyPI как библиотека, примеры валидации данных можно посмотреть на сайте.

21.04.202507:04

18.04.202507:00

22.04.202507:00

02.04.202507:30

Lisa Hornung 🍁

Мне очень нравится репозиторий, который ведет Lisa Hornung. Это хранилище небольших проектов по анализу и визуализации данных, порой необычных или забавных, в основном для тестирования библиотек и создания новых типов визуализаций. Здесь особенно то, что главный инструмент Лизы - Python!

21.04.202508:03

07.04.202507:00

{gt} 1.0.0 🔥

Обновилась до версии 1.0.0 библиотека {gt}, которая не нуждается в особом представлении - это, пожалуй, лучшая библиотека для создания статических таблиц, обладающая той же философией, что и {ggplot2} - послойного построения компонентов таблиц. Большой анонс еще, видимо, будет, а пока можно почитать:

🔘 огромное количество статей по {gt} в блоге Posit
🔘 статьи по {gt} и {gtExtras}, которые написал Tom Mock в своем блоге
🔘 книгу Creating beautiful tables in R with {gt}, автор которой Albert Rapp

Библиотека так полюбилась многим пользователям, что авторы {gt} сделали аналогичную библиотеку Great Table для Python (см. видеообзор: видео 1 + видео 2 + видео 3), так и пишут - Absolutely Delightful Table-making in Python. 🐍

Must have! 🌟

ожидаем на этой неделе еще один большой релиз!

14.04.202507:01

09.04.202507:03

{equatiomatic} - создание уравнений моделей

Как автоматически отобразить уравнение модели в Quarto / RMarkdown? Один из способов отображения уравнения модели - это использование библиотеки {equatiomatic}. Достаточно создать модель, которая поддерживается библиотекой {broom} (линейная регрессия, логистическая регрессия, и т. д.) и воспользоваться функцией extract_eq(), которая сформирует LaTeX-уравнение.

$$
\operatorname{mpg} = \alpha + \beta_{1}(\operatorname{drat}) + \beta_{2}(\operatorname{wt}) + \beta_{3}(\operatorname{qsec}) + \epsilon
$$

Я узнал об этой библиотеке из статьи замечательного блога, автор которого - Филипп Массикотт. Обратите также внимание на библиотеку {xdvir} для отображения LaTeX в графиках.

03.04.202507:30

Docker + R = {dockitect} 🐋

Если вы используете Docker в R, то наверняка слышали про экосистему контейнеров Rocker Project (Docker Containers for the R Environment), однако как сделать, чтобы создание и управление Docker файлами стало естественным продолжением вашего рабочего процесса R? Написание Docker файла вручную может быть утомительным и подверженным ошибкам процессом, особенно когда вам нужно включить специфические для R требования, такие как зависимости библиотек.

Новая библиотека {dockitect} предлагает программный, удобный для конвейеров подход к созданию конфигураций Docker непосредственно из R. Автор проекта James Balamuta сделал подробное описание в статье Introducing dockitect: Making Docker Feel More Native to R.

🐙 GitHub репозиторий
✍️ Страница библиотеки

26.03.202507:30

List of all projection images 🗺️

Географам на заметку: список всех географических проекций - от распространенных до самых необычных можно посмотреть на веб-странице proj.org. Все проекции проиллюстрированы мини-картами, параметрами и пояснениями.

Напомню про веб-сайты Projection Wizard и Spatial Reference List.

Көбүрөөк функцияларды ачуу үчүн кириңиз.