Мир сегодня с "Юрий Подоляка"

Труха⚡️Україна

Паглядзець

Николаевский Ванёк

Паглядзець

Мир сегодня с "Юрий Подоляка"

Паглядзець

Труха⚡️Україна

Паглядзець

Николаевский Ванёк

Паглядзець

Наука и данные

Дайджест по полезным и интересным инструментам в науке о данных, машинному обучению и визуализации данных. Создан как записная книжка, которая дополняет страницу https://naukaidannye.netlify.app/

Рэйтынг TGlist

ТыпПублічны

Вертыфікацыя

Не вертыфікаваны

Надзейнасць

Не надзейны

РазмяшчэннеРосія

МоваІншая

Дата стварэння каналаJun 04, 2023

Дадана ў TGlist

Oct 19, 2024

Я ўладальнік канала

Гісторыя змяненняў

Прыкрепленая група

Обсуждение канала Наука и данные

Статыстыка Тэлеграм-канала Наука и данные

Падрабязней

Падпісчыкаў

1 861

24 гадз.

10.1%Тыдзень

231.3%Месяц

975.5%

Індэкс цытавання

0

Згадкі1Рэпостаў на каналах0Згадкі на каналах1

Сярэдняе ахоп 1 паста

317

12 гадз.2500%24 гадз.3170%48 гадз.3010%

Узаемадзеянне (ER)

2.84%

Рэпостаў1Каментары0Рэакцыі8

Узаемадзеянне па ахопу (ERR)

17.04%

24 гадз.0%Тыдзень

8.53%Месяц

1.05%

Ахоп 1 рэкламнага паста

321

1 гадз.21667.29%1 – 4 гадз.13742.68%4 - 24 гадз.21767.6%

Падрабязней

Падключыце нашага бота да канала і даведайцеся пол аўдыторыі гэтага канала.

Усяго пастоў за 24 гадзіны

1

Дынаміка

Апошнія публікацыі ў групе "Наука и данные"

Усе пасты

28.04.202507:30

Эпиграфы в Quarto

Для того, чтобы добавить эпиграф в Quarto, можно рассмотреть несколько вариантов, например, сделать эпиграф в HTML или использовать конструкцию вида

:::{.epigraph}

Теперь для создания эпиграфов появилось отдельное расширение Fancy Quarto epigraphs, которое создал Andrew Heiss (профессор в Georgia State University). С этим расширением все достаточно логично:

{{< epigraph "Нью-Йорк сам гремит и сверкает почище всякой бури. Это мучительный город. Он заставляет все время смотреть на себя. От этого города глаза болят." source="**«Одноэтажная Америка»**, Ильф и Петров" >}}

25.04.202508:05

Мне нравятся подобные 🔥 сувениры.

Всем хороших выходных! 👋

24.04.202507:03

Geographic Information Systems and Science 🗺️

Про записки курса Geographic Information Systems and Science, который ведут Andy MacLachlan, Adam Dennett и Claire Dooley, мне рассказал Анатолий Цыпленков (TG-канал Типизированный R), за что ему большое спасибо!

Модуль курса разработан с учетом большого практического компонента, чтобы студенты могли использовать новейшее программное обеспечение и методы анализа данных. Курс преподается (преимущественно) на языке программирования науки о данных R. Предварительные знания ГИС или языка науки о данных R не требуются, но модуль быстро переходит от базовых инструментов к продвинутым методологиям ГИС.

Основная часть, соответствующая ГИС-анализу содержит темы, относящиеся к обнаружению пространственных закономерностей, интерпретации пространственной автокорреляции в пространственных данных и моделированию связей между двумя или более пространственно-референтными переменными.

Книга курса с кодом на R доступна онлайн.

23.04.202507:00

Quarto Extensions + Quarto Wizard

Внешний вид страницы Quarto Extensions, которую разрабатывает Mickaël Canouil существенно преобразился - теперь каждому расширению Quarto соответствует красивая карточка с описанием, ссылкой на репозиторий и разбивкой по категориям. В настоящий момент здесь собрано уже >200 расширений!

Также Mickaël сделал расширение Quarto Wizard для Visual Studio Code, которое помогает управлять проектами Quarto и позволяет легко устанавливать расширения Quarto непосредственно из репозитория. Кроме того, оно предлагает набор команд для создания новых документов Quarto, которые вы можете использовать в качестве отправной точки для своих отчетов об ошибках, запросов функций или любого другого контента, связанного с Quarto. Кроме того, предлагаю заглянуть в его блог, где также много интересного по Quarto.

22.04.202507:00

Dr. Dominic Royé

Я думаю, что многие видели одни из самых узнаваемых и грамотно составленных графиков и иллюстраций в области цифровой географии и климатологии, созданных Dr. Dominic Royé. Юрий Тукачев в TG-канале Weekly Charts в январе 2025 рассказал о том, что веб-сайт автора обновился и и переведен на платформу Quarto. Обратите внимание: особенно впечатляет оформление публикаций. С тех пор на странице появился новый раздел, посвящённый деятельности исследовательской группы Bioclim.

На страницах блога Dominic делится своими находками на R из мира картографии и визуализации данных, но особенно рекомендую заглянуть в раздел Data Vizualization - это завораживающая красота и источник вдохновения!

21.04.202508:03

Getting Started in R: Tinyverse 2nd Edition

Можно ли в R обойтись без Tidyverse? Мне {tidyverse} очень нравится не только своим подходом, следующим "принципу аккуратных данных", но и тем, что операции преобразования и визуализации данных логичны и его "глаголы" напоминают естественный язык. Тем не менее, Luis Apiolaza написал в свое время интересную серию статей Some love for Base R (часть 1, часть 2, часть 3, часть 4). Преимущество такого подхода - стабильность кода, вернетесь к коду через несколько лет - он работает, никакого перехода между версиями скорее всего не будет.

Основываясь на {data.table} и {tinyplot}, Saghir Bashir и Dirk Eddelbuettel сделали замечательное краткое введение в R на основе Tinyverse-подхода (less is more): такой подход означает меньший занимаемый объем, более быструю установку и, что наиболее важно, меньшее количество элементов в графе зависимостей.

21.04.202507:04

LLMs + R

Насколько современные LLMs хороши в написании кода на R?

Simon P. Couch участвовал в разработке таких уважаемых библиотек как {broom}, {workflows}, {bonsai} и т. д. Недавно он выпустил две новые библиотеки на основе LLM ассистентов и {ellmer} - это {gander} (надстройка для Copilot в RStudio и Positron) и {chores} для того, чтобы помочь быстро выполнять повторяющиеся, трудно автоматизируемые задачи.

Сейчас в своем блоге он делится своими соображениями и экспериментами по оценке производительности кодирования в R. В частности, с помощью новой библиотеки {vitals}, которая представляет собой порт R широко распространенного фреймворка Python Inspect, он показывает, как можно делать оценки больших языковых моделей в R.

Статьи по LLM возникают так быстро, что мы не успеваем читать заголовки новостей. Из последнего:

🔹 R with RAGS: An Introduction to rchroma and ChromaDD
🔹 How to Build a Local RAG App with Ollama and ChromaDB in the R Programming Language

См. также Large Language Model tools for R

20.04.202503:00

Information is Beautiful Awards 2024 🌟

Дорогие друзья, в первую очередь, поздравляю всех со светлым праздником Пасхи! 🌟

Information is Beautiful Awards - это награда, которая отмечает выдающиеся достижения и красоту в визуализации данных, инфографике, интерактивных технологиях и информационном искусстве. На награду каждый год подаются сотни, а порой и тысячи визуализаций, начиная с 2012 года.

Вчера был объявлен short list, в который вошли:

🔺 Дата-арт сообщество Цветы & Цифры (ЦиЦ) 🌹 под руководством прекрасной Натальи Киселевой! Я в восторге от этого уютного уголка, объединяющего увлеченных, по-настоящему талантливых людей, созданного для поддержки и общения, в котором и я тоже немножко участвую.

Также я очень рад за участников ЦиЦ:

🔺 Два замечательных 🔥 (просто фантастических!) проекта Надежды Андриановой: One Week in Sound + World in Tangible Fragments

🔺 Потрясающий проект, ❤️ который создала Nina Lindell: Цветы Беслана. Нина сделала из твердой бумаги 334 мака - по числу жертв теракта. Созданный в течение года кропотливой работы, это мемориал ручной работы, где каждый цветок служит «портретом данных», чтобы рассказать историю каждого человека - его возраст, пол и связь с другими (дети представлены в виде маленьких цветов, взрослые - в виде больших, на маковом поле цветы разместили так, чтобы люди из одной семьи были рядом).

Я всех сердечно поздравляю! 🎉

18.04.202508:00

Всем хороших выходных! 👋

18.04.202507:00

Causality and Multiple Regression

Ben Rottman в рамках курса Open Source Research Methods for the Social Sciences сделал Shiny-приложение как инструмент, который поможет понять возможные взаимосвязи между переменными, включая различные эффекты в приложениях к причинно-следственным связям и множественной регрессией.

На приложение обратил внимание Joachim Schork, который ведет собственный YouTube-канал Statistics Globe по R (см. также обзор от H0H1: про HR-аналитику).

17.04.202507:04

GRASS GIS + R 🌳

GRASS GIS — это мощный механизм геообработки, который объединяет более 500 инструментов для пространственного и временного анализа векторных, растровых, 3D-растровых и графических данных. GRASS был разработан для скорости и эффективности, что позволяет ему довольно просто масштабировать рабочие процессы с массивными наборами данных. В то же время R за годы разработки хорошо развивался в статистическом анализе, моделировании и визуализации пространственных данных.

Veronica Andreo на конференции useR! 2024 рассказала о взаимодействии R и GRASS через библиотеку {rgrass}. Например, вы боретесь с большими растровыми наборами данных в R или вам нужен какой-то конкретный инструмент, например, разграничение водоразделов для большой ЦМР высокого разрешения в GRASS, это описано в статье Вероники. Советую также обратить внимание на сайт GRASS, где описано взаимодействие и с Python и присутствуют большие интеерсные руководства.

16.04.202507:02

An Inventory of Spatial Machine Learning Packages in R 👌

Данная страница содержит постер с перечнем библиотек для пространственного машинного обучения в R, представленный на конференции FOSSGIS 2025 в Мюнстере, ФРГ (авторы Nowosad J., Meyer H., Linnenbrink J., Ludwig M.).

Здесь представлено сравнение фреймворков машинного обучения {caret}, {mlr3} и {tidymodels} в R и их возможностей для задач пространственного машинного обучения (ML), а также сделан обзор других библиотек, которые можно использовать для пространственного ML в R.

Постер сопровождается примерами кода, которые демонстрируют, как использовать эти библиотеки для задач пространственного машинного обучения.

Напомню что взаимодействовать в R с ArcGIS можно с помощью {arcgislayers}, с QGIS в {qgisprocess} (см. также презентацию), про GRASS расскажем завтра.

15.04.202507:30

{boxview} 📦

Экспериментальная библиотека {boxview} содержит всего одну функцию boxview::boxview() для отображения кода функции во вложенных блоках, это немного упрощает просмотр кода по сравнению с традиционным способом.

pak::pak("cynkra/boxview")

15.04.202507:02

Model to Meaning (How to Interpret Statistical Models with marginaleffects for R and Python)

Представьте, что вы хотите узнать, как увеличение дохода на 1 000 рублей влияет на вероятность того, что человек купит страховку. Маргинальные эффекты - это способ понять, как изменение одного фактора влияет на результат в статистической моделии, при условии, что все остальные факторы остаются неизменными. Маргинальные эффекты помогают рассчитать «усредненное» влияние для всех наблюдений или для конкретной группы.

Есть хороший повод напомнить про книгу Model to Meaning по библиотеке marginaleffects, которая, по словам автора (Vincent Arel-Bundock) представляет простую, но мощную концептуальную структуру, помогающую аналитикам понимать сложные модели. Дело в том, что теперь книга доступна не только для пользователей R, но и Python и ее манускрипт отправляется в печать.

Это единая точка входа для интерпретации результатов более 100 различных типов статистических моделей и моделей машинного обучения в R и Python.

15.04.202506:01

Уважаемые коллеги!

Красноярский математический центр рад принять у себя участников V Конференции математических центров России, которая пройдет с 11 по 16 августа 2025 г. в г. Красноярске на базе Сибирского федерального университета.

К участию в конференции приглашаются представители российской и мировой математической общественности: аспиранты, студенты, сотрудники математических центров, научные и педагогические работники. Формат работы конференции очный, будут представлены пленарные, секционные и постерные доклады по актуальным направлениям развития и современным достижениям математической науки.

В качестве финансовой поддержки молодых исследователей организаторы конференции предоставят бесплатное проживание ограниченному числу участников по рекомендации руководителей секций.

Подробная информация о мероприятии находится на официальном сайте конференции: https://kmc.sfu-kras.ru/conf2025/
По всем возникающим вопросам следует обращаться на почту оргкомитета по адресу: konf-mc@sfu-kras.ru.

Усе пасты

Рэкламаваўся7 гадзіна

10.04.202516:43RAntiquity

872

Падрабязней

Рэкорды

28.04.202523:59

1.9KПадпісчыкаў

19.10.202423:59

100Індэкс цытавання

14.04.202507:36

723Ахоп 1 паста

16.04.202502:29

658Ахоп рэкламнага паста

18.12.202423:59

10.89%ER

26.12.202423:59

41.31%ERR

Развіццё

Падрабязней

Падпісчыкаў

Індэкс цытавання

Ахоп 1 паста

Ахоп рэкламнага паста

ERR

Падрабязней

Папулярныя публікацыі Наука и данные

Усе пасты

15.04.202507:02

08.04.202507:00

Pointblank - валидация данных в R / Python

Качество данных - один из главных залогов успеха в Data Science. Библиотека Pointblank - настоящая находка, она служит настройки конвейеров проверки данных и может помочь обнаружить и устранить такие распространенные ошибки, как дублирование или повреждение данных. Создается агент, которому предоставляется набор функций проверки для определения шагов проверки. Отчетность сделана на очень высоком уровне. При этом библиотека также позволяет указывать правила в отдельном файле YAML, что может дополнительно повысить переносимость между проектами. Пример работы можно посмотреть в блоге Эмили Ридерер.

Теперь Pointblank доступен и на Python в PyPI как библиотека, примеры валидации данных можно посмотреть на сайте.

21.04.202507:04

18.04.202507:00

22.04.202507:00

02.04.202507:30

Lisa Hornung 🍁

Мне очень нравится репозиторий, который ведет Lisa Hornung. Это хранилище небольших проектов по анализу и визуализации данных, порой необычных или забавных, в основном для тестирования библиотек и создания новых типов визуализаций. Здесь особенно то, что главный инструмент Лизы - Python!

21.04.202508:03

07.04.202507:00

{gt} 1.0.0 🔥

Обновилась до версии 1.0.0 библиотека {gt}, которая не нуждается в особом представлении - это, пожалуй, лучшая библиотека для создания статических таблиц, обладающая той же философией, что и {ggplot2} - послойного построения компонентов таблиц. Большой анонс еще, видимо, будет, а пока можно почитать:

🔘 огромное количество статей по {gt} в блоге Posit
🔘 статьи по {gt} и {gtExtras}, которые написал Tom Mock в своем блоге
🔘 книгу Creating beautiful tables in R with {gt}, автор которой Albert Rapp

Библиотека так полюбилась многим пользователям, что авторы {gt} сделали аналогичную библиотеку Great Table для Python (см. видеообзор: видео 1 + видео 2 + видео 3), так и пишут - Absolutely Delightful Table-making in Python. 🐍

Must have! 🌟

ожидаем на этой неделе еще один большой релиз!

14.04.202507:01

Forecasting: Principles and Practice, the Pythonic Way 🐍🔥

Мы прекрасно знаем, что одна из лучших книг по работе с временными рядами с использованием языка R - Forecasting: Principles and Practice, авторы которой Rob J Hyndman и George Athanasopoulos. Новая книга Forecasting: Principles and Practice, the Pythonic Way призвана предоставить всестороннее введение в методы прогнозирования на Python. Предполагается что здесь не дается подробное обсуждение теоретических деталей, но читатели знакомы с вводным курсом статистики.

Самым важным изменением в этом издании книги является то, что авторы используют nixtlaverse в Python - это коллекция библиотек, разработанная Nixtla, которая предоставляет комплексный инструментарий для прогнозирования временных рядов. Также в новое издание включены две главы по искусственным нейронным сетям и их применениям к задачам временных рядов.

Удачного прогнозирования! 💙

09.04.202507:03

{equatiomatic} - создание уравнений моделей

Как автоматически отобразить уравнение модели в Quarto / RMarkdown? Один из способов отображения уравнения модели - это использование библиотеки {equatiomatic}. Достаточно создать модель, которая поддерживается библиотекой {broom} (линейная регрессия, логистическая регрессия, и т. д.) и воспользоваться функцией extract_eq(), которая сформирует LaTeX-уравнение.

$$
\operatorname{mpg} = \alpha + \beta_{1}(\operatorname{drat}) + \beta_{2}(\operatorname{wt}) + \beta_{3}(\operatorname{qsec}) + \epsilon
$$

Я узнал об этой библиотеке из статьи замечательного блога, автор которого - Филипп Массикотт. Обратите также внимание на библиотеку {xdvir} для отображения LaTeX в графиках.

24.04.202507:03

03.04.202507:30

Docker + R = {dockitect} 🐋

Если вы используете Docker в R, то наверняка слышали про экосистему контейнеров Rocker Project (Docker Containers for the R Environment), однако как сделать, чтобы создание и управление Docker файлами стало естественным продолжением вашего рабочего процесса R? Написание Docker файла вручную может быть утомительным и подверженным ошибкам процессом, особенно когда вам нужно включить специфические для R требования, такие как зависимости библиотек.

Новая библиотека {dockitect} предлагает программный, удобный для конвейеров подход к созданию конфигураций Docker непосредственно из R. Автор проекта James Balamuta сделал подробное описание в статье Introducing dockitect: Making Docker Feel More Native to R.

🐙 GitHub репозиторий
✍️ Страница библиотеки

10.04.202507:05

A course on Spatial Data Science 🐍 🗺️

Мы уже рассказывали про записки курса Spatial Data Science for Social Geography, который в 2023 году проводился в Charles University, Prague. Курс знакомит с основными принципами программирования и современными вычислительными инструментами с открытым исходным кодом, написанными на языке Python в области науки о пространственных данных. Материалы содержат Jupyter ноутбуки, которые можно запустить локально и отличаются проработанностью. Содержание курса близко к книге Geographic Data Science with Python.

Помимо указанного курса, в Charles University ежегодно выходит и его "облегченная версия", записки которого также доступны.

Напомню про то, что источники по геопространственному анализу можно посмотреть на странице Rесурсы, а всевозможные материалы курсов на соответствующей странице по тегу GeoData.

03.04.202507:00

{rix} 🦬

Иногда возникают ситуации, когда необходима определенная версия (устаревшей) R-библиотеки или нужно создать полностью воспроизвести среду, специфичную для проекта, с пользовательской версией R и всеми системными зависимостями (например, GDAL) и развернуть на другой машине. Как тут быть? Для нескольких версий R можно воспользоваться {rig}, для клонирования среды - Docker, однако есть еще вариант! Bruno Rodrigues написал книгу по воспроизводим средам в R, а теперь разрабатывает библиотеку {rix} на основе Nix (см. также доклад + презентация)

В отличие от {renv}, который делает снимки версий библиотек, {rix} предоставляет снимок всей экосистемы, включая зависимости на уровне системы, упрощая создание выражений Nix (который включает почти все библиотеки CRAN и Bioconductor), определяющих воспроизводимые среды. Работе с {rix} посвящено множество статей блога Bruno, а недавно он анонсировал {rixpress} - библиотеку для воспроизводимых аналитических конвееров.

01.04.202507:06

STHDA / Datanovia

Alboukadel Kassambara - известный автор отличных книг Practical Guide To Principal Component Methods in R, Practical Guide to Cluster Analysis in R и других, а также библиотек {factoextra} для анализа главных компонент и кластерного анализа, {ggpubr} - библиотеки для визуализации данных в R, в свое время создал веб-сайт STHDA, который содержит массу различных руководств по R.

Увы, с переездом сайта STHDA на Datanovia, сделанном на Quarto, нельзя не заметить торчащие уши Quarto-странички, видимо переезд еще не закончен, однако здесь появилась, например, мини-книга Mastering R in VSCode: A Complete Guide (думаю будет актуальна и для пользователей Positron) и ряд новых руководств.

Гісторыя змяненняў канала

Увайдзіце, каб разблакаваць больш функцый.