Data Science Week - 2015
For principles
iradche



С 24 по 30 августа в Digital October (Москва) проходило мероприятие Data Science Week - 2015 (http://digitaloctober.ru/ru/events/data_science_week_2015).
25 августа в рамках мероприятия я выступила на сессии "Открытые данные" с докладом "Как обучать работе с открытыми данными".
Слайды моего выступления можно посмотреть здесь: http://www.slideshare.net/iradche/ss-52062474.
Программа и материалы: http://mlclass.ru/dsw2015/
А вот здесь в Dropbox лежат материалы со всего мероприятия: https://www.dropbox.com/sh/89h3ddr5b47xvf4/AAARNEh0e8UfhBLt6oda71WCa?dl=0

Первый центральноазиатский хакатон (Open Data Hackathon in Kyrgyzstan)
For principles
iradche
Open Data Hackathon

В начале июня сначала в Бишкеке, а потом на озере Иссык-Куль проходил первый центральноазиатский хакатон. Мероприятие было ориентировано не только на создание приложений на открытых данных, но также на создание статей в стили дата-журналистики, а также инициации действий гражданских активистов (создание запросов на получение актуальной информации из гос. органов, Civic Hacking и тд)
Коллеги из Всемирного банка меня пригласили поучаствовать в хакатоне в качестве консультанта и наставника команд. В результате я прочитала участникам несколько лекций и провела мастер-классы. Некоторые материалы по традиции выложены на слайдшер: http://slideshare.net/iradche.
Надо отдельно отметить удивительно дружескую атмосферу мероприятия, наполненную энтузиазмом и взаимопомощью. Все участники работали в очень интенсивном режиме, и несмотря на это были готовы помочь и посотрудничать в мастер-классах.
Например, Алмаз Чанаев по моей просьбе рассказал журналистам и активистам о преимуществах, предоставляемых для совместной работы веб-сервисом GitHub (презентацию можно посмотреть здесь: http://www.slideshare.net/iradche/github-49275437).
Приятно удивило то, сколько данных имеется в наличии на сайтах гос. органов Кыргызстана.
Отдельно стоит отметить портал открытых данных РК, организованный инициативной группой: http://opendata.kg/
В номинации "статья в стиле дата-журналистики" первое место заняла статья Фариштамох Гуловой о женском образовании в республике Таджикистан. По договоренности эта статья была размещена в совместном блоге, посвященном журналистике данных: http://www.datadrivenjournalism.ru/2015/06/education-for-women/

Доклад о дата-журналистике на Апрельской конференции в НИУ ВШЭ
For principles
iradche


С 7 по 10 апреля 2015 г. в НИУ Высшая школа экономики (г. Москва) проходила XVI Апрельская международная научная конференция (http://conf.hse.ru/2015/program/).

Мы вместе с Николя Кайзер-Брилем (Nicolas Kayser-Bril) и Анастасией Валеевой прочитали доклад о Журналистике данных (Data Journalism) на секции "Трансформация коммуникационных процессов в современном медиапространстве".
Аннотацию и полный текст доклада можно прочитать здесь (на английском языке): аннотация, полный текст.
Слайды презентации по сложившейся традиции выложены на Слайдшер:

Международная неделя открытого образования - 2015 (Open Education Week - 2015)
For principles
iradche
Скриншот 2015-03-11 14.32.37
С 9 по 16 марта весь научно-образовательный мир отмечает неделю Открытого образования (Open Education Week - 2015).
К этому событию приурочены различные мероприятия, как образовательного, так и просветительного характера (http://www.openeducationweek.org/).
Наше российское отделение Open Knowledge тоже не осталось в стороне.
Как и в прошлом году, когда мы с Анной Сакоян написали пост в блог UK Web Focus (https://ukwebfocus.wordpress.com/2014/03/15/data-expeditions-and-data-journalism-project-as-oer-in-russian/), мы решили продолжить начинание и опубликовали два поста в блоге Open Knowledge.
Первый пост был посвящен обзору российских открытых образовательных ресурсов (http://education.okfn.org/open-education-russia/), второй пост освещает наши дата-экспедиции (http://education.okfn.org/open-education-russia-2/).

Если у вас есть открытые образовательные проекты, то расскажите о них.
В социальных сетях для этого мероприятия используется хэштэг #openeducationwk.

Скрейпинг (scraping)
For principles
iradche

photo912100_355948436
Веб-Скрейпинг - это технология получения данных из веб-страниц.
К сожалению, пока что в русскоязычной Википедии нет страниц, посвященных скрейпингу. А вот в англоязычной Википедии такие статьи уже есть (Web-scraping, Data-scraping).
Краткий обзор инструментария для скрейпинга в блоге, посвященному скрейпингу: http://scraping.pro/scraping-software-services-landscape/#more-7262

Инструментарий для веб-скрейпинга
ScraperWiki

Онлайн-сервис, позволяющий не только писать свой скрейперы при помощи HTML, JavaScript и Python (и не только), но и переводить документы из формата PDF в формат CSV.

logo-openrefine-40


Мощный инструмент по работе с "сырыми данными", и в числе прочих функций, позволяет скрейпить данные. Под OpenRefine написано множество программных расширений.
Есть отличная книга по OpenRefine (Ruben Verborgh, Max De Wilde "Using OpenRefine"): https://www.packtpub.com/big-data-and-business-intelligence/using-openrefine




import.io


Быстро растущий сервис, в котором разработчики постоянно реализовывают новые функции, см. http://support.import.io/

Можно визуализировать данные через другой сервис -- plot.ly (http://support.import.io/knowledgebase/articles/473853-plot-ly-integration)
chrome-extension-256


Инструкция от Филиппа Каца, Как сделать скрейпер за 15 минут: http://www.datadrivenjournalism.ru/2015/02/kimono/

OutWit Hub
Расширение под Firefox, позволяющее вытягивать различные данные из веб-страниц.
Creating a Scraper for Multiple URLs, Simple Method: http://blog.outwit.com/?p=116


Google Web Scraper

Расширение под Google Chrome.

Scrapy
Фреймворк для написания краулеров. Поддерживает написание программного кода на языке Python 2.7.

Список информационных источников

Расследовательская журналистика
iradche

Скриншот 2015-02-26 17.40.17
Любопытная статья по расследовательской журналистике и тому, как использовать "цифровой инструментарий": http://irevolution.net/…/26/how-to-become-a-digital-detect…/

Скриншот 2015-02-26 17.37.17

Ссылка на учебник по верификации:http://verificationhandbook.com/book/
И ссылка на сервис по верификации происшествий: https://veri.ly/

Пока что, к сожалению, все на английском языке.
Излишне говорить о том, что было бы здорово, если бы кто-нибудь перевел это на русский язык.


Список открытых репозиториев данных и программного кода
iradche
icon-github-59a6284b7ed05f951ed755b9f8785a53

В фейсбук-группе НП "Инфокультура" опубликовали любопытный список  открытых репозиториев программного кода и данных.

Большие каталоги:

Данные и код на Github

Международный день Открытых данных в Москве (Moscow Open Data Day 2015)
For principles
iradche

Скриншот 2015-02-24 11.28.22

21 февраля, в субботу, по всему миру было отпраздновано событие -- международный день Открытых данных.
Всего в мероприятии приняло участие 248 команд из 61 страны со всего мира.
Статистику участников можно посмотреть здесь: https://docs.google.com/spreadsheets/d/1Ruewy74XVCCyp89YzqsyeoKTjLmyzNHo0hrjr3djiyQ/edit#gid=661950110

В Москве международный день Открытых данных прошел при поддержке НП "Информационная культура" (http://infoculture.ru/) и Российского отделения фонда Открытых знаний (OKFN-RU: http://ru.okfn.org/).

Мероприятие посетило свыше 40 человек, обладающих самыми различными навыками. Среди участников были замечены как представители гуманитарных направлений (пиар, реклама, журналистика и тп), так и разработчики, программисты и дата-аналитики.
Были представлены не только доклады с презентациями, но и рассказы, анонсы мероприятий в свободной форме.
Мою презентацию, посвященную Открытой науке, можно посмотреть здесь: http://www.slideshare.net/iradche/open-science-44953932, сопутствующие материалы здесь: http://www.opensciencelabs.ru/involved/open-data-day/
Были также представлены презентации о визуализациях (презентация Ивана Бегтина: http://www.slideshare.net/infoculture/ss-44953931), понятном языке (презентация Ростислава Яворского: http://www.slideshare.net/ryavorsky/212015) и использовании Leaflet.js (презентация Ивана Игнатьева: http://www.slideshare.net/mithron/leafletjs-44967838, материалы: https://github.com/mithron/leaflet-lesson, http://mithron.github.io/leaflet-lesson/.
В результате хакатона было сделано около 4 прототипов приложений.
Некоторые участники показали желание участвовать в проекте Open Science Labs (проект об Открытой науке, призванный популяризировать и продвигать концепт Открытой науки в России).
Заявку на участие в проекте Open Science Labs можно заполнить здесь: https://docs.google.com/forms/d/1qA7efLdo6su9ek4RlH9exhGoIElEhBAa6NR8fF1paZI/viewform


Семинары по дата-журналистике в Перми и Новосибирске
For principles
iradche

DDJ
С 21 по 23 января 2015 г. в Перми и с 26 по 28 января 2015 г. в Новосибирске вместе с Оксаной Силантьевой (Силамедиа) я проводила мастер-классы и семинары по дата-журналистике, в ходе которых я написала несколько довольно несложных инструкций для журналистов по работе с онлайн-сервисами Google.
Итак, ссылка на инструкцию по тому, как завести себе почтовый ящик в Гугл.
И ссылка на инструкцию о том, как создать и работать с гуглотаблицей.
Некоторые журналисты интересовались нормативно-правовой базой открытых данных. Именно для них я написала отдельный пост в своем блоге: http://iradche.ru/2015/01/27/open-data-regulations/
Многие журналисты занимаются довольно интересными расследованиями, результаты которых они вскоре планируют опубликовать.
Очень надеюсь, что наши семинары помогли им в освоении нового инструментария по работе с открытыми данными!


Российская нормативно-правовая база для открытых данных
iradche
Open Data

Список российских нормативно-правовых актов в области открытых данных

Федеральный закон от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации»
Ссылка: http://www.rg.ru/2006/07/29/informacia-dok.html

Федеральный закон от 09.02.2009 № 8-ФЗ «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления»
Ссылка: http://www.rg.ru/2009/02/13/dostup-dok.html

Постановление Правительства РФ от 24 ноября 2009 года № 953 «Об обеспечении доступа к информации о деятельности Правительства РФ и федеральных органов исполнительной власти»
Ссылка: http://www.rg.ru/2009/12/02/dostup-dok.html

Федеральный закон № 112-ФЗ «О внесении изменений в Федеральный закон "Об информации, информационных технологиях и о защите информации"» и Федеральный закон «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления»
Ссылка: http://news.kremlin.ru/acts/18302

Указ Президента Российской Федерации 7 мая 2012 года N 601
Ссылка: http://www.rg.ru/2012/05/09/gosupravlenie-dok.html

Приказ Министерства связи и массовых коммуникаций Российской Федерации (Минкомсвязь России) от 27 июня 2013 г. № 149
Ссылка: http://www.rg.ru/2013/08/23/inet-dok.html

Постановление Правительства Российской Федерации от 10 июля 2013 г. N 583 г. Москва «Об обеспечении доступа к общедоступной информации о деятельности государственных органов и органов местного самоуправления в информационно-телекоммуникационной сети "Интернет" в форме открытых данных»
Ссылка: http://www.rg.ru/2013/07/29/informaciya-site-dok.html

Распоряжение Правительства РФ от 10 июля 2013 года № 1187-р
Ссылка: http://www.rg.ru/2013/07/29/info-site-dok.html

Федеральный закон Российской Федерации от 12 марта 2014 г. N 35-ФЗ
Ссылка: http://www.rg.ru/2014/03/14/izm-gk-dok.html

Методические рекомендации по публикации открытых данных государственными органами и органами местного самоуправления и технические требования к публикации открытых данных (версия 3.0)»
Ссылка: http://data.gov.ru/metodicheskie-rekomendacii-versiya-30

?

Log in