Кадр из к/ф «Операция «Ы» и другие приключения Шурика». Киностудия «Мосфильм». Второе творческое объединение

12 июля в Москве в «Точка кипения» с 10:00 до 15:00 состоится митап Минфина России с разработчиками, журналистами и дизайнерами.

На встрече участники смогут задать вопросы и узнать о том, какую работу проводит Минфин по организации открытости государственных финансовых данных, какими наборами данных располагает, что планируется сделать в этой сфере в 2016 году, как делать инфографику по открытым данным. Также на встрече можно получить консультацию менторов о том, как принять участие в конкурсе проектов на основе открытых государственных финансовых данных www.budgetapps.ru.

Участники встречи:

• Елена Чернякова, руководитель Департамента информационных технологий в сфере управления государственными и муниципальными финансами и информационного обеспечения бюджетного процесса Минфина РФ,
• Иван Бегтин, эксперт по государственным открытым данным, директор АНО «Информационная культура»,
• Сергей Усачёв, ведущий консультант компании Teradata

Начало встречи в 10.00, окончание в 15.00.

Для участия необходимо зарегистрироваться по ссылке

источник картинки: southriverrestoration.com/wp-content/uploads/2015/04/Power-of-Communication-STOCK.jpg

Как известно, качество открытых данных (в частности данных о госфинансах) часто оставляет желать лучшего. В некоторых случаях это не мешает их использовать, в других — требуются комментарии источников данных или дополнительные сведения.

Источниками открытых данных в основном являются госорганы, при взаимодействии с которыми есть, как минимум, одна большая проблема — 30 дней на ответ. Не все программисты обладают достаточным терпением, да и для представителей коммерческих компаний такое ожидание неприемлемо. Но, даже если вы дождались ответа, радоваться приходиться далеко не всегда — иногда вы получаете ответы не на все заданные вопросы, иногда вам предлагают обратиться в другие госорганы, что требует дополнительного ожидания. Попробуем систематизировать, какие еще есть способы «достучаться» до госорганов по вопросам, связанным с их открытыми данными.

Приглашаем принять участие в хакатоне «Budget Stories», который состоится в Санкт-Петербурге на этих выходных, 25-26 июня. Его основная цель — представить финансовые данные в понятном и доступном для обычных граждан виде. Это могут быть текстовые публикации, инфографика, приложения на основе информации о государственных бюджетах, расходах, закупках, имуществе, декларациях.

К участию приглашаются журналисты, копирайтеры, программисты, аналитики и дизайнеры.
Зарегистрироваться можно командой или индивидуально. Работа будет проходить под руководством «менторов», среди которых главные специалисты по открытым данным в России и практикующие журналисты.

Работа с государственными данными — это всегда вызов: множество источников данных, разные форматы, неочевидная структура данных, не всегда высокое качество и непредсказуемые ошибки. В случае с финансовыми данными эти трудности дополняются необходимостью вникнуть в экономическое содержание данных, найти интересную идею и разобраться, как на самом деле все устроено. А разбираться есть в чем, например:

Источник картинки: indianexpress.com/article/business/budget/budget-2016-rs-25k-cr-falls-short-of-psu-banks-hopes

Открытые данные (как и все остальные направления) развиваются в России своеобразно: сложно понять и привыкнуть к тому, что о доходах и расходах государства узнать намного проще, чем об экологии, образовании, здравоохранении. При этом федеральные и региональные ведомства публикуют в основном реестры подведомственных учреждений, списки актуальных вакансий и адреса культурных учреждений и аптек (весьма “заезженные” массивы данных с ограниченными областями применения).

Вы все, наверняка, видите что мы уже много лет занимаемся темой открытых данных, организуем мероприятия, конкурсы, митапы и многое другое.

За эти годы в России сложилось активное сообщество и мы знаем что многие занимаются открытыми данными от участия в хакатонах до организации собственных мероприятий, проведения исследований и не только.

Где-то нам удаётся взаимодействовать с представителями государства, где-то пока нет, а где-то чиновники сами являются инициаторами проектов по открытых данных.

И вот, чтобы понять кто-то происходит в нашей большой стране, мы организуем перепись сложившегося сообщества.

Для участия просим Вас заполнить анкету по адресу — https://infoculture.typeform.com/to/QXF6a6

Кадр из к/ф «Приключения Буратино». «Беларусьфильм», Творческое объединение «Телефильм».

Открытые данные и коммерческие проекты

Открытые данные обсуждаются уже давно. Я лично занимаюсь продвижением этой темы уже более 7 лет, а многие энтузиасты по всему миру продвигают идеологию открытости чуть ли не всю свою сознательную жизнь.

Да, открытые данные приносят много явной и неявной пользы для общественных инициатив. Данные по движению транспорта в реальном времени помогают гражданам лучше планировать логистику своих передвижений. Данные деклараций чиновников помогают создавать общественные проекты по прозрачности госслужбы и при этом не тратить огромные ресурсы на оцифровку и распознавание деклараций, заполненных от руки. Можно привести ещё много примеров того, как открытые данные помогают гражданам и государству.

При этом многие в последнее время говорят и про заработок на открытых данных. Но каждый раз, когда я слышу об этом от выступающих аналитиков, хочется их спросить: почему же вы рассказываете о том, как могут заработать другие, но не делаете этого сами? Где же все те, кто непосредственно зарабатывает на открытых данных? Почему они так непубличны? Почему владельцы и создатели проектов так редко бывают представлены широкой публике?

Так сложилось, что я являюсь членом разных советов и комиссий, в том числе общественных советов и экспертных советов. У них у всех разные функции и задачи и очень разная эффективность, однако некоторые вполне интересны и касаются открытых данных. Поэтому я хочу взять за правило хорошую привычку рассказывать в открытом доступе в формате мини-отчётов что и как проходит на таких общественных советах.



Итак, сегодня, например, прошёл общественный совет при Федеральном Казначействе и в этот совет я также вхожу. Зачем нужны общественные советы? Предполагается, что в них участвуют представители общества и от лица общества предлагают ведомствам вносить изменения в их деятельность, комментируют и вносят предложения в их планы работ и так далее. Какие-то ведомства этому не то чтобы сопротивляются, но общественные советы в них скорее формальны, чем практичны. А другие наоборот более чем содержательны.

Кто-то возможно знает, для кого-то может быть новостью, но вчера и позавчера в России завершился саммит по открытым данным. И по его итогам, а также по итогам года я понимаю, что пора рассказать о том, что творится с открытыми данными и с другими частями открытости нашего государства.

К тому же мой опыт (и опыт вот уже очень долгий) создания проектов на открытых данных очень сильно отличается от слов чиновников и политиков, которые можно услышать на таких публичных мероприятиях.

Начну с саммита.

Саммит по открытым данным

На фоне всех остальных мероприятий по открытым данным за последние годы — это одно из первых организованных на довольно хорошем уровне. Даже на «совете по открытым данным» в Яндексе в июне 2015 года было очень много непрофильных выступлений, подробнее в заметке "Приоткрытые данные" в этот же раз все не отходили от темы открытых данных и это главный и важный плюс всего произошедшего.

В плюсы я могу записать также те части саммита в которых я участвовал. Это были круглые столы посвящённые темам криминальной статистики и востребованности государственных финансов.

Если коротко, то видно что эти данные нужны и востребованы. На круглом столе про востребованность госфинансов вообще очень много было вопросов про информацию связанную с открытыми данными по госзакупкам.

Подробнее и отдельно я напишу ещё про эти круглые столы, но суть общая что данные будут и что ведомства — готовы к диалогу с потребителями.

Плюс у меня просто руки не доходят рассказать про все проходящие мероприятия связанные с открытыми данными — встречи с разработчиками, заседания общественных советов и так далее. Я обязательно всё напишу, материалы копятся и тексты пишутся.

А теперь о том что у нас происходит с открытыми данными.

Когда мы говорим про открытые данные, то всегда важно помнить что они невозможны без принципиального наличия данных вообще. Я как человек, занимающийся анализом данных госданных в области госфинансов, и вся команда нашего проекта Госзатраты, занимаемся тем, что регулярно пытаемся убедить ведомства, ответственные за госполитику в этой области, в том, чтобы открытые данные были доступны и чтобы с ними было максимально удобно работать.



Во многом именно в этом и является залог успеха общественных проектов. Найти «топливо» в виде данных на которых проект может быть построен и найти «топливо» в виде финансирования которое позволило бы проекту появится и поддерживаться. Например, проект Госзатраты где мы анализируем данные госконтрактов поддерживается Комитетом Гражданских инициатив (http://komitetgi.ru). И Госзатраты это один из немногих технологических некоммерческих проектов КГИ и технологических некоммерческих проектов в России в принципе.

Я хочу затронуть сразу несколько важных тем. И прошу каждую из этих тем рассматривать как вопрос.

Негосударственные проекты создающие открытые данные

Возможно, многие из Вас знают наш некоммерческий проект Госзатраты по мониторингу всех государственных контрактов. Этот проект мы с самого начала создавали:

• с оглядкой на разработчиков;
• на удобство работы с данными;
• на создание интересных проектов на основе тех данных что мы собрали;

Сейчас мы собрали миллионы контрактов и сотни тысяч организаций, участвующих в получении госсредств, однако, наша радость была бы неполной без того, чтобы эти данные использовали бы все желающие.

Аудитория разработчиков — это один из наших приоритетов и, поэтому, мы проводим 7 ноября хакатон посвященной исключительно одной узкой, но важной теме в работе с открытыми данными — это тема «Куда идут наши деньги?»

Мы — это АНО «Инфокультура» и множество волонтеров помогающим на в работе с открытыми данными.



И конечно, мы будем рады, если кто-то возьмет опубликованные нами ранее данные, однако только ими ограничиваться не стоит. А можно взять вообще совсем другую информацию и другие данные.

Как принять участие и узнать больше?

В качестве вступления, я немного повторю текст которым сопровождаю все опросы.

Вполне возможно что многие из Вас знают про Совет по открытым данным, это такая рабочая группа при Правительственной комиссии по открытости в которой обсуждают и рекомендуют правительству открывать данные. Я не только вхожу в эту рабочую группу, но и являюсь заместителем её председателя и считаю важным чтобы деятельность совета помогала тем кто понимает какие данные и в какой форме нужны от органов власти.

Поэтому на регулярной основе мы проводим опросы разработчиков о том как и что нужно от конкретного органа власти.



На сей раз пришла пора Федеральной Налоговой Службы. Ранее эксперты совета встречались с коллегами из ФНС России и обсуждали те данные которые считали наиболее приоритетными. Но, безусловно, важнее что об этом думают конечные потребители.

Для тех кто ранее не сталкивался с данными ФНС, их можно найти у них на сайте в "разделе Открытые данные" и большая база данных это данные системы ФИАС доступные по адресу fias.nalog.ru

Вчера случилось небольшое, но важное событие — Минфин России выложил в открытый доступ все сканы бюджетных росписей и бюджетных справочников начиная с 1866 года.

Можно прочитать это в виде анонса , можно сразу пройти в раздел Исторический бюджет на их сайте, а можно узнать о том как всё это происходило и почему это очень даже важно и интересно.

Вот уже несколько лет как я занимаюсь такой интересной и узкой темой открытых данных как открытые исторические данные. Когда работаешь с данными по истории очень часто хочется оперировать не только фактами, но и базами которые за этими фактами скрыты. Например, переписями населения, демографическими справочниками и иными любыми справочниками с таблицами и цифрами на основе которых можно понять что тогда происходило.

И эти несколько лет я лично ходил и обивал пороги нескольких министерств и ведомств пытаясь донести до них простую мысль что сидеть как «собаки на данных» — это неприлично и всё что не под грифом надо оцифровывать и выкладывать хотя бы сканами, а потом и превращать в базы данных.

Не могу сказать что это происходило успешно. Например, даже будучи членом общественного совета при Росстате мне не удалось их убедить начать оцифровывать свои исторические справочники. Любой разговор всегда сводился (и сводится сейчас) к тому что у Росстата нет денег, вот совсем просто таки нету и поэтому ничего сканировать они не будут и не планируют. И получить доступ к их архивам мне так и не удалось.

Было еще несколько ведомств и несколько попыток, большая часть из которых заканчивалась круглыми глазами чиновников и словами что у них то и архивов не осталось.

И было лишь одно ведомство у которого справочники остались. Не просто остались, но хранились и хранятся вот уже почти 150 лет — это Минфин России


Первая бюджетная роспись (написанная не от руки) хранится там аж с 1866 года и далее доступна по годам за каждый бюджетный год Российской Империи и за большую часть лет РСФСР и СССР.

Как можно использовать эту информацию? Да просто бесконечным числом способов!

• Для начала можно посмотреть на исторические аналогии. Сравнить бюджет России сейчас и 100 лет назад, прямо в разгар Первой мировой войны.
• Можно посмотреть предреволюционный проект бюджета на 1917 год.
• Можно выяснить каким был довоенный и послевоенный бюджет СССР.
• Можно узнать когда какие налоги формировали основные деньги государства.

И многое другое.
И, чуть ли не самое главное.

Когда мы говорим про открытые данные, те которые публикуются не для проформы, не для каких-то пиар акций государства, а про те которые «настоящие», которые касаются качества жизни каждого из нас, которые касаются окружающей среды — человеческой, инфраструктурной и бытовой, то речь заходит о нескольких важнейших направлениях открытости государства.

Это такие направления как:

• данные о состоянии окружающей среды: качество воздуха, состояние почвы, качество воды, результаты проверки продуктов питания, очагах болезней, загрязняющем шуме и многое другое.
• данные о качестве образования (средние баллы ЕГЭ по школам), средние зарплаты выпускников ВУЗов и многое другое;
• данные о качестве работы учреждений здравоохранения. Процент успешных операций на сердце, муниципальная статистика по видам болезни, данные по причинам смертности и многое другое
• данные о деятельности правоохранительных органов. Это статистика с детальностью до подразделения и деперсонализированная информация по каждому преступлению

Практически все эти наборы данных описаны в хартии открытых данных большой восьмерки и все они считаются наиболее важными и приоритетными для граждан.

Остановимся подробнее на правоохранительных данных.

Их особенность такова что в разных странах по разному осуществляется выполнение правоохранительных функций. Если в России или в Великобритании полиция является единой структурой вертикального подчинения, то в США существует множество полицейских управлений на уровне отдельных штатов и отдельных графств.

Если в некоторых странах существуют отдельные ведомства по анализу криминальной статистики, то в других это всё является частью функций полицейских управлений и прокуратуры.

В США совсем недавно Барак Обама создал специальную инициативу Police Data Initiative как раз по повышению качества открытости полицейских департаментов.

Вчера, 15 июня прошло заседание совета по открытым данным. Как я понимаю пока еще никто не написал о том что там происходило, особенно не языком пресс-релизов, а то что там было по факту, так что это сделаю я.

Я не буду останавливаться на том что такое открытые данные, уверен что все читающие это и так знают, поэтому сразу перейду к делу и речь пойдет про сам совет.

"Совет по открытым данным" — это название рабочей группы при Правительственной комиссии по открытости в которую входят 35 человек (см. состав рабочей группы) и задачей которой является регулярные совещания о том что дальше делать с открытыми данными.



Я, Иван Бегтин, являюсь заместителем председателя этой рабочей группы и участвую практически во всех её заседаниях. И единственный из всех в неё входящих кто пишет на Хабре.

Итак, совет 15 июня.

Друзья, 16 июня мы организуем очередную встречу коллег из Минфина России публикующих открытые данные с разработчиками кто уже использует или планирует использовать эти данные.

Будут интересные доклады и возможность спросить у сотрудников Минфина России о том какие новые открытые данные публикуются и как лучше публиковать те что уже публикуют.

Обсуждать будем:

• то как Минфин России публикует данные и что может опубликовать в будущем
• конкурсы для разработчиков вроде ранее прошедшего BudgetApps
• исторические данные такие как данные по бюджетам Российской Империи и СССР с 1865 по 1991 годы

От себя могу сказать что на сегодня Минфин — это единственное ведомство проводящее такие встречи на регулярной основе.

Поскольку в самом ведомстве паспортная система прошу всех зарегистрироваться на сайте мероприятия и приходить с паспортом.

Буквально несколько дней назад Министр Внутренних дел Германии представил документ 'The Federal Government's National Action Plan to implement the G8 Open Data Charter' (Национальный план действий федерального правительства по реализации хартии открытых данных G8).

Эта хартия была принята на саммите G8 в Ирландии в июне 2013 года и основывается на следующих принципах:

1. государственные данные публикуются как открытые по умолчанию, в то же время, с условием что приватность защищена;
2. выпуск качественных, своевременных и хорошо описанных открытых данных
3. выпуск столько данных в стольки форматах сколько только возможно чтобы сделать данные максимально удобными для повторного использования;
4. предоставление экспертизы и прозрачности о сборе данных, стандартах и процессах публикации, через улучшение управления;
5. консультации с пользователями и публикация данных в целях развития и стимулирования инноваций;

По этому плану действий Германское федеральное правительство берет на себя обязательства:

По всему миру 21 февраля пройдет Open Data Day — opendataday.org
это огромный хакатон-марафон и событие для всех кто работает открытыми данными или хочет узнать о них больше.

Мы, Информационная культура и OKF Russia, планируем провести мероприятие по открытым данным в Москве в этот день.
В ближайшее время напишем о том как и в каком формате его проведем.

Если Вы планируете провести хакатон по открытым данным, то этот день очень подходит для такого события.

Друзья, в качестве разнообразия анонс мероприятия, одного из тех, что мы регулярно проводим. Ранее мы ни разу не анонсировали его на Хабре, опасаясь оффлайнового хабраэффекта, но, может мы зря боялись?

Мы организуем семинар, на котором выступят представители Минфина России, Всемирного банка, специалисты по Linked Data и Ваш покорный слуга.

Также прошу всех в комментариях отметиться, с каким из ведомств вы бы хотели встретиться и пообщаться. В формате семинара ли, лекции или или встречи с разработчиками. А может быть в формате организованного ими или с их участием в хакатоне.

А я пообещаю попробовать договориться с ними, чтобы такую встречу организовать.

Теперь сам анонс.



Минфин России и НП «Инфокультура» приглашают на практический семинар «Открытые финансовые данные: возможности их использования», который состоится 30 января 2015 года в БЦ Ринко Плаза.

Не секрет, что в России за последние годы, с одной стороны, стало больше открытых данных, с другой — накопилось немало критики.

Так неслучайно получилось, что тематика открытых данных — это то, чем я занимаюсь давно и знаю о большей части инициатив в этой области не по наслышке, а по собственному опыту участия. Здесь я постараюсь обойтись без ссылок на свои проекты, чтобы не нарушать правил сайта, их легко будет найти по их названиям в любом случае. Но постараюсь дать все ссылки на официальные ресурсы.

Поэтому, вместо предисловия, я представлюсь.

Меня зовут Иван Бегтин, я вот уже несколько лет продвигаю идею открытых данных в России, возглавляю небольшую некоммерческую организацию (Инфокультура) от лица которой и вместе с сотоварищами мы организуем соревнования, пропагандируем открытость данных среди госорганов.

Кроме всего прочего я вхожу в Совет по открытым данным при Правительственной комиссии по координации Открытого Правительства и ряд общественных и экспертных советов при органах власти и в курсе многих успешных (и провальных) государственных инициатив в этой области.

Ну и поскольку я, в том числе, в комментариях на Хабре читаю много вопросов, заданных явно или неявно, то на самые частые я отвечу в этой заметке, а также на те, что будут в комментариях.

Не секрет, что российские органы власти в последнее время декларируют высокую степень открытости, публикуют данные и некоторые из них даже бывают полезными, но так было не всегда и далеко не везде.

Полтора года назад я приводил массу примеров неверного толкования открытых данных. В заметке «Собираем плохие данные» есть несколько примеров, когда за машиночитаемые открытые данные выдавали разделы на сайтах или PDF документы.

При том, что мониторить открытость государственных данных в России дело неблагодарное, и что методрекомендации того же Минэкономразвития — это победа формы над содержанием, но даже в таком раскладе можно было сетовать лишь на то, что госорганам облегчили жизнь по публикации данных, а не усложнили.

Надо ли делать полноценное обследование властей на предмет качества открытости данных — вопрос открытый. Рано или поздно это потребуется сделать даже при том, что займёт много времени.
Но самыми выдающимися примерами можно ознакомится сейчас. Ну и конечно — рейтинги фуфло, антирейтинги рулят. Худших надо знать в лицо.