авторефераты диссертаций БЕСПЛАТНАЯ  БИБЛИОТЕКА

АВТОРЕФЕРАТЫ КАНДИДАТСКИХ, ДОКТОРСКИХ ДИССЕРТАЦИЙ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ

E/CN.3/2014/11

Организация Объединенных Наций

Экономический и Социальный Distr.: General

Совет 20 December 2013

Russian

Original: English

Статистическая комиссия Сорок пятая сессия 4–7 марта 2014 года Пункт 3(j) предварительной повестки дня * Вопросы для обсуждения и принятия решения: большие данные и модернизация статистических систем Большие данные и модернизация статистических систем Доклад Генерального секретаря Резюме В настоящем докладе, подготовленном в соответствии с решени ем 2013/235 Экономического и Социального Совета, дается оценка текущей практики использования больших данных для подготовки официальной стати стики. В докладе содержится обзор последних мероприятий в рамках сообще ства специалистов, занимающихся официальной статистикой, и представлены результаты глобальной оценки использования больших данных для подготовки официальной статистики, которая была проведена Статистическим отделом в 2013 году.

В докладе предлагается план дальнейшей работы, предусматривающий создание рабочей группы на глобальном уровне, в развитие существующих ре гиональных инициатив по обмену методическими разработками, передовой практикой решения стратегических вопросов и возможностями обучения. Рабо чая группа будет также содействовать налаживанию международного партнер ства в целях использования больших данных для передачи технологии разви вающимся странам и для поддержки разработки программы развития на период после 2015 года. Статистической комиссии предлагается высказать свои мнения по предложению, изложенному в заключительном разделе доклада.

E/CN.3/2014/1.

* 13-62935 (R) 080114 *1362935* E/CN.3/2014/ I. Введение 1. Темой пятничного семинара по наметившимся вопросам в 2013 году была «Роль больших данных в формировании политики, развитии и подготовке офи циальной статистики» 1. Выступившие на семинаре представители частного сектора наряду с руководителями статистических органов высказали свои мне ния по вопросу об актуальном значении больших данных для формирования политики и о роли, которую надлежит играть национальным статистическим системам в плане использования новых источников информации. Встреча про ходила под председательством руководителя Австралийского статистического бюро. На данном мероприятии был сделан вывод о том, что большие данные представляют собой источник информации, который не может игнорироваться официальной статистикой, и о том, что специалисты, занимающиеся офици альной статистикой, должны сорганизоваться и принять срочные меры к тому, чтобы эффективным образом использовать имеющиеся возможности и ограни чить возникающие проблемы.

Сразу же по окончании этого параллельного мероприятия представитель 2.

Австралии обратился на сорок четвертой сессии Статистической комиссии с просьбой провести оценку использования больших данных для подготовки официальной статистики и представить Комиссии доклад по этому вопросу на ее сорок пятой сессии. Настоящий доклад представляется в ответ на эту прось бу.

В результате всемирного использования электронных устройств и повсе 3.

местного генерирования и наличия цифровой информации кардинально изме нился характер данных, которые генерируются теперь постоянно и в огромных количествах и которые мы называем большими данными. Эти данные обладают важными отличительными свойствами, которые отличают их от данных, полу чаемых из традиционных источников. Данные, получаемые из этих инноваци онных источников, обладают исключительно широким диапазоном распреде ления, неорганизованной структурой, огромным объемом и часто поступают в масштабе реального времени. Большие данные являются источником данных, которые можно описать следующим образом: «данные огромного объема, ско рости прироста и многообразия, требующие затратоэффективных новаторских видов обработки и предназначенные для углубленного аналитического иссле дования и принятия решений».

4. В эпоху снижающейся доли респондентов, отвечающих на обследования домашних хозяйств и предприятий, большие данные могут обеспечивать ди рективные органы фактологической информацией в масштабе реального вре мени в таких областях, как цены, занятость, объем производства, экономиче ское развитие и динамика населения 2. Большие данные могут в потенциале обеспечивать подготовку более актуальных и своевременных статистических данных по сравнению с такими традиционными источниками официальной Данный семинар, проведенный в качестве параллельного мероприятия в ходе сорок четвертой сессии Статистической комиссии, состоялся в пятницу, 22 февраля 2013 года.

Подробнее см. http://unstats.un.org/unsd/statcom/statcom_2013/seminars/Big_Data/ default.html.

Organization for Economic Cooperation and Development (OECD), “Exploring data-driven innovation as a new source of growth: mapping the policy issues raised by ‘big data’” (DSTI/ICCP(2012)9/FINAL), 2013.

2/22 13- E/CN.3/2014/ статистики, как обследования и административные источники данных. Источ ники больших данных сосредоточены в основном в частном секторе, и в боль шинстве стран еще не введены в действие законы об использовании больших данных для целей официальной статистики. Поэтому необходимо проведение дальнейшего диалога на широкой основе для рассмотрения не только вопросов, связанных с правовой базой, конфиденциальностью и отношением обществен ности, но и вопросов своевременного, надежного и достоверного использова ния больших данных. Включив источники больших данных в свой процесс подготовки официальной статистики, национальные, региональные и между народные статистические организации могли бы укрепить свои позиции в пла не более своевременного и экономически эффективного получения данных официальной статистики по секторам экономики, социальной сферы и окру жающей среды с меньшими затратами ресурсов.



5. В свете технического прогресса и бурного роста количества и разнообра зия информации, поступающей в масштабе реального времени, Генеральный секретарь Организации Объединенных Наций приступил в 2009 году к реали зации инициативы «Глобальный пульс» в целях задействования научно технических новшеств в области цифровой информации и быстрого сбора и анализа данных для того, чтобы принимающие решения руководители могли в масштабе реального времени получать полное представление о том, как кризи сы влияют на положение уязвимых слоев населения. Подчеркнув, что большие данные не являются панацеей от всех бед, авторы официального документа, подготовленного в рамках инициативы «Глобальный пульс», вместе с тем заяв ляют, что «большие данные открывают перед нами историческую возможность для наращивания нашей общей способности поддерживать и защищать люд ские сообщества путем уяснения информации, постоянно генерируемой таки ми сообществами в цифровой форме» 3.

6. В рекомендациях в адрес Генерального секретаря, вынесенных созданной им Группой видных деятелей высокого уровня по программе развития на пери од после 2015 года в ее докладе, озаглавленном «Новое глобальное партнерст во: искоренение бедности и преобразование экономик посредством устойчиво го развития», содержится призыв к осуществлению информационной револю ции. В докладе признается, что большие данные являются важным элементом информационной революции, который мог бы в потенциале способствовать повышению качества статистики в некоторых ее аспектах, например в плане своевременности и полноты данных, без ущерба для значимости, беспристра стности и методологической состоятельности статистики. В докладе Группы высокого уровня говорится:

«Более достоверная информация и статистические данные помогут органам государственной власти отслеживать результаты проделанной ра боты и гарантируют принятие ими решений на достоверной основе;

кроме того, с их помощью можно будет наладить более эффективную систему отчетности. Это касается не только органов государственной власти, но и международных организаций, организаций гражданского общества и представителей частного сектора. Настоящая информационная революция позволит с помощью существующих и новых источников данных полно стью интегрировать статистику в процесс принятия решений, пропаган Global Pulse, “Big data for development: challenges and opportunities”, May 2012.

3/ 13- E/CN.3/2014/ дировать открытый доступ и использование информации и расширить поддержку систем сбора статистики» (глава 4, стр. 28).

7. В более широком плане имеются веские основания утверждать, что боль шие данные могут в потенциале изменить многие аспекты жизни общества. В своем недавнем докладе Комиссия по большим данным при Фонде «ТехАме рика» заявила, что «большие данные могут в потенциале трансформировать сферу государственного управления и само общество» 4. В производимых сего дня данных огромного объема, многообразия и скорости прироста скрыта но вая информация, факты, взаимосвязи, показатели и индикаторы, которые в прошлом либо не могли быть обнаружены практическим путем, либо просто не существовали 5. Эта новая информация, эффективно собранная, систематизиро ванная и проанализированная, способна радикальным образом повысить эф фективность работы органов государственного управления 6.

8. В разделе II настоящего доклада дается общий обзор деятельности, свя занной с большими данными и модернизацией статистических систем. В раз деле III обобщены источники больших данных и проблемы, возникающие в связи с их использованием. В разделе IV представлены результаты глобальной оценки использования больших данных для подготовки официальной стати стики, которая была проведена Статистическим отделом в период с июля по октябрь 2013 года. В разделе V изложен ряд тематических исследований по во просу об использовании больших данных. В заключительной части доклада содержится предлагаемый план дальнейшей работы, который согласуется с инициативами организаций-партнеров и делает основной упор на вопросах, касающихся использования больших данных для подготовки официальной ста тистики развивающимися странами и разработки программы развития на пери од после 2015 года.

II. Общий обзор деятельности, связанной с большими данными, которая осуществлялась в последнее время 9. Правительства все большего числа стран признают важность больших данных и создают сообщества специалистов-практиков и рабочие группы для изучения вопроса об их использовании и получении от них потенциальной от дачи. Статистическое сообщество постепенно осознает, что назревает качест венный скачок. Национальный институт статистики Италии признает, что «для того, чтобы завладеть (потенциально несметными) богатствами, которые свер кают сквозь горы больших данных, национальным статистическим институтам придется покорить эти горы» 7. Статистическое бюро Нидерландов допускает, Первое предложение краткого резюме к докладу Комиссии по большим данным при Фонде «ТехАмерика», озаглавленному “Demystifying big data: a practical guide to transforming the business of government” (Washington, D.C., October 2012).

Ibid., второе предложение.

Ibid., третье предложение.

Monica Scannapieco, Antonino Virgillito and Diego Zardetto, “Placing big data in official statistics: a big challenge?”, 21 December 2012.

4/22 13- E/CN.3/2014/ что сообщество специалистов, занимающихся официальной статистикой, дела ет только первые шаги в исследовании возможностей, которые таят в себе большие данные 8.

10. Европейская экономическая комиссия (ЕЭК), Статистическое бюро Евро пейской комиссии (Евростат), Организация экономического сотрудничества и развития (ОЭСР) и Экономическая и социальная комиссия для Азии и Тихого океана (ЭСКАТО) организовали Совещание по вопросам управления статисти ческими информационными системами, которое проходило одновременно в Париже и Бангкоке 23–25 апреля 2013 года 9. Главный вывод, сделанный на этом совещании, заключался в том, что статистические организации должны объединить усилия для решения общих вопросов, связанных с использованием больших данных, и вести поиск таких общих решений, как подготовка стати стических данных с коротким сроком службы, применение междисциплинар ного подхода к использованию больших данных и согласование общей класси фикации различных видов больших данных.

11. На пятьдесят девятом Всемирном статистическом конгрессе Междуна родного статистического института (МСИ), состоявшемся в Китае, специаль ный административный район Гонконг, 25–30 августа 2013 года, большое вни мание было уделено тематике больших данных: были проведены одно заседа ние по документу, подготовленному приглашенным специалистом, по теме больших данных;

одно заседание по специальной теме «Потенциал Интернета, больших данных и органических данных для официальной статистики»;

и вспомогательное мероприятие по теме «Большие данные и расчет статистиче ских показателей». На заседании по специальной теме Джон Данн из Цен трального статистического управления Ирландии представил документ, оза главленный “Big data coming soon … to a national statistical institute near you” («Смотрите скоро в близлежащем национальном статистическом институте — большие данные») 10, в котором были описаны некоторые источники больших данных, например ведомости оплаты за мобильную телефонную роуминг-связь, потребление электроэнергии или пользование электронными сетями, и пред ставлены возможные пути обработки таких больших объемов своевременно получаемых данных третьими сторонами по методу облачных вычислений с использованием электронно-вычислительной техники. Большие данные будут также важной темой научной программы на шестидесятом Всемирном стати стическом конгрессе, который состоится в Рио-де-Жанейро, Бразилия, 26– 31 июля 2015 года 11. Конгрессы МСИ предоставляют возможность для сотруд ничества и обмена знаниями между статистиками, работающими в официаль ных статистических органах, учебных заведениях и деловых компаниях.

12. Евростат изучает вопрос о потенциальном использовании больших дан ных для подготовки официальной статистики в таких областях, как статистика цен (с использованием данных о ценах из Интернета) и статистика пользования информационно-коммуникационными технологиями (ИКТ). Кроме того, одно из заседаний на ежегодном совещании генеральных директоров европейских Piet Daas and Mark van der Loo, “Big data (and official statistics)”, рабочий документ, подготовленный для Совещания по вопросам управления статистическими информационными системами (МСИС-2013), Париж и Бангкок, 23–25 апреля 2013 года.

См. http://www1.unece.org/stat/platform/display/msis/MSIS+2013.

Имеется по адресу http://www.statistics.gov.hk/wsc/STS018-P3-S.pdf.

См. http://www.isi2015.ibge.gov.br.

5/ 13- E/CN.3/2014/ национальных статистических институтов в сентябре 2013 года в Гааге было посвящено теме больших данных 12. Результатом этого заседания стало приня тие Схевенингенского меморандума по большим данным и официальной стати стике (утвержденного Комитетом Европейской статистической системы 27 сентября 2013 года), в котором членам Европейской статистической систе мы рекомендуется разработать стратегию использования больших данных, об мениваться опытом и поддерживать взаимодействие на уровне Европейской статистической системы и за ее пределами. К середине 2014 года должны быть приняты план и порядок действий, которые будут учтены в программе работы Евростат.

13. Большие данные были также одним из предметов обсуждений на Семина ре ЕЭК по вопросам сбора статистических данных, состоявшемся в Женеве 25– 27 сентября 2013 года 13. На этом Семинаре Петер Стрёйс и Пит Дас из Стати стического бюро Нидерландов представили рабочий документ (№ 31), озаглав ленный “Big data, big impact?” («Большие данные — большое воздействие?»), в котором говорилось, что большие данные окажут, со всей очевидностью, большое воздействие на статистическое сообщество и на официальную стати стику. Конкретные аспекты такого воздействия станут проявляться лишь по степенно, однако некоторые особенности уже видны или вполне предсказуемы.

Национальные статистические системы будут испытывать более острую кон куренцию со стороны действующих сторон, не входящих в их сообщество. Им придется скорректировать свои методы подготовки статистики и найти новый баланс, с использованием новых возможностей, которые заключают в себе большие данные. Для этого может потребоваться качественный переход от ста тистической деятельности, ориентированной на проведение обследований, к деятельности, имеющей бльшую направленность на использование вторич ных данных и предполагающей широкое применение методов моделирования.





Вступая в эпоху больших данных, статистические управления должны — в по рядке общего правила, а не в порядке исключения — иметь в своем штате уче ных по информатике, и соответствующее изменение организационной культу ры не заставит себя ждать. Заранее признав возможности и проблемы, связан ные с использованием больших данных, сообщество специалистов, занимаю щихся официальной статистикой, будет лучше готово к тому, чтобы быстро пе реключиться на выполнение своей новой роли — предоставление информации, собираемой из этих новых источников.

14. На своем втором совещании, состоявшемся 21–22 октября 2013 года, Бю ро Конференции европейских статистиков 2013/2014 годов, являющееся руко водящим органом ЕЭК в области статистики, провело углубленное изучение темы больших данных 14. По результатам этого обзора были вынесены сле дующие основные рекомендации: международному статистическому сообще ству следует совместными усилиями определить ключевые приоритетные об ласти использования больших данных и взяться за освоение этих областей;

и См. http://www.cbs-events.nl/dgins2013/.

См. http://www.unece.org/stats/documents/2013.09.coll.html.

См. ECE/CES/BUR/2013/OCT/2.

6/22 13- E/CN.3/2014/ следует создать механизм для обмена информацией о знаниях и опыте исполь зования больших данных. Бюро одобрило также предлагаемый проект 15, по священный большим данным и имеющий следующие цели:

a) выявить основные возможности, которые заключают в себе большие данные, и подготовить методические указания для статистических организаций, а также выработать скоординированные меры по решению основных стратеги ческих и методологических вопросов, которые возникают в секторе официаль ной статистики в связи с использованием больших данных;

b) продемонстрировать целесообразность эффективной подготовки как новой статистической продукции, так и «традиционной» официальной стати стики с использованием источников больших данных и возможность копирова ния этих подходов в разных национальных условиях;

c) содействовать обмену знаниями, техническим опытом, инструмен тами и методами между организациями в целях подготовки статистики с ис пользованием источников больших данных.

15. Вопрос о больших данных и модернизации статистических систем был включен также в повестку дня нескольких недавних мероприятий в Азии. Ста тистический отдел Организации Объединенных Наций и Национальное стати стическое бюро Китая организовали, при поддержке ЭСКАТО, международный семинар по вопросам модернизации официальной статистики, который прохо дил 24–26 октября 2013 года в Тяньцзине, Китай. На этом семинаре, посвя щенном модернизации статистических организаций, было сделано несколько докладов по вопросу о больших данных. В центре внимания на одиннадцатом Семинаре по вопросам управления для руководителей национальных статисти ческих ведомств стран Азии и Тихого океана 16, который был организован Ста тистическим институтом для Азии и Тихого океана (СИАТО) ЭСКАТО 21 и 22 ноября 2013 года в Тибе, Япония, находились инициатива в области инфор мационной революции и потенциальная роль больших данных в программе развития на период после 2015 года.

III. Большие данные: источники и проблемы 16. Неофициальная целевая группа, учрежденная Группой высокого уровня по модернизации статистической продукции и услуг и координируемая ЕЭК, обобщила источники больших данных и проблемы, связанные с использовани ем больших данных, в своем докладе, озаглавленном “What does big data mean for official statistics” («Каково значение больших данных для официальной ста тистики») (10 марта 2013 года). Доклад был представлен на шестьдесят первой пленарной сессии Конференции европейских статистиков, состоявшейся 10– 12 июня 2013 года. Выводы, сделанные в этом докладе, рассматриваются ниже.

Разбивки, предложенные целевой группой ЕЭК в этом докладе, были исполь зованы при подготовке опросника для всемирного обследования, проведенного Статистическим отделом в третьем квартале 2013 года (см. раздел IV).

Данный проект является частью инициативы по модернизации статистической продукции в рамках Группы высокого уровня по модернизации статистической продукции и услуг, координируемой ЕЭК.

См. http://www.unsiap.or.jp/training/6_Leading_MQS/6_ms11.php.

7/ 13- E/CN.3/2014/ 17. Сегодня данные автоматически и непрерывно производятся в цифровой форме многими различными способами. Эти различные источники данных представляют потенциальный интерес с точки зрения их использования в офи циальной статистике для более точного и своевременного измерения опреде ленных социальных, экологических, финансовых или экономических тенден ций. В целом, источники возникновения больших данных можно классифици ровать следующим образом:

• источники данных, связанные с осуществлением программы, будь то го сударственной или иной, например электронные медицинские карты, ве домости приема клиентов больничными учреждениями, учетные страхо вые документы, учетные банковские документы и продовольственные банки;

• коммерческие или операционные источники данных, связанные с совер шением операций между двумя сторонами, например операции по кре дитным карточкам и онлайновые операции (в том числе совершаемые с помощью мобильных устройств);

• источники данных, связанные с работой сенсорных сетей, например дан ные с изображений, полученных со спутников, данные с автодорожных датчиков и метеорологические данные с измерительных устройств;

• источники данных, связанные с работой регистрирующих устройств, на пример регистрация данных из сети мобильной телефонной связи и из Глобальной системы определения координат (GPS);

• источники данных, связанные с поведением пользователей, например данные поиска в Интернете (по тому или иному продукту, услуге или по любому другому виду информации) и данные о просмотрах веб-страниц;

• источники данных, связанные с выражением пользователями своих мне ний, например данные из комментариев в социальных сетях.

18. Данные из административных документов являются одним из главных ис точников информации для подготовки официальной статистики национальны ми статистическими системами. Такие данные, получаемые от государственно административных органов, традиционно носят сильно структурированный ха рактер и затем обрабатываются, хранятся, систематизируются и используются статистическими ведомствами. Данные из административных документов в на стоящее время не являются источником больших данных, однако они могут стать таковым в случае увеличения скорости прироста и физического объема, например когда статистические ведомства начнут шире пользоваться данными из административных документов благодаря их сбору в масштабе реального времени или на ежедневной или еженедельной основе, а не раз в год или раз в месяц, как это обычно делается.

19. Использование больших данных в официальной статистике представляет множество проблем, которые подразделяются на следующие основные катего рии:

• юридические, то есть связанные в доступом к данным и их использовани ем;

8/22 13- E/CN.3/2014/ • связанные с неприкосновенностью частной жизни, то есть пользование общественным доверием и получение согласия на вторичное использова ние данных и их увязку с другими источниками;

• финансовые, то есть потенциальные затраты на извлечение данных из ис точника в сопоставлении с получаемыми выгодами;

• управленческие, например политика и директивы по вопросам управле ния данными и обеспечения их защиты;

• методологические, то есть качество данных и пригодность статистиче ских методов;

• технологические, то есть вопросы, связанные с информационными техно логиями.

IV. Результаты всемирного обследования по вопросу об использовании больших данных 20. Взяв за основу определения, приведенные в докладе целевой группы ЕЭК, Статистический отдел разработал опросник, посвященный использованию больших данных для подготовки официальной статистики. Опросник состоит из трех основных частей: источники, проблемы и области использования. Во просы, касающиеся источников и проблем, охватывают все вышеупомянутые аспекты с более подробной проработкой управленческих аспектов, которые были определены как «вопросы управления, например соблюдение новых ди ректив и правил и развитие людских ресурсов, обладающих необходимым на бором навыков и знаний». Эта всемирная оценка была проведена с целью по лучения информации о национальных приоритетах, событиях и опыте в том, что касается текущего или планируемого использования больших данных для подготовки официальной статистики.

21. Опросник был разослан статистическим ведомствам более 200 стран и территорий в период с июля по сентябрь 2013 года: опросник рассылался на английском языке в июле, на испанском языке в августе, и на французском язы ке в сентябре. Его можно было заполнять либо через Интернет, либо в формате PDF. По состоянию на 2 ноября 2013 года было получено 107 ответов.

В полном виде полученные результаты представляются Статистической комис сии в качестве справочного документа. В обобщенном виде полученные ре зультаты изложены ниже.

A. Источники больших данных 22. Вопрос, касающийся источников больших данных, был сформулирован следующим образом: «Пожалуйста, укажите, какие из нижеперечисленных ис точников больших данных будут, по всей вероятности, использоваться в тече ние следующих 12 месяцев Вашим управлением или другими учреждениями, являющимися частью национальной статистической системы Вашей страны».

В случае положительного ответа респондентам предлагалось пояснить, какие конкретные источники данных они собираются использовать. Если более 50 процентов стран и территорий сообщили, что они собираются использовать 9/ 13- E/CN.3/2014/ административные источники в качестве источников больших данных, то по каждому из других пяти источников данных показатель использования соста вил около 25 процентов. Несколько стран подняли вопрос о том, являются ли объемные административные документы источником больших данных или нет.

В более общем плане данные из административных источников служат осно вой для подготовки многих видов статистической продукции, однако вопрос о том, следует ли рассматривать их в том же контексте, что и большие данные, нуждается в обсуждении.

23. В целом, многие страны положительно ответили на вопрос о том, соби раются ли они использовать один или несколько источников больших данных.

Однако дальнейший анализ показал, что некоторые из источников, указанные в этих положительных ответах, не совместимы с определением больших данных в том виде, как оно приведено в упомянутом докладе целевой группы ЕЭК.

Чтобы придать бльшую весомость выводам, сделанным по результатам этого обследования по вопросу об использовании больших данных, полученные от веты были тщательнейшим образом проанализированы, и была выделена та группа положительных ответов, которую можно отнести к категории «надле жащей практики». В эту категорию не вошли все те положительные ответы, ко торые либо были даны без пояснений, либо сопровождались весьма ограни ченными или не относящимися к делу пояснениями. В результате, вместо пер воначальных 25–50 процентов положительных ответов скорректированные по казатели составили почти 20 процентов для административных источников данных, около 10 процентов для операционных источников данных и источни ков, связанных с работой сенсорных сетей и регистрирующих устройств, и ме нее 5 процентов для источников, связанных с поведением пользователей и вы ражением ими своих мнений. Подробные результаты будут помещены на веб сайте Статистического отдела и будут содержать отдельную колонку по всем странам, которые дали положительные ответы, и отдельную колонку по тем странам, которые применяют «надлежащую практику».

24. Одним из наиболее часто упоминаемых источников административных данных являются данные, поступающие из управлений, занимающихся сбором подоходных налогов и налогов на добавленную стоимость (НДС). Другим ис точником являются записи актов гражданского состояния и реестры предпри ятий. К числу упомянутых операционных источников данных относятся дан ные сканирования товаров в универсамах, данные из сети телефонной связи, операции по кредитным карточкам и данные о сборе платы за проезд по плат ным дорогам. Что касается сенсорных или спутниковых источников, то не сколько стран сообщили о том, что они пользуются данными с изображений, полученных со спутников, при разработке своих обследований. Данные с изо бражений, полученных со спутников, были названы также источником, исполь зуемым при изучении статистики растениеводства. Данные с автодорожных датчиков используются как при подготовке статистики транспорта (индекс до рожного движения в Нидерландах), так и при подготовке статистики окру жающей среды (замеры качества воздуха в Соединенном Королевстве Велико британии и Северной Ирландии).

25. В нескольких странах используются источники данных, связанные с рабо той регистрирующих устройств и системы GPS. Например, данные о местона хождении мобильных телефонов используются для совершенствования стати стики туризма в Эстонии, как это показано в тематическом исследовании, 10/22 13- E/CN.3/2014/ представленном в следующем разделе. В Канаде данные GPS, получаемые с автогрузового, железнодорожного, водного и воздушного транспорта, исполь зуются для дополнения статистики транспорта. Хотя данные, связанные с по ведением пользователей, используются в небольшом числе стран, некоторые страны планируют начать использование этого источника данных. Например, в Италии данные запросов в Интернете, возможно, будут использоваться: a) в ка честве вспомогательной информации в целях сокращения затрат, связанных с проведением обследований;

b) для целей прогнозирования;

и c) для повышения уровня географической детализации оценочных показателей (особенно показа телей рынка труда).

26. Равным образом, в весьма незначительном числе стран используются ис точники больших данных, связанные с выражением пользователями своих мнений или с работой социальных сетей. Нидерланды указали, что в стране проводится определенная исследовательская работа, основанная на общедос тупных сообщениях в социальных сетях (см. тематическое исследование в раз деле IV). В Сингапуре проводится исследование по вопросу о том, как можно использовать этот источник больших данных для заблаговременного выявле ния проблем, связанных с безопасностью продуктов питания.

B. Проблемы, связанные с использованием больших данных 27. Вопрос, относящийся к данному разделу, был сформулирован следующим образом: «Представляет ли [тот или иной вопрос] серьезную проблему для на циональной статистической системы в Вашей стране?». Были предложены сле дующие возможные ответы: «Нет» (не представляет проблемы), «Нет мнения на этот счет» (этот вопрос не обсуждался) или «Да» (представляет проблему).

По всем шести категориям проблем большинство стран ответили «Да» (пред ставляет проблему), следующим по частотности был ответ «Нет мнения на этот счет» (то есть эти вопросы еще не были предметом тщательного обсуждения), и небольшое число стран ответили «Нет» (не представляет проблемы). В целом, чаще всего указывались методологические, информационно-технологические и управленческие проблемы, за которыми с небольшим отставанием следовали юридические проблемы и проблемы, связанные с неприкосновенностью част ной жизни.

28. Респонденты согласились с тем, что одной из серьезнейших проблем яв ляется решение методологических вопросов, и указали на необходимость до полнительной исследовательской работы в этой области. Качество, репрезента тивность, изменчивость и размерность данных: все эти вопросы представляют методологические трудности с точки зрения освоения источников больших данных. Информационно-технологические вопросы также были названы серь езной проблемой во многих странах, поскольку существующие системы обра ботки и анализа данных не могут быть масштабированы до уровня больших данных. Характер больших данных (особенно их физический объем, а также скорость прироста и многообразие) создает серьезные проблемы при разработ ке необходимых информационно-технических инструментов и структуры ин формационно-технологической системы, в частности в странах развивающего ся мира. Вопросы управления, например соблюдение новых директив и правил и развитие людских ресурсов, обладающих необходимым набором навыков и знаний, считаются серьезной проблемой в большинстве стран.

11/ 13- E/CN.3/2014/ 29. Систематическое использование неправительственных источников дан ных сопряжено с юридическими проблемами для правительств, желающих воспользоваться возможностями, которые заключают в себе большие данные.

Если в одних странах уже введено в действие законодательство, обеспечиваю щее доступ как к правительственным, так и к неправительственным источни кам данных, то в других странах отсутствие законодательных актов, гаранти рующих доступ к неправительственным источникам, представляет проблему.

Вопросы, связанные с неприкосновенностью частной жизни, также являются серьезной проблемой во многих странах, когда речь идет об использовании больших данных. Защита персональных данных в этой области является ис ключительно важным вопросом;

следовательно, необходимо добиться опти мального баланса между защитой персональных данных и их использованием в статистических целях.

30. Проблематичными для ряда стран представляются и финансовые вопросы, в частности затраты на извлечение данных из источника, которые были назва ны серьезной проблемой при использовании больших данных. Кроме того, фи нансовые ресурсы, необходимые для приобретения новейших аппаратных средств и программного обеспечения, предназначенных для обработки боль ших данных, могут оказаться недостаточными или вообще отсутствовать. За тем, частные компании, как представляется, придают все большую значимость имеющимся в их распоряжении данным и поэтому запрашивают за них все бо лее высокие цены.

31. Были названы и другие серьезные проблемы, связанные с использованием больших данных в национальных статистических системах. В частности, мно гие респонденты поднимали вопрос о методах интеграции больших данных в статистические системы. Как можно встроить этот новый источник данных в существующую статистическую программу? Большинство сходится в том, что большие данные не заменят собой официальную статистику, а, скорее, будут дополнять ее, позволяя, например, очень быстро получать статистические дан ные и бета-показатели в ключевых областях статистики. Поскольку большие данные представляют собой сравнительно новое понятие в сфере официальной статистики, они нуждаются в активном пропагандировании в кругах специали стов, занимающихся официальной статистикой.

C. Существующие и потенциальные области использования 32. В третьей и заключительной части всемирного обследования респонден там предлагалось указать области использования (или изучения вопроса об ис пользовании) больших данных в течение следующих 12 месяцев. На выбор бы ли предложены следующие области: «Демографическая и социальная стати стика», «Статистика естественного движения населения и записей актов граж данского состояния», «Экономическая и финансовая статистика», «Статистика цен», «Статистика транспорта», «Статистика окружающей среды» и «Другие области официальной статистики». Респондентам были даны два варианта от вета: «Нет» или «Да», где ответ «Да» нужно было сопровождать пояснением.

Среди областей, в которых используются большие данные, чаще всего указы вались следующие: «Демографическая и социальная статистика» и «Экономи ческая и финансовая статистика». Однако, как и в случае использования источ ников больших данных, положительные ответы в этой части обследования не 12/22 13- E/CN.3/2014/ обходимо было повторно проанализировать, выделив ту группу ответов, кото рую можно отнести к категории «надлежащей практики». После проведения такого повторного анализа оказалось, что надлежащая практика использования больших данных имеет место в области статистики цен и экономической и фи нансовой статистики. В частности, несколько стран указали, что они исполь зуют данные сканирования и/или методы просеивания веб-страниц для расчета часто обновляемых индексов цен, используемых в дополнение к стандартному индексу потребительских цен. В целом, надлежащая практика использования больших данных по областям статистики составляет в процентном отношении чуть более 10 процентов в области статистики цен, экономической и финансо вой статистики и демографической и социальной статистики и около 5 процентов в каждой из других областей использования.

33. В области демографической и социальной статистики несколько стран упомянули о том, как данные из сети мобильной телефонной связи могут ис пользоваться для выявления маршрутов путешествий и для целей туризма, на строения пользователей социальных сетей — для определения уровня уверен ности потребителей, а имеющие в Интернете данные о вакансиях — для анали за занятости, и о потенциальных видах использования ресурса Trends в поис ковой системе Google. Среди других примеров было названо сотрудничество с операторами мобильной телефонной связи для расчета статистики маятнико вой миграции с конкретной географической привязкой. В области экономиче ской и финансовой статистики было упомянуто изучение вопроса об использо вании данных с изображений, полученных со спутников, и данных с наземных датчиков для оценки урожайности сельскохозяйственных культур и использо вание данных регистрации местонахождения мобильных устройств для подго товки статистики мобильности населения в сфере услуг. Несколько стран пояс нили, как они используют большие данные в области статистики транспорта.

Подробные данные об оплате проезда по платным автомагистралям и данные с автодорожных датчиков используются для подготовки статистики дорожного движения.

V. Большие данные и модернизация статистических систем 34. Для того чтобы решить проблемы, указанные в ответах, полученных в хо де всемирного обследования, необходимо будет модернизировать статистиче ские системы. По мнению респондентов, необходимо проводить более широ кую исследовательскую работу для преодоления методологических трудностей, препятствующих использованию источников больших данных. С учетом харак тера больших данных вопросы репрезентативности и охвата населения могут вызвать проблемы. Кроме того, многообразие и потенциальный временный ха рактер данных (например, вопрос о том, как долго люди будут продолжать пользоваться сетью Facebook) создают проблемы с точки зрения официальной статистики ввиду того, что основными качественными характеристиками ста тистических данных являются их сопоставимость, непрерывность и согласо ванность. Изменения в методологии могут включать более частое использова ние метода моделирования и могут потребовать более тесного сотрудничества с научными и учебными учреждениями. Необходимо проводить более широкие аналитические и экспериментальные исследования для изучения потенциаль 13/ 13- E/CN.3/2014/ ных видов использования больших данных в официальной статистике, и ис следовательская работа должна, пожалуй, стать частью процесса подготовки статистики.

35. Существующая информационно-техническая инфраструктура и возмож ности нуждаются в наращивании, с тем чтобы они могли поддерживать обра ботку наборов данных большого объема и высокой скорости прироста, посту пающих из различных источников. Кроме того, следует рассмотреть вопрос о стандартизации методов и инструментов, применяемых национальными стати стическими управлениями. Необходимо приобретать новейшую технологию (программное обеспечение, аппаратные средства и кадровые ресурсы), чтобы постоянно отвечать технологическим требованиям, связанным со сбором, об работкой и использованием больших данных. Управлениям, возможно, придет ся рассмотреть возможность применения метода облачных вычислений вместо попыток перемещения огромных объемов данных на свои серверы. В качестве альтернативного варианта органу, где хранится источник больших данных, мо жет быть предложено произвести первоначальные вычисления и представить статистическому управлению данные с более проработанной структурой и с более высоким уровнем агрегирования. Необходимо будет выделить достаточ ный объем ресурсов для создания требуемой информационно-технической ин фраструктуры для частого извлечения данных из соответствующих источников, их увязки и анализа и для представления их в формате, подходящем для поль зователей.

36. Серьезную проблему будет представлять как развитие, так и удержание на службе кадровых ресурсов, обладающих необходимыми навыками в области применения передовых методов анализа данных и вычислительной информа тики. Освоение новых источников больших данных потребует реорганизации процесса сбора и обработки данных. Большинство национальных статистиче ских управлений не располагает кадровыми ресурсами, обладающими соответ ствующими навыками, и поэтому, чтобы иметь возможность эксплуатировать такие источники данных, они должны будут наращивать свой потенциал и про водить интенсивное обучение людских ресурсов. Имеющихся специалистов, обладающих классическими статистическими знаниями, будет недостаточно для обеспечения надлежащей обработки этого нового типа данных, и поэтому необходимо будет выделить ассигнования на цели найма и обучения достаточ ного числа новых профессиональных работников (например, ученых в области информатики).

37. Для подготовки официальной статистики с использованием больших дан ных требуется принятие дополнительных законодательных мер. Во многих странах существующие нормативно-правовые основы статистики не охватыва ют вопросы доступности и использования больших данных, как имеющихся в государственном секторе, так и поступающих из частного сектора. Поэтому будет особенно трудно получить доступ к большим данным, сбор и хранение которых осуществляются другими сторонами. Кроме того, требуется комплекс правовых норм, обеспечивающих неприкосновенность частной жизни, который устанавливал бы базовые правила, регулирующие возможные методы объеди нения, защиты, передачи, обнародования, анализа и сохранения наборов боль ших данных. Это позволило бы решить важный вопрос о недопущении зло употребления общественным доверием в процессе надлежащего использования правительственными органами персональных данных о частных лицах. Важно 14/22 13- E/CN.3/2014/ сохранять общественное доверие: частные лица должны быть уверены в том, что их личная информация будет должным образом защищена и не станет объ ектом разглашения или злоупотребления. Например, одним из потенциальных источников больших данных являются данные о местонахождении, получае мые из сети мобильной телефонной связи, однако даже при сокрытии личности абонентов люди все равно будут крайне обеспокоены возможностью передачи таких сведений компаниями, предоставляющими мобильную телефонную связь, другим сторонам для любых целей и возможностью обмена такой ин формацией. Аналогичным образом, компаниям, предоставляющим связь через мобильные устройства, требуются гарантии того, что при передаче ими своих данных правительству права на неприкосновенность частной жизни не будут нарушены.

38. Реакция общественности на использование больших данных для подго товки официальной статистики является одним из важнейших факторов, опре деляющих будущие перспективы использования больших данных. Правитель ство и, в еще большей мере, частный сектор должны не злоупотреблять, а, на оборот, заручиться доверием общественности и вселить в нее уверенность в том, что персональные данные будут использоваться надлежащим образом. Го сударственному сектору необходимо будет направить значительные усилия на создание санкционирующей правовой основы, которая устанавливала бы пра вила доступа к автоматически генерируемым данным в цифровом формате, со держащим элементы личной информации, и правила пользования такими дан ными и обеспечивала бы гласность в том, что касается функций органов, зани мающихся хранением данных, и функций соответствующих государственных ведомств. Только при таких условиях могут быть гарантированы неприкосно венность частной жизни и конфиденциальность личной информации и может быть обеспечено доверие общественности в том, что касается использования больших данных в официальной статистике.

VI. Тематические исследования A. Австралия: использование изображений, полученных со спутников, в статистике сельского хозяйства 39. Изображения, полученные со спутников, используются при определении видов земного покрова и в исследовательской программе, в рамках которой па раметры сельскохозяйственного землепользования применяются для оценки конкретных видов сельскохозяйственных культур. Полученные пространствен ные параметры вводятся в качестве исходных данных в статистические модели, созданные для произведения расчетов при составлении статистики сельского хозяйства. В потенциале они могут применяться и при составлении статистики рыбного и лесного хозяйства, а также статистики окружающей среды. Исход ные данные хранятся и обрабатываются на облачном сервере в системе по ставщика данных, вне электронно-вычислительной среды статистической ор ганизации. Алгоритмы, применяемые при анализе изображений для извлечения пространственных параметров землепользования, разрабатываются на основе 15/ 13- E/CN.3/2014/ совместных исследований с участием сотрудничающих университетов. По ли нии этого сотрудничества разрабатываются алгоритмы, модели пространствен ных и временных рядов данных, системы геокодирования и процессы стати стической оценки.

B. Бразилия: использование данных высокой частотности, получаемых с контрольных станций, для составления счетов водных ресурсов 40. Соглашением, подписанным в 2012 году Национальным институтом гео графии и статистики (статистический орган), Национальным агентством вод ного хозяйства (федеральный орган по водным ресурсам) и Секретариатом по водным ресурсам и городской экологии при министерстве охраны окружающей среды (орган, координирующий политику в области использования водных ре сурсов), был создан комитет, которому поручено разработать счета водных ре сурсов в Бразилии. Национальное агентство водного хозяйства осуществляет контроль за количеством и качеством водных ресурсов через Национальную гидрометеорологическую сеть, включающую почти 22 000 контрольных стан ций, которые собирают данные высокой частотности об объеме водотоков, уровне дождевых осадков, качестве воды, скорости испарения и образовании отложений. Иными словами, Национальное агентство водного хозяйства каж дый день собирает большой объем данных о водных ресурсах, обрабатывает эти данные и размещает их в свободном доступе на институциональном веб сайте Агентства 17 или через Национальную информационную систему по вод ным ресурсам 18. Информационная система представляет собой всеобъемлю щую систему сбора, обработки, хранения и предоставления данных и инфор мации, связанных с рациональным использованием водных ресурсов. Данные, полученные через Информационную систему, объединяются Национальным институтом географии и статистики с данными, взятыми из его обычного на бора данных экономической статистики и статистики окружающей среды, в целях составления счетов водных ресурсов Бразилии.

C. Бутан: использование технологии мобильной связи при расчете индекса потребительских цен 41. В Бутане сбор данных о потребительских ценах поддерживается и облег чается использованием современной технологии связи. Индекс потребитель ских цен рассчитывается ежемесячно на основе данных, которые собираются в различных округах местными работниками статистического ведомства с ис пользованием мобильной платформы телефонной связи Android. Работники со бирают данные по всем наименованиям товаров и услуг, входящих в корзину индекса потребительских цен, в соответствующих магазинах в своих округах и автоматически пересылают данные на сервер головного отделения Националь ного статистического бюро в Тхимпху. Головное отделение объединяет данные, поступающие из различных округов, и производит ежемесячный расчет индек са потребительских цен и показателей инфляции на национальном уровне.

http://www2.ana.gov.br.

http://www.snirh.gov.br/telemetria/consultardadoshidrovisualizacaogeo/inicial.action.

16/22 13- E/CN.3/2014/ 42. Даже несмотря на то, что нынешняя система, действующая в Бутане, не связана с получением больших объемов данных, развитие применения мобиль ных устройств и беспроводной связи могло бы продолжаться, и они могли бы использоваться для сбора гораздо большего объема данных о ценах. Приме няемый в Бутане подход, начинающийся со сбора электронных данных в не больших масштабах, мог бы служить отправной точкой и для других разви вающихся стран. Автоматизация ввода цифровых данных и беспроводная пере дача информации на централизованный сервер являются важными первыми шагами в направлении освоения потенциальных возможностей, которые за ключают в себе источники больших данных.

D. Колумбия: использование изображений, полученных со спутников, в статистике сельского хозяйства и транспорта 43. В Колумбии изображения, полученные со спутников, используются в ка честве источника больших данных в целом ряде областей. Одним из примеров в этой связи является экспериментальная проверка, основанная на использова нии изображений, полученных со спутников, в дополнение к работе, которую выполняют проводящие опрос сотрудники в ходе национальной сельскохозяй ственной переписи. Цель диагностического этапа проверки состоит в том, что бы выявить те виды переменных величин, которые могут быть зафиксированы путем получения изображений со спутников и которые могут использоваться для подтверждения информации, собираемой в ходе проведения переписи.

Другой пример связан с использованием изображений, полученных со спутни ков, Управлением Организации Объединенных Наций по наркотикам и пре ступности и министерством внутренних дел и юстиции для количественной оценки и мониторинга посевов коки в Колумбии через комплексную систему мониторинга посевов незаконных культур.

44. Национальный автодорожный институт Колумбии использует данные GPS для улучшения движения транспорта и в качестве исходной информации в ста тистике транспорта. При применении данного метода автомобилям не нужно останавливаться у пунктов оплаты проезда;

вместо этого на каждом автомоби ле устанавливается электронное регистрирующее устройство, которое считы вается при приближении автомобиля к пункту оплаты. Такая динамическая система оплаты проезда по платным дорогам обеспечивает высокий уровень удобства, безопасности и обслуживания. Регистрирующее устройство содер жит также всю информацию о данном автомобиле, которая дополняет собой информацию, имеющуюся в Национальном едином транзитном реестре. На се годняшний день этот новый метод опробован на 10 станциях оплаты проезда в Колумбии и уже дал положительные результаты в плане усиления контроля за транспортными потоками и укрепления статистики транспорта.

17/ 13- E/CN.3/2014/ E. Эстония: использование данных о местонахождении из сети мобильной связи для подготовки статистики международных поездок 45. Совместными усилиями Центрального банка Эстонии, Тартуского уни верситета и компании «Позициум ЛБС» разработана методология составления статистики международных поездок, которая основывается на использовании данных о местонахождении, пассивно поступающих из сети мобильной связи.

Компания «Позициум» занимается сбором и обработкой анонимных данных, поступающих от операторов мобильной связи, с помощью статистических мо делей и строит на их основе общие ряды данных. Данная методология позво ляет получать достоверную картину движения через эстонскую границу физи ческих лиц, выезжающих за рубеж (выезд из страны) или въезжающих в Эсто нию (въезд в страну). Данные о местонахождении, поступающие из сети мо бильной связи, являются анонимными. Они обрабатываются, анализируются и распространяются с использованием методологии, которая полностью исклю чает применение каких бы то ни было методов идентификации номеров теле фонов или имен их владельцев.

46. Центральный банк пользуется статистикой международных поездок для расчета объема импорта и экспорта услуг по организации поездок при состав лении счета текущих операций в платежном балансе. В соответствии с методо логией расчета платежного баланса место жительства пассажира при использо вании данных о местонахождении, поступающих из сети мобильной связи, оп ределяется по критерию постоянного места жительства, независимо от того, гражданином какой страны является данное лицо. Предположительное место жительства владельцев телефонов определяется путем использования теле фонного роуминга и местных сетей мобильной связи. Число, продолжитель ность и характер посещений Эстонии лицами, являющимися и не являющими ся ее жителями, определяются по динамике пользования мобильными телефо нами в привязке к конкретным населенным пунктам, в зависимости от страны и региона пользования телефонной связью.

47. Статистика выездов из страны отражает поездки ее жителей в зарубежные страны на один день или с ночевкой. Выезды жителей Эстонии из страны мо гут включать поездки в несколько стран. Страной назначения считается наибо лее удаленная от Эстонии страна или страна (страны), где совершающее поезд ку лицо проводит не меньше двух дней подряд. Другие страны, в которых со вершающее поездку лицо не останавливается на ночевку и которые не отвеча ют критериям страны назначения, относятся к категории стран транзита. Число и продолжительность посещений Эстонии лицами, являющимися и не являю щимися ее жителями, рассчитываются с помощью статистических моделей и добавляются в общие ряды данных, при этом в расчет принимаются и другие официальные источники данных (количество пассажиров в Таллинском мор ском порту, количество пассажиров в Таллинском аэропорту, количество пере сечений восточной границы Эстонии, официальная гостиничная статистика).

48. Анонимные данные о местонахождении, поступающие из сети мобильной связи, используются с соблюдением эстонского законодательства и законода тельства Европейской комиссии, касающихся защиты информации и защиты персональных данных (Закон Эстонии о защите персональных данных;

дирек тива 95/46/EC Европейского парламента и Совета Европейского союза от 18/22 13- E/CN.3/2014/ 24 октября 1995 года о защите физических лиц при обработке персональных данных и о свободной передаче таких данных;

и директива 2002/58/EC Евро пейского парламента и Совета Европейского союза от 12 июля 2002 года, ка сающаяся обработки персональных данных и защиты неприкосновенности ча стной жизни в сфере электронных коммуникаций). Методология определения местонахождения с использованием сети мобильной связи разработана и с 2006 года применяется в различных сферах деятельности в Эстонии, в сотруд ничестве с Инспекцией по защите информации при решении вопросов, касаю щихся защиты персональных данных.

F. Нидерланды: социальные сети как потенциальный источник данных для официальной статистики 49. Все большее число людей активно пользуется социальными сетями, где они добровольно обмениваются информацией, обсуждают интересующие их темы и контактируют с членами семьи и друзьями. В Нидерландах социальные сети используются значительной частью населения;

около 70 процентов сооб щили о том, что они являются активными пользователями одной или несколь ких социальных медиа-платформ. Поскольку доля респондентов, отвечающих на опросники Статистического бюро Нидерландов, продолжает снижаться, был изучен вопрос о возможности использования сообщений, которые добровольно оставляют пользователи социальных сетей и которыми они добровольно обме ниваются, в качестве источника данных для подготовки официальной стати стики. Для этого были проанализированы сообщения, имеющиеся в публичном доступе в социальных сетях, которые создаются на различных социальных ме диа-платформах, таких как Twitter и Facebook, а также публичные сообщения, помещаемые на новостных сайтах, веб-форумах и в блогах. Эти сообщения были предоставлены коммерческой компанией, которая регулярно собирает все имеющиеся в публичном доступе сообщения на голландском языке, появляю щиеся в голландскоязычном Интернете.

50. Сообщения были проанализированы как по содержанию, так и по на строению, выраженному их авторами. Анализ содержания сообщений, распро страненных через голландскоязычный Twitter — социальную медиа-платформу, на которой создается большинство имеющихся в публичном доступе сообще ний на голландском языке, показал, что почти 50 процентов сообщений содер жали «пустую болтовню». Остальная часть сообщений касалась преимущест венно обсуждений свободного времяпрепровождения (10 процентов), работы (7 процентов), средств массовой информации (телевидение и радио) (5 процентов) и политики (3 процента). Использованию этих более серьезных сообщений мешало наличие менее серьезных, «пустых» сообщений. Анализ настроений, выраженных во всех сообщениях, созданных на всех имеющихся платформах, выявил весьма интригующую возможность для потенциального использования этих данных при подготовке статистики. Было установлено, что настроения, выраженные в этих сообщениях, имеют высокую коррелятивную связь с уровнем уверенности потребителей в Нидерландах, в частности с на строениями, связанными с экономическим положением в стране. Такая корре ляция с экономическими настроениями оставалась стабильной и на ежемесяч ной, и на еженедельной основе. В то же время ежедневно рассчитываемые цифры дают крайне неустойчивую зависимость, что указывает на возможность 19/ 13- E/CN.3/2014/ подготовки ежемесячных и еженедельных показателей настроения пользовате лей социальных сетей, сопоставимых с уровнем потребительской уверенности.

Такие показатели могут быть рассчитаны уже в первый рабочий день по про шествии анализируемой недели, что свидетельствует о способности быстрого получения результатов.

VII. Выводы и план дальнейшей работы 51. Потенциальные возможности использования больших данных для подго товки официальной статистики признаны статистическим сообществом. Боль шие данные могут помочь более эффективному выполнению задачи своевре менной подготовки согласованных статистических данных по экономике, соци альной сфере и экологии для целей принятия решений, проведения исследова ний и общественных обсуждений. Кроме того, по мере совершенствования технологии геокодирования статистических единиц в экономической, социаль ной и экологической сферах и увеличения объема имеющейся информации на самом нижнем уровне географической детализации, ожидается скорейший прогресс в области использования больших данных в развитых и развиваю щихся странах. Поэтому для того, чтобы воспользоваться преимуществами, ко торые заключают в себе большие данные, между региональными инициатива ми внутри мирового статистического сообщества необходимо наладить обмен методическими разработками, передовой практикой решения стратегических вопросов и возможностями обучения, в том числе в деле решения вопросов, связанных с законодательной базой, неприкосновенностью частной жизни, фи нансами, управлением, методологией и технологиями. При решении этих во просов, связанных с использованием больших данных, правительствам и кор поративному сектору необходимо будет создать условия, при которых могут быть гарантированы неприкосновенность частной жизни и конфиденциаль ность личной информации для целей официальной статистики и может быть обеспечено доверие общественности в том, что касается использования боль ших данных в официальной статистике.

52. В ходе глобальной оценки использования больших данных для подготов ки официальной статистики был выявлен ряд положительных примеров, свя занных в первую очередь с использованием данных, поступающих из операци онных источников, с регистрирующих устройств, из сенсорных источников и со спутников. Статистика цен рассчитывалась с использованием информации, полученной со сканирующих устройств, потребительские расходы — с исполь зованием электронных операций по карточкам, статистика поездок и транспор та — с использованием регистрирующих устройств системы GPS, статистика благосостояния населения — с использованием данных из социальных сетей, а статистика сельского хозяйства — с использованием изображений, полученных со спутников. В ходе всемирного обследования было выявлено также множест во потенциальных проблем, связанных прежде всего с методологическими трудностями, возникающими при составлении больших данных, с информаци онно-техническими требованиями и с вопросами, касающимися неприкосно венности частной жизни.

53. Очевиден тот факт, что решение проблем, связанных с использованием больших данных, предполагает модернизацию статистической системы. На пример, необходимо будет укрепить исследовательский сектор статистической 20/22 13- E/CN.3/2014/ системы, наращивать информационно-технологические возможности, провести структурную реорганизацию людских ресурсов за счет привлечения ученых по информатике и наладить партнерские отношения с частным сектором в области обмена автоматически генерируемой информацией в цифровом формате в ус ловиях, при которых соблюдаются принципы неприкосновенности частной жизни и соблюдаются правила конфиденциальности.

54. Большие данные и модернизация статистических систем создают для большинства стран весьма схожие проблемы и возможности. Поэтому между национальными статистическими ведомствами может быть налажен аналогич ный обмен опытом, практическими методами и решениями. На региональном уровне уже начато осуществление ряда инициатив в этом направлении. В кон тексте Конференции европейских статистиков был одобрен предлагаемый про ект ЕЭК, посвященный развитию роли больших данных в деле модернизации производства статистической продукции. Аналогичные инициативы осуществ ляются в настоящее время по линии ЭСКАТО в Азиатско-Тихоокеанском ре гионе. Кроме того, рассматривается вопрос о начале реализации проектов ана логичной направленности в других регионах.

55. Предполагается, что региональные инициативы и начинания в рамках глобальной программы работы будут дополнены деятельностью глобальной рабочей группы по вопросам использования больших данных. Данная про грамма обеспечит возможности для обмена практическими методами работы между региональными комиссиями. Если региональные комиссии могли бы за ниматься реализацией конкретных проектов с участием меньшего числа стран на региональном уровне, то глобальная рабочая группа на совместной основе занималась бы решением вопросов в целях достижения соглашения по аспек там, связанным с методологией, передовой практикой решения стратегических вопросов, обучением и использованием общих платформ. В рамках своей про граммы работы глобальной рабочей группе следует подготовить веские доводы, доказывающие, что национальные статистические системы обладают сравни тельными преимуществами по сравнению с другими сторонами с точки зрения их роли в плане подтверждения состоятельности использования больших дан ных для целей выработки политики или в плане объединения источников больших данных с существующими источниками официальной статистики.

56. Глобальная рабочая группа могла бы заниматься дальнейшим рассмотре нием конкретных вопросов, касающихся роли больших данных в программе развития на период после 2015 года, и содействовать налаживанию партнер ских отношений с другими учреждениями Организации Объединенных Наций и международными учреждениями, организациями гражданского общества и другими участниками глобального партнерства по реализации формирующейся инициативы в области информационной революции. Одна из претензий, кото рая высказывалась применительно к показателям достижения целей в области развития, сформулированных в Декларации тысячелетия, была связана с не своевременностью их подготовки. Большие данные в большинстве случаев об разуются в масштабе реального времени и в потенциале могут обеспечить под готовку весьма своевременных показателей.

21/ 13- E/CN.3/2014/ 57. Для того чтобы глобальная рабочая группа могла начать свою работу, во втором или третьем квартале 2014 года будет организована международная конференция, на которой будет выработана программа работы по вопросам общей методологии, обучения, платформ и по другим вопросам, связанным с использованием больших данных для подготовки официальной статистики.

VIII. Вопросы для обсуждения 58. Статистической комиссии предлагается высказать свои мнения в от ношении:

a) необходимости дальнейшего изучения источников, проблем и об ластей использования больших данных для подготовки официальной ста тистики на глобальном уровне, особенно с учетом условий, в которых на ходятся развивающиеся страны, и в свете увязки с программой развития на период после 2015 года и с инициативой в области информационной ре волюции;

b) создания глобальной рабочей группы по вопросам использова ния больших данных для подготовки официальной статистики, деятель ность которой дополняла бы работу, проводимую региональными комис сиями, и которая занималась бы решением вопросов, имеющих общеми ровую значимость.

22/22 13-

 

Похожие работы:





 
2013 www.netess.ru - «Бесплатная библиотека авторефератов кандидатских и докторских диссертаций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.