10.1. Система электронной обработки статистической информации

Предоставление пользователям в заданные сроки адекватной статистической информации в объеме, достаточном для характеристики социально-экономических процессов, во многом зависит от эффективности технологических решений, используемых в системе электронной обработки данных (ЭОД). Требование отражения актуальных проблем социально-экономического развития общества, повышения достоверности статистических данных и углубленного экономического анализа информации определяет необходимость постоянного развития и совершенствования информационных технологий.                      

Развитие информационных технологий осуществляется по следующим основным направлениям:

§  «модернизация технической базы государственной системы статистики;                      

§  модернизация системного программного обеспечения, промышленных программных средств, используемых для разработки статистической информации;

§  совершенствование технологии формирования статистических информационных ресурсов, реализуемой прикладными программными средствами и самого прикладного программного обеспечения задач электронной обработки информации.

Фундаментом и необходимым условием развития системы электронной обработки статистической информации является модернизация технической базы, которая во многом определяется научно-техническим прогрессом в области производства и применения средств вычислительной техники.

В настоящее время идет техническое перевооружение органов государственной статистики. В практику статистической разработки внедряются современные персональные вычислительные машины и локальные вычислительные сети, объединяемые в корпоративную сеть. Корпоративная сеть государственной статистики имеет иерархическую структуру с тремя уровнями: (федеральный уровень, региональный уровень и районный уровень. Такая структура соответствует организации государственной статистики и предполагает в основном последовательную обработку информации. Каждый уровень имеет технологическую специализацию на выполнение определенных функций в вычислительном процессе. При развитии технической базы учитываются направления потоков информации, их объемы, сроки и сложность обработки. Это обеспечивает согласованность пропускных способностей технических средств всех организаций, входящих в корпоративную сеть.

Основной характеристикой процесса модернизации является полный переход от разработки статистической информации на больших машинах серии ЕС ЭВМ к разработке статистической информации на персональных вычислительных машинах в условиях локальной сети. Это направление кардинального изменения технической базы принципиально меняет технологию и организацию труда экономиста. Процесс автоматизации обработки статистических данных перемещается на рабочее место статистика, предоставляя ему качественно новые возможности в работе с информационными ресурсами.

В центральном аппарате Государственного комитета РФ по статистике установлен мощный серверный узел для организации теледоступа и формирования баз данных. Главный межрегиональный вычислительный центр (ГМЦ) в настоящее время располагает несколькими специализированными локальными вычислительными сетями для решения сложных проблем. Локальные вычислительные сети различной мощности и с разным количеством рабочих станций в зависимости от объемов обрабатываемой информации созданы в областных комитетах государственной статистики. При этом обеспечена связь между серверным узлом центрального аппарата и локальной вычислительной сетью главного межрегионального вычислительного центра с использованием радиомоста, а также с локальными вычислительными сетями областных комитетов по коммутируемым телефонным каналам связи и сети «Атлас».

Модернизация технической базы осуществляется в направлении достижения однородности вычислительных средств. В условиях однородности и использования локальных сетей разной мощности проще и эффективнее решается вопрос о совместимости уровней иерархической структуры системы, унификации и типизации технологических процессов, программного и информационного обеспечения. Локальные вычислительные сети, объединенные в корпоративную сеть, являются современными перспективными техническими средствами обработки статистической информации.

Наряду с технической базой принципиально обновляется системное программное оснащение. Для оснащения локальных вычислительных сетей в систему поставлены программные средства фирмы Microsoft: операционная среда Windows NT версии 4.0; СУБД MS SQL Server 6.5; программный пакет Microsoft Office 97, включающий Access, Word, Excel. Осуществляется постепенный переход от разработок в операционной среде MS DOS к разработкам в современной среде Windows. Для решения отдельных задач применяется пакет SPSS для аналитической обработки статистической информации.

К началу 1999 г. были завершены работы по полному перепрограммированию прикладных программ для разработки статистических задач, ранее обрабатываемых на ЕС ЭВМ для полного перехода на платформу персональных вычислительных машин.

Изменения в техническом оснащении требуют быстрой перестройки программно реализуемой технологии обработки данных, ориентированной на персональную технику и локальные вычислительные сети с целью ее эффективного использования и внедрения ресурсосберегающих технологических решений.

Электронная обработка данных включает следующие основные программно реализуемые технологические этапы: сбор, ввод и контроль данных, поступающих от объектов наблюдения; формирование нормативно-справочной информации для обработки статистических данных; формирование сводных итогов и расчетных показателей, проведение взвешивания по заданным формулам, формирование массивов данных для передачи между уровнями системы, формирование таблиц с требуемыми статистическими данными.

В технологии сбора социально-экономической информации новым решением является применение электронных форм взамен бумажных, внедрение безбумажной технологии. Электронная форма представляет собой не что иное, как компьютерную программу для ввода данных. Электронные формы в настоящее время разрабатываются для проведения статистического наблюдения как для ПЭВМ, так и для микро-ЭВМ, что в конечном счете позволит отказаться от заполнения бумажных бланков наблюдений и перейти полностью к безбумажной технологии.

Ввод статистических данных может осуществляться различными способами (методами):

§  при применении электронных форм наблюдения и электронном обг мене данными информация от объекта наблюдения поступает сразу в электронном виде;

§  оператор вводит информацию с заполненного бланка с одновременным визуальным контролем результатов своих действий на экране компьютера;

§  оператор вводит информацию с высокой скоростью, не глядя при этом на экран компьютера (метод слепого ввода);

§  ввод с использованием сканеров, обеспечивающих преобразование информации бумажных бланков в электронный вид, пригодный для дальнейшей обработки. Следует отметить, что пока этот способ не получил распространения из-за высокой стоимости оборудования и недостаточно высокого качества программных пакетов для распознавания поступающих от объектов данных на бланках.

Как правило, первые три способа всегда реализуются прикладным программным обеспечением, решающим задачи ЭОД. Для ввода статистических данных на персональных компьютерах используются различные программы управления базами данных: Access, FoxPro, Clipper и специализированные программы типа Blase. Программы управления базами данных близки по своим возможностям к специализированным Программам ввода, которые применяются для сложных вопросников, проверка ввода данных по которым требует написания программ со сложными сценариями и маршрутами.

В настоящее время в системе государственной статистики эксплуатируется около 600 прикладных программ, обеспечивающих разработку статистической информации. На каждом из этих этапов могут возникать трудности, обусловленные тем, что еще не решены многие важные проблемы. Среди них:

§  недостаточная унификация прикладных программных средств, реализующих перечисленные технологические этапы, необходимые для решения каждой задачи;

§  отсутствие в настоящее время программ электронной обработки данных, позволяющих гибко построить технологию, используя преимущества сети и возможность разделения технологических этапов, выполнения их на отдельных машинах или проведения распределенной обработки;

§  существующие программы в основном не ориентированы на формирование баз статистических данных, т.е. на участие экономиста в процессе электронной разработки задачи.

Это во многом обусловлено старыми подходами, которые были продиктованы использованием ЕС ЭВМ. При внедрении в практику персональных машин, локальных вычислительных сетей и современных методов решений в процесс электронной обработки информации, построенной на основе баз данных, меняется и подход к организации технологии. Экономист становится непосредственным участником процесса обработки и соответственно меняет свои требования к электронной обработке и ее результатам. В настоящее время экономист, разрабатывая экономическое описание на задачу, требует как результат базу данных для дальнейшей работы с информацией.

Достоверность статистической информации во многом зависит от предоставления экономисту-статистику возможности выполнения аналитической работы с информацией на основе баз данных и современных пакетов программ математико-статистической обработки и моделирования. Технология обработки информации на основе баз данных, апробированная и внедренная для разработки оперативной статистической информации на основе унифицированной формы статистического наблюдения, получила ощутимое развитие и внедрение в течение 1998—1999 гг. Однако переход к использованию баз данных как обязательной составной части электронной обработки информации является задачей ближайшей перспективы. Этот процесс требует тщательного проектирования и разработки ряда прикладных программ специального назначения, выполняющих общесистемные функции в технологическом процессе разработки статистической информации.

10.2. Современные методы и средства электронной обработки статистической информации на основе баз данных

Современные информационные технологии в социально-экономической статистике применяются на всех этапах разработки и проведения статистического наблюдения, включающих: разработку форм статистического наблюдения, формирование плана выборки, сбор и ввод данных, обработку и анализ данных, предоставление информации пользователю. В предыдущем параграфе была дана краткая характеристика современных способов сбора и ввода данных. В данном параграфе подробнее остановимся на современных средствах организации обработки информации и предоставления информации пользователям на основе баз статистических данных.

Государственной статистикой накоплен большой объем статистических данных о социально-экономических процессах в развитии общества. На основе анализа этих данных можно выявлять явные и скрытые тенденции, строить стратегию дальнейшего развития, находить новые решения.

Базы статистических данных можно классифицировать на два типа, в зависимости от того, что принято за единицу хранения в базе данных:

§  к документографическим относятся базы данных, в которых единицей хранения является документ, например таблица, текст и т.д.;

§  к фактографическим — базы данных, в которых единицей хранения является статистический показатель.

Процесс формирования и ведения информационного фонда на основе статистических баз первого типа менее трудоемок. В такую базу помещаются, как правило, готовые отчеты со статистическими данными, текстовые документы. Для облегчения их использования создается приложение, обеспечивающее поиск необходимых форм по контексту, по заданным темам, а также программное приложение для отслеживания выполнения актуализации отчетов, т.е. уточнение и дополнение их новыми данными. Для организации таких баз данных могут быть использованы широко распространенные программные пакеты, такие, как Microsoft Excel, Word и др., с аналогичными функциональными возможностями. В государственной статистике для организации документогра-фических баз данных используется прикладная программа «БГД». Функциональные возможности данной системы не обеспечивают организацию обработки статистической информации от сбора статистических данных до предоставления информации. Она используется для предоставления статистической информации внешним пользователям.

Базы данных второго типа — фактографические, более сложные в проектировании и ведении, но при этом они более удобны для проведения аналитической обработки данных. Программное обеспечение фактографических баз статистических данных может полностью строится на прикладном программном обеспечении. В этом случае программист-разработчик создает свою систему управления базами данных. Такой подход в ряде случаев имеет преимущества по временным характеристикам и параметрам использования ресурсов хранения информации. Однако, как правило, нарушается принцип масштабируемости системы, т.е. удобных средств интеграции с другими системами, кроме того, возникает полная зависимость от разработчика СУБД. Использование промышленных СУБД лишено этих недостатков, разработка баз данных в промышленных системах имеет хороший сервис, что позволяет осуществлять разработки достаточно быстро при тщательном предварительном информационном проектировании.

В настоящее время программное обеспечение статистических баз данных в основном строится на унифицированном подходе, включающем:

§  промышленную систему управления базами данных — MS SQL Server;

§  прикладное программное обеспечение, реализующее удобный интерфейс проектировщика, администратора и пользователя базы данных. Наиболее применяемым в качестве такого программного обеспечения в настоящее время является инструментальный пакет прикладных программ статистика-экономиста «СТАТЭК».

На основе унифицированного подхода к применению программного обеспечения построения статистических баз данных, унификации кодирования на базе общероссийских классификаторов создается система интегрированных информационных ресурсов. В систему интегрированных информационных ресурсов входят следующие базы данных:

§  автоматизированный банк классификаторов (АБК);

§  база данных «Электронный каталог статистических показателей» (КСП);

§  база данных «Генеральная совокупность объектов статистического наблюдения» (ГС);

§  центральная база статистических данных (ЦБСД);

§  оперативная статистическая база данных;

§  отраслевые статистические базы данных;

§  проблемно-ориентированные базы статистических данных.

Базы данных АБК, ГС и КСП создают основу для интеграции информационных ресурсов и создания унифицированной системы метаданных. Система информационных статистических ресурсов в схематичной форме представлена на рис. 10.1. На рис. 10.1 показана организация системы как совокупности множества физически разных баз данных, объединенных едиными принципами построения информационной (логической) модели, единой метаинформацией.

Рис. 10.1. Организация системы информационных статистических ресурсов

Единая метаинформация содержит рубрикатор входящих в систему баз данных и описания правил организации доступа к ним пользователей с разграничением их полномочий. При этом каждая физически отдельно созданная база данных включает две основные составляющие: метаданные данной базы и фонды данных.

Метаданные — совокупность информационных массивов, содержащих описание (метаданные) информации, хранящейся в базе данных. Она включает различные справочники и каталоги, задающие технологию организации и ведения баз данных. Фонд данных содержит количественные значения показателей, помещенных в базу данных.

Основными компонентами, закладываемыми в основу моделирования структур баз данных в АБД, являются объект статистического наблюдения и экономический показатель. В качестве объектов наблюдения выступают как отдельные предприятия, организации, стройки н т.д. — первоначальные источники информации, так и агрегированные объекты, к которым относятся отрасли экономики, территории, министерства и ведомства.

Агрегированный объект представляет собой совокупность сгруппированных элементарных объектов на основе некоторых признаков. Такими признаками являются отрасли экономики, ведомственная подчиненность, территориальная принадлежность и др., определяемые прежде всего общесоюзными классификаторами отраслей народного хозяйства, системой обозначений органов государственного управления и системой обозначений административно-территориальных объектов. Базы данных, входящие в систему интегрированных ресурсов, в зависимости от объекта наблюдения делятся на микробазы и макробазы данных. Микробазы содержат информацию по объектам статистического наблюдения. Макробазы данных содержат агрегированные данные, полученные после обработки информации.

Для проектирования, ведения и представления социально-экономической информации пользователям на основе создания микро- и макробаз данных, как было описано ранее, применяется промышленная система управления базами данных и создан и развивается инструментальный пакет прикладных программ «СТАТЭК». Эта система характеризуется следующими параметрами:

§  эксплуатируется в ЛВС с использованием различных СУБД: MS SQL Server, Access, (ORACLE при развитии);

§  реализована в архитектуре клиент-сервер;

§  интегрирована с программными средствами Word, Excel, SPSS, Access, Microsoftmap;

§  разработана на объектно-ориентированном языке программирования Power Builder 5.0.

В последние годы в мире сформировались новые направления (концепции) хранения и анализа статистической информации в виде баз данных, использующих новые, перспективные технические и промышленные программные средства их реализации. К ним относятся:

1) концепция построения баз данных как хранилища данных (Data Warehouse);

2) оперативная аналитическая обработка (On-Line Analytical Processing, OLAP);

3) интеллектуальный анализ данных — ИАД (Data Mining). Инструментальная система «СТАТЭК» базируется на комплексном использовании всех трех перечисленных направлений.

В основе концепции хранилища данных лежат две основные идеи:

1) интеграция в едином хранилище данных, описывающих конкретные факты социально-экономических явлений, событий, характеристик объектов статистического наблюдения. В процессе интеграции должно выполняться согласование рассогласованных микроданных по объекту наблюдения и, возможно, их агрегация. Данные могут поступать из внешних источников;

2) разделение наборов данных и приложений, используемых для оперативной обработки и применяемых для решения задач анализа.

Инструментальный пакет «СТАТЭК» имеет трехуровневую архитектуру (рис. 10.2). Реализация функции проектирования и ведения хранилища статистических данных осуществляется подсистемами первого и второго уровней пакета «СТАТЭК».

Рис. 10.2. Архитектура программного обеспечения «СТАТЭК»

Третий уровень включает программные подсистемы, обеспечивающие обработку информации и предоставление информации пользователям.

Программные средства этого уровня рассчитаны на разные категории пользователей и содержат как статические, так и динамические системы формирования запросов. Информационно-аналитические системы, создаваемые в расчете на непосредственное использование лицами, принимающими решения, чрезвычайно просты в применении, но жестко ограниченны в функциональности. Такие системы называются статическими информационными системами руководителя (ИСР). Они содержат в себе предопределенные множества запросов и, будучи достаточными для повседневного обзора, не способны ответить на все вопросы к имеющимся данным, которые могут возникнуть при принятии решений. Результатом работы такой системы, как правило, являются многостраничные отчеты, после тщательного изучения которых у аналитика появляется новая серия вопросов. Однако каждый новый запрос, не предусмотренный при проектировании такой системы, должен быть сначала формально описан, закодирован программистом и только затем выполнен. Время ожидания в таком случае может составлять часы и дни, что не всегда приемлемо. Таким образом, внешняя простота статических систем планирования и принятия решений, за которую активно борется большинство заказчиков информационно-аналитических систем, оборачивается катастрофической потерей гибкости.

Динамические системы, напротив, ориентированы на обработку нерегламентированных запросов аналитиков к данным. Работа аналитиков с этими системами заключается в интерактивной последовательности формирования запросов и изучения их результатов. Динамические системы запросов строятся на основе генератора отчетов с использованием стандартных средств аналитической обработки пакетов типа SAS, SPSS, технологии OLAP. Оперативная аналитическая обработка данных по технологии OLAP обеспечивает многомерный статистический анализ, т.е. представление анализируемых фактов как функций от большого числа характеризующих их параметров.

Полная структура информационно-аналитической системы, построенной на основе хранилища данных, показана на рис. 10.3. В конкретных задачах отдельные компоненты этой схемы часто отсутствуют. 

Рис. 10.3. Структура информационно-аналитической системы, построенной на основе хранилища данных

Особенно подвержено влиянию новых информационных технологий предоставление информации пользователю. Все большее распространение получает электронный вид предоставления информации пользователю. Осуществляется электронное предоставление данных различными способами, каждый из которых определяется в зависимости от потребностей пользователя. К ним относятся предоставление информации на магнитных носителях — дискетах или лазерных дисках; организация удаленного доступа пользователя к базе данных; рассылка абонентам в их почтовые ящики информации для обновления их собственных баз данных; обслуживание пользователей через сеть Internet. Все перечисленные способы электронного распространения статистической информации внедрены и используются в системе государственной статистики.

Таким образом, применение современных методов автоматизации и информационных технологий оказывает влияние на все этапы технологического процесса разработки статистической информации — от проектирования формы статистического наблюдения до предоставления статистических данных пользователю. При этом модернизация осуществляется одновременно по трем направлениям: техническое переоснащение, применение новых системных программных средств, промышленных программ, а также изменение прикладного программного обеспечения. Процесс модернизации информационных технологий позволяет качественно изменить многие этапы разработки статистических данных, предоставив экономисту инструмент непосредственной работы с информационными массивами и возможность применения мощных средств редактирования и аналитической обработки.

Контрольные вопросы

1.      Какие технические средства составляют основу корпоративной сети государственной статистики?

2.      Какое системное программное обеспечение и какая система управления базами данных используются в локальных вычислительных сетях органов государственной статистики?

3.      На каких принципах создается система интегрированных статистических информационных ресурсов?

4.      Какие способы сбора, ввода и обработки данных применяются для статистических данных?