| 4.1. Способы аналитической обработки данных
Для того чтобы существующие хранилища данных способствовали принятию управленческих решений, информация должна быть представлена аналитику в нужной форме, то есть он должен иметь развитые инструменты доступа к данным хранилища и их обработки.
Очень часто информационно-аналитические системы, создаваемые в расчете на непосредственное использование лицами, принимающими решения, оказываются чрезвычайно просты в применении, но жестко ограничены в функциональности. Такие статические системы называются информационными системами руководителя (ИСР), или Executive Information Systems (EIS). Они содержат в себе предопределенные множества запросов и, будучи достаточными для повседневного обзора, не способны ответить на все запросы к имеющимся данным, которые могут возникнуть при принятии решений. Результатом работы такой системы, как правило, являются многостраничные отчеты, после тщательного изучения которых у аналитика появляется новая серия запросов. Однако каждый новый запрос, не предусмотренный при проектировании такой системы, должен быть сначала формально описан, закодирован программистом и только затем выполнен. Время ожидания в таком случае может составлять часы и дни, что не всегда приемлемо. Таким образом, внешняя простота статических СППР, за которую активно борется большинство заказчиков информационно-аналитических систем, оборачивается катастрофической потерей гибкости.
Динамические СППР, напротив, ориентированы на обработку нерегламентированных запросов аналитиков к данным. Наиболее глубоко требования к таким системам предусмотрены в концепции оперативного анализа OLAP (On-Line Analytical Processing). Работа аналитиков с этими системами заключается в интерактивной последовательности формирования запросов и изучения их результатов.
Но динамические СППР могут действовать не только в области оперативной аналитической обработки OLAP. Поддержка принятия управленческих решений, на основе накопленных данных может выполняться в трех базовых сферах:
1. Сфера детализированных данных. Это область действия большинства систем, нацеленных на поиск информации. В большинстве случаев реляционные СУБД отлично справляются с возникающими здесь задачами. Общепризнанным стандартом языка манипулирования реляционными данными является SQL. Информационно-поисковые системы, обеспечивающие интерфейс конечного пользователя в задачах поиска детализированной информации, могут использоваться в качестве надстроек как над отдельными базами данных транзакционных систем, так и над общим хранилищем данных.
2. Сфера агрегированных показателей. Комплексный взгляд на собранную в хранилище данных информацию, ее обобщение и агрегация, гиперкубическое представление и многомерный анализ являются задачами систем оперативной аналитической обработки данных (OLAP). В основе концепции OLAP лежит принцип многомерного представления данных. В 1993 году Е. Ф. Кодд рассмотрел недостатки реляционной модели, в первую очередь указав на невозможность «объединять, просматривать и анализировать данные с точки зрения множественности измерений, то есть самым понятным для корпоративных аналитиков способом» и определил общие требования к системам OLAP, расширяющим функциональность реляционных СУБД и включающим многомерный анализ как одну из своих характеристик.
3. Аббревиатурой OLAP обозначается не только многомерный взгляд на данные, но и хранение самих данных в многомерной базе данных. Однако реляционные базы данных были, есть и будут наиболее подходящей технологией для хранения корпоративных данных. Необходимость существует не только в новой технологии баз данных, а, скорее, в средствах анализа, дополняющих функции существующих СУБД и достаточно гибких, чтобы предусмотреть и автоматизировать разные виды интеллектуального анализа, присущие OLAP.
Многомерное концептуальное представление (Multi-Dimensional Conceptual View) представляет собой множественную перспективу, состоящую из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных.
Одновременный анализ по нескольким измерениям определяется как многомерный анализ. Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения, где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению. Так, измерение Исполнитель может определяться направлением консолидации, состоящим из уровней обобщения «предприятие – подразделение – отдел – служащий». Измерение Время может даже включать два направления консолидации: «год – квартал – месяц – день» и «неделя – день», поскольку счет времени по месяцам и по неделям несовместим.
Можно ориентироваться на специальные многомерные СУБД или оставаться в рамках реляционных технологий. Во втором случае заранее агрегированные данные могут собираться в БД звездообразного вида, либо агрегация информации может производиться на лету в процессе сканирования детализированных таблиц реляционной БД.
4. Сфера закономерностей. Интеллектуальная обработка производится методами интеллектуального анализа данных (ИАД, Data Mining), главными задачами которых являются поиск функциональных и логических закономерностей в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии и (или) прогнозируют развитие некоторых процессов.
Data Mining – это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей (шаблонов информации). При этом накопленные сведения автоматически обобщаются до информации, которая может быть охарактеризована как знания.
В общем случае процесс ИАД состоит из трёх стадий:
ü выявление закономерностей (свободный поиск);
ü использование выявленных закономерностей для предсказания неизвестных значений (прогностическое моделирование);
ü анализ исключений, предназначенный для выявления и толкования аномалий в найденных закономерностях.
Иногда в явном виде выделяют промежуточную стадию проверки достоверности найденных закономерностей – между их нахождением и использованием (стадия валидации).
Все методы ИАД подразделяются на две большие группы по принципу работы с исходными обучающими данными.
В первом случае исходные данные могут храниться в явном детализированном виде и непосредственно использоваться для прогностического моделирования и (или) анализа исключений – это так называемые методы рассуждений на основе анализа прецедентов. Главной проблемой этой группы методов является затрудненность их использования на больших объемах данных, хотя именно при анализе больших хранилищ данных методы ИАД приносят наибольшую пользу.
Во втором случае информация вначале извлекается из первичных данных и преобразуется в некоторые формальные конструкции (их вид зависит от конкретного метода). Согласно предыдущей классификации, этот этап выполняется на стадии свободного поиска, которая у методов первой группы в принципе отсутствует.
Таким образом, для прогностического моделирования и анализа исключений используются результаты этой стадии, которые гораздо более компактны, чем сами массивы исходных данных. При этом полученные конструкции могут быть либо «прозрачными» (интерпретируемыми), либо «черными ящиками» (нетрактуемыми).
Оперативная аналитическая обработка и интеллектуальный анализ данных – две составные части процесса поддержки принятия решений. Но сегодня большинство систем OLAP заостряют внимание только на обеспечении доступа к многомерным данным, а большинство средств ИАД, работающих в сфере закономерностей, имеют дело с одномерными перспективами данных. Эти два вида анализа должны быть тесно объединены, то есть системы OLAP должны фокусироваться не только на доступе, но и на поиске закономерностей. Многие компании создали прекрасные хранилища данных, идеально разложив по полочкам горы неиспользуемой информации, которая сама по себе не обеспечивает ни быстрой, ни достаточно грамотной реакции на рыночные события.
Введен составной термин – «OLAP Data Mining» (многомерный интеллектуальный анализ) для обозначения такого объединения, или еще более простое название – «OLAP Mining», и предлагается несколько вариантов интеграции двух технологий.
Ø «Cubing then mining». Возможность выполнения интеллектуального анализа должна обеспечиваться над любым результатом запроса к многомерному концептуальному представлению, то есть над любым фрагментом любой проекции гиперкуба показателей;
Ø «Mining then cubing». Подобно данным, извлечённым из хранилища, результаты интеллектуального анализа должны представляться в гиперкубической форме для последующего многомерного анализа;
Ø «Cubing while mining». Этот гибкий способ интеграции позволяет автоматически активизировать однотипные механизмы интеллектуальной обработки над результатом каждого шага многомерного анализа (перехода между уровнями обобщения, извлечения нового фрагмента гиперкуба и т. д.).
К сожалению, очень немногие производители предоставляют сегодня достаточно мощные средства интеллектуального анализа многомерных данных в рамках систем OLAP. Проблема также заключается в том, что некоторые методы ИАД неприменимы для задач многомерного интеллектуального анализа, так как основаны на определении сходства детализированных примеров и не способны работать с агрегированными данными.
Резкое увеличение объемов корпоративных данных за последние несколько лет привело к проблемам обработки и своевременного анализа информации. В рамках идеологии открытых систем все чаще возникает потребность в использовании распределенных систем, в которых пользователь не зависит от физического нахождения информации, необходимой для работы, используя дешевые технологии Интернета и Интранета.
Широко распространенная и используемая технология динамической обработки транзакций (Online Transaction Processing) для реляционных баз данных ориентирована на поддержку большого количества пользователей, вызывающих простые запросы. В настоящее время аналитические департаменты крупных предприятий и корпораций испытывают потребность в применении технологий, позволяющих вызывать аналитические транзакции без снижения производительности систем.
Наиболее обсуждаемой и многообещающей является технология систем поддержки принятия решений (Decision Support System), ориентированная на более узкий круг пользователей (департамент, рабочая группа), чем OLTP-системы, и позволяющая выполнять сложные аналитические запросы без снижения скорости ответа системы.
Новая технология витрин данных (Data Marts), представляющих собой массивы тематической, узконаправленной информации, ориентирована на пользователей одной рабочей группы или департамента и предоставляет возможность сколь угодно глубокого и сложного анализа данных.
Естественным шагом явилась разработка программных и аппаратных комплексов, интегрирующих витрины данных для систем поддержки принятия решений. Данная технология позволяет корпорациям осуществить переход от традиционных OLTP-систем к DM-системам без существенных затрат на новое аппаратное обеспечение, производить построение витрин данных итерационно, в зависимости от потребностей аналитических служб и департаментов.
Одно из наиболее интересных и перспективных программных решений предоставлено корпорацией Oracle, выпустившей продукт Oracle Data Mart Suite, позволяющий создавать готовые DM-решения на основе уже используемых данных. С использованием технологий Интернета пользователи получают доступ к системам поддержки принятия решений вне зависимости от нахождения обрабатываемой информации.
4.2. CALS-технологии
В течение многих десятков лет общепринятой формой представления результатов интеллектуальной деятельности людей и инструментом их информационного взаимодействия являлась бумажная документация. Ее созданием были заняты (и заняты по сей день) миллионы инженеров, техников, служащих промышленных предприятий, государственных учреждений. С появлением компьютеров начали создаваться и широко внедряться для изготовления чертежей, спецификаций, технологической документации разнообразные средства и системы автоматизированного проектирования (САПР); системы автоматизированного управления производством (АСУП), назначенные для создания планов производства и отчетов о его ходе; офисные системы, служащие для подготовки текстовых и табличных документов.
К концу XX века стало ясно, что эти достаточно дорогостоящие средства не оправдывают возлагающихся на них надежд: разумеется, некоторое повышение производительности труда происходит, однако не в тех масштабах, которые прогнозировались. Дело в том, что они не решают проблем информационного обмена между различными участниками жизненного цикла изделия (заказчиками, разработчиками, производителями, эксплуатационниками). При переносе данных из одной автоматизированной системы в другую требуются большие затраты труда и времени для повторной кодировки; перекодировка заодно приводит к многочисленным ошибкам. Оказалось, что разные системы «говорят на разных языках» и плохо понимают друг друга. Более того, выяснилось, что бумажная документация и способы представления информации на ней ограничивают возможности использования современных ИКТ. Так, трехмерная модель изделия, создаваемая в современной САПР, вообще не может быть адекватно представлена на бумаге.
С другой стороны, по мере усложнения изделий происходит резкий рост объемов технической документации. Сегодня они измеряются тысячами и десятками тысяч листов, а по некоторым изделиям (например, кораблям) – тоннами. При использовании бумажной документации трудно отыскать необходимые сведения, внести изменения в конструкцию и технологии изготовления изделий. Возникает множество ошибок, на устранение которых затрачивается время. В результате резко снижается эффективность процессов разработки, производства, эксплуатации, обслуживания, ремонта сложных наукоемких изделий. Возникают трудности во взаимодействии заказчиков и производителей при подготовке и реализации контрактов, особенно при поставках сложной техники.
Для преодоления этих трудностей потребовались новые концепции и новые идеи. Базовой стала идея информационной интеграции стадий жизненного цикла продукции (изделия), которая и легла в основу CALS. Она состоит в отказе от «бумажной среды», в которой осуществляется традиционный документооборот, и переходе к интегрированной информационной среде, охватывающей все стадии жизненного цикла изделия. Информационная интеграция заключается в том, что все автоматизированные системы, применяемые на различных стадиях жизненного цикла, оперируют не с традиционными документами и даже не с их электронными отображениями (например, отсканированными чертежами), а с формализованными информационными моделями, описывающими изделие, технологии его производства и использования.
Эти модели существуют в интегрированной информационной среде как информационные объекты. Системы по мере необходимости могут извлекать их из интегрированной информационной среды, обрабатывать, создавать новые объекты и помещать результаты своей работы в ту же интегрированную информационную среду. Чтобы все это было возможно, информационные модели и информационные объекты должны быть стандартизованы.
Интегрированная информационная среда представляет совокупность распределенных баз данных, в которой действуют единые стандартные правила хранения, обновления, поиска и передачи информации, через которую осуществляется безбумажное информационное взаимодействие между всеми участниками жизненного цикла изделия. Однажды созданная информация хранится в интегрированной информационной среде, не дублируется, не требует перекодировок в процессе обмена, сохраняет целостность.
Очевидно, что такой подход представляет своего рода революцию в организации взаимодействия всех участников жизненного цикла сложных наукоемких изделий. Революционность подхода состоит в том, что многие поколения конструкторов, технологов, производственников воспитаны на основе совершенно другой культуры, базирующейся на сотнях стандартов ЕСКД, ЕСТД, СРПП, детально регламентирующих ведение дел с использованием бумажной документации. В условиях применения CALS эта культура должна претерпеть коренные изменения, поскольку:
ü появляются принципиально новые средства инженерного труда;
ü полностью изменяются организация и технология инженерных работ;
ü должна быть существенно изменена, то есть дополнена и частично переработана нормативная база; тысячи специалистов должны быть переучены для работы с новыми средствами труда.
Для подготовки и осуществления этой революции, сулящей многократное повышение эффективности процессов жизненного цикла изделий, необходимо создать новую культуру инженерной деятельности.
Первоочередной проблемой является формирование нормативно-правовой базы, узаконивающей новые способы и средства информационного обмена, заменяющего традиционный бумажный документооборот. Такую базу образуют стандарты и инструктивно-методические материалы, регламентирующие упомянутые способы и средства, форматы данных, их логическую структуру, процедуры информационного обмена, способы обеспечения легитимности данных. Это необходимо для того, чтобы электронные документы и данные имели ту же юридическую силу, что и обычные бумажные документы. Кроме того, одна из важнейших задач стандартизации в рассматриваемой сфере – обеспечение информационной совместимости различных автоматизированных систем.
К настоящему времени СALS-технологии образуют самостоятельное направление в области ИКТ.
Областями применения CALS являются:
§ совершенствование деятельности в области разнородных процессов, происходящих на всех этапах жизненного цикла продукции;
§ управление цепными поставками в течение всего жизненного цикла продукции (от создания концепции изделия до его утилизации);
§ электронную интеграцию организаций, участвующих в этих процессах на различных этапах жизненного цикла продукции;
§ управление поддержкой жизненного цикла продукции.
CALS-ориентированный подход внедряется заказчиками и поставщиками во многих отраслях промышленности – от автомобилестроения до предприятий ВПК, от здравоохранения до производственной сферы. Каждое из предприятий адаптирует принципы CALS-технологий. Отрасли находятся на различных стадиях внедрения CALS: от полной деинтеграции информации до разработки и широкой реализации CALS-технологий.
Для развития методологии CALS в США были созданы Управляющая промышленная группа по вопросам CALS (ISG) и ее исполнительный консультативный комитет. В настоящий момент в мире действует более 25 национальных организаций (комитетов или советов по CALS), в том числе в США, Японии, Канаде, Великобритании, Германии, Швеции, Норвегии, Австралии и других странах.
Основные усилия этих организаций направлены на создание разного уровня нормативной документации. За последние несколько лет разработаны следующие документы: ISO 10303 (Industrial automation systems and integration – Product data representation and exchange), ISO 13584 (Part Library), Def Stan 00-60 (Integrated Logistic Support), MIL-STD-2549 (Configuration Management. Data Interface), MIL-HDBK-61 (Configuration Management. Guidance), AECMA Specification 2000M (International Specification for Materiel Management Integrated Data Processing for Military Equipment), AECMA Specification 1000D (International Specification for Technical Data Publications, Utilizing a Common Source Data Base) и т. д.
В настоящее время в развитых странах CALS рассматривается как комплексная системная стратегия, непосредственно влияющая на конкурентоспособность предприятия.
Технологии, стандарты и программно-технические средства CALS обеспечивают эффективный и экономичный обмен электронными данными и безбумажными электронными документами, предоставляя возможности:
Ø параллельного выполнения сложных проектов несколькими рабочими группами (параллельный инжиниринг), что существенно сокращает время разработок;
Ø планирования и управления многими предприятиями, участвующими в жизненном цикле продукции, расширения и совершенствования кооперационных связей (электронный бизнес);
Ø резкого сокращения количества ошибок и переделок, что приводит к уменьшению сроков реализации проектов и существенному повышению качества продукции;
Ø распространения средств и технологий информационной поддержки на послепродажные стадии жизненного цикла.
На экономические показатели предприятий, применяющих CALS-технологии, непосредственно влияют:
w сокращение затрат и трудоемкости процессов технической подготовки и освоения производства новых изделий;
w сокращение сроков вывода на рынок новых конкурентоспособных изделий;
w сокращение брака и затрат, связанных с внесением изменений в конструкцию;
w увеличение объемов продаж изделий, снабженных электронной технической документацией (в частности, эксплуатационной), составленной в соответствии с требованиями международных стандартов;
w сокращение затрат на эксплуатацию, обслуживание и ремонт изделий («затрат на владение»), которые для сложной наукоемкой продукции подчас не меньше затрат на закупку.
В публикациях можно отыскать некоторые количественные оценки эффективности внедрения CALS в промышленности США:
- прямое сокращение затрат на проектирование – от 10 до 30 %;
- сокращение времени разработки изделий – от 40 до 60 %;
- сокращение времени вывода новых изделий на рынок – от 25 до 75 %;
- сокращение доли брака и объема конструктивных изменений – от 20 до 70 %;
- сокращение затрат на подготовку технической документации – до 40 %;
- сокращение затрат на разработку эксплуатационной документации – до 30 %.
По зарубежным данным, потери, связанные с несовершенством информационного взаимодействия с поставщиками, только в автомобильной промышленности США составляют порядка 1 млрд долл. в год. Аналогичные потери имеют место и в других отраслях промышленности. Указывается, что затраты на разработку реактивного двигателя GE 90 для самолета «Боинг-777» составили 2 млрд долл., а разработка новой модели автомобиля компании «Форд» стоит от 3 до 6 млрд долл. Это означает, что экономия от снижения прямых затрат на проектирование только по двум указанным объектам может составить от 500 млн до 2,2 млрд долл.
Как видим, внедрение CALS-технологий приводит к существенной экономии и получению дополнительной прибыли. Поэтому эти технологии и их отдельные компоненты широко применяются в промышленности развитых стран. Так, из числа 500 крупнейших мировых компаний, входящих в перечень «Fortune 500», почти 100 % используют такой важнейший компонент CALS, как средства PDM (Product Data Management – «управление данными об изделии»). Среди предприятий с годовым оборотом свыше 50 млн долл. такие системы используют более 80 %.
В связи с большими объемами ожидаемой экономии и дополнительных прибылей в эту сферу привлекаются значительные инвестиции, измеряемые миллиардами долларов. По данным зарубежных источников, инвестиции правительства США в сферу CALS-технологий составляют около 1 млрд долл. в год. Затраты других стран меньше, однако, например, правительство Финляндии затратило на национальную программу в этой области свыше 20 млн долл., и примерно такую же сумму (около 25 млн долл.) вложили частные компании. Средние затраты на один проект, посвященный решению локальной задачи в области CALS-технологий (например, разработка стандарта или программы), составляют 1,2– 1,5 млн долл. при среднем сроке выполнения от двух до четырех лет. | 
