Скопировать ссылкуПриведем определение процесса, данное в стандарте ISO 9000:2005 [1].
Процесс – совокупность взаимосвязанных или взаимодействующих видов деятельности, преобразующих «входы» в «выходы». [1]
Применение системы процессов в организации, включая идентификацию и взаимодействие этих процессов и управление ими для получения требуемого результата могут рассматриваться как процессный подход. [2]
Многие специалисты сходятся во мнении, что данные определения являются очень широкими. Это неслучайно. Управление процессами, происходящими в системе, возможно только в рамках какой-то формальной модели. При этом модель процесса может существовать в голове у менеджера, а может быть построена на строгих алгоритмах управления, как, например, АСУТП. От того, как будет построена модель системы и определено понятие процесса в системе, зависит выбор стратегии управления как отдельными процессами, так и всей системой.
Процессный подход широко используется в математической теории оптимального управления для исследования задач, решения которых включают процессы статической или динамической оптимизации, а соответствующие проблемные ситуации допускают интерпретацию в терминах пошаговой процедуры принятия наилучшего решения. Классический подход к теории управления основан на предположении, что существуют корректная математическая модель процесса и точная, аналитически заданная форма функциональной зависимости входных и выходных сигналов системы с последующим уточнением значений входящих в нее коэффициентов.
В качестве примера общей модели управляемого процесса, т.е. процесса, для которого имеется возможность выбирать какие-то параметры, влияющие на его ход, рассмотрим многошаговый процесс принятия решений, предложенный американским математиком Ричардом Беллманом, основоположником теории динамического программирования (динамической оптимизации) [3].
Пусть R – пространство состояний системы, функция T(p) – преобразование, переводящее точку p из пространства состояний системы в другую точку p1 из R: p1 = T(p).
Тогда бесконечная последовательность состояний системы [p, p1, …, pn, …], где p0 = p и pn+1 = T(pn), n= 0, 1, 2,… есть история системы, наблюдаемая в дискретные моменты времени или многошаговый процесс.
Расширим понятие многошагового процесса, предположив, что на каждом шаге мы можем управлять переходами системы из состояния p в состояние p1 с помощью вектора q: p1 = T(p, q), где значения вектора q выбираются из набора допустимых векторов S(q). Вектор q называется вектором решения, и выбор вектора q называется решением или шаговым управлением.
Простейший N-шаговый процесс принятия решений есть последовательность векторов состояния и векторов управления [(p, q), ( p1, q1), …, (pn, qn)], где pn+1 = T(pn, qn) для всех n.
Пусть, помимо функции перехода процесса из состояния в состояние, у нас также задана скалярная функция критерия или функция дохода, которая зависит от всех состояний процесса [p, p1, …, pn] и всех выбранных пошаговых управлений (решений) [q, q1, …, qn]. Назовем последовательность пошаговых управлений [q, q1, …, qn] стратегией. Стратегия, максимизирующая функцию дохода, называется оптимальной стратегией или оптимальным управлением.
Будем рассматривать только системы, которые обладают свойством отсутствия последействия, т.е. последующее состояние, в котором оказывается система после выбора решения на k-м. шаге, зависит только от данного решения и исходного состояния к началуk-го шага. Кроме того, предположим, что если структура функции дохода такова, что оптимальное управление на каждом шаге зависит только от текущего состояния системы, то оптимальную стратегию можно определить исходя из принципа оптимальности Беллмана [3].
Принцип оптимальности. Оптимальная стратегия обладает тем свойством, что, каковы бы ни были первоначальное состояние и первоначальное решение, последующее решение должно определять оптимальную стратегию относительно состояния, полученного в результате первоначального решения.
Если в качестве функции дохода использовать аддитивную функцию, где общий выигрыш складывается из суммы выигрышей по всем шагам, то принцип выбора оптимальных пошаговых управлений формулируется так: «Каково бы ни было состояние системы перед очередным шагом, надо выбрать управление на этом шаге так, чтобы выигрыш на данном шаге плюс оптимальный выигрыш на всех последующих шагах был максимальным». Используя это соображение, можно записать основное рекуррентное соотношение динамического программирования (функциональное уравнение Беллмана), позволяющее получить как аналитически, так и численно оптимальную стратегию и максимальный доход.
Перечислим еще раз основные требования, позволяющие применить данный подход:
- объектом исследования должна служить управляемая система с заданными допустимыми состояниями и допустимыми управлениями;
- задача должна позволять интерпретацию как многошаговый процесс, каждый шаг которого состоит из принятия решения о выборе одного из допустимых управлений, приводящих к изменению состояния системы;
- состояния системы на каждом шаге должны описываться одинаковым набором параметров;
- задача не должна зависеть от количества шагов;
- последующее состояние, в котором оказывается система после выбора решения на k-м. шаге, зависит только от данного решения и исходного состояния к началу k-го шага;
- для каждых двух последовательных состояний системы существует известная функциональная зависимость, зависящая от выбранного управления.
Областью приложения процессного подхода в менеджменте, как правило, являются сложные корпоративные структуры, которые относятся к плохо формализуемым системам. Невозможность получения точной аналитической зависимости между входами и выходами в таких системах обусловлено наличием большого количества неизвестных свойств системы, при этом в процессе функционирования у системы могут изменяться уже существующие свойства и появляться новые. Более точно, плохо формализуемые системы обладают следующими признаками.
1. Не все цели управления объектом могут быть выражены в виде количественных соотношений.
2. Между рядом параметров, оказывающих влияние на процесс принятия решения, невозможно установить точные аналитические зависимости.
3. Процесс принятия решения является многошаговым недетерминированным процессом, содержание и последовательность шагов которого однозначно не определены и могут варьироваться в широких пределах. Полное параметрическое описание объекта и протекающих в нем процессов приводит к катастрофическому усложнению модели, которое исключает ее практическое использование.
Но главным отличием корпоративных структур от прочих плохо формализуемых объектов является то, что протекающие в них процессы так или иначе связаны с интеллектуальной деятельностью человека – эксперта в конкретной предметной области, в дальнейшем именуемого лицом, принимающим решение (ЛПР). Человек – ЛПР включен в контур управления процессами, поэтому, для снижения риска «человеческого» фактора и оптимизации повторяющихся процессов, возникает задача передачи ряда управляющих функций автоматизированным системам управления. Для решения подобных задач в последнее время активно развивается «неклассический» подход к теории управления, основанный на методах искусственного интеллекта (ИИ).
Большинство систем ИИ используют ту или иную модель представления знаний. Различают логические (формальные) и эвристические (формализованные) модели представления знаний. Главное отличие между ними заключается в том, что эвристические модели содержат знания из конкретных прикладных областей и являются проблемно-ориентированными. Особенностью таких моделей является разделение между стандартными вычислительными компонентами: данными, операциями и системой управления [4]. Иными словами, можно выделить:
- описание пространства состояний системы;
- набор допустимых операций, переводящих систему из состояния в состояние;
- стратегию управления процессом преобразований системы.
Целью управления в эвристической модели является не достижение любого состояния системы за конечное время, но достижение из начального состояния системы любого целевого состояния за реальное время. Требования ко времени связаны с тем, что в реальных задачах пространства состояний, как правило, имеют астрономические размеры, что делает невозможным применение неинформированных стратегий, основанных на переборе всех или почти всех возможных состояний.
Так, например, Стаффорд Бир для системы из семи взаимосвязанных элементов приводит следующие характеристики: «Если определить состояние системы видом цепей, в котором каждая из этих связей реализована или отсутствует (что, вообще говоря, не является достаточно исчерпывающим описанием этих связей), то число различных состояний, в которых может находиться система, составляет 242» [5]. Поясним смысл приведенной цитаты.
Различные цепи из семи взаимосвязанных элементов – это различные ориентированные графы с семью вершинами. Подсчитаем, сколько различных орграфов можно построить на семи вершинах. В орграфе каждая вершина может быть соединена направленным ребром со всеми оставшимися. Первую вершину выбираем семью способами, вторую – шестью способами. Таким образом, в семивершинном орграфе может быть максимально 7*6 = 42 направленных ребра. Первое ребро можно включить или не включить в орграф (два способа). Независимо от него второе ребро тоже включается или не включается в орграф двумя способами. Итого получаем 2*2*…*2 = 2 в 42 степени различных орграфов.
В данной работе рассматривается применение эвристических моделей для создания процессной модели управления, а также возникающие при этом проблемы.
1. Модель «Пространство Состояний»
1.1 Описание пространства состояний
Одной из самых простых эвристических моделей для решения задач ИИ является классическая модель «Пространство состояний» [4]. Эта модель, с одной стороны, является универсальной и подходит для многих классов задач, с другой стороны, при удачном выборе стратегии управления позволяет найти эффективное решение, то есть найти способ перевести систему из начального состояния в целевое за реальное время. Данная модель применима к любым системам, имеющим дискретное пространство состояний, возможно, бесконечное.
Суть этой модели сводится к следующему. Известно начальное состояние системы и задано целевое условие, по которому определяются целевые (терминальные) состояния. Имеется конечный набор разрешенных ходов (допустимых операций), переводящих систему из одного состояния в другое. С каждым переходом из состояния в состояние связана стоимость (или вектор стоимостей). Решением задачи в данной модели является путь от начального состояния системы до одного из целевых, желательно имеющий наименьшую стоимость. Применительно к процессному подходу это означает, что любое текущее состояние системы описывается конечным числом параметров Входов и Выходов, Ресурсов и самого Процесса. В результате выполнения Процесса вся система переходит из начального в целевое состояние, описанное теми же параметрами, но имеющими другие значения.
Определение 1. Пространство состояний — ориентированный граф, вершины которого соответствуют состояниям задачи, дуги — возможным переходам из состояния в состояние. Дугам приписана вещественная стоимость. Имеется выделенная начальная вершина и целевое условие, по которому определяется множество конечных вершин. Решению задачи соответствует путь в графе от начальной до любой конечной вершины.
Рассмотрим пример практического применения эвристической модели «Пространство состояний» для оперативного планирования работы склада готовой листопрокатной продукции металлургического предприятия [6-7].
Пример 1. «Склад готовой листопрокатной продукции». Склад готовой продукции состоит из нескольких параллельных линий, стандартных прямоугольных ячеек одинаковой площади и конфигурации. К каждой линии приписан мостовой кран ограниченной грузоподъемности. На складе идут два технологических процесса – Процесс размещения и Процесс отгрузки заказа. Минимальный элемент операции размещения (отгрузки) – пачка – обладает следующими признаками: типоразмером (маркой стали, длиной, шириной, толщиной); ГОСТом; массой, а также датой размещения (отгрузки). Пачки складируются в штабеля, расстояние между двумя соседними штабелями должно быть не менее 1 м. Высота штабеля ограничена и зависит от типоразмера составляющих его пачек. Отгрузка заказа осуществляется строго по типоразмеру и ГОСТу.
Оперативное планирование размещения (отгрузки) заказа должно удовлетворять следующим критериям оптимизации.
1. Группировать продукцию одного типоразмера и ГОСТа в общих штабелях, динамически меняя количество таких штабелей и их расположение на складе согласно изменяющемуся сортаменту.
2. Набирать отгружаемый заказ с точностью ±2000кг.
3. При отгрузке заказа максимально освобождать рабочее пространство склада.
4. При отгрузке заказа минимизировать количество перекладываний пачек, не вошедших заказ.
Представим склад в виде эвристической модели из трех основных компонент: «Пространство состояний», «Допустимые операции» и «Стратегия поиска» (рисунок 1).
Не затрагивая организационно-экономические аспекты хранения, для упрощения демонстрационного примера примем, что в нашей модели состояние склада полностью определяется:
- списком и расположением штабелей;
- списком пачек внутри каждого штабеля.
Объектом оперативного планирования является текущий размещаемый (отгружаемый) заказ, начальным состоянием задачи является состояние склада до выполнения операции размещения (отгрузки) заказа, целевым – после ее выполнения. Исполнителем допустимых операций является мостовой кран ограниченной грузоподъемности.
Возможны три типа допустимых операций:
- размещение пачки или в пустом штабеле, или поверх существующего штабеля с учетом ограничения на высоту штабеля;
- перекладывание пачки, взятой с верха непустого штабеля на другой штабель;
- удаление (отгрузка) верхней пачки штабеля.
Каждой операции приписывается сумма неких условных «штрафных» и «премиальных» стоимостей, которые впоследствии будут играть роль настроечных констант для эвристических алгоритмов (таблица 1). Требуется сформировать план размещения (отгрузки) заказа минимальной стоимости.
Как уже было отмечено, оптимальному решению задачи в модели «Пространство состояний» соответствует путь минимальной стоимости от начального до одного из целевых состояний. Выбор пути – дело стратегии управления поиском. Различают два основных типа стратегий – неинформированный и информированный (эвристический) поиск.
1.2 Неинформированные и информированные стратегии управления
Если вершина для продолжения текущего пути всякий раз выбирается по заранее заданной схеме или алгоритму, то это неинформированный поиск. При неинформированном поиске дерево поиска растет во всех направлениях, в результате чего просматривается много вершин пространства состояний. Как уже отмечалось, для реальных задач пространство состояний имеет астрономические размеры, что делает невозможным применение неинформированных стратегий, основанных на переборе всех или почти всех возможных состояний.
Для многих задач имеется возможность целенаправленно управлять поиском, используя информацию из предметной области задачи. Если на каждом шаге для выбора следующего состояния используется информация из предметной области задачи, то это эвристический, или информированный поиск. Существует большое количество различных эвристических стратегий [8], в которых информация из предметной области имеет вид числовой оценочной функции, определенной на пространстве возможных состояний. Принято выбирать эту функцию таким образом, чтобы вершина с меньшей оценкой находилась ближе к целевой вершине. Эвристический поиск на каждом шагу выбирает для продолжения вершину, наиболее перспективную с точки зрения достижения цели. За счет этого удается сфокусировать рост дерева поиска в направлении, близком к целевой вершине и решить задачу за приемлемое время. Успех такой стратегии управления целиком и полностью зависит от выбора эвристической оценочной функции – чем удачнее эвристическая оценка, тем эффективнее стратегия управления поиском.
Например, для Примера 1 оценка состояния склада вычисляется следующим образом. Стоимость склада равна сумме стоимостей непустых штабелей. Если в штабеле ровно одна пачка, то его стоимость равна нулю. Если в штабеле хотя бы две пачки, то двигаемся сверху вниз, и суммируем стоимости размещения каждой пары пачек – первой и второй, второй и третьей и т.д. Стоимость размещения одной пачки поверх другой вычисляется согласно таблице 1: если пачки имеют одинаковый типоразмер и ГОСТ, то стоимость отрицательна и равна -1, иначе начисляется сумма штрафных стоимостей. Таким образом, чем меньше эвристическая оценочная стоимость состояния склада, тем больше пачек уложены строго по типоразмеру и ГОСТу, и тем лучше выполнены критерии оптимизации.
Определение 2. Общая схема решения задачи с помощью модели «Пространство состояний» включает в себя три компонента: Пространство состояний, Набор допустимых операций и Стратегию управления поиском.
1.3 Что есть Процесс в пространстве состояний?
Дадим строгое математическое определение Процесса в рамках модели «Пространство состояний».
Определение 3. Пусть задан способ описания состояний системы и набора допустимых операций, переводящих систему из состояния в состояние. Также заданы выделенное начальное состояние и целевое условие, по которому определяется множество конечных состояний. Процессу соответствует путь в орграфе пространства состояний от начальной до любой целевой вершины.
Проверим, согласуется ли такое определение процесса с тем смыслом, который серия стандартов ISO 9000 вкладывает в термин «Процессный подход к управлению».
На рисунке 2 [9] изображена простейшая схема процесса, соответствующая требованиям стандартов ISO серии 9000. Описание пространства состояний должно включать все параметры, необходимые для автоматизации управления процессом, как внутрисистемные, так и внешние (Поставщики, Потребители, Вышестоящее руководство и т.д.).
Схема процессного подхода к управлению на рисунке 2 состоит из четырех блоков, причем эти блоки можно разделить на технологическую составляющую «Создание продукции» и управленческую составляющую – «Менеджмент ресурсов», «Ответственность руководства» и «Измерение, анализ и улучшение». Рассмотрим отдельно технологическую и управленческую составляющие процессного подхода к управлению на предмет их соответствия рассматриваемой модели «Пространство состояний».
1.4 Технология выполнения процесса. В поисках универсального языка
Технология выполнения процесса, как правило, уже существует в различных нормативных документах и технических инструкциях, регламентирующих ход процесса. В Примере 1 «Технология выполнения процессов размещения и отгрузки» включает в себя описание геометрии рабочего пространства склада, перечисление сортамента готовой продукции, описание исполнителей допустимых операций и технологических ограничений и ресурсов, необходимых для их выполнения. На первый взгляд, мы уже располагаем всем необходимым для построения модели процессов. Любой план размещения (отгрузки) заказа без грубых нарушений технологии будет соответствовать какому-то допустимому Процессу в пространстве состояний склада. Формирование плана – дело стратегии управления поиском. При удачном выборе стратегии получим план, хотя бы частично удовлетворяющий заданным критериям оптимизации.
К сожалению, не все так просто. Для построения модели Процесса, согласно определению три, необходимо иметь некий способ описания состояний системы и набора допустимых операций, т.е. формальный язык, от выбора которого зависит очень многое, в частности, выбор стратегии, управляющей формированием оптимального (по возможности) плана. В примере со складом любая из трех допустимых операций (размещение, перекладывание, отгрузка пачки) использует один и тот же ресурс, имеет одинаковую длительность и требует одинаковых затрат. Но в модели пространства состояний операциям приписывается условная стоимость – аддитивная функция «штрафов» за нарушение технологических ограничений и «премий» за следование критериям оптимизации. Такой способ вычисления стоимости операций имеет много преимуществ, например, дает возможность Владельцу процесса выбирать приоритеты критериев оптимизации и даже формировать планы с небольшими нарушениями технологии, при невозможности найти допустимое решение, удовлетворяющее всем технологическим ограничениям.
Однако воспользоваться этим формальным языком для моделирования работы склада во всех аспектах, включая экономические, нельзя, хотя сам принцип замены технологических ограничений и критериев оптимизации на условные «штрафо-премиальные» стоимости допустимых операций является довольно универсальным и может быть использован для решения многих задач, не имеющих отношения ни к складам, ни к листопрокатному производству. Способ описания пространства состояний в эвристической модели склада является примером так называемого custom-made подхода, т.е. разработкой, сделанной математиком-постановщиком на заказ для одной конкретной задачи.
Таким образом, мы констатируем первую нерешенную (возможно, и неразрешимую) проблему, связанную с описанием и моделированием процессов – отсутствие универсального языка, одновременно пригодного для описания пространства состояний любой системы и удобного для последующего применения любой стратегии управления.
Возможно, с течением времени эта проблема найдет свое решение до некоторого уровня детализации процессов. Чем, в конечном счете, являются сами стандарты серии ISO, балансирующие на грани «универсальность – подробность», как не попыткой дать единый универсальный язык современным строителям Вавилонской башни технического прогресса. Чуть подробнее – и модель теряет универсальность, чуть универсальнее – исчезает практическая ценность, остаются только общие слова. Именно с этим и связана основная проблема в понимании и применении стандартов ISO серии 9000.
Выбор языка для описания пространства состояний задачи, бесспорно, является очень важной частью создания модели процесса, но это только надводная часть айсберга. Главной проблемой все же является выбор оптимальной стратегии управления, а также возможность адаптировать эту стратегию к динамическим изменениям состояния задачи. Для этого рассмотрим Систему управления процессом (рисунок 2), состоящую из Менеджмента ресурсов, Измерения, анализа и улучшения, а также области Ответственности руководства.
1.5 Система управления процессом или О чем размышляют роботы?
В первом приближении управление процессом заключается в том, что Владелец Процесса непрерывно или с установленной периодичностью контролирует ход процесса и принимает управленческие решения в случаях отклонения параметров Процесса от границ, установленных для нормального хода Процесса.
Владелец Процесса в ходе управления планирует (Plan) распределение ресурсов для достижения поставленных целей Процесса с максимальной эффективностью. В ходе выполнения (Do) Процесса владелец проверяет (Check) ход Процесса по информации, которая поступает с контрольных точек. Владелец Процесса ведет управление Процессом, корректируя (активно вмешиваясь в ход Процесса (Act)), изменяя запланированное распределение ресурсов, меняя планы, сроки и требования к результатам Процесса, в соответствии с изменившейся ситуацией. Деятельность Владельца Процесса носит циклический характер при нормальном ходе Процесса или апериодический (проектный), в случаях возникновения проблемных ситуаций, требующих вмешательства Вышестоящего руководителя.
Прежде чем совмещать деятельность по управлению процессом с моделью Пространство состояний, выясним смысл термина «Владелец процесса».
Владелец процесса – должностное лицо или коллегиальный орган, который имеет в своем распоряжении ресурсы процесса, информацию о процессе, управляет ходом процесса и несет ответственность за результат процесса перед вышестоящим руководителем.
Вышестоящий руководитель – должностное лицо, которое несет ответственность за результаты и планирует результаты сети процессов или ее части, ведет анализ информации о результатах сети или ее части, и принимает управленческие решения для достижения максимальной эффективности этих результатов.
Владелец Процесса, как правило, получает плановые задания и показатели Процесса от Вышестоящего руководителя. Владелец Процесса регулярно отчитывается перед Вышестоящим руководителем о ходе Процесса, предлагает Вышестоящему руководителю мероприятия, которые целесообразны для Процесса, но выходят за границы компетенции и ресурсов (бюджета) Владельца процесса.
Кому или чему соответствуют Владелец Процесса и Вышестоящий руководитель в общей схеме процесса в модели пространства состояний? Напомним, что, согласно определению три, общая схема процесса включает в себя три компонента – Пространство состояний, Набор допустимых операций и Стратегию управления поиском. Описание пространства состояний и набора допустимых операций полностью задает Технологию выполнения процесса. Если целевое условие (результат) процесса, а также критерии оптимизации процесса не определены в нормативных технологических документах, или имеется выбор из набора альтернатив, то их определяет Вышестоящий руководитель. После того как цели процесса определены, на долю Владельца процесса или Лица, принимающего решение (ЛПР) остается выбор стратегии управления поиском.
Так, в Примере 1 Владельцем процессов размещения и отгрузки готовой продукции является мастер адъюстажа. При желании его функции по управлению процессами размещения и отгрузки можно частично или полностью передать автоматизированному рабочему месту (АРМу) мастера адъюстажа, в основе которого лежат несколько оригинальных эвристических алгоритмов, автоматически генерирующих планы размещения и отгрузки [6-7].
До этого места общая схема процесса в модели пространства состояний соответствовала схеме процессного подхода (рисунок 2). В модуле Act осуществлялся выбор стратегии управления, в модуле Plan – составление плана действий (последовательности допустимых операций, переводящих систему из начального состояния в целевое), в модуле Do – его выполнение. Такой тип управления применяется в разомкнутых системах (без контура обратной связи) для управления детерминированными многошаговыми процессами принятия решений и заключается в жестко заданной программе управления. В таких системах управление осуществляется без контроля результата, основываясь лишь на модели управляемого объекта, изначально заложенной в систему.
Если цель управления связывается с достижением заданных комплексных показателей качества, и функционирование системы происходит в стохастической и динамически изменяющейся среде, то к системе управления предъявляются более высокие требования. Во-первых, в процессе функционирования система должна изменять значения отдельных параметров системы управления (например, веса штрафов и премий в эвристической модели склада), настраиваясь под изменения входных данных; во–вторых, должна менять саму структуру управления, приспосабливаясь к изменениям во внешней среде. К системам такого класса относятся адаптивные системы, которые делятся на самонастраивающиеся, самоорганизующиеся и самообучающиеся. Функционирование таких систем основано на принципе обратной связи, которая, в общем случае, является дополнительной информацией, которую объект получает в результате своей деятельности (рисунок 3).
Наиболее широкими возможностями в плане изменения структуры своей системы управления обладают самообучающиеся системы, улучшающие алгоритмы своего функционирования на основе анализа опыта управления. Для того, чтобы рассмотреть возможности таких систем с точки зрения автоматизации процессов и передачи функций управления от человека к специализированному программному обеспечению, обратимся к модели Интеллектуального агента [10], действующего во внешней среде, и являющегося обобщением модели поиска в пространстве состояний.
2. Модель «Интеллектуальный агент»
2.1 Типы агентов и концепция рациональности
Интеллектуальный агент [10] – робот или программа, предназначенные для действия в среде. Кроме того, агентов можно использовать как инструмент для анализа систем. Все агенты воспринимают некоторые входные данные и возвращают выбранный вариант действия. Задача Интеллектуального агента – функционировать под автономным управлением, получать из среды данные путем актов восприятия, существовать в течение продолжительного времени, адаптироваться к изменениям среды и уметь достигать цели, поставленные другими.
Например, программный бот, предназначенный для сбора в Internet интересующей клиента информации, должен уметь обрабатывать тексты на естественном языке, в процессе обучения определить интересы заказчика, приспосабливаться к изменениям среды, например, к закрытию одних источников информации и появлению новых.
При конструировании агентов обычно используют упрощающие допущения. Для робота–контролера деталей, проходящих мимо него на ленточном конвейере, предполагают, что освещение всегда включено; единственным наблюдаемым объектом является деталь известного ему типа; существует только два допустимых действия – принять деталь или забраковать.
Поведение агента принято оценивать с помощью показателей производительности.
Определение 4. Для каждой возможной последовательности актов восприятия рациональный агент должен выбрать действие, которое максимизирует показатели его ожидаемой (не фактической!) производительности, с учетом фактов, полученных из последовательности внешних актов восприятия и всех внутренних встроенных знаний.
Различие между ожидаемой и фактической производительностью зависит от типа среды. В полностью наблюдаемой среде агент знает результат своих действий до того, как он их совершил, поэтому фактическая производительность совпадает с ожидаемой. Рассмотренная выше модель «Пространство состояний» неявно предполагала, что пространство состояний имеет астрономически большие размеры, но при этом является полностью наблюдаемым. В частично наблюдаемой среде рациональный агент может только прогнозировать результат своего действия, поэтому выбирает действие, приводящее к лучшему прогнозируемому результату. Важной составляющей рационального поведения являются сбор информации и исследование ситуации в неизвестной среде.
Понятие «производительность» в общем случае определить нельзя, но существует общее правило, что показатели производительности следует разрабатывать в соответствии с тем, чего мы хотим добиться в данной среде, а не с тем, как, по мнению проектировщика, должен вести себя агент.
Будем считать, что описание пространства состояний системы состоит из описания внешней среды, датчиков, исполнительных механизмов и показателей производительности агента. Среда классифицируется по следующим признакам: полностью или частично наблюдаемая; эпизодическая (нет эффекта последействия, как в рассмотренных ранее многошаговых процессах принятия решения [3]) или последовательная (текущее решение может повлиять на все последующие), детерминированная (новое состояние среды полностью определяется ее текущим состоянием и выполненным агентом действием) или стохастическая, статическая или динамическая (изменяется в ходе принятия решения), полудинамическая (сама среда не меняется, но изменяются критерии производительности агента), дискретная или непрерывная, одноагентная или многоагентная (конкурентная или частично кооперативная). В конкурентной среде максимизация показателей производительности одного агента приводит к минимизации показателей производительности другого агента. Наиболее сложным вариантом среды является частично наблюдаемая, последовательная, стохастическая, динамическая, непрерывная, конкурентная многоагентная среда.
Например, робот-сортировщик деталей действует в частично наблюдаемой, стохастической, эпизодической, динамической, дискретной, одноагентной среде. Поскольку входные данные от цифровых камер поступают дискретно, то с некоторым упрощением можно считать, что среда является дискретной, хотя скорость ленты может изменяться во времени в определенном диапазоне непрерывных значений.
Производительность агента принято подсчитывать на основе многих сценариев, сгенерированных для определенного класса среды. Рациональный агент максимизирует свою среднюю ожидаемую производительность по всем выбранным сценариям.
Интеллектуальные агенты имеют следующие типы:
- простые рефлексные агенты;
- рефлексные агенты, основанные на модели;
- агенты, действующие на основе цели;
- агенты, действующие на основе полезности.
Любого агента из вышеперечисленных типов можно преобразовать в обучающегося агента с обратной связью.
Простые рефлексные агенты
Последовательность актов восприятия агента – полная история того, что было когда-либо воспринято агентом. В общем случае выбор агентом действия в любой конкретный момент времени зависит не только от текущего восприятия, но и от всей истории. Простой рефлексный агент выбирает действие только на основе текущего акта восприятия, игнорируя всю предыдущую историю. Алгоритм его функционирования основан на встроенных правилах типа «условие – действие», устанавливающих соответствие между актом восприятия и последующим действием. Если среда полностью наблюдаема, то путем обучения поведение простого рефлексного агента можно сделать рациональным, как будет показано ниже, в Примере 2.
Рефлексные агенты, основанные на модели
Эффективным способом организации функционирования рефлексного агента в частично наблюдаемой среде является запоминание всей истории актов восприятия. Для этого агент должен иметь внутреннее состояние, зависящее от истории предыдущих актов восприятия. Действие агента зависит не только от текущего восприятия, но и от его внутреннего состояния, и после каждого акта восприятия агент переходит в новое состояние.
Агенты, основанные на цели
Рациональное поведение агента должно преобразовывать среду к желаемому целевому состоянию, поэтому агенту нужны знания о цели. Если в программах рефлексных агентов встроенные правила «условие – действие» устанавливают непосредственное соответствие между восприятиями и действиями, то целевые агенты – это планирующие агенты, они осуществляют поиск целевого состояния путем планирования последовательности действий. Такой агент действует медленнее рефлексивного, но более гибко. Чтобы заставить его изменить поведение, нужно просто изменить цель, для изменения поведения рефлексивного агента нужно переписать все или почти все встроенные правила.
Агенты, основанные на оценочной функции полезности
Цели позволяют провести лишь жесткое бинарное разграничение между состояниями, поэтому любой рациональный агент должен обладать эвристической функцией полезности, чтобы оценивать каждое состояние мира одним числом. Примером такого агента может служить АРМ мастера адъюстажа из Примера 1.
Оценочная функция позволяет принимать решения в ситуациях, когда этого не позволяют сделать цели. Во-первых, когда имеются конфликтующие цели, например, скорость и безопасность, функция полезности позволяет найти приемлемый компромисс. Во-вторых, для нескольких целей функция полезности позволяет найти взвешенную оценку вероятности успеха с учетом важности целей.
Агент, обладающий явно заданной функцией полезности, имеет возможность принимать рациональные решения с помощью стратегии управления, не зависящей от вида конкретной оценочной функции. Модель агента, основанного на полезности и действующего в полностью наблюдаемой среде, полностью соответствует рассмотренной выше модели Пространство состояний.
Разграничим понятия «производительности» и «полезности». У рефлексных агентов нет функции полезности, и явно не задана цель. У агентов, основанных на цели, нет явно заданной функции полезности. Агентам такого типа внешний стандарт производительности заменяет цель и оценочную функцию полезности, позволяя обучаться при наличии обратной связи от внешнего критика.
Таким образом, рациональный агент действует так, чтобы максимизировать свою ожидаемую производительность. Если проектировщик снабдил агента оценочной функцией полезности, то рациональный агент действует так, чтобы максимизировать ожидаемое значение полезности.
2.2 Обучающиеся агенты
Идея создавать обучающиеся машины принадлежит Алану Тьюрингу [11]. Обучение позволяет агенту функционировать в неизвестной среде и становится все более компетентным. Начальная конфигурация агента может содержать некоторые данные о среде, заложенные туда проектировщиком, но, по мере приобретения агентом опыта, эти знания могут модифицироваться и пополняться. Если степень, в которой агент полагается на априорные знания своего проектировщика, слишком высока, то такой агент обладает недостаточной автономностью и не готов действовать в непредвиденных ситуациях. После достаточного опыта существования в среде поведение рационального обучающегося агента может стать независимым от его начальных априорных знаний.
Все уже рассмотренные нами типы агентов состояли только из производительного компонента (датчики, исполнительные механизмы, описание проблемной среды, описание показателей производительности агента и программа, реализующая функцию агента). Агента любого типа можно сделать обучающимся, добавив к нему обучающий компонент (рисунок 4 [10]).
Определение 5. Обучающий компонент использует информацию обратной связи от внешнего критика и определяет, каким образом должен быть модифицирован производительный компонент. Критик сообщает обучающему компоненту, насколько хорошо действует агент с точки зрения внешнего стандарта производительности. Важно, чтобы стандарт производительности был постоянным и внешним по отношению к агенту.
Еще одним компонентом обучающегося агента является генератор проблем. Рациональный агент всегда выполняет действие, которое в текущий момент является наилучшим. При помощи генератора проблем агент кратковременно выполняет неоптимальные действия, которые могут оказаться оптимальными с точки зрения долговременной перспективы. Генератор проблем обычно имеет в своем составе датчик случайных чисел.
Еще в 1972 г. Мартин Гарднер писал [12]: «Наибольшие опасения вызывают самообучающиеся машины (то есть машины, совершенствующиеся по мере накопления опыта), потому что их поведение становится непредсказуемым. Такие машины делают не то, что им приказывают, а то, чему они научились. Они довольно быстро достигают уровня, когда программист уже больше не может сказать, какие изменения произошли в схеме машины. Большинство самообучающихся машин обычно содержат так называемые «рандомизирующие устройства». Если действие такого устройства основано на случайном распаде радиоактивного образца, то поведение машины в принципе непредсказуемо (так, во всяком случае, считает большинство физиков)».
Рассмотрим несколько примеров обучающихся агентов. Производительный компонент рационального робота-таксиста содержит базу знаний и процедур, с помощью которых он выбирает действия во время вождения. Внешний критик наблюдает за действиями робота в среде и передает обучающему компоненту информацию. Например, такси выполняет резкий поворот налево, пересекая три полосы движения. Критик с помощью датчиков получает высказывания других участников дорожного движения дорожного движения, затем передает соответствующую информацию обучающему компоненту. Тот формулирует новое правило, что такое действие является недопустимым и обновляет производительный компонент.
Если агент перестает получать от пассажиров чаевые, критик информирует его, что, согласно стандарту производительности, это является отрицательным вкладом в его оценку полезности. В этом примере внешний стандарт производительности позволяет рассматривать результаты обратной связи как штрафы или премии. Поясним это на Примере 2 обучающегося простого рефлексного агента.
Пример 2. «Обучающийся простой рефлексный агент». Рассмотрим «Самодельную самообучающуюся машину из спичечных коробков» (САМА) [12] для игры «6 пешек» (рисунок 5).
Этап разработки.
На спичечные коробки наклеиваются позиции, встречающиеся в игре. Возможные допустимые ходы из каждой позиции обозначаются разноцветными стрелками. В коробок кладется столько разноцветных бусинок, сколько стрелок. Робот готов к игре. Чтобы сделать ход за робота, нужно встряхнуть коробок, наудачу вытащить бусину, положить ее сверху коробка и сделать ход согласно стрелке соответствующего цвета.
Этап обучения.
1. Стратегия «кнута». Если игра закончилась выигрышем робота, все вытащенные бусинки кладутся на место. Если проигрышем, робот наказывается - бусинка, соответствующая последнему ходу, удаляется из коробка. Если это была последняя бусинка, удаляется бусинка предпоследнего хода.
2. Стратегия «кнута» и «пряника». Если игра закончилась выигрышем робота, в каждый коробок добавляем бусинку соответствующего цвета. Если проигрышем - см. пункт 1.
Нетрудно видеть, что САМА является простым рефлексным агентом. САМА делает ход, исходя только из текущей позиции (непосредственный акт восприятия), а не из всей предшествующей истории актов восприятия от начала до текущий позиции. Кроме того, САМА не знает, какая позиция является целевой (выигрышной) и не имеет функции полезности, чтобы на каждом шаге выбирать наиболее перспективный ход.
Внешний стандарт производительности содержит информацию, какая позиция является выигранной или проигранной согласно правилам игры. После окончания игры последняя позиция сравнивается с внешним стандартом, затем посредством положительной или отрицательной обратной связи происходит обучение – обучающий компонент добавляет или удаляет бусинки, т.е. меняет производительный компонент.
2.3 Модель рационального менеджера
Рассмотрим, что должна включать модель рационального менеджера с точки зрения процессного подхода к управлению. Как уже отмечалось (рисунок 2), схема процессного подхода к управлению состоит из четырех блоков, причем эти блоки можно разделить на технологическую составляющую «Создание продукции» (Do) и управленческую составляющую – «Менеджмент ресурсов» (Plan), «Ответственность руководства» (Act) и «Измерение, анализ и улучшение» (Check).
В свою очередь, модель рационального обучающегося агента состоит из двух концептуальных компонентов – производительного и обучающего. Производительный компонент включает в себя описание проблемной среды, описание показателей производительности агента, датчики, с помощью которых агент совершает акты восприятия, и исполнительные механизмы для совершения действий. Производительный компонент в результате актов восприятия получает информацию о среде, планирует и выполняет действия.
Таким образом, производительный компонент планирует (Plan) и выполняет (Do) действия, максимизирующие его ожидаемую производительность, что было подробно рассмотрено в модели Пространство состояний,
Обучающий компонент использует информацию обратной связи (Check) от внешнего критика. Критик сообщает, насколько успешно действует агент относительного постоянного стандарта производительности (удовлетворенность потребителя). Этот стандарт следует рассматривать как внешний, поскольку агент не имеет возможности каким-либо образом его модифицировать. После получения информации от критика обучающий компонент определяет, каким образом следует модифицировать производительный компонент (Act), с целью достижения более высоких показателей производительности. Встроенный в обучающий компонент генератор проблем позволяет агенту приобретать новый и информативный опыт, отклоняясь от действий, оптимальных с точки зрения текущего момента.
К сожалению (или к счастью?), полная замена человека – ЛПР программой рационального (обучающегося) агента возможно либо в узких предметных областях, либо для хорошо формализуемых задач. В общем случае исключение ЛПР из системы управления процессом равносильно созданию универсального Искусственного Интеллекта, способного, согласно Алану Тьюрингу, не только оперировать формальными синтаксическими объектами с помощью конечного набора допустимых операций, но и, подобно человеческому мозгу, оперировать семантикой предметной области.
Как показывает практика, ЛПР, как правило, включен в систему управления в виде нелинейного элемента с недетерминированным поведением. Этот нелинейный элемент в системе управления всегда будет принимать решения, сообразуясь не только с логикой, но и с интуицией, ассоциативным мышлением, а также информацией полученной из неформальных источников.
3. Что делать с «нелинейным элементом» или Как управляют менеджеры?
Три основных различия между человеком и машиной сформулировал еще Станфорд Оптнер [13].
«Первое различие между человеком и машиной состоит в отличии языка. Язык человека обеспечивает гибкие возможности, недоступные машинам. Пока машинный язык не будет содержать средств для постановки и решения проблем, машины не смогут ни ставить проблемы, ни решать их.
Второе различие между человеком и машиной состоит в том, что люди полностью адаптивны, а машины нет. Машина может быстро и систематично рассмотреть большое число альтернативных решений. Человек может изучить лучшие из этих решений. Он делает вывод об их влиянии на обстановку и применяет их практически, чтобы улучшить свои связи со средой.
Третье различие между человеком и машиной состоит в том, что человек располагает властью над машиной. Он может не принять все ее решения и установить свое собственное эмпирическое или интуитивное решение. Поступая так, он может оказаться вынужденным переделать ответ машины, который является четким и точным, в человеческое решение, которое не обязательно имеет эти же качества».
Рассмотрим эти различия в свете современных достижений в области интеллектуальных систем (ИС) и с точки зрения автоматизации бизнес-(и прочих) процессов.
Первое различие уже было рассмотрено нами в главе 2. Современные ИС могут иметь самые разнообразные формы для машинного представления знаний – фреймы, семантические сети, базы знаний систем продукций и т.д., но, при любой форме представления знаний, ИС оперирует с ними как с формальными объектами (по правилам синтаксиса языка), не понимая заключенного в них семантического смысла. Наиболее характерным примером являются системы машинного (автоматического) перевода текстов с одного языка на другой. Первые системы машинного перевода были созданы еще в 50-х годах прошлого века, но проблема правильного контекстно-зависимого перевода многозначных слов до сих пор не решена.
Второе различие, с точки зрения автоматизации функций ЛПР в рамках адаптивной модели Интеллектуального агента сводится к способности Владельца процесса обучаться в ходе управления процессом, причем способность интеллектуальных агентов к обучению ограничена рамками узких предметных областей.
И, наконец, третье различие нашло свое воплощения в широко распространенных системах поддержки принятия решений (СППР), которые будут рассмотрены ниже.
Выясним, каким образом «нелинейный элемент» принятия решений может быть встроен в контур системы управления процессами. Анализ видов и способов автоматизации управления привел авторов к неожиданным результатам: формализовать универсальные правила автоматизации управления процессами, предприятиями и корпорациями, весьма сложно . Тем не менее, для создания моделей и разделения функционала между человеком и компьютером, можно расклассифицировать системы управления на три основных класса.
3.1 Автоматизированная система управления технологическими процессами (АСУТП)
Особенностями таких систем является то, что управление процессом ведется полностью в автоматическом режиме. Все управленческие решения по изменению расхода ресурсов, режимов обработки, производительности, принимает компьютер на основе информации получаемой из процесса и от Оператора. В данном случае главным является то, что Оператор не может вмешаться в алгоритм или изменить результат решения, принятого АСУТП, в состав его полномочий входит только ввод необходимой для процесса начальной информации.
Такие системы управления используются в случаях, когда пространство состояний относительно невелико, набор допустимых операций ограничен, а стратегия поиска решения допускает алгоритмизацию.
Ответственность за результат работы такой системы лежит на ее разработчиках, в части правильной алгоритмизации управленческих решений и Операторе, в части своевременности и правильности ввода необходимой информации. Фактически, АСУТП занимается регулированием – поддержанием выхода процесса в заданных границах и не занимается улучшением процесса или его результата (выхода). Роль человека в такой системе – Оператор.
Примеры таких систем: терморегуляторы в печах, камерах или холодильниках, технологические процессы экструзионной обработки термопластов (где Оператор меняет технологические режимы в зависимости от параметров партии сырья и изготавливаемых деталей) и т.д.
Примечание: В данной классификации не рассматриваются еще более простые системы, где вместо регулирования режимов процесса используется жестко заданная программа, например, изготовление ключа по шаблону-копиру или музыкальные шкатулки с зашитой мелодией.
3.2 Системы автоматизированного управления процессами (САУ)
Особенности таких систем заключаются в том, что управление процессом ведется совместными усилиями Менеджера и компьютера. САУ просчитывает оптимальное, с точки зрения заложенных в нее алгоритмов, критериев и ограничений, решение, но Менеджер всегда может вмешаться и изменить не только начальные условия расчета, но и дополнить результат решения компьютера. В данном случае главным является то, что управленческое решение не может быть исполнено до того, как его одобрит и, при необходимости, откорректирует, человек, чья роль – Менеджер или Владелец процесса. Еще одной особенностью таких систем является то, что количество параметров системы ограничено, технология процесса и его результаты, алгоритм расчета решения носят повторяющийся, процессный характер, который поддается алгоритмизации. То есть, данный вид систем автоматизированного управления (САУ) может быть полностью реализован в виде эвристической модели «Пространство состояний» и использоваться для автоматизации работы Менеджера.
Ответственность за результат работы такой системы лежит, в первую очередь, на Менеджере, отвечающем за итоговый результат работы процесса. Кроме одобрения-корректировки решения, Менеджер, как правило, имеет цели, указанные вышестоящим руководством и обязан заниматься оптимизацией (улучшением) подчиненного ему процесса. Для этих целей Менеджер должен иметь право распределения и перераспределения ресурсов в согласованных пределах (бюджет, персонал, планы, графики и т.д.).
Пример такой системы: Система управления запасами товаров в сети магазинов рассчитывает потребности доставки и складской запас товара исходя из нормы потребления, скорости восполнения запаса, «глубины полки» по каждому товару (их может быть 10-20 тыс. SKU (SKU – от английского Stock Keeping Unit (идентификатор товарной позиции) – единица учета запасов). Человек вмешивается в эту систему, поскольку система не знает, что через 3 дня в Казани начинается праздник Курбан-байрам, или откроются 2 дополнительных магазина и потребление возрастет по отдельному региону.
3.3 Системы поддержки принятия решения (СППР)
Особенностью систем поддержки принятия решения является то, что корпоративная информационная система (КИС) даже в составе ERP, BI, OLAP и т.д. не дает готового решения, а предоставляет только информацию для лица, принимающего решения (ЛПР). При этом кроме ЛПР информацию от КИС и внешней среды может обрабатывать группа аналитиков (например, отдел стратегического планирования или департамент развития) и предоставлять для ЛПР просчитанные альтернативные варианты решений. В любом случае, окончательное решение принимает только ЛПР в ручном режиме, опираясь на всю доступную ему информацию, формализованную (отчетность от КИС, данные аналитиков и маркетологов, результаты SWOT и PEST анализа и т.д.) и неформализованную (информацию из внешних источников). Даже по такой, упрощенной схеме (рисунок 8) можно оценить, как в геометрической прогрессии возрастает размерность пространства состояний и сложность выбора стратегии поиска управленческого решения по сравнению с САУ (рисунок 7).
Еще одной отличительной чертой систем автоматизированного управления данного класса является неповторяющийся, проектный характер деятельности ЛПР при принятии решения и его реализации. Поскольку принятие решения ведется в большинстве случаев в «ручном режиме», данная система должна быть дополнена подсистемой Контроля выполнения решений. Соответственно, всю полноту ответственности за эффективность принятого решения в такой системе управления несет ЛПР (или Вышестоящий руководитель для Владельца процесса). Кроме того, ЛПР, как субъект, управляющий ресурсами в полном объеме, несет всю полноту ответственности за повышение эффективности объекта управления (сети процессов). Если же ЛПР не хватает полномочий или ресурсов для принятия решения, он, в отличие от САУ (рисунок 7) может эскалировать принятие решения на следующий уровень управления, Вышестоящему руководителю, который обладает большими полномочиями или ресурсами.
В данной статье мы не рассматриваем методы подготовки информации, оценки альтернативных вариантов, присваивания весовых коэффициентов критериям и экспертам, проведение бенчмаркинговых оценок, а также другие попытки автоматизировать деятельность ЛПР, полностью или частично. Эти вопросы рассматривались в литературе достаточно часто, например в [14]-[16]. Тем не менее, реальной альтернативы для замены нелинейного, непредсказуемого элемента ЛПР, в обозримом будущем не предвидится. Здесь авторы полностью согласны со Станфордом Оптнером [11]: «Развитие методологии решения проблем, обязанное электронно-вычислительным машинам, будет, в конце концов, оцениваться более сдержанно. Вычислительные машины, в самом деле, обеспечивают фантастическую скорость, предоставляют огромные возможности и большую гибкость при решении проблем. Однако вычислительные машины не могут находить новые крупные проблемы наших дней, а также обнаруживать области, где их применение дает огромные улучшения. Это могут делать только люди, и такое положение сохранится еще долго».
Выводы:
1. Модель рационального обучающегося агента хорошо согласуется с моделью процессного подхода к управлению стандартов ISO серии 9000.
2. Областью применения модели «Интеллектуальный агент» являются системы автоматического управления технологическими процессами (АСУТП) первого типа (рисунок 6) и системы автоматизированного управления (САУ) второго типа (рисунок 7).
3. Замена функционала ЛПР на рационального интеллектуального агента возможна только в аналитической части систем поддержки принятия решения (третий тип рисунок 8), например, при проведении сравнительного анализа стандартизованных вариантов альтернатив .
Литература.
1. ISO 9001:2008(E) Quality management systems – Requirements.
2. ISO 9000:2005(E) Quality management systems – Fundamentals and vocabulary.
3. Беллман Р., Калаба Р. Динамическое программирование и современная теория управления // М.: Наука, 1969.
4. Нильсон Н. Принципы искусственного интеллекта // М.: Радио и связь, 1985.
5. Бир Стаффорд. Кибернетика и менеджмент: пер. с англ. Изд. 2-е –М. КомКнига, 2006 г.
6. Каплан Д.С., Девятов Д.Х., Файнштейн С.И., Тутарова В.Д., Калитаев А.Н. Эвристический полиномиальный алгоритм оперативного планирования размещения готовой продукции на складах металлургических предприятий // Автоматизация и современные технологии. – 2009. – №6. – С. 35 – 39.
7. Девятов Д.Х., Файнштейн С.И., Тутарова В.Д., Калитаев А.Н. Оперативное планирование отгрузки готовой продукции со складов металлургических предприятий // Мехатроника, автоматизация, управление. – 2008. – №4. – С. 36 - 40.
8. Michalewicz Z., Fogel D.B. How to Solve It: Modern Heuristics // Springer, Berlin, 1999.
9. Елиферов В.Г., Репин В.В. «Бизнес-процессы: Регламентация и управление»// Учебник – М.: ИНФРА-М, 2004 г.
10. Рассел С., Норвиг П. Искусственный интеллект: современный подход Изд. 2-е // Из.-во «Вильямс», 2006 г.
11. Тьюринг А. М. Вычислительные машины и разум. // В сб.: Хофштадер Д., Деннет Д. Глаз разума. — Самара: Бахрах-М, 2003.
12. Гарднер М. Математические досуги // М.: Мир, 1972.
13. Оптнер С.Л. Системный анализ для решения проблем бизнеса и промышленности. Пер. с англ. М. Концепт, 2006 г.
14. Ларичев О.И., Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник. изд. второе, переработанное и дополненное, М, Логос, 2002 г.
15. Новиков Д. А. Теория управления организационными системами. –М.: Московский психолого-социальный институт, 2005 г.
16. Саати Т, Принятие решений. Метод анализа иерархий. Пер. с англ. М, Радио, 1993 г.
