Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений , а само экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a ij - оценка признака экспертом. n - количество признаков, m - количество экспертов.
Затем, подсчитывается S i - среднее значение важности признака.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10 . Именно поэтому метод непосредственной оценки иногда именуют также балльным методом .

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики . Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины . Например, медиана , за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода парных сравений .

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация .
Итак, способы вычисления меры разбрса :
Вариационный размах

В квалиметрии экспертный метод применяется:

1) для измерения показателей качества;

2) для определения зна­чений весовых коэффициентов.

Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;

в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;

вопросы, поставленные перед экспертами, не должны допускать различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Качественный состав экспертной комиссии - важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым - инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.

Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества- его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу "трех сигм" легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 ... 40 тоже подчиняется нормальному закону, а при меньшем их числе - закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п - число экспертов; m - число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.

Решение.1. Среднее арифметическое рангов

2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.

3. Коэффициент конкордации

Степень согласованности мнений экспертов можно считать удовлет­ворительной.

Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:

анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;

многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;

контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.

* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов ("дельфийский оракул"), славившийся своими предсказаниями.

Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n. Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 ... 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.

В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором разли­чия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.

По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:

непосредственное измерение;

ранжирование;

сопоставление.

При непосредственных измерениях экспертным методом значения физических величин или показателей качества оп­ределяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле

где п - количество экспертов; m - число “взвешиваемых” показателей; - коэффициент весомости j -го показателя в баллах, данный i -м экспертом.

По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.

Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.

Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.

Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:

лучшим является седьмое, вторым по качеству - четвертое, затем - шестое, первое, второе, третье и пятое. Если же ранжирование прово­дилось с целью определения весовых коэффициентов g i для семи пока­зателей качества, то они рассчитываются по формуле (53), в которой - ранг j - го показателя, установленный i -м экспертом, В примере 75

Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.

1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).

2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости - баллы или весовые коэффициенты 1 до 0.

3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.

4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.

5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.

Балл j - го объекта или весомость j - го показателя рассчитываются по формуле (53). В данном случае

где - частота предпочтения i - м экспертом j - го объекта экспертизы; С - общее число суждений одного эксперта, свя­занное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением

Пример 76. Предположим для простоты, что пять экспертов, выра­зили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.

Решение 1. Частоты предпочтений

Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.

5. Ранжированный ряд объектов экспертизы имеет вид: № 3; № 1;№2; №6; №5; №4.

Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, ... и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим... и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т-1).

Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.

Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмот­рения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность- цифрой 1, а предпочтение i - го объекта перед j - м - цифрой 0.

Что можно сказать о результате измерения в третьем приближении? Решение.

1. В первом приближении

G 1 (1) = 1+2+2+1+2= 8;

G 2 (1) = 0+1+2+2+2= 7;

G 3 (1) = 0+0+1+0+0= 1;

G 4 (1) = 1+0+2+1+2= 6;

G 5 (1) = 0+0+2+0+1= 3.

2. Во втором приближении

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;

G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;

G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.

3. В третьем приближении

G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;

G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;

G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;

G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;

G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.

4. Значения g j , приведенные в табл. 47, заметно отличаются в первом и третьем приближении. С каждым следующим приближением они будут уточняться. В ходе уточнения все более подчеркивается предпочтительность первого объекта экспертизы и низкая значимость третьего (в меньшей мере- пятого).

5. Если экспертов несколько, то окончательные результаты должны быть получены путем усреднения их данных.

Метод последовательного приближения позволяет получить строгие количественные результаты измерения по шкале отношений, если известно (или определено экспертным ме­тодом), во сколько раз вес или показатель лучшего из объектов экспертизы превосходит вес или такой же показатель худшего объекта. В таком случае через это отношение, а предпочтение j - го объекта экспертизы перед i - м выражается числом 1 + , равноценность - единицей, а предпочтение i - го объекта перед j - м - числом 1 - , где

После этого попарное сопоставление производится методом последовательного приближения. Процесс уточнения значений g j продолжается до тех пор, пока точность не достигнет заданной. Так как с каждым приближением изменение g j становится все меньшим и меньшим, это условие можно записать в виде , где обычно принимается = 0,001, если 1 < <=1,5, и =0,01, если >5. При промежуточных значениях выбираются и промежуточные значения .

После окончания расчетов фактическое отношение значений крайних членов ранжированного ряда Ф сравнивается с исходным . Если отношение близко к единице, задача считается решенной. В противном случае корректируется и расчет повторяется.

Пример 78 . Лучший объект из шести по сравниваемому показателю превосходит худший в 2,4 раза. Следовательно,

Мнения эксперта об объектах представлены табл. 48.

Перейти к исходным данным для вычисления весовых коэффициентов с точностью не ниже 0,5 %.

6. Таким образом, исходные данные вычисления весовых коэффициентов с требуемой точностью имеют вид, представленный табл. 49.

Опрос экспертов может быть очным и заочным, групповым и индивидуальным, персонифицированным и анонимным. Свои мнения эксперты могут выражать в письменной (путем заполнения таблиц, анкет) или в устной форме (давая интервью, участвуя в дискуссии). Все эти и любые другие варианты экспертного опроса имеют свои достоинства и недостатки, поэтому выбор того или иного из них осуществляется в зависимости от конкретных условий и обстоятельств.

Экспертные методы используются при решении прогностических, аналитических и проектных задач, связанных с неформализуемостью и отсутствием определенности в представлениях об организационно-экономических объектах.

Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обработкой результатов.

Особенности метода экспертных оценок: необходимость научно-обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.

Экспертный метод может использоваться при определении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.

1-й этап использования данного метода – формирование группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу:

– компетентность (степень квалификации в определенной области знаний);

– креативность (способность решать творческие задачи);

– аналитичность и широта мышления;

– конструктивность (способность формировать конкретные предложения);

– самокритичность эксперта;

Отношение к экспертизе.

Для формирования экспертных групп могут использовать способ тестирования, документационный и другие методы.

Способ тестирования состоит в том, что на основе разработанных тестов проходят обследование возможные кандидаты, и по результатам ответов формируется группа.

Документационный способ – отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая степень, количество публикаций и др.).

Способ назначения – определение руководителем группы экспертов из числа сотрудников. Главный недостаток способа: мнение сотрудников может быть согласованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект школы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.

2-й этап применения экспертного метода – проведение экспертизы.

Данный этап начинается с выбора способа опроса экспертов. Различают индивидуальный, групповой и дельфийский методы.

При индивидуальном способе от каждого эксперта посредством анкетирования или интервьюирования получают оценки, не зависимые от мнениях других. Затем после их обобщения и обработки определяют общую, результирующую оценку. Индивидуальную экспертизу рационально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важнейшими качествами эксперта выступают его компетентность и конструктивность.

Групповой способ предусматривает получение суммарной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование целесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т. е. при необходимости получения творческого решения. Групповой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».

Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода – тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каких пунктам имеется единое мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее решение.

Достоинство дельфийского метода – он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания своего мнения, влияние авторитета.

3-й этап экспертных методов – обработка результатов опроса.

Для обеспечения возможности формальной обработки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (различные шкалы наименований (классификации), порядков, интервалов, отношений, разностей).

Шкала наименований используется для описания принадлежности объекта к определенным классам. Шкала порядка – для измерения упорядочения объектов по одному или ряду признаков (шкала рангов). Шкала интервалов – для отображения величины различий между свойствами объектов. Шкала отношений – для отражения отношения свойств объектов, например, их весомости. Шкала разностей – при необходимости определить, насколько один объект превосходит другой по одному или нескольким признакам.

Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.

При обработке результатов экспертизы важное значение имеет выбор метода измерения. Наиболее употребительные методы: ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.

Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, формулировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?). Полученные формулировки должны достаточно полно отражать важнейшее их содержание, т. е. обладать значительной емкостью; формулирование должно происходить таким образом, чтобы исключить разночтение.

Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: формирование экспертной комиссии, организация и проведение экспертиз на основе использования современных методов, использование многокритериальных оценок при интерпретации результатов.

Общие представления

Экспертные методы применяются при решении следующих задач:

формулирование и уточнение цели оценки качества продукции;

разработка классификации продукции и потребителей;

построение иерархической структурной схемы показателей качества;

определение коэффициентов весомости показателей;

определение базовых значений показателей.

Применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка производится в случае невозможности использования более объективных методов для решения вопроса;

мнения экспертов должны быть независимыми;

формулировка вопросов, поставленных перед экспертами, должна исключать возможность различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Операции, выполняемые экспертами можно разделить на два класса: органолептические и мыслительные. Органолептические выполняются с помощью органов чувств, а мыслительные - принятие решений на основе переработки информации. К недостаткам экспертных методов следует отнести присущий ему субъективизм, а также явление конформизма - влияние преобладающего в группе суждения на мнение эксперта.

Применение экспертных методов требует привлечения высокопрофессиональных экспертов. В нашей стране еще не развит институт экспертов профессионалов по оценке качества. Поэтому, для этих целей, как правило, приглашаются специалисты по оцениваемой продукции.

В настоящее время активно заявляет о себе новый термин - “экспертные системы”. Под экспертной системой понимается система “человек - машина”, в которой человек играет решающую роль при вынесении оценок. Экспертные системы подразделяют на две группы:

• - системы, функционирующие за счет знаний, в основном, в процессе поиска информации;
• - системы, имеющие в своем составе ЭВМ с соответствующим математическим обеспечением, способные “отвечать” на вопросы типа “что будет, если...?”

Считается наиболее перспективным развитие экспертных систем первого типа, так как, прежде всего человек, в отличие от ЭВМ, может творчески мыслить и синтезировать информацию.

Формирование и подготовка экспертной комиссии

Экспертные комиссии, создаваемые для оценки качества продукции, состоят из двух групп: рабочей (организационная) и экспертной. Рабочая группа занимается разработкой методики оценивания качества, организацией и проведением экспертной оценки качества, обработкой полученной от экспертов информации и анализом результатов. В состав рабочей группы входит организатор, консультант по оцениваемой продукции и технические работники для выполнения машинописных, чертежных, вычислительных работ. Экспертная группа выполняет только оценочные операции.

Организация, в которой формируется экспертная комиссия, должна издать приказ или распоряжение, где указывается состав экспертной комиссии, обязанности ее членов, период и продолжительность работы. Для повышения качества работы экспертов, необходимо, чтобы состав экспертной комиссии был постоянным достаточно длительное время. В.И. Галеев считает, что в состав экспертной группы следует включать 7-12 (15) человек. При этом целесообразно принимать решение, за которое подано не менее 2/3 голосов членов экспертной комиссии. Г.Г. Азгальдов предлагает для упрощенного метода оценивания численность экспертной группы от 7 до 10 человек. В отдельных случаях, когда времени на разработку мало (не больше месяца), а оцениваемый объект сложный (например, грузовой автомобиль или морское судно) необходимо образовать две или три экспертных группы, численностью по 7-10 человек. В этом случае каждая группа работает на отдельных группах свойств объекта.

Если же для оценки качества используется приближенный или точный методы, то применяется более сложный и более точный способ определения численности экспертной группы, который основан на двух основных положениях:

1. Чем больше экспертов, тем, при прочих равных условиях, выше достоверность коллективной экспертной оценки gэ, тем меньше относительная погрешность и выше доверительная вероятность (надежность) , с которой вычислены gэ. Причем:

где gист - истинное значение той характеристики, которая определяется экспертным методом;

g - абсолютная погрешность, определяющая доверительный

интервал:

g =g ист - g э. (31)

2. Чем больше предварительной информации известно рабочей группе относительно экспертной группы и выносимых ею оценках, тем, при прочих равных условиях, может быть меньше численность экспертов.

При создании экспертной группы используются следующие методы анализа соответствия экспертов предъявляемым требованиям:

• 1) Качественный метод, при котором соответствие определяется в процессе беседы с экспертом организатора-руководителя деятельностью экспертной комиссии и консультанта по оцениваемой продукции.
• 2). Количественный метод включает в себя следующие виды оценки качества экспертов:

эвристические - значения оценок качества экспертов определяются человеком;

статистические - значения оценок получаются в результате обработки ответов экспертов;

тестовые - значения оценок находятся в результате специальных испытаний экспертов;

документальные - значения оценок основываются на анализе документальных данных об экспертах;

комбинированные - значения оценок получаются с помощью некоторой совокупности перечисленных методов.

Перед работой экспертов необходимо обсудить с ними следующие вопросы:

сущность понятия “качество продукции”;

основные термины и определения по оцениваемой продукции и квалиметрии;

сущность экспертных методов и область их применения;

основные оценочные операции, их описание, специфика, трудности выполнения;

наиболее распространенные ошибки экспертов, содержание и программа проводимой работы;

методы обработки значений экспертных оценок и их сущность.

Необходимо, чтобы структура экспертной группы, ее профессиональный состав и количество экспертов соответствовали способу опроса.

С этими целями рабочая группа выбирает способ опроса экспертов и проводит его до формирования экспертной группы.

Опрос экспертов осуществляется индивидуально или совместно с другими экспертами; с обсуждением суждений эксперта на заседании экспертной группы или без него. Опрос может заключаться в беседе эксперта с техническим работником, по схеме “вопрос - ответ” (интервьюирование), в самостоятельном заполнении карты опроса (анкетирование), в заполнении карты опроса, получая при этом все необходимые разъяснения от технического работника (смешенное анкетирование).

Если используется упрощенный метод оценивания качества, то рабочая (организационная) группа проводит выбор экспертов в следующем порядке. Отбирается группа потенциальных экспертов, численностью на 2 -5 человек больше, чем положено иметь в экспертной группе. Затем в личной беседе с каждым потенциальным экспертом стараются получить информацию о качестве самого эксперта. Г.Г. Азгальдов предлагает “дерево свойств” эксперта в виде рисунка 8.

Рассмотрим содержание каждого из приведенных свойств.

Компетентность - всестороннее знание экспертом объекта (профессиональная компетентность) и методов оценивания его качества (квалиметрическая компетентность). Профессиональная компетентность включает знание методов проектирования и производства продукции, показателей качества аналогов, перспектив развития продукции, условий и характера эксплуатации. Квалиметрическая компетентность обеспечивает понимание принципов и методов оценки качества продукции, практическое умение пользоваться ими, знание типов оценочных шкал, субъективных вероятностей и умение различать достаточное число градаций оцениваемого объекта. Компетентность является наиболее важным, но трудно оцениваемым свойством. Оценка специалиста по уже освоенной им профессии является достаточно простой, но экспертам приходится работать на стыке специальностей, здесь требуется оригинальное мышление, интуиция, умение оценить новые идеи, а “чрезмерный профессионализм” может мешать выйти эксперту за рамки его профессиональных представлений.

Для определения показателя компетенции чаще всего используют два метода: самооценка и взаимооценка, на них мы остановимся ниже. Расчетная формула показателя компетентности К ком выражена в виде:

К ком = 0,4К с ком + 0,6 К в ком, (32)

где К с ком - результат самооценки, в баллах;

К в ком - результат взаимооценки, в баллах.

Рисунок 3 Свойства, характеризующие качество эксперта

Уверенность - убежденность эксперта в правильности выбранной им оценки.

Объективность - способность эксперта быть объективным, то есть при участии в экспертизе не поддаваться ведомственным, начальственным или личным интересам.

Деловитость - умение быстро выполнять порученную работу, способность быстро переключаться с оценки одного показателя на оценку другого, умение работать с людьми в конфликтной ситуации, способность противостоять мнению большинства при уверенности в своей правоте, обоснованность и мотивированность выносимых оценок и суждений, умение четко формулировать свои мысли.

Заинтересованность - желание делать порученную работу зависит от его индивидуальных способностей, загруженности основной работой, целей экспертизы и возможностей использования ее результатов в своей практической деятельности.

Учитывая эти свойства, рабочая группа отбирает 7-10 экспертов, у которых они выражены в наибольшей степени.

Окончательным этапом формирования экспертной группы является проведение тестирования, самооценки, взаимооценки экспертов, анализа их надежности и проверки согласованности мнений.

Тестирование проводится для установления компетентности и профпригодности экспертов и заключается в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы анкеты, после чего эксперт по бальной системе проверяет свои профессиональные знания и деловые качества.

Если эксперты имеют опыт совместной работы, то они могут провести взаимную оценку друг друга.

Анализ надежности экспертов проводится по степени надежности, которую можно рассчитать, основываясь на сведениях о результатах работы эксперта в других экспертных группах. Степень надежности - это отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал.

Согласованность мнений экспертов оценивается коэффициентом конкордации W , о котором будет рассказано ниже.

Проведение экспертного опроса

Опрос экспертов должен соответствовать следующим требованиям:

• - ограниченное количество вопросов, задаваемых эксперту;
• - полнота охвата решаемой задачи;
• - всестороннее рассмотрение вопроса;
• - ограниченное время опроса;
• - возможность применения заочного опроса;

Операции экспертной оценки качества выполняются по этапам:

• 1. Подготовительный этап:
  • - формулирование цели оценки;
  • - формирование рабочей группы.
• 2. Этап работы рабочей группы:
  • - уточнение цели оценки;
  • - выбор методов, модификаций, способов и процедур оценки;
  • - определение перечня операций, выполняемых экспертами;
  • - формирование экспертной группы;
  • - выбор методов, способов и процедур опроса экспертов.
• 3. Этап работы экспертной группы:
  • - классификация продукции и потребителей;
  • - определение номенклатуры показателей качества;
  • - определение коэффициентов весомости показателей;
  • - определение базовых значений показателей;
  • - определение оценок единичных показателей;
  • - определение комплексных показателей.
• 4. Заключительный этап:
  • - обработка значений экспертных оценок;
  • - анализ результатов и подготовка решения экспертной группы.

При реализации третьего этапа - работы экспертной группы, получают ответы экспертов, которые можно разделить на:

• 1. Общие ответы в виде описаний, их используют при определении и уточнении целей оценки и условий эксплуатации (потребления) продукции или как источник дополнительной информации при оценке качества продукции.
• 2. Классификационные ответы могут быть как в виде описаний, так и в виде шкалы наименований (например, деление потребителей на группы в соответствии с условиями потребления оцениваемой продукции).
• 3. Оценочные ответы представляют в количественном виде (баллы, проценты, доли единицы) или качественной форме (“хорошо - плохо”, “достаточно - недостаточно”), их используют при определении коэффициентов весомости, значения оценок показателей качества. При оценке качества опрос экспертов рекомендуется проводить в два - три тура: индивидуальный и групповой. Это позволяет обеспечить независимость суждений экспертов в первом туре, (что снижает отрицательное конформное и авторитетное влияние) и обмен информацией между экспертами в последующих турах. Проведение более трех туров опроса экспертов нецелесообразно.

Необходимость повторения операций экспертизы оценки качества продукции может возникнуть по различным причинам:

• - сравнение результатов, полученных с использованием одинаковых процедур в различных условиях;
• - сравнение различных методов или процедур, например, очного или заочного опроса;
• - повышение точности результата за счет многократного обмена информацией;
• - оценка качества эксперта за счет определения стабильности его суждения, выраженного показателем воспроизводимости.

К одной из разновидностей многоэтапного метода относится метод Делфи, который американцы довольно долго держали засекреченным.

Метод Делфи был предложен в начале пятидесятых годов американскими учеными Т.Дж. Гордоном и О. Хелмером для решения военных проблем. Название этого метода происходит от древнегреческого города Дельфа, где с IX в. до н. э. при храме Аполлона существовал совет мудрецов - “дельфийский оракул”. Назначение метода Делфи состоит в выявлении мнения специалистов в обстановке, исключающей прямые дебаты между ними, но позволяющей им неоднократно взвешивать свои суждения, учитывая ответы коллег.

Характерными чертами метода Делфи являются:

• - анонимность; эксперты не встречаются друг с другом;
• - ответы на вопросы обязательно содержат количественную характеристику;
• - многоэтапность; после каждого тура эксперты знакомятся с ответами коллег и при необходимости составляют письменные обоснования своих точек зрения, что может найти отражение в изменении мнений эксперта на следующем этапе опроса;
• - контроль; после каждого тура проводится статистическая обработка полученных ответов до тех пор, пока степень согласованности мнений экспертов не достигнет заранее выбранного значения.

Количество проводимых туров опроса зависит от квалификации специалистов и опыта. При особо важных измерениях можно учитывать весовые коэффициенты квалификации экспертов. В среднем считается достаточно проведения трех туров для группы, состоящей из 10-12 экспертов.

По способу проведения экспертные опросы подразделяются:

• - непосредственное измерение;
• - ранжирование;
• - сопоставление.

При непосредственном измерении экспертным методом значения показателей качества определяются в установленных единицах: единицы СИ, баллы, нормо-часы, рубли, единицы условного топлива и т.д. Такие измерения могут проводиться по шкале отношений или по шкале интервалов. Для измерения по шкале отношений требуется наличие эталона. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале интервалов.

Значения коэффициентов рассчитываются по формуле (33):

где n - количество экспертов;

m - число взвешиваемых показателей;

G ij - коэффициент весомости j-го показателя в баллах, данный

i-м экспертом.

Непосредственное измерение экспертным методом является наиболее сложным и требует высококвалифицированных экспертов.

Ранжирование заключается в расстановке объектов измерений или показателей качества в порядке их предпочтения или по важности. Место, занятое при такой расстановке называется рангом. Согласно метода предпочтения эксперта просят пронумеровать все весомости M j в порядке их предпочтения так, что весомость наименее предпочитаемого свойства получает номер 1, следующее - 2, и чем важнее свойство, тем больше значение весомости.

Расчетная формула весомости j-го свойства M j:

где W jl - место, на которое поставлена весомость j-го свойства у

l-го эксперта;

r - количество экспертов;

n - количество свойств.

Согласно метода ранга эксперт делает оценку важности каждого свойства по шкале относительной значимости в диапазоне от 1 до 10, причем он может присваивать свойству как целые, так и дробные числа. В данном методе расчетная формула весомости M j имеет вид:

причем P jl - оценка весомости j-го свойства у l-го эксперта.

Сопоставление подразделяется на последовательное и попарное. Метод последовательного сопоставления заключается:

• 1. Расположение весомостей всех свойств в порядке предпочтения аналогично методу предпочтения (ранжирования).
• 2. Наиболее важное свойство получает весомость M j = 1,0; все остальные - в порядке убывания в диапазоне от 1 до 0.
• 3. Если свойство с весомостью M 1 важнее всех остальных свойств вместе взятых, то M 1 увеличивается до величины, превосходящей сумму всех прочих весомостей:

Если же эксперт считает, что свойство M 1 менее важное, то проводится обратная процедура:

• 4. Аналогичным образом сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом, и так далее для всех остальных. При этом нужно следить, чтобы не нарушалось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе.
• 5. Полученные результаты измерений или весовые коэффициенты нормируют, то есть делят на общую сумму баллов или весовых коэффициентов, после этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Метод попарного сопоставления является наиболее простым и заключается в сравнении двух объектов. Результаты представляются в форме ортогональной матрицы. Например, необходимо сравнить эстетические показатели шести видов обоев, обозначенных номерами 1, 2, ....6 (таблица 3), где предпочтение i-го вида над j-ым соответствует 1, а противоположное - 0.

Ранжированный ряд имеет вид (по возрастающей): №4 №5, №6, №2, №1, №3.

Этот же пример можно рассмотреть с проведением ранжирования следующего вида: преимущество i-го вида над j-ым соответствует 1, противоположное - (-1); а при равном качестве - 0 (таблица 4).

Следовательно, наивысшие эстетические показатели имеют обои № 3, затем, № 1; № 2, № 6 и № 4 имеют равные свойства, наихудшие показатели у обоев № 5.

Шишкин И.Ф. приводит следующий вариант проведения попарного сопоставления. Предпочтение выражается указанием номера предпочитаемого объекта (таблица 3).

Таблица 3

Таблица 4

Балл j-го объекта или весомость j-го показателя рассчитывается по формуле (39). В данном случае:

где F i,j - частота предпочтения i-м экспертом j-го объекта

экспертизы;

c - общее число суждений одного эксперта, связанное с

числом объектов экспертизы m (числом измеряемых

показателей или коэффициентов весомости) соотношением:

Таблица 5

Номер объекта экспертизы

Анализ результатов

После проведения опроса экспертов необходимо определить их степень согласованности, используя коэффициент конкордации W (41).

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднеарифметического рангов;

n - число экспертов;

m - число объектов экспертизы.

Коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Существенность значения W устанавливают с помощью критерия (распределение Пирсона) (42):

Значение сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1. При (f) степень согласия между исследователями (значение коэффициента конкордации W) не вызывает сомнения.

Если имеют место «связанные ранги», то коэффициент конкордации задается формулой

L-е число одинаковых рангов в k-м ранжировании. Например, если некоторый k-й исследователь записал ранги 1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10, то для него

(4 3 -4)+(3 3 -3)=84.

Существенность значения W устанавливается также с помощью критерия

который также сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1.

Предполагает использование мнений экспертов. Термин "эксперт" определяется в дословном переводе с латинского языка как "опытный". Данный метод следует применять в основном в тех случаях, когда невозможно использовать объективные методы исследований (например, метод эксперимента или тесно связанный с ним расчетный метод).

Методы, использующие мнения экспертов, получили название "Дельфи". Изначально данный метод предназначался для составления прогнозов в науке и технике и определения тенденций в развитии мира на основе последовательного неоднократного анкетирования индивидуальных суждений (оценок) экспертов. Затем он стал применяться в других областях, в том числе в управлении и исследовании СУ.

К основным положениям использования метода "Дельфи" следует отнести:

• - осуществление научно-обоснованного отбора экспертов, состав которых должен быть относительно стабильным и рациональным по численности;
• - составление четко сформулированных и однозначно воспринимаемых анкет, обеспечивающих принятие суждений оценок экспертами преимущественно в количественной форме;
• - обеспечение сбора мнений экспертов при опросе должно проводиться в несколько туров (количество туров должно быть достаточным для уточнения как вопросов, так и для получения объективных ответов после ознакомления с результатами опроса каждого тура), не проводя при этом прямых дискуссий и дебатов;
• - обоснование экспертами после каждого тура своих суждений, при расхождении их с мнением большинства;
• - проведение после каждого тура статистической обработки, анализа и обобщения результатов суждений экспертов;
• - продолжительность работы экспертов при участии их во всех турах, как правило, не должна превышать тридцати дней.

Сущность экспертных методов, как при решении задач исследования СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам. При этом усредненная оценка мнений экспертов К в общем виде определяется по следующей формуле:

где N- количество экспертов; К- - оценка, данная;-м экспертом.

К разновидностям экспертных методов с определенной долей условности можно отнести органолептический и социологический.

Органолептический метод

Основан на использовании чувств (вкуса, слуха, зрения, обоняния, тактильности) эксперта. Этот метод применяется при измерении численных значений показателей, например, продукции пищевой промышленности.

Наиболее распространенными экспертными методами при классификации по способу получения экспертных оценок в настоящее время при принятии решений по управлению являются следующие:

• - метод рангов (ранжирования);
• - метод непосредственного оценивания (балльный);
• - метод сопоставлений.

Последний метод включает две его разновидности:

• - парного сравнения;
• - последовательного сопоставления.

В принципе, каждый из них имеет много общего, а отличие в основном только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общими достоинствами экспертных методов являются быстрота получения результатов без наличия нормативной базы в СУ, возможность оценивания того или иного объекта при невозможности измерить его характеристики количественными объективными методами.

К недостаткам экспертных методов можно отнести их определенную субъективность и соответствующие этому возможные погрешности результатов экспертизы, существенные затраты на привлечение опытных экспертов для участия в опросах, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

• - организацию экспертного оценивания;
• - проведение сбора мнений экспертов;
• - обработку результатов мнений экспертов.

Наиболее часто в практике исследования и проектирования социально-экономических систем используется анкетирование, которое позволяет с меньшими трудозатратами экспертов собрать их мнения, но по времени сбор мнений при использовании этого вида более длительный. Обычно процесс разработки анкеты включает:

• - определение формы и содержания обращения к эксперту;
• - выбор типа вопросов;
• - формулировку вопросов;
• - изложение необходимой для эксперта информации;
• - разработку формы анкеты.

Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали так называемые веерный, закрытый и открытый типы (веерный - предполагает один ответ из представленного заранее в анкете ряда ответов; закрытый - "да", "нет", "не знаю"; открытый - вопрос, ответ на который может быть дан в произвольно форме).

В общем случае экспертные работы должны осуществляться в соответствии с определенными правилами, которые следует использовать в зависимости от целей проведения этих работ. Среди таких правил необходимо отметить следующие:

• - применение системного подхода при проведении экспертных работ;
• - обеспечение преемственности в проведении экспертных работ;
• - использование обратной связи с экспертами;
• - регулярное привлечение к работе экспертов;
• - обеспечение рационального баланса гласности и конфиденциальности экспертных работ и результатов экспертизы;
• - создание условий для персонификации суждений экспертов;
• - обеспечение условий для соблюдения экспертами полной независимости при выражении своих суждений;
• - создание условий для демократического проведения экспертных работ и ответственности субъектов экспертизы;
• - однократность проведения экспертизы.

В последнее время в различных сферах деятельности стали широко использовать метод тестирования. Первоначально в зарубежной практике с помощью тестов, т.е. комплекса определенных заданий стандартной формы, проводились испытания психического состояния, умственного развития, способностей, волевых и других свойств личности отдельного человека или социальной группы людей. В дальнейшем сфера использования метода тестирования стала более широкой и его начали применять для определения не только психофизических состояний и особенностей людей, но и при проведении исследований СУ, различного рода экспериментов. Особенно популярным тестирование стало в образовании. В управлении при помощи тестов исследуют, например, проблемы, связанные с определением квалификации и аттестации персонала, распределением функций управления и ресурсов, стиля управления и т.п.

В любом случае тест - искусственно созданное воздействие испытательного характера. Он может воздействовать на изучаемый элемент и/или СУ в целом в процессе проводимого эксперимента (в натурных или специально создаваемых имитируемых условиях). Как правило, вызывает ответную реакцию элемента и/или СУ в виде высказываний и других откликов на их выходе.

Натурное тестирование проводится в реальных условиях, а все остальные виды его - в специально созданных искусственных (имитируемых) условиях (например, деловые игры). Примерами натурного тестирования могут быть:

• - широкомасштабный эксперимент по созданию СУ на основе стандартизации, проводимый в 1980-е гг. в промышленности СССР, (такого рода эксперименты можно отнести к экстремальным, так как они являются высокорисковыми);
• - апробация опытных нормативов по труду на рабочих местах;
• - специально организованная дозированная утечка управленческой информации, позволяющей прозондировать ответную на нее реакцию, например, определенного слоя общества, и соответственно выявить его вектор, активность и т.п.

Для проведения работ по тестированию необходимо:

• - четко определять его цели, задачи, правила, условия, требуемые результаты, начало и конец, что следует отразить в соответствующем плане;
• - установить возможные последствия тестирования;
• - определить необходимый объем информации и методы ее сбора, обработки и использования;
• - разработать сценарии действий всех участников;
• - разработать методику проведения оценки результатов тестирования;
• - определить направления и варианты использования результатов.

Эффективным инструментом при исследовании СУ, как показывает опыт, оказывается метод структуризации, часто называемый методом "дерева" (метод "дерева" целей). Этот метод позволяет выявить количественные и качественные взаимосвязи и отношения между целями, увязать их разные уровни с конкретными средствами и сроками достижения.

Широко используются в исследовании СУ различные методы творческого характера типа творческих совещаний. Наиболее распространенными из них являются, в частности, следующие методы: творческого коллективного обсуждения; "мозговой" атаки; коллективного блокнота; морфологического анализа; анализа проблем; генерирования идей; деловой игры; контрольных вопросов 6-3-5.

Особенностью этих методов является то, что в ходе совещания запрещается их критика. Оценка идей, выдвинутых во время совещаний, проводится обычно не на совещании, а в ходе их экспертизы.

Помимо указанных методов в исследовании СУ могут использоваться деловые игры, конференции идей (где допускается критика в доброжелательной форме, идеи реализуются в рамках специально проводимой технологии их презентации), обмен мнениями, комиссии и др.

При использовании системного подхода к исследованию СУ предприятия с учетом его внутренней и внешней (оперативного и общего окружения) сред может широко применяться популярный и в определенной мере универсальный метод "SWOT-анализа" - (S - strength (сила), W - weakness (слабость), О - opportunity (возможность), Т- threat (угроза), т.е. метод ССВУ-анализа. По существу - это оперативный диагностический метод анализа стратегического положения предприятия на основе оценки его сильных и слабых сторон, возможностей и угроз ему. Условно данный метод можно отнести к разновидности экспертного.

С 1970 г. для целей анализа и определения стратегических позиций диверсифицированных организаций стала применяться матрица Бостонской консалтинговой группы (БКГ). Данная матрица строится на основе двух координат показателей - "темп роста объемов спроса в отрасли / относительная доля рынка". При использовании данной матрицы учитываются темпы роста отрасли, относительные доли рынка и эффект действия опыта и знаний на всех стадиях жизненного цикла продаж продукции, услуг. Темп роста объемов спроса в отрасли - это параметр внешней среды. Он показывает привлекательность рынка.

При развитии матрицы БКГ специалистами компании "Дженерал Электрик" и консультационной фирмой "МакКинзи" она была модифицирована и получила в 1979 г. их имя "Матрица "Дженерал Электрик" - "МакКинзи"" (ДЭМК). Она также предназначена для анализа привлекательности и позиции подразделения с определенным видом деятельности (продукцией, услугами) или предприятия на рынке в целом.