В большинстве рассмотренных видов исследовании предметом изучения является точка зрения потребителей (частных или корпоративных). Однакосуществуют также исследования, которые проводятся с учетом всех факторов, оказывающих влияние на тот или иной рынок, - это конкуренция, аффилированность, общие тенденции, изменения в законодательстве, текущие и запланированные проекты игроков, отраслевое регулирование, риски и т. д. И ни в публикации, ни в отраслевую статистику эти исследования не попадают. Здесь как элемент могут применяться и кабинетное исследование, и потребительские опросы, но основной инструмент в данном случае экспертные интервью с игроками рынка, независимыми аналитиками, руководителями ассоциаций, журналистами, людьми, занимающимися конкурентной разведкой, и т. д.

Метод экспертной оценки - это разновидность исследования, в котором респондентами являются эксперты - специалисты в определенной области деятельности.

Основное назначение метода экспертной оценки - выявление сложных аспектов исследуемой проблемы, повышение надежности информации, выводов.

Отличительная особенность метода состоит в том, что он предполагает компетентное участие экспертов (экспертизу) в анализе и решении проблем исследования.

Экспертиза - процедура получения информации от экспертов. Экспертные оценки - это суждения экспертов о различных сферах человеческой деятельности, предполагающие процедуру сравнения объектов и их свойств по выделенным критериям.

Специфика опроса экспертов состоит в следующем.

Нет необходимости применять в анкете косвенные или контрольные вопросы.

Программа опроса экспертов не детализирована и носит концептуальный характер.

В анкете предпочтительней использовать открытые вопросы с полной свободой выбора формы ответа.

Основные нормативные требования к проведению экспертной оценки :

тщательность подбора экспертов;

оценка надежности представленной экспертами информации;

создание условий для продуктивного использования экспертов в ходе исследования;

учет факторов, влияющих на суждения экспертов;

сохранение информации экспертов без искажения на всех этапах исследования.

Качество и надежность экспертных оценок снижает неупорядоченный подбор экспертов.

Критерии подбора экспертов таковы:

степень компетентности, показателями которой могут служить наличие у эксперта ученой степени, ученого звания, стаж работы по специальности, служебное положение, число опубликованных работ и т. д.;

способность ориентироваться в последних достижениях современной науки в тех областях, которые являются предметом экспертизы;

сочетание узкой специализации и общего кругозора эксперта;

способность к анализу и синтезу изучаемых проблем,

умение перерабатывать и усваивать качественно новую информацию;

высокие моральные качества;

сочетание психологически приемлемых друг для друга в группе экспертов различного возраста, различных научных школ и т. д.

Экспертная группа не может быть многочисленной. Методы отбора экспертов выделим объективный - использование специальных методик отбора - и субъективный - привлечение к процедуре отбора самих потенциальных экспертов.

Объективный подход имеет два варианта :

а) документальный метод - подбор экспертов на основе социально­демографических данных.

б) экспериментальный метод - отбор на основе тестирования кандидата.

Субъективный подход также имеет несколько вариаций ;

а) аттестация - подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы (может проводиться в несколько туров);

б) метод взаимной оценки в баллах или ранжированием;

в) метод самооценки компетентности.

Экспертный опрос может иметь разные формы :

разовый индивидуальный опрос (анкетирование или интервью);

однократный коллективный опрос (совещания, мозговой штурм);

индивидуальный опрос в несколько туров (дельфийская техника);

коллективный опрос в несколько туров (дискуссия, совещание, мно­гоступенчатый отбор).

Еще одна форма экспертного опроса - традиционная дискуссия - метод беседы с небольшой группой экспертов на тему исследования. Целью дискуссии является выработка группового коллективного мнения. Предпосылкой успешной групповой дискуссии является четкая формулировка предмета дискуссии и знакомство с ней подавляющего большинства участников.

В значительной мере успех дискуссии зависит от культуры, подготовки, проведения и оформления коллективного мнения экспертов.

Метод «отнесенной оценки» - повторение нескольких циклов дискуссии с выявлением сущности наметившихся разногласий и постепенной выработкой единого мнения всех или большинства участников экспертизы, при этом за несогласными остается право на частное заключение.

Методы экспертизы при коллективной работе ее участников имеют много явных преимуществ, но одновременно обладают и рядом недостатков. Главный недостаток связан с воздействием экспертов друг на друга. Этот недостаток преодолевается с помощью индивидуального опроса в несколько туров. Заочный вариант метода «отнесенной оценки» приобрел название метода Дельфи, или дельфийской техники (от названия древнегреческого города, получившего известность как центр предсказаний оракулов).

Дельфийская техника гарантирует соблюдение анонимности респондентов: эксперты друге другом не встречаются, они заполняют анонимные анкеты или подключаются непосредственно к работе с компьютером.

После первого тура эксперты знакомятся с итоговыми характеристиками позиции группы в целом. Во втором туре они получают возможность либо сблизить свое мнение с позицией большинства, либо изучить причину отклонения. В третьем туре новая информация открывает возможность еще раз пересмотреть свою точку зрения.

Упрощенные вариации дельфийской техники («мини дельфи») позволяют

собрать экспертные оценки по 2-3 турам за несколько часов или дней.

К недостатки метода Дельфи относятся :

сложность подготовки, проведения и обработки результатов,

сравнительно большие затраты времени и средств.

Несмотря на недостатки, дельфийская техника получила значительное распространение; По масштабам применения во многих странах она оказалась в первой пятерке наиболее популярных методов социального прогнозирования.

Экспертный опрос в современном виде часто строится на совместном использовании различных методов, форм и процедур. Так, на основе использования дельфийской техники построена одна из американских систем прогнозирования - «Паттерн», которая позволяет создать систему информационных моделей в виде дерева целей. Работа по созданию системы начинается с создания сценария, т. е. описания состояния и направления развития исследуемого объекта. На следующем этапе строится дерево целей, для всякой цели разрабатываются необходимые и достаточные подцели, являющиеся условием достижения общей цели. На третьем этапе определяются коэффициенты относительной важности критериев и целей на всех уровнях. Далее определяются конкретные виды необходимых работ, ресурсы и сроки их осуществления. Самая длинная цепочка есть время исполнения всего комплекса работ.

Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме. Экспертные оценки формируются в процессе проведения экспертизы-исследования определенного объекта индивидуумом или группой компетентных специалистов с целью формирования информации об интересующих характеристиках, свойствах объекта, используемой при принятии решений. Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обобщенных данных и новой информации. Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного рода оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях.

Известны различные формы организации проведения экспертиз: индивидуальные и коллективные, одноуровневые и многоуровневые, с обменом информацией между экспертами и без него, анонимные, открытые и т. д. При всем широком многообразии типовых схем проведения экспертиз, практика часто ставит задачи, решение которых требует применения нетрадиционных, оригинальных подходов специалистами-организаторами по проведению экспертиз.

Для успешного решения указанных задач специалисты по проведению экспертизы должны владеть и умело руководствоваться на практике принципами рациональной организации и проведения экспертиз, методами получения, анализа и обработки экспертной информации, методами анализа результатов экспертизы. Для обеспечения получения высокоточных результатов экспертизы необходимо сформировать экспертную комиссию, включающую специалистов-профессионалов по исследуемым характеристикам, свойствам и аспектам рассматриваемого объекта, создать аналитическую группу специалистов-профессионалов по проведению экспертиз, организовать процесс корректной обработки и анализа информации, получаемой в процессе экспертизы.

Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов. Широта решаемой проблемы, определяемая количеством различных аспектов, связана с установлением нижней границы количественного состава экспертной комиссии, то есть количество экспертов должно быть в комиссии таковым, чтобы каждый аспект, направление исследования было закреплено как минимум за конкретным специалистом. Достоверность оценок связана с уровнем знаний экспертов и их количеством. При соответсвующем уровне знаний увеличение количества членов экспертной комиссии должно приводить к возрастанию достоверности результатов экспертизы. Величину располагаемых ресурсов на проведение экспертизы с учетом пропорциональности количеству привлекаемых экспертов следует использовать при определении верхней границы количественного состава экспертной комиссии. Таким образом, указанные ориентиры в конкретных случаях позволяют определиться с количественным составом экспертной комиссии.

Характеристики группы экспертов, включаемых в экспертную комиссию, определяются на основе индивидуальных их характеристик, а именно: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

Компетентность – это обладание определенными знаниями, позволяющее индивидуму высказывать суждения по определенному кругу вопросов. Степень компетентности может характеризоваться коэффициентом компетентности. Известны различные методы определения значений коэффициентов компетентности. Их подразделяют на априорные, апостериорные и тестовые.

В априорных методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов относятся:

метод самооценки с использованием балльной шкалы (3-балльной, 5-балльной и т. д.);

метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения или их диапазоны;

дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом;

методы взаимной оценки экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над_j-тым и т. д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии;

документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени, занимаемая должность, количество научных трудов и т. д.

Апостериорные методы оценки качества эксперта базируются на использовании информации о его суждениях, имевших место в экспертизах, проведенных с его участием. К таким методам относятся:

метод оценки качества эксперта на основе его ответов, базирующийся на анализе результатов парных сравнений, выполняемый с целью выявления нелогичностей (противоречий) и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;

метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.

Тестовые методы оценки качества эксперта нацелены на распознавание профессиональной пригодности испытуемого, а также выявление наличия необходимых навыков и опыта для эффективного участия в работе экспертной комиссии. Для успешного проведения тестового эксперимента необходимо выполнение следующих условий: целенаправленность содержания теста на конкретные объекты экспертизы; наличие шкалы, позволяющей оценить степень точности оценок эксперта; максимальная приближенность тестовых оценок эксперта их истинным значениям; возможность установления допустимых пределов отклонений оценок эксперта от их истинных значений; минимальная вероятность случайного угадывания экспертом истинной оценки.

Если оценка компетентности экспертов может носить количественный характер, то такие характеристики как креативность (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.

Опрос экспертов является одним из значимых этапов процесса организации и проведения экспертизы. В ходе реализации этого этапа осуществляется выявление и констатация суждений экспертов по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются: анкетирование, инрервьюирование, метод Дельфы, мозговой штурм, дискуссия.

В ходе анкетирования осуществляется опрос экспертов в письменной форме с помощью анкет. Анкета – составляемый организаторами проведения экспертизы список вопросов, предъявляемый экспертам, ответы которых служат исходными эмпирическими данными для обобщений и выводов. В процессе разработки анкеты организаторы экспертизы, ориентируясь на ее цели и задачи, должны составить перечень вопросов, тщательно отрабатывая их содержание, выбирая форму и последовательность. При этом следует избегать вопросов, на которые невозможно ответить или отвечать не требуется.

По содержанию вопросы подразделяют на три группы, а именно: объективные характеристики эксперта (фамилия, имя, отчество, год рождения, образование, специальность, стаж работы по специальности и т. д.); характеристики исследуемых аспектов объекта, сведения вспомогательного характера об источниках информации, располагаемой экспертом, о процессе аргументации суждений эксперта и т. п.

По форме вопросы бывают открытые, закрытые и с веером ответов. Открытые вопросы допускают возможность ответа в произвольной форме. Достоинством их является возможность взглянуть на рассматриваемые аспекты объекта с различных сторон, выявить широту мнений экспертов по исследуемым аспектам объекта экспертизы. В качестве недостатка следует отметить затруднения в их обработке, например, с точки зрения их интерпретирования, построения таблиц, графиков и т. п. Закрытые вопросы предполагают ответ эксперта в форме «да» – истина, «нет» – ложь, «не знаю» – затрудняюсь ответить. Эта форма вопросов эффективна при необходимости выявления мнения большинства экспертов по каким – либо аспектам исследуемого объекта, то есть при необходимости проведения «голосования» экспертов. Достоинством их является простота обработки, недостатком – узкий спектр их применения. Вопросы с веером ответов предоставляют возможность эксперту делать выбор из совокупности подготовленных ответов. Обычно такие вопросы готовят в ситуациях с наличием нескольких направлений в исследуемом аспекте объекта, с целью выявления наиболее перспективного направления для его реализации.

Последовательность включения вопросов в анкету также является важным элементом разработки анкеты. Вопросы должны включаться в анкету в логической последовательности. Вначале следует разместить вопросы, характеризующие объективные данные об эксперте, затем последующие вопросы должны пробудить интерес, честолюбие экспертов блеснуть профессионализмом по исследуемым аспектам объекта. При этом рекомендуется учитывать последовательное увеличение степени трудности задаваемых вопросов. При многотуровом анкетировании в условиях сложности объекта и неопределенности информации об объекте исследования рекомендуется начальные туры проводить на основе открытых вопросов, а последующие – на основе вопросов с веером ответов и закрытых.

Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы. Для успешного проведения интервью интервьюер должен тщательно его спланировать, проработать состав и очередность задаваемых вопросов с учетом приведенных выше рекомендаций, заранее сообщить испытуемым (экспертам) тему опроса, не знакомя их с конкретным перечнем вопросов. Опрос следует проводить динамично, задавать прямые и уточняющие вопросы с целью получения достоверной и достаточно полной информации. Результаты опроса интервьюер может дополнить своими личными наблюдениями. Живой контакт с испытуемым (испытуемыми) позволяет интервьюеру быстрее выявить полезные сведения об исследуемом объекте, формулируя очередные вопросы с учетом полученных ответов на уже заданные. Однако, при этом не следует забывать и о возможности негатива, связанного с влиянием интервьюера на ответы экспертов, с возрастанием вероятности неточных ответов, из-за ограниченного времени на продумывание ответов, с возможной неоправданно большой продолжительностью опроса при групповом исследовании.

Метод Дельфы (Дельфы – древнегреческий город располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям. Сущность метода заключается в организации итерационного (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. При реализации метода должны выполняться следующие требования: анонимность каждого включенного в Проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конкретным экспертом в процессе проведения экспертизы; наличие обратной связи в процессе проведения экспертизы, выражающейся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспертами на предшествующем шаге, для принятия решения по уточнению своих оценок; получение групповой оценки на основе обработки индивидуальных оценок членов группы. При этом значимым является обеспечение возможности давать экспертам ответы на поставленные вопросы преимущественно в количественной форме, организация достаточной информированности экспертов, системное обоснование своих точек зрения экспертами.

Экспертизы по методу Дельфы, как правило, проводят в несколько туров. Число туров определяется в ходе анализа результатов очередного тура и часто лежит в пределах от трех до пяти. В качестве формы опроса экспертов в основном применяется анкетирование, хотя и не исключаются и другие формы индивидуального опроса. В первом туре экспертов знакомят с целью проведения экспертизы, информируют о сущности рассматриваемого объекта, предъявляют перечень вопросов, ответы на которые обрабатываются, анализируются аналитиками с целью выявления крайних значений оценок – верхней и нижней границы, а также их обоснований, высказанных определенными экспертами. Находится среднее значение или медиана по результатам высказываний членов экспертной группы. Устанавливается величина разброса экспертных оценок, на основе которой делается заключение о согласованности точек зрения экспертов. Полученные результаты первого тура доводятся до экспертов с указанием расположения их собственных оценок. Во втором и последующих турах эксперты либо аргументируют свои оценки сильно отклоняющиеся от средних значений, либо корректируют их, находя новые доводы в пользу изменения их значений с учетом поступившей к ним дополнительной информации. Полученные данные вновь обрабатываются, анализируются с доведением результатов до экспертов. Анализ проводится в том числе и на предмет принятия решения о продолжении или прекращении проведения следующих туров, в случае получения достаточной степени согласованности мнений экспертов по альтернативам исследуемого объекта.

Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей. Организация проведения мозгового штурма достаточно подробно изложена в разделе 7.2.

Дискуссия как форма опроса экспертов проводится в виде открытого обсуждения рассматриваемой проблемы, с целью нахождения наиболее адекватных путей ее решения, выявления наиболее значимых факторов, влияющих на ее возникновение и развитие, системной оценки достоинств и недостатков результатов реализации возможных способов ее разрешения. Для организации и управления проведением дискуссии формируется группа управления с целью четкой формулировки сущности обсуждаемых задач, определения требований к экспертам и осуществления их подбора, разработки методики и регламента проведения дискуссии. Существенная роль в дискуссии отводится ведущему в создании творческой благоприятной обстановки для свободного изложения конструктивных идей выступающими по существу дискутируемых вопросов, в умении кратко и емко резюмировать выступления, в организации генерации эффективных коллективных идей, направленных на разрешение дискутируемых проблем. В ходе выступлений участников дискуссии разрешается критика, могут иметь место перерывы в процессе проведения дискуссии, предполагаются кулуарные обсуждения во время перерывов, способствующие достижению положительного эффекта во время дальнейшего продолжения дискуссии. Выступления фиксируются одним или несколькими возможными способами, анализируются по окончании дискуссии с целью обобщения и классификации основных результатов, высказанных участниками дискуссии. Основные результаты дискуссии могут быть скорректированы с учетом дополнительной информации экспертов, получаемой примерно через сутки после окончания дискуссии.

Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:

определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;

оценки согласованности и зависимости мнений экспертов;

оценки достоверности полученных расчетных величин.

Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.

Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта , сумма рангов объекта . Частота максимально возможных оценок для j-го объекта определяется по формуле:

где – количество максимально возможных оценок, полученных j-тым объектом;

– количество экспертов, оценивающих j-ый объект исследования.

Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.

Сумма рангов объекта исследования определяется по формуле:

где – ранг оценки j-м экспертом j-го объекта.

Если среди оценок данных j-m экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов понаиболее важным следует считать объект, характеризующийся его наименьшим значением.

Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т. д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.

В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирменаили Кендалла), коэффициент конкордации (дисперсионный или энтропийный).

Коэффициент вариации (Vj) оценок, данных j-му объекту определяется по формуле:

где – оценка в баллах i-м экспертом j-гo объекта;

– среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:

где mj – количество экспертов, оценивающих j-ый объект.

Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.

Коэффициент парной ранговой корреляции Спирмена для двух экспертов α и β определяется по

где – ранговые оценки j-гo объекта экспертов α и β;

п – количество оцениваемых объектов;

– показатели связанных (равных) рангов оценок экспертов α и β, вычисляемые следующим образом:

если все n рангов оценок, назначенных i-м экспертом различны, то Тi = 0, иначе для равных рангов:

где L – количество групп связанных рангов;

t1 – количество связанных рангов в 1-й. группе.

Значение коэффициента указывает на полную согласованность мнений экспертов α и β; значение – о полной противоположности мнений экспертов; значение – об отсутствии связи между мнениями экспертов.

Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое сумм рангов оценок всех объектов:

затем вычисляются отклонения dj суммы рангов оценок, полученных j-м объектом от :

после этого подсчитываются показатели Ti связных (равных) рангов ранговых оценок, назначенных i-м экспертом; в конечном итоге рассчитывается коэффициент конкордации:

где m1 – количество экспертов, оценивших хотя бы один объект.

Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.

Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат» . Последовательность определения уровня значимости по данному критерию состоит в следующем:

рассчитывается значение по формуле:

где т – количество экспертов,

затем вычисляется количество степеней свободы (r = n – 1, где n – количество исследуемых объектов).

По таблице значений для определенного числа степеней свободы и найденного значения определяется вероятность Р случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – Po (обычно Рo = 0,05 или 0,01), называемое уровнем значимости. Если Р оказывается меньше Рo, тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.

Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.

В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i-ой локальной АИСУ, ведущий специалист по разработке i-ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т. п. В свою очередь от специалистов, занимающиихся эксплуатацией системы, должно быть не менее шести экспертов.

Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i-x локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:

получены количественно определенные ответы на предлагаемые вопросы;

получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;

получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.

В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния 1-х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10, стр. 298), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции , на часть из которых они могут повлиять.

Таблица 9

Анализ оценки относительной важности влияния i-x

локальных АИСУ на статьи затрат себестоимости продукции

В качестве примера в табл. 9 приведен перечень пяти задач АИС О У по фазам управления-планирования, учета, контроля, анализа и регулирования для одного и того же объекта управления. Дается две задачи, решаемые в АИСУ проектированием (САПР) и приводится два типа АИСУ ТП, а также отмечено по стобалльной системе мнение одного из экспертов. В соответствии с его мнением наибольшее предпочтение отдано АИСУ ТП механообработкой. Аналогичным образом осуществляется опрос остальных экспертов, после чего начинается процесс обработки отобранных анкет. Их обработку можно проводить с помощью специально разработанной программы на ПЭВМ.

Для достижения второго условия необходимо сформировать анкету, которую можно составить на основании данных таблиц (см. табл. 10, 11, стр. 298). Эти таблицы по вертикали содержат источники аргументации, а по горизонтали оценку степени влияния на мнение экспертов источников аргументации.

Табл. 11 уже имеет определенные числовые значения компетентности эксперта. По источникам аргументации она соответствует табл. 10.

Таблица 10

Анкета оценки степени влияния на мнение экспертов источников аргументации

Таблица 11

Анкета количественной оценки степени влияния на

мнение экспертов источников аргументации

После этого в клетки табл. 10, отмеченные экспертами знаком « + » заносятся числовые значения соответствующих клеток табл. 11, сумма которых дает коэффициент аргументированности (Kai). Следует отметить, что табл. 11 разрабатывается в соответствии с проводимыми исследованиями и с учетом следующих выводов:

значение коэффициента аргументированности

значению Kai = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации;

значению соответствует низкая степень влияния на мнение эксперта всех источников аргументации.

В целях удовлетворения третьему условию каждому эксперту предлагается сделать отметку на шкале (от 0 до 10), соответствующую, по его мнению, степени его знакомства с обсуждаемой проблемой. Следует отметить, что вероятность правильного и точного заполнения анкеты больше у эксперта с большим временем работы в данной области.

После того как собран материал заполненных анкет экспертных оценок, вводятся показатели, характеризующие обобщенное мнение группы экспертов и компетентность экспертов по предложенным вопросам. Методика статистической обработки материалов таблиц экспертных оценок зависит от характера поставленных вопросов.

Показателями обобщенного мнения группы экспертов для данного типа вопросов являются показатели относительной важности влияния i-х локальных АИСУ на статьи затрат себестоимости продукции. Такими показателями могут быть: среднестатистическое значение оценки направления (j) в баллах (Mj) и частота высших (максимально возможных) оценок направления , которые определяются исходя из стобалльной оценки . Формулы расчета указанных показателей приведены выше.

– коэффициент степени знакомства с обсуждаемой проблемой.

Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для произведенной им оценки и равен сумме численных значений, вписанных в табл. 12.

Коэффициент степени знакомства учитывает степень знакомства эксперта с рассматриваемой проблемой и равен нормированному (умноженному на 0,1) значению соответствующей оценки, данной экспертом. Каждый эксперт отмечает степень своего знакомства на шкале, имеющей вид:

Таблица 12

Коллективная экспертная оценка

Коллективная экспертная оценка может проводиться с учетом и без учета компетентности экспертов. В первом случае значения Сij умножаются на значение коэффициента компетентности. Затем оценивается степень согласованности мнений экспертов и показатель репрезентативности экспертных оценок по формулам, приведенным выше. Целесообразно представить результаты обработки экспертных оценок в виде соответствующих таблиц.

Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме.

Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обощенных данных и новой информации.

В соответствии с главной целью технологии экспертных оценок – принятие эффективного решения по итогам проведения экспертизы следует решить определенные задачи:

обеспечить адекватную оценку объекта экспертизы;

выработать эффективные альтернативные варианты решений достижения поставленных целей;

выбрать из них единственный оптимальный (наиболее рациональный) вариант.

Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов.

Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость сформирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой.

Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы.

Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей.

Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп.

Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения.

Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов.

Литература

Евланов Л.Г. Теория и практика принятия решений. – М: Экономика, 1984.

Карданская Н.Л. Принятие управленческого решения. – М.:ЮНИТИ, 1999.

Литвак Б.Г. Экспертная информация. Методы получения и анализа. – М.: Радио и связь, 1982.

Методика (основные положения) определения потребности народного хозяйства в продукции отрасли (с учетом нормативов для отдельных групп продукции). – М.: ЦНИИ ИиТЭИ приборостроения, средств автоматизации и систем управления, 1982.

Растригин Л.А. Современные принципы управления сложными объектами. – М.: Советское радио, 1980.

Трояновский В.М. Математическое моделирование в менеджменте. – М.: Экономика, 1999.

Методы экспертных оценок - это способ прогнозирования и оценки будущих результатов действий на основе прогнозов специалистов.

При применении метода экспертных оценок проводится опрос специальной группы экспертов (5-7 человек) с целью определения определенных переменных величин, необходимых для оценки исследуемого вопроса. В состав экспертов следует включать людей с разными типами мышления - образное и словесно-логическое, что способствует успешному решению проблемы.

Привлеченные эксперты могут высказать свое мнение о лучших способов мобилизации резервов, привлечения инвестиций, сроков достижения поставленных задач, критериев отбора оптимальных вариантов решения и тому подобное.

Необходимым условием эффективного применения методов экспертной оценки есть достаточное знание эксперта по исследуемой проблеме, высокий уровень эрудиции, способность его давать четкие исчерпывающие ответы, к тому же экспромтом. Кроме того, эксперт не должен быть заинтересован в том или ином варианте решения поставленной перед ним проблемы. Эксперты подбираются по признаку их формального профессионального статуса - должности, ученой степени, стажа работы и др. Такой подбор способствует тому, что в число экспертов попадают высокопрофессиональные, с большим практическим опытом в данной области специалисты.

Таким образом, методы экспертной оценки требуют тщательной подготовки экспертов, работа которых содержит:

1) четкое определение целей и задач, а в некоторых случаях объединение и систематизация выводов;

2) набор достаточно компетентных независимых экспертов в области соответствующих объектов;

3) обсуждение вопроса в группе экспертов или исключения непосредственного общения между ними;

4) предоставление участникам экспертизы на каждом следующем этапе результатов и выводов предыдущего этапа. Это позволяет сделать определенные выводы, которые разделяют большинство экспертов;

5) выбор оптимальной подходящих методов обработки выводов экспертов;

6) точную формулировку итоговых выводов в экспертной работе.

Метод экспертных оценок - это фактически метод прогнозирования, основополагающим критерием которого является достижение согласия всех членов экспертной группы. Организационно это выглядит так. Эксперты, знакомые в взаимосвязанных сферах деятельности, подробно отвечают на вопросы анкеты, связанной с изучаемой проблемой. Каждый из них фиксирует свое мнение о проблеме, а затем сообщает об ответе своим коллегам. В случае расхождения его прогноза с мнением других, эксперт обязан объяснить причину такого несоответствия. Далее процедура повторяется до тех пор, пока мнения экспертов не совпадут. При этом нужно соблюдать анонимности, что помогает избежать возможности групповых размышлений над проблемной ситуацией.

Благодаря применению экспертных оценок получают два вида информации, на основании которой решаются два вида задач различной значимости и на разных уровнях управления:

1. Информация о единичных причинно-следственные связи в конкретных условиях места и времени. В основном эту информацию получают в результате опроса руководителей производственных подразделений предприятия (бригадиры, руководитель отделения, начальник цеха) и рабочих. Она предназначена для поиска направлений повышения эффективности производства и реализации продукции путем установления причин непродуктивного использования ресурсов и формирования действенных мер по их устранению.

2. Информация о типичных взаимосвязи исследуемых экономических явлений и процессов. Такую информацию способны предоставить только эксперты высокого класса, профессионалы, глубоко знающие сути и закономерностями проявления указанных явлений в различных условиях хозяйствования.

Основными задачами, которые чаще всего решаются на практике на основе полученной от экспертов информации, являются:

Ранжирование (упорядочение, размещенные в порядке возрастания или убывания) факторов и соответствующих показателей, которые характеризуют, по их значимости в развитии исследуемого явления, процесса;

Ранжирование предприятий или их структурных производственных подразделений (бригад, цехов, участков) по рейтингу, в основу которого положена совокупность различных показателей, характеризующих результаты финансово-хозяйственной деятельности или отдельных ее видов (финансовое состояние, рентабельность, платежеспособность и т.п.);

Предварительная оценка выполнения плана по определенному показателю.

Целевой анализ, основанный на результатах экспертных оценок, осуществляется в несколько этапов:

1. Определение цели исследования.

2. Определение необходимого количественного и качественного состава группы.

3. Создание группы.

4. Определение способа опроса.

5. Составление программы обследования и анкеты (листа) опрос.

6. Проведение опроса.

7. Сведения, группировка и анализ полученной от экспертов информации.

8. Обобщение результатов экспертизы и разработка возможных вариантов решений для достижения поставленной цели.

Все экспертные методы делятся на две группы - индивидуальные и коллективные - и подгруппы (рис. 14.3).

Индивидуальные экспертные методы - это использование мнений экспертов, которые сформулированы лично каждым из них самостоятельно без учета мнений других экспертов. К индивидуальным экспертных методов относятся: интервью и анкетирования.

Сущность метода интервью состоит в организации собеседования аналитика с экспертом, в ходе которой эксперт дает ответа на вопрос аналитика о факторах влияния на исследуемый объект, ожидаемых результатов хозяйствования, неиспользованных резервов, путей выхода из кризиса, направлений повышения эффективности производства и тому подобное.

Метод анкетирования (аналитического экспертного оценивания) заключается в предоставлении экспертом письменных ответов на вопросы анкеты. Однако этот метод имеет определенные недостатки, в частности эксперт может не понять вопросы анкеты, проявить субъективизм, нежелание критиковать руководство и оставлять свою письменный ответ и тому подобное.

Рис. 14.3. Основе виды методов экспертных оценок

Основными преимуществами индивидуальных методов экспертных оценок является простота организации обследования, понятность, учет и использование приобретенных знаний и опыта каждого эксперта. Ограничением применения этих методов выступает ограниченность знаний, информации экспертов из смежных сфер деятельности. Исходя из этого, большее распространение на практике получили коллективные экспертные методы.

Коллективные экспертные методы - это методы, которые обеспечивают формирование единой общему мнению в результате взаимодействия привлеченных специалистов-экспертов.

Среди коллективных методов экспертной оценки выделяют: метод комиссии (в том числе проведение производственных совещаний, конференций, семинаров, дискуссий за "круглым столом"), методы Дельфи, отстраненного оценки, конференция идей и др.

Метод комиссии заключается в выработке экспертами лучшего варианта достижения поставленной цели с учетом всех высказанных на совещании предложений, идей.

Положительной особенностью этого метода является возможность привлечения для экспертизы специалистов с широким диапазоном знаний из смежных областей науки и практики. Негативным возможен субъективизм, имеющиеся стереотипы мышления, которые сложились у экспертов, их склонность к компромиссу.

Метод отстраненного оценки заключается в выборе оптимального независимого решения из числа высказанных экспертами на совещании. Работа совещания разделена на две части: выдвижение идей и их критический анализ.

Метод Дельфи - один из методов коллективной экспертной оценки, который предусматривает проведение экспертного опроса среди группы специалистов в несколько туров (чаще в 3-4 туры) для выбора лучшего из решений. Метод Дельфи, или как его еще называют дельфийский метод, метод дельфийского оракула, получил свое название из названия городка Дельфи в Древней Греции, в котором жили оракулы-провидцы при храме бога Аполлона. Слово главного оракула не подлежавшее сомнения и принималось за истину.

Целью применения метода Дельфи является совершенствование группового подхода к решению задачи разработки прогноза, оценки за счет взаимной критики взглядов отдельных специалистов, высказываемых без непосредственных контактов между ними и при сохранении анонимности мнений или аргументов в их защиту.

В одном из вариантов этого метода прямое обсуждение заменяется обменом информацией с использованием специально разработанных вопросников. Возможно также применение особых приемов опроса через ЭВМ.

Согласно методу Дельфи участников просят высказать свои мысли, обосновать их, а в каждом последующем туре опроса им выдается новая, уточненная, информация о высказанных мыслей, которую получают в результате расчета совпадения мнений по ранее выполненными этапами работы. Этот процесс продолжается до практически полного совпадения мнений. После этого фиксируются мысли, которые не совпадают.

Этот метод успешно применяется в маркетинге. Его используют для того, чтобы сделать экспертное прогнозирование путем организации системы сбора и математической обработки экспертных оценок.

Конференция идей подобная мозгового штурма, но отличается от него темпом проведения совещаний и разрешенной короткой доброжелательной критикой идей в форме реплик и комментариев. При этом стимулируется сочетание нескольких предложений, фантазирование, что способствует повышению качества идей.

Все выдвинутые идеи записываются в протоколе без указывание их авторов. В состав участников конференции идей включаются не только высококвалифицированные специалисты, но и новички, неспециалисты - незаангажированные и способны выдвигать свежие, новые, неординарные подходы.

Таким образом, методы экспертных оценок играют важную роль в экономических исследованиях, особенно в проведении стратегического и функционально-стоимостного анализа. Применение этих методов позволяет определить, например, объем и структуру потребления продуктов питания, товаров или услуг населением за значительным кругом показателей, тогда как применение других методов анализа затруднено из-за отсутствия необходимой информации.

В практических маркетинговых исследованиях метод экспертных оценок можно использовать для разработки средне- и долгосрочных прогнозов структуры спроса на товары широкого потребления; прогнозирования указанной структуры на следующий год; определение групп потенциальных потребителей; а также для оценки объема неудовлетворенного спроса по группам и видам товаров. Например, метод экспертной оценки потребительской стоимости товара и цены на него - метод из группы нормативно-параметрических методов ценообразования. Он базируется на результатах опроса или результатах суждений коллектива экспертов о возможной ценность товара на рынке, спроса на него и выдвижении предложений о его цене.

Есть также много методов экспертной оценки, связанных с прогнозированием экономических и общественных явлений и процессов.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

МОСКОВСКИЙ СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЙ ИНСТИТУТ

на тему «Методика проведения экспертных оценок»

Студентки:

Артюшенко Юлия Викторовна

Группа: М10Б-Д-О-з

Москва 2014

Введение

2. Методы экспертных оценок

Заключение

Введение

В исследовании управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью многих проблем, их происхождением из "человеческого фактора", отсутствием надежных экспериментальных или нормативных инструментов.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

Изучению возможностей и особенностей применения экспертных оценок посвящено много работ. В них рассматриваются формы экспертного опроса (разные виды анкетирования, интервью), подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения и т.д.), методы обработки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компетентности экспертов, достоверности их мнений), методики организации экспертных опросов. Выбор форм и методов проведения экспертных опросов, подходов к обработке результатов опроса и т.д. зависит от конкретной задачи и условий проведения экспертизы.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широкое применение в социально-политическом и научно-техническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных программ, в решении отдельных проблем управления. экспертный управление ранжирование

1. Сущность, методы и процесс экспертных оценок

1.1 Сущность экспертных оценок

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от группы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов -- близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно; экспертов нельзя рассматривать как «хороших измерителей», и необходимо осторожно подходить к обработке результатов экспертизы, поскольку в этом случае мнение одного (единичного) эксперта, больше внимания уделяющего исследованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка результатов. Использование методов осреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных планов целесообразно выявлять «редкие» мнения и подвергать их более тщательному анализу.

Другая проблема, которую нужно иметь ввиду при проведении системного анализа, заключается в следующем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узко субъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи -процедуры даже могут усиливаться). Иными словами, на экспертные оценки нужно смотреть как на некоторую «общественную точку зрения», зависящую от уровня научно-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос -- это не одноразовая процедура. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределенности, должен стать своего рода «механизмом» в сложной системе, т.е. необходимо создать регулярную систему работы с экспертами.

Следует обратить также внимание на то, что использование классического частотного подхода к оценке вероятности при организации проведения экспертных опросов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использования представительности выборки). Поэтому в настоящее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории, размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели. Одной из разновидностей экспертного метода является метод изучения сильных и слабых сторон организации, возможностей и угроз ее деятельности - метод SWOT-анализа.

Сбор экспертной информации зависит от выбора метода экспертных оценок. Обычно для сбора экспертной информации составляют специальные документы, например анкеты, утверждаемые соответствующими руководителями и затем рассылаемые экспертам.

Обработка экспертной информации осуществляется с помощью выбранного метода, как правило, с использованием вычислительной техники. Полученные в результате обработки данные анализируют и используют для решения задач анализа и синтеза систем управления.

Экспертные оценки используют для анализа, диагностики состояния, последующего прогнозирования вариантов развития:

1) объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках, (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

Задачи, решаемые в процессе экспертных оценок систем управления, можно разделить на две группы:

1) задачи синтеза новых систем управления и их оценки;

2) задачи анализа (измерения) существующих систем управления по выбранным показателям и критериям эффективности.

К задачам первой группы относятся: формирование облика создаваемой системы; прогнозирование технико-экономических показателей стадий ее жизненного цикла; обоснование основных направлений реорганизации социальной системы управления; выбор оптимальных или удовлетворительных способов действий и исходов с использованием создаваемой системы управления и др. Некоторая часть экспертной информации, получаемая в ходе решения данных задач, носит качественный характер и формируется в виде сложных суждений в описательном виде. Однако задачи синтеза, решаемые с помощью экспертных оценок, могут носить количественный характер, и их решение будет связано с обоснованием многочисленных параметров (характеристик) создаваемой системы. К задачам второй группы относятся все задачи оценивания существующих или создаваемых вариантов систем управления с помощью заданных показателей и критериев эффективности. Примерами таких задач являются: определение структурных, функциональных или информационных характеристик системы; оценка её эффективности в ходе выполнения различных операций; определение целесообразности дальнейшей эксплуатации технических средств управления и связи и др.

1.2 Роль экспертов в управлении

Экспертиза -- это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаниях предмета исследования и технологиях качественного анализа.

Экспертиза бывает индивидуальная и групповая. При групповой экспертизе большое значение имеют подбор группы экспертов и методология итоговой обработки результатов ее работы.

Заключение экспертов представляет собой документ, в котором фиксируется ход исследования и его итоги. При этом выводы и мнения экспертов могут иметь как категоричную ("да", "нет"), так и вероятностную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

В организации работы экспертов необходимо придерживаться следующих принципов:

1. Идеи, мнения и оценки должны укладываться в заранее подготовленную схему. Это позволяет делать их обобщение, сравнение, выделение существенного и пр. Такая схема не должна сковывать мысль и ограничивать фантазию. Схема может допускать и предполагать возможность ее модификации и дополнения.

2. Обработку экспертных заключений необходимо осуществлять не только в количественном обобщении, но и посредством качественного анализа, выделяя главное, существенное, важное, актуальное, оригинальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа.

3. Эксперты должны быть независимыми, т.е. освобождены от каких-либо организационных или концептуальных, а также психологических ограничений. В этом случае лучшим образом реализуются их опыт, знания, интуиция.

4. Работа экспертной группы должна быть целенаправленной. Понимание, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта.

5. Существуют различные формы организации работы экспертной группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, взаимодействуя друг с другом.

6. Возможна параллельная и многоэтапная работа нескольких экспертных групп. Сопоставление экспертиз дает важную информацию.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

Специалиста или группу специалистов, выступающих в роли экспертов, иногда отождествляют с измерительным прибором, имеющим случайные и систематические ошибки измерения.

Случайные ошибки обусловлены субъективностью мнений экспертов о рассматриваемом вопросе и могут отклоняться в ту или иную сторону от истинного значения. Влияние таких ошибок уменьшается путем усреднения достаточного количества оценок.

Систематическая ошибка присуща всему коллективу экспертов и не может быть устранена путем обработки получаемых оценок. Это говорит о том, что в отдельных случаях необходимо подходить весьма осторожно к результатам экспертного опроса, которые могут иногда выражать в целом ошибочную точку зрения, зависящую от уровня знаний и убеждений экспертов.

1.3 Процесс экспертного оценивания

К основным этапам процесса экспертного оценивания относят:

Формирование цели и задач экспертного оценивания;

Формирование группы управления и оформление решения на проведение экспертного оценивания;

Выбор метода получения экспертной информации и способов ее обработки;

Подбор экспертной группы и формирование при необходимости анкет опроса;

Опрос экспертов (экспертизу);

Обработку и анализ результатов экспертизы;

Интерпретацию полученных результатов;

Составление отчета.

Задачу на проведение экспертного оценивания ставит ЛПР. Этап формирования цели и задач экспертного оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Формирование цели и задач экспертнoгo оценивания диктуется существом решаемой проблемы. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресурсы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

Для подготовки решения и руководства всей дальнейшей работой назначается руководитель экспертизы. Он определяет состав группы управления. Группа управления осуществляет обратную связь с экспертами либо методом Дельфи.

На группу управления возлагается не только вся организационно-плановая работа по обеспечению благоприятных условий для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет -- опросников, содержательной интерпретации получаемых результатов.

Этот большой и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов как в области рассматриваемой проблемы, так и в других областях -- психологии, математики, медицины, социологии.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по I проблемам исследования СУ;

коллективная оценка кандидата в эксперты как специалиста в данной области

самооценка кандидата в эксперты;

аналитическое определение компетентности кандидатов в эксперты.

Однако всем этим методам присущи определенные недостатки, в том числе: отсутствие единой общепризнанной методики оценки; высокая трудоемкость оценки; возникновение проблем этического характера при использовании субъективных методов оценки.

В ходе указанной работы зачастую, применяют одновременно несколько способов: самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

В общем случае формирование экспертной группы предваряют следующие мероприятия:

выявляется и формулируется проблема;

определяется цель и область деятельности группы;

составляется предварительный список экспертов;

проводится анализ и отбор экспертов (на основе использования одного или нескольких способов отбора их);

уточняется список экспертов; . получается согласие эксперта для участия в работе экспертной группы;

определяется окончательный репрезентативный список экспертов. Всех потенциальных экспертов в зависимости от их качества и компетенции можно классифицировать на семь классов

Пример градации качества и компетентности экспертов.

Выбор числа классов качества экспертов в данном случае обусловлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

Такая градация позволяет отобрать требуемых экспертов для работы в экспертной группе. Для получения достаточно объективных результатов исследования СУ отбор желательно осуществлять из числа экспертов, относящихся к 1--4-му классам качества. Кандидатов в эксперты более низких классов качества привлекать к экспертизам не целесообразно.

Независимо от избранного способа оценки качеств кандидатов эксперты должны соответствовать во всех случаях определенным требованиям, в числе которых:

* профессиональная компетентность и наличие практического и исследовательского опыта в области управления;

* креативность (умение решать творческие задачи); . научная интуиция;

Заинтересованность в объективных результатах экспертной работы;

* независимость суждений;

* деловитость «собранность» умение переключаться с одного вида деятельности на другой, коммуникативность, независимость суждений, мотивированность действий);

* объективность;

* нонконформизм;

* высокая общая эрудиция.

Проведение сбора мнений экспертов предполагает определение: места и времени сбора мнений; формы и методики сбора мнений; количества туров сбора мнений; состава и содержательной части документации; порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные. Таким образом, указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное) и каждая из них имеет ряд разновидностей:

* анкетирование;

* интервьюирование;

* дискуссия;

* мозговой штурм

* совещание;

* деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях каждая их этих разновидностей используется совместно с другими, что зачастую обеспечивает больший эффект и объективность. Смешанная форма применяется при сборе мнений экспертов в случаях некоторой неясности проблемы, при разногласиях? индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами -- средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

2. Методы экспертных оценок

SWOT-анализ

Особой разновидностью экспертного метода, пользующейся большой популярностью, является оригинальный метод SWOT-анализа. Он получил такое название по первым буквам четырех английских слов, которые в русском переводе означают: Сильные и Слабые стороны, Возможности и Угрозы.

Эта методология может использоваться в качестве универсальной. Особый эффект она имеет при исследовании процессов в социально-экономической системе, которой присуща динамичность, управляемость, зависимость внутренних и внешних факторов функционирования, цикличность развития.

По методологии этого анализа проводится распределение факторов, характеризующих предмет исследования по этим четырем составляющим с учетом принадлежности этого фактора к классу внешних или внутренних факторов.

В результате появляется картина соотношения сильных и слабых сторон, возможностей и опасностей, которая подсказывает, как следует изменить ситуацию, чтобы иметь успех развития.

Распределение факторов по этим квадрантам или секторам матриц не всегда является легким делом. Бывает, что один и тот же фактор одновременно характеризует и сильные, и слабые стороны предмета. Кроме того, факторы действуют ситуативно. В одной ситуации они выглядят достоинством, в другой -- недостатком. Иногда они бывают несоизмеримыми по своей значимости. Эти обстоятельства можно и необходимо учитывать.

Один и тот же фактор можно размещать в нескольких квадрантах, если трудно однозначно определить его место. Это не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким образом, чтобы их концентрация подсказала пути решения проблемы, чтобы они стали управляемыми.

В каждом квадранте факторы не обязательно должны обладать одинаковым весом, но они должны быть представлены в полной своей совокупности.

Заполненная матрица показывает реальное положение дел, состояние проблемы и характер ситуации. Это первый этап SWOT-анализа.

На втором этапе необходимо провести сравнительный анализ сильных сторон и благоприятных возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны относительно существующих опасностей. Такой анализ покажет, насколько вероятен кризис. Ведь опасность увеличивается, когда она возникает в условиях ослабленности, когда слабые стороны не дают возможность препятствовать опасности.

Конечно, весьма полезно сделать сравнительный анализ сильных сторон и существующих опасностей. Ведь сильные стороны можно плохо использовать при предотвращении кризиса, сильные стороны надо видеть не только относительно благоприятных возможностей, но и относительно опасностей.

В исследовании систем управления предметом этого метода могут быть различные проблемы развития управления. Например, эффективность, персонал, стиль, распределение функций, структура системы управления, механизм управления, мотивация, профессионализм, информационное обеспечение, коммуникации и организационное поведение и пр.

Использование специально подготовленных и отобранных экспертов или внутренних консультантов позволяет повысить эффективность этого метода.

Метод SMART

Существует множество модификаций метода SWOT-анализа. Наиболее интересный из них метод разработки и анализ целей.

Известно, что цель управления является решающим фактором успеха, эффективности, стратегии и развития. Без цели невозможно разработать план или программу. Но это касается не только цели управления, но и цели исследования. Ведь сформулировать корректно эту цель тоже бывает нелегко. Программа исследования, использования методов его проведения зависят от цели.

Цель должна разрабатываться по критериям достижимости, конкретности, оцениваемости (измеримости), с учетом Места и Времени. Эти критерии отражают английские слова -- Specific, Measurable, Achievable, Relevant, Timed, в сокращенном названии это SMART. Так и называется этот метод.

Метод предполагает последовательную оценку целей по совокупности критериев, расположенных в матричной форме. Вот набор сопоставимых факторов, отражающих характеристики цели: труднодостижима-легкодостижима, высокие затраты -- низкие затраты, имеет поддержку персонала -- не имеет поддержки персонала, имеет приоритеты -- не имеет приоритетов, требует много времени -- требует мало времени, имеет широкое влияние -- имеет ограниченное влияние, ориентирована на высокие технологии - ориентирована на низкие (обычные) технологии, связана с новой организацией управления -- не связана с новой организацией управления.

На следующем этапе составляется матрица определения проблем. Для достижения цели необходимо решить ряд проблем. Но для этого их надо сначала определить.

Распределение проблем осуществляется по следующим критериям: существующая ситуация, желаемая ситуация, возможность достижения цели. Эти критерии характеризуют горизонталь матрицы. По вертикали рассматривают следующие критерии: определение проблемы, оценивание проблемы (количественные параметры), организация решения (кто, где, когда), затраты на решение проблемы.

Такая матрица позволяет составить план исследований.

Метод ранжирования и оценивания.

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности), когда наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному -- последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точно упорядочение бывает при меньшем количестве объектов исследования, и наоборот.

При предпочтительной (по рангам) расстановке объектов экспертизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов Н, начиная с единицы: Н= (Н+1): 2.

Результирующие ранги объектов ранжирования по данным опросов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний -- тому, у которого оказалась наибольшая сумма рангов, т.е. наименее значимому объекту (пример определения результирующего ранга трех объектов семью экспертами)

Чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышает стоимость проведения оценок качества. Поэтому, чтобы снизить трудоемкость работ экспертов, используют метод рангов, который предусматривает только ранжирование показателей, а не их численное определение экспертами.

Тем не менее данный метод применяется в практике исследования СУ, несмотря на свою простоту и малую трудоемкость, сравнительно. Это объясняется большим числом ранжируемых объектов исследования.

Метод непосредственного оценивания

Представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наибольшее количество баллов по принятой шкале (дается оценка). Наиболее распространен диапазон шкалы оценок: от 0 до 1; 0 до 5; 0 до 10; 0 до 100. В простейшем случае оценка может быть 0 или 1.

Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Непосредственное оценивание следует применять при полной уверенности в профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и весомость (значимость) каждого исследуемого объекта.

Заключение

В настоящее время все шире применяются различные методы экспертных оценок. Они незаменимы при решении сложных задач оценивания и выбора технических объектов, в том числе специального назначения, при анализе и прогнозировании ситуаций с большим числом значимых факторов - всюду, когда необходимо привлечение знаний, интуиции и опыта многих высококвалифицированных специалистов-экспертов.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

В основу экспертной оценки свойств и деловых качеств кандидата положены количественные параметры и оценочные критерии, полученные в результате интервью. Хотя здесь и присутствуют элементы условности и субъективизма, однако при хорошей разработке шкалы оценок и внимательном (профессиональном) подходе экспертов оценить испытуемых можно с высокой степенью достоверности.

Список использованной литературы

1.Григоров В. М. Эксперты в системе управления общественным производством // М.: Мысль, 1976

2.Демидова А.В. Исследование систем управления. - М.: Приор-издат, 2005. - 96 с.

3.Игнатьева А.В. Исследование систем управления. - М.: ЮНИТИ-ДАНА, 2003. - 157 с.

4.Кафидов В.В. Исследование систем управления. - М.: Академический Проект, 2005. - 160 с.

5.Малин А.С. Исследование систем управления. - М.: ГУ ВШЭ, 2005. - 399 с.

6.Рейльян Я. Р. Основа принятия управленческих решений //М.: Финансы и статистика, 1989

7.Ременников В.Б. Разработка управленческого решения. Учеб. пособие. -- М.: ЮНИТИ-ДАНА, 2000.

8.Смолкин A.M. Менеджмент: основы организации. -- М.: ИНФРА-М, 1999.

Размещено на Allbest.ru

Подобные документы

Решение задач, аргументация и формирование количественных оценок результатов формальными методами. Составляющие метода экспертных оценок. Метод коллективной генерации идей ("мозговая атака"). Метод Дельфи, особенности метода фокус-групп, SWOT-анализ.

презентация , добавлен 30.03.2014


Сущность и содержание, основные этапы проведения экспертного анализа, сферы и особенности его практического применения, интерпретация результатов. Степень достоверности данной экспертизы. Применение метода экспертных оценок для построения дерева целей.

курсовая работа , добавлен 25.02.2012


Понятие и особенности применения экспертных технологий, как неотъемлемой составной части процесса подготовки и принятия важных управленческих решений. Изучение основных стадий экспертного опроса. Подбор экспертов. Метод Делфи, ПАТТЕРН, мозговой атаки.

реферат , добавлен 09.10.2016


Использование экспертных оценок. Применение различных методов для решения одной задачи. Ранжирование, парные и множественные сравнения, непосредственная оценка, метод Терстоуна – наиболее употребительные процедуры экспертных измерений. Методы типа Дельфи.

контрольная работа , добавлен 09.03.2011


Сущность и виды экспертных оценок, цели их использования. Основные этапы экспертного исследования. Характеристика методов коллективной работы экспертной группы, а также методов получения индивидуального мнения. Обработка результатов опроса специалистов.

реферат , добавлен 03.04.2012


Характеристика экспертных процедур: особенности эвристических методов и моделей, методов индивидуальных оценок, коллективных экспертных оценок. Специфика проведения экспертизы, содержание и обработка результатов. Экспертная оценка уровня странового риска.

реферат , добавлен 10.05.2010


Методы получения экспертных оценок. Проблема подбора экспертов. Нормативные документы, регулирующие деятельность экспертных комиссий. Принятие решений в условиях риска и в условиях неопределенности. Задачи на принятие решений в условиях неопределенности.

контрольная работа , добавлен 15.07.2010


Сущность и виды решений в процессе управления производством. Основные требования, предъявляемые к качеству управленческих решений. Методы оптимизации управленческих решений. Способы оптимизации решений методами экспертных оценок.

курсовая работа , добавлен 08.05.2002


Изучение методов прогнозирования развития: экстраполяции, балансового, нормативного и программно-целевого метода. Исследование организации работы эксперта, формирования анкет и таблиц экспертных оценок. Анализ математико-статистические моделей прогноза.

контрольная работа , добавлен 19.06.2011


Методика и этапы классификации систем по различным признакам. Составление анкет для получения экспертных оценок, их обязательные реквизиты и главные вопросы. Сущность и построение дерева целей, принципы его детализации. Методика оценки сложных систем.

3. МЕТОДЫ ПРИНЯТИЯ РЕШЕНИЙ

3.4. ЭКСПЕРТНЫЕ МЕТОДЫ ПРИНЯТИЯ РЕШЕНИЙ

3.4.1. Основные идеи методов экспертных оценок

Примеры методов экспертных оценок. Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, менеджеры, экономисты, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках кибернетики, теории управления, менеджмента и исследования операций стала развиваться самостоятельная дисциплина - теория и практика экспертных оценок.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов . Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР – лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

Экспертные оценки бывают индивидуальные и коллективные . Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"

Другой простейший пример экспертных оценок - оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений).

В фигурном катании процедура усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

Экспертные оценки часто используются при выборе, например:

Одного варианта технического устройства для запуска в серию из нескольких образцов,

Группы космонавтов из многих претендентов,

Набора проектов научно-исследовательских работ для финансирования из массы заявок,

Получателей экологических кредитов из многих желающих,

При выборе инвестиционных проектов для реализации среди представленных, и т.д.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).

Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики.

Один из наиболее известных методов экспертных оценок - это метод "Дельфи" . Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников. По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв. Это вытекает из высшего достижения современной исторической науки - новой статистической хронологии.

В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.

Однако сама методика оказалась популярной - за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев , применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если во втором туре победит Б.Н. Ельцин, то будет то-то и то-то, если же победит Г.А. Зюганов, то события пойдут так-то и так-то.

Метод сценариев необходим не только в социально-экономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.

Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

Построение исчерпывающего, но обозримого набора сценариев;

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.

Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария.

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе ), в том числе анализе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Еще один вариант экспертного оценивания - мозговой штурм . Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Основные стадии экспертного опроса. Более подробно рассмотрим отдельные этапы экспертного исследования. Как показывает опыт, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.

1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР.

2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам - высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело секретаря - ведение документации экспертного опроса, решение организационных задач.

3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса . На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется Рабочая Группа, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.

4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики (о некоторых из названных методов речь пойдет ниже). Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный опыт, информация используется не более чем на 1-2%.

5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования..

6) Формирование экспертной комиссии . На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК). Возможно, часть намеченных РГ экспертов не может войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или отказывается по тем или иным причинам (занятость, условия контракта и др.). ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК , подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

Разберем подробнее отдельные стадии экспертного исследования. Начнем с подбора экспертов: кадры решают все! Каковы эксперты - таково и качество заключения экспертной комиссии.

Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем обсуждать проблему существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.

Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают определенное количество (обычно 5 - 10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, лиц из этого же "клана". Мнения и аргументы других "кланов" будут упущены. (Здесь речь идет о том, что сообщество специалистов реально разбито на группы, названные выше "кланами", и общение идет в основном внутри "кланов". Неформальная структура науки, к которой относятся "кланы", достаточно сложна для изучения. Отметим здесь, что "кланы" обычно образуются на основе крупных формальных центров (вузов, научных институтов), научных школ.)

Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели ". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун " может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Необходимо подчеркнуть, что подбор экспертов – одна из основных функций Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.

О разработке регламента проведения сбора и анализа экспертных мнений. Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.

В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения на классификацию методов экспертных оценок может принести лишь вред.

Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки.

Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов.

ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР. Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Именно от них следует ожидать наиболее оригинальных аргументов.

ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР. Математические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.

ДОГМА СОГЛАСОВАННОСТИ. Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в академическом Институте проблем управления (автоматики и телемеханики)).

Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР).

Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации (т.е. - в переводе - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по дурной традиции толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных ). Группы экспертов с близкими методами можно выделить эконометрическими методами кластер-анализа.

МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов , т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели (см., например, учебное пособие ).

Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур . Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.

В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.

ДОГМА ОДНОМЕРНОСТИ. В устаревшей, а иногда и в современной научно-технической литературе распространен довольно спорный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом . Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках . Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости". Практически все реальные объекты достаточно сложны, а потому сколько-нибудь точно описать их можно лишь с помощью многих и многих чисел, а также математических объектов нечисловой природы.

Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:

расход бензина на 100 км пути (в среднем);

надежность (в том числе средняя стоимость ремонта за год);

экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;

маневренность (в том числе радиус поворота);

быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;

длительность сохранения в салоне положительной температуры при низкой наружной температуре (например, минус пятьдесят градусов по Цельсию) и выключенном двигателе;

дизайн (привлекательность и "модность" внешнего вида и отделки салона);

вес, и т.д.

Можно ли свести оценки по этим показателям вместе? Ясно, что определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин различных служб государственного управления, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д.

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.

В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.

Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

ВТОРОЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ЧИСЛО ТУРОВ. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур.

Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.

ТРЕТЬЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ОРГАНИЗАЦИЯ ОБЩЕНИЯ ЭКСПЕРТОВ. Рассмотрим достоинства и недостатки каждого из элементов шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений. При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует однотуровой экспертизе. Заочное анонимное общение , например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура. Заочное общение без анонимности соответствует, например, общению по Интернету. Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное время и место.

При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего (по чину и должности) к старшему. Наконец, очная экспертиза без ограничений - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут беседовать, а лейтенанты - помалкивать. При этом вполне очевидно, что лейтенанты получили образование позже генералов, а потому обладают полезной информацией, которой нет у генералов.

КОМБИНАЦИЯ РАЗЛИЧНЫХ ВИДОВ ЭКСПЕРТИЗЫ. Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов ГАК - государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу. Отметим, что мнения экспертов учитываются с весами, а именно, мнения членов ГАК - с весом 1, мнения всех остальных - с весом 0 (совещательный голос). Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

Предыдущая