Эксπир
Регистрация / Вход

Изменение принципов экспертизы научно-технических проектов

Дата начала
Дата завершения
Проблематика
Область поддержки инновации, Объект финансирования
Категория
Внебюджетное финансирование, Минобрнауки, Наука, Экспир
Аннотация
Консерватизм научных школ не способствует продвижению инновационных проектов. В составе экспертных советов часто отсутствуют специалисты экономического и юридического профиля, что не позволяет оценить возможности проекта по коммерциализации. Нам важно услышать мнение различных заинтересованных сторон относительно принципов, которые возможно было бы внести в экспертную деятельность по Программе УМНИК, недостатков текущей системы, а возможно и не только в ней, но и в других программах Фонда.

ПОВЕСТКА ОБСУЖДЕНИЯ

Введение*

Фонд содействия развитию малых форм предприятий в научно-технической сфере ежегодно проводит конкурс "Участник молодежного научного инновационного конкурса" ("УМНИК"), где молодые ученые возрастом до 28 лет имеют возможность получить безвозмездные гранты на развитие своих научных проектов.

Анализ работы Представительства Фонда в Ростовской области за 2008-2013 гг. показал наличие целого ряда организационных трудностей, вызванных несовершенством действующего регламента процедуры отбора победителей Программы.

Основные причины, снижающие эффективность программ фонда:

  • Большая часть полуфинальных мероприятий Программы построена на базе крупных учебных организаций. Однако попасть на такие мероприятия молодому предпринимателю, не являющемуся учащимся, слушателем или студентом, практически невозможно.
  • Такое положение способствует развитию явления "кумовства" и фаворитизма, когда отбираются в первую очередь те проекты, которые аффилированы с экспертами из региональных экспертных советов. 
  • Консерватизм научных школ не способствует продвижению инновационных проектов молодых кандидатов. 
  • В составе экспертных советов часто отсутствуют специалисты экономического и юридического профиля, что не позволяет в полном объеме оценить возможности проекта по коммерциализации и адекватности предложений рынку и его макроокружению. 
  • Экспертные советы формируются региональными Представительствами на основании имеющихся у кандидатов (местных представителей научной общественности) ученых степеней и званий, но без учёта сложившихся коалиций, принадлежности научным школам и частным компаниям. По сути, региональные экспертные советы представляют собой форму регионального краудсорсинга (как инструмент решения задачи создания общественного блага за счёт привлечения социально активных граждан). К сожалению, в регионах распространена практика, при которой эксперты во время процедуры отбора формируют скрытые коалиции и голосуют положительно только за "своих" кандидатов.

 

Сложившиеся принципы и методики организации региональных экспертных советов результативны (цель всё же достигается и достигается всегда), но не всегда эффективны (часто за счёт разных ухищрений или высокой нагрузки на представительства и сотрудников Фонда, регулирующих возникающие спорные ситуации). Разные региональные представительства по-разному решают для себя эти проблемы, а значит и уровень качества и репутации Фонда различается в разных регионах. Задача Фонда и представительств состоит в том, чтобы создать некий "решебник" (путеводитель, учебник с примерами), который будет содержать подробное описание "лучших практик" проведения конкурсов Программ, и который можно будет тиражировать по всей стране.

Представительство Фонда в Ростовской области сформировало гипотезы по изменению принципов экспертизы, которые позволят повысить эффективность программы: 

Гипотеза 1 

Отказ от балльной системы оценивания проектов "по частям" (актуальность, новизну, коммерциализацию и пр.) в пользу системы сравнения проектов между собой "целиком" ("этот" проект в целом лучше "того") качественно улучшит возможности региональных экспертов по отбору наиболее "жизнеспособных" заявок и создаст условия для снижения кумовства и коррупции.

Гипотеза 2

Обязательное наличие в региональных экспертных советах экспертов с экономическими знаниями помогут отсеивать проекты с неудовлетворительным уровнем подготовки по коммерциализации несмотря на то, что с точки зрения научной новизны и технологий данные эксперты зачастую не могут составить адекватное представление о проектах.

 

 

Проблематика

Нам важно услышать мнение различных заинтересованных сторон относительно принципов, которые возможно было бы внести в экспертную деятельность по Программе УМНИК, недостатков текущей системы, а возможно и не только в ней, но и в других программах Фонда. Не обязательно ограничиваться обсуждением гипотез, мы будем рады предложениям по любой части дискуссии.

-----

Организатор: Роман Ахмедович Хади (a0e8ddd522a444r.hady@fasie.info)

*Полный текст "Повестки обсуждения" и "Шаблон листа рейтингового голосования эксперта" Вы можете найти во вложении.

Для того чтобы иметь возможность добавлять свои ответы, необходимо войти в систему или зарегистрироваться.

Считаете ли Вы структуру экспертизы достаточной для принятия решения по проекту?
Да
3 (37.50%)
Нет
2 (25.00%)
Затрудняюсь ответить
3 (37.50%)
Может ли улучшить экспертизу система сравнения проектов друг с другом? Как такая экспертиза может быть устроена?
Скрыть ответы Показать ответы
Форма экспертизы может быть и действительно является разной. Например система сравнения проектов друг с другом реализована (не в полной мере, но близко) в системе экспертиз РФФИ. Но форма экспертизы не влияет на результаты, и тем более на искоренение коррупции.
Несомненно, когда нужно выбрать определенное количество проектов для поддержки их приходится сравнивать друг с другом, если экспертам такая возможность предоставлена. На практике, эксперту представляют не все проекты, участвующие в конкурсе, а решение принимает совсем другая комиссия, которая руководствуется своими критериями, например, какой коллектив стоит поддержать, а не какой проект лучший.
Может, но при небольшом количестве сравниваемых проектов близких по результату. Как предложение — по совокупности набранных балов и общему результату делить проекты на группы: точно прошли, точно не прошли и кандидаты в список прошедших. По кандидатам провести сравнение.
Может улучшить, если сгруппировать проекты по направлениям.
Подход сравнения всех проектов друг с другом вряд ли будет эффективным в силу того, что проект из области порошковой металлургии сложно сравнить с ITшным проектом.

Правда позволить себе разбить проекты по направлениям могут только организации с большим потоком заявок. Бортник на федеральном уровне, ФЦП ИР и т.д.
Что вы думаете о текущем процессе экспертизы научно-технических проектов и как бы вы хотели изменить процессы экспертизы?
Скрыть ответы Показать ответы
Экспертиза - это один из способов прогноза в теории управления. В зависимости от задач экспертиза осуществляется теми или иными методами, достаточно широко разработанными и известными. В дискуссии нет места и времени дать хотя бы основной список научных трудов по экспертизе, но следует заметить, что в мире нет идеальной системы экспертиз. Попытки формализовать процесс экспертизы до сих пор терпят неудачу, так как мы имеем дело с нелинейной системой принятия решений. В области научно экспертизы мы не можем опираться на нормативные ограничения, так как научная экспертиза (в отличие от строительной, медицинской, экологической, Экспертизы ГКЗ и др.) не имеет отраслевой нормативно-законодательной основы. Существующие научные экспертизы (есть норма об обязательности такой экспертизы при проведении тендоров и оформлении госзаказов/госзакупок) является полностью самодеятельностью различных заказчиков и инвесторов, и отказывать им в праве формировать требования к проекту (а следовательно и к процедуре экспертизы), который они потом будут финансировать, нелепо. Если интересно, могу поделиться опытом работы в Дирекции Федеральной программы в качестве куратора проведения экспертизы научно-технических проектов, в том числе и по заявкам малых предприятий, но это весьма объемный материал.
Все замыкается на задачу коммерциализации результата (РИД), перспективы в активном научном сообществе (АНС) "слабовероятные", так как ни исполнители ни эксперты ни бизнес не понимают как относиться к результатам проведения патентных исследований (и с чем это едят?)...
А исполнители ГК (ИГК, ИСПС) и вовсе деградировались (многие руководители проектов (ИГК, ИСПС) бравируют тем, что они вообще даже не читают Отчеты о НИР (Отчеты о ПНИ) и Отчеты о патентных исследованиях (как Приложение к Отчету о НИР) достаточно посмотреть последние … ИГК, ИСПС не знают ни терминологии патентного права ни требований ГОСТ Р 15.011-96 шикарные методики написанные в СССР для ГОСТ 15.011-82 не портируются вовсе, исполнители не знают чем отличается ГОСТ Р 15.011-96 от ГОСТ 15.011-82, исполнители не знают что представляет собой результат патентных исследований).

Помните: Деньги дают под охранный документ (РИД), в котором заложена и обоснована идея (техническое решение)... А отчет о НИР (ПНИ) с приложением Отчета о патентных исследованиях являются только приложением к РИД в виде большой пояснительной записки (ПЗ) в которой обоснована правильность выбора решения научно-технической задачи ...

Сравните: РИД (РФ) и РИД (США) и Вам все станет понятно… востребованы только качественные охранные документы…
Так американцы (и японцы и др... как пример Mitsubishi Group) в части проверки критерия патентоспособности в части проверки оценки 2го уровня (изобретательского уровня) вовсю пользуют наши АРИЗ - Альтшуллера, а наши руководители проектов - доктора наук даже не слышали что это такое... именно в этом заложены точки роста (максимальном использовании патентных баз знаний, а им уже более 200 лет)…
Все это называется инвестпривлекательностью...

Предлагаю: на этапе заявок предпочтения выдавать тем исполнителям, которые при разработке ТЗ готовы провести качественные патентные исследования (и это законно см. ГОСТ 15.101-98)... именно при проведении этого предИсследования видны критерии (оценки) новизны, изобретательского уровня и промприменимости... сами по себе отвалятся "незнайки" и "нежелайки" (около-научностные сущности (ОНС)...
1. Необходимо, чтобы решение группы экспертов было окончательным и не могло бы быть изменено организаторами конкурса.
2. До подведения итогов конкурса необходимо ознакомить участников с оценками экспертов.
3. Участник конкурса должен иметь возможность опротестовать решение, обосновав причины несогласия.
4. Желательно заслушивать отобранных в короткий список участников для принятия окончательного решения о поддержке проекта.
Текущий процесс направлен на минимизацию рисков.
В итоге большинство конкурсов выигрывают коллективы с маститыми именами, даже при полной отсутствии коммерциализации.
Со стороны бизнеса вход практически закрыт.
В силу того что, что время сейчас кризисное, нужно рыночный потенциал продуктов ставить во главу угла.
Для того, чтобы все проблема коммерциализации были реально видны, нужно сделать публичными результаты работ, а знание о том, получилось ли в итоге проекта сделать продукт и - открытым.
Тогда неэффективные научные группы с кучами публикаций в низкосортных журналах всплывут наверх.
Каким образом повлияет на результаты экспертизы наличие в экспертных советах представителей бизнеса?
Отрицательно. Эксперты с экономическими знаниями будут снижать средний научно-технический уровень проектов. (0)
Положительно. У проектов будет больше шансов выйти на стадию коммерциализации (3)
Неизвестно. Нужно провести пилотные изменения и провести анализ после получения достаточной статистики. (4)
Участники (36)
Свернуть список Развернуть список
Ctrl+Enter
Esc
?

Комментарии

Для того чтобы оставить комментарий, необходимо войти в систему или зарегистрироваться.

Новые принципы экспертизы (качественная оценка проекта, введение экспертов эжкономического профиля) не решат перечисленные несовершенства процедуры отбора.Они могут стать эффективными при иной - организационно - системе экспертизы, исключающей взаимодействие прямо или косвенно взаимозависимых элементов (административно, и/или в силу сложившихся в подразделении/регионе отношений, пр., профессор вуза - аспирант/студент). Вариантом решения может стать применяемый в научной среде принцип "слепой" оценки проекта экспертом, случайным образом выбранным из сформированной на базе профессиональных компетенций базе. Разумное число таких экспертов позволит свести к минимуму субъективный фактор оценки отдельного специалиста.

 3
Показать ответы (2)
Скрыть ответы (2)

В полной мере не решат, конечно же. Речь идет скорее о снижении влияния. Грубо говоря, что мы могли бы сделать прямо сейчас, не ломая на корню действующие процессы и не останавливая работу.

Кроме того, зная немного о специфике двойных слепых исследований, могу сказать, что и там влияние "перечисленных несовершенств процедуры отбора" лишь снижено, но полностью не исключено.

Да это и невозможно, если принять во внимание теорию Коузана и его транзакционные издержки.

 1

Большую роль при экспертизе играет портфолио научного коллектива и самой организации.

Поэтому полностью объективной научно-техническая экспертиза быть физически не может.

Если брать сильно узкую область, то там все эксперты знают и друг друга, и руководителей проектов в этой области.

 1

Уважаемые участники дискуссии!

Дискуссия довольно сложная, а частные мнения могут оказаться весьма разрозненными, поэтому я предлагаю на первом этапе дискуссии рассмотреть и обсудить только процедуру выбора - что мешает, что помогает, какие есть недостатки и каковы соображения о том, как их можно преодолеть.

Предположим, что наша исходная ситуация такова: мы с вами участники жюри некоего технологического конкурса, у нас есть 10 поданных конкурсантами заявок, из которых необходимо отобрать 5 лучших. Мы можем задавать вопросы, читать описания, нам доступна вспомогательная информация, но мы не можем потратить много времени на оценку каждой заявки (например, если заявка содержит описание элементов исследования нано-материалов на основе металлооксидов, в которых я не являюсь специалистом, то у меня не будет возможности изучить тему и стать там выдающимся специалистом - увы, но такова специфика всех современных передовых научных областей).

Наше первое решение: мы - эксперты, и мы вводим критерии оценки, которые известны нам из текущего уровня знаний (научная новизна, актуальность, возможность коммерциализации и пр. - всего 10 штук), оцениваем каждую заявку по каждому из этих критериев по 10 балльной шкале (10 баллов за очень хорошее соответствие, а 0 - за полное несоответствие заявки критерию). Если все эти баллы сложить, то каждая заявка оценивается каждым экспертом от 0 до 100 баллов. Для каждой заявки мы берем среднее значение оценок от всех экспертов и записываем его в единый перечень. Первые 5 заявок, набравших больше всего баллов - победители.

Наше второе решение: мы, как специалисты в своих областях (хоть и не ученые с мировым именем), полагаемся на общее представление заявки и будем оперировать нашими общими представлениями объективности, адекватности и полезности исследования, а значит можем позволить себе сравнивать заявки друг с другом и сразу целиком, оценивая общий уровень каждой конкретной заявки. Каждый участник жюри составляет для себя список представленных заявок в порядке приоритета - в самом верху списка заявка, которой он с большим предпочтением отдал бы победу, затем следует хорошая заявка, которая несколько хуже самой хорошей, и т.д. до самого низа списка, где находятся заявки самого плохого качества. Участник жюри имеет возможность сравнивать заявки между собой, введя некоторое правило сравнения и "двигая" их в этом списке в зависимости от того, какая из заявок по его мнению лучше другой. Далее мы объединяем все списки участников жюри в единый список. Первые 5 заявок в самом верху списка - победители.

 

Какой бы вариант Вы выбрали и почему?

Какие недостатки Вы видите у каждого из вариантов?

Вырожденные случаи? Примеры?

 1
Показать ответы (7)
Скрыть ответы (7)

Первый вариант - это как устроена экспертиза сейчас.

Второй вариант - менее распространенная практика, но тоже встречается. Если не ошибаюсь, в Евросоюзе преимущественно.

Я думаю что если и менять текущий вариант принятия решений о финансировании рнаучно-технических проектов - то надо эти изменения проводить не на уровне методологии работы экспертов, а на уровне входной информации.

 

Мы прорабатываем несколько вариантов:

1) Еще до того, как проект попадает к экспертам, он проходит разностороннюю краудсорсинговую экспертизу в нескольких разрезах:

  • Наука
  • Бизнес
  • Производство

При этом по каждому типу разные люди отвечают на вопросы.

Это позволит экспертам опираться не только на свое личное мнение (а охватить всё невозможно даже в узкой области), но и на мнение профессионального сообщества. Потенциально это решит проблему коллективов с регалиями, не ориентированных на создание продуктов.

2) Принимать решение на уровне данных:

  • Попадание в тренды
  • Степень запатентованности научного направления
  • Количество уже выполненных в РФ проектов по данному направлению
  • Уровень научного коллектива по отношению к похожим научным коллективам
  • Количетсво организаций, которые занимаются похожими разработками

и т.д..

 

Словом, по каждому входному проекту должна быть информация для поддержки принятия решения.

У нас разработан экспериментальный сервис для решения подобных задач:

https://sas-search.naumen.ru/

Атрибуты доступа: test/test

 3

Это позволит экспертам опираться не только на свое личное мнение (а охватить всё невозможно даже в узкой области), но и на мнение профессионального сообщества. Потенциально это решит проблему коллективов с регалиями, не ориентированных на создание продуктов.Источник: https://xpir.ru/debate/Kraudsorsing-dlya-organov-gosudarstvennoi-vlasti-regionalnii-uroven © Экспир

Тогда

- нивелируется роль экспертов

- в роли коллективных экспертов выступают также неспециалисты в конкретной области, а просто имеющие мнение

- эксперт не может ориентироваться на мнение профессионального сообщества, ни на любое другое, он должен руководствоваться исключительно (в идеале) собственными представлениями (знаниями, компетенциями) о рассматриваемом вопросе.

 

2) Принимать решение на уровне данных: Попадание в тренды Степень запатентованности научного направления Количество уже выполненных в РФ проектов по данному направлению Уровень научного коллектива по отношению к похожим научным коллективам Количетсво организаций, которые занимаются похожими разработкамиИсточник: https://xpir.ru/debate/Kraudsorsing-dlya-organov-gosudarstvennoi-vlasti-regionalnii-uroven © Экспир

1.Повторение тренда не гарантирует успеха - ни научного, ни коммерческого, но может не уберечь от ошибок, осознание которых пока не успело изменить тренд.

2. Степень запатентованности отражает только степень запатентованности. При этом повторение тренда - с временным разрывом относительно мейнстрима делает патентование делом сложным и дорогим - очевидные преимущества уже запатентованы, а ноу-хау раскрывать в патентах не разумно. Поиск альтернативных путей патентования усложняет и удорожает работу. В некоторых случаях патентование невозможно, в т.ч. из-за "веерного" патентования первопроходцами, обладающими достаточным ресурсом.

3.Уровень научного коллектива по отношению к похожим научным коллективам. Помимо очевидных сложностей выработки критереев по определению такого объективного уровня ситуация осложняется занятостью востребованных (с высоким уровненм?) ученых, которые активно распределяют свою деятельность между разными научными коллективами.

4. ...

5. ... 

etc.

Резюме: представленные изменения работы экспертизы на уровне входной информации требуют доработки с точки зрения определения значимых факторов и критериев оценки. Это не ставит под сомнение сам методический принцип, предложенный спикером.

 1

Тогда

- нивелируется роль экспертов

- в роли коллективных экспертов выступают также неспециалисты в конкретной области, а просто имеющие мнение

- эксперт не может ориентироваться на мнение профессионального сообщества, ни на любое другое, он должен руководствоваться исключительно (в идеале) собственными представлениями (знаниями, компетенциями) о рассматриваемом вопросе.

1) В идеально мире эксперты имеют абсолютные компетенции и беспристрастность. В реальном мире такое редко встречается, особенно в России. Поэтому да, роль отдельно взятого эксперта нужно снижать.

2) Участвовать в такого рода краудсорсинговой экспертизе могут только люди с компетенциями, релевантными рассматриваемому проекту, а не все подряд. Причем с учетом весовой модели, базирующейся на проверенных данных о компетенциях.

3) Эксперт ориентируется на свои глубокие знания, он поэтому и эксперт. Но знания эти не берутся из вакуума - это переработанные данные, в том числе за данные выставляются мнения знакомых экспертов, услышанные в разное время от профессионального соощества. Соответственно предоставить эксперту актуализированные данные профессионального сообщества к моменту принятия решения - это не принять за него решение, а предоставить больше информации для его принятия.

 

1.Повторение тренда не гарантирует успеха - ни научного, ни коммерческого, но может не уберечь от ошибок, осознание которых пока не успело изменить тренд.

2. Степень запатентованности отражает только степень запатентованности. При этом повторение тренда - с временным разрывом относительно мейнстрима делает патентование делом сложным и дорогим - очевидные преимущества уже запатентованы, а ноу-хау раскрывать в патентах не разумно. Поиск альтернативных путей патентования усложняет и удорожает работу. В некоторых случаях патентование невозможно, в т.ч. из-за "веерного" патентования первопроходцами, обладающими достаточным ресурсом.

3.Уровень научного коллектива по отношению к похожим научным коллективам. Помимо очевидных сложностей выработки критереев по определению такого объективного уровня ситуация осложняется занятостью востребованных (с высоким уровненм?) ученых, которые активно распределяют свою деятельность между разными научными коллективами.

 

Гарантий нет и нужно уметь опирать данные и интерпретировать их. И тем не менее, это уже огромный шаг в сторону принятия решений на основании данных, а не интуиции и знаний отдельно взятого человека.

Конечно когда-нибудь хочется прийти к идеальной модели, когда на входе получаем конкурсную заявку, а на выходе - перевод на банковский счет, но таких технологий пока нет.

 1

https://sas-search.naumen.ru/analyzer

 

Красивое решение, но в нашем случае излишне дорогое с операционной точки зрения - для молодежных-то проектов.

 1

"Мы можем задавать вопросы, читать описания, нам доступна вспомогательная информация, но мы не можем потратить много времени на оценку каждой заявки (например, если заявка содержит описание элементов исследования нано-материалов на основе металлооксидов, в которых я не являюсь специалистом, то у меня не будет возможности изучить тему и стать там выдающимся специалистом Источник: https://xpir.ru/debate/Kraudsorsing-dlya-organov-gosudarstvennoi-vlasti-regionalnii-uroven#comments © Экспир

В этом случае варианты действий такие:

1. довериться меньшинству, представленное специалистами, так как нет причин сомневаться в их компетентности.

2. произвести произвольный или случайный выбор.

3. скомбинировать два предыдущих варианта, если число выбранных заявок превышает количество вакансий.

 1

Коллеги!

 

Есть разница между специалистами и экспертами. Давайте учтём, что хоть мы и называем участников экспертного жюри экспертами, но на деле - это специалисты, узкие специалисты в своих областях. Причем, не всегда учёные-специалисты - ведь есть требование привлекать и специалистов из бизнес-сообществ, то есть бизнес-специалистов.

 

https://ru.wikipedia.org/wiki/Эксперт

 1

По сути, мы и двигаемся по первому варианту. Вопрос в том, что доверяем мы квалификации, но не доверяем объективности. Мы верим в то, что человек может отличить хороший проект от плохого, но не верим в то, что человек будет исходить из интересов общего блага (отрасли) для региона, а не из личных или корпоративных интересов.

 1

Уважаемый Роман Ахмедович! Позвольте несколько уточняющих вопросов:

1) В преамбуле к дискуссии Вы ссылаетесь на анализ работы Представительства Фонда в Ростовской области за 2008 - 2013 годы, проведеный Вами. Можно ли подробнее познакомиться с исходными данными взятыми для анализа и критериями анализа?

2) говоря об оценке возможностей коммерциализации что именно Вы подразумеваете? Возможность участия в других программах Фонда, получение частных инвестиций? Непосредственно выпуск продукции (начало оказания услуг) или иное? Каков должен быть уровень проработки экономики проекта, учитывая, что продукт проекта еще не создан?

3) "кумовство" и "коррупция" это очень жесткие термины. Что именно Вы понимаете под ними в данном случае? Что участники экспертного совета Вашего региона являются родственниками или представителями одних научных подразделений с конкурсантами? И что они получают от участников благодарность в той или иной форме за обеспечение победы определенных заявок? 

Ответы на эти вопросы позволят мне, как эксперту лучше представлять базис на котором Вы основываете свои логические построения.

 1
Показать ответы (1)
Скрыть ответы (1)

1) Исходные данные нашего анализа - интервью с конкурсантами, победителями и членами регионального экспертного совета Ростовской области. К сожалению, поскольку каждый из них соглашался на интервьюирование на доверительной основе (то есть, на условиях неразглашения информации о себе и о самой беседе), я не могу передать эти материалы Вам лично или разгласить их здесь. Вы можете подвергнуть сомнению эти исходные данные, но они таковы, каковы они есть и ими приходится руководствоваться сейчас.

Критерии анализа: степень единства мнений (в качестве суррогата оценки достоверности) в ходе интервью; функция распределения (естественности) оценок, указанных в протоколах голосования.

 

2) Согласно требованиям Сколково: "практическое использование  научных  изысканий и разработок  в производстве товаров или предоставлении услуг, с  тем, чтобы эти товары или услуги, можно было продать с максимальным  коммерческим эффектом".

Очевидно, предполагается знание основ коммерциализации на уровне самого простого бизнес-инкубатора. Кстати, сказать, участники-резиденты бизнес-инкубаторов почти всегда побеждают именно за счёт своей бизнес-подготовки.

 

3) Вам, как председателю Клуба УМНИКов Самарской области, должно быть известно, что в такой формулировке, которую позволили себе Вы, такое если и существовало, то было искоренено в Фонде еще в первый год его работы. Не думаю, что у нас с Вами есть повод усомниться в обратном.

В моём же тексте речь идет об аффилированности научных школ, конкурсантов и экспертов. Давайте, я попробую разъяснить на варианте "помягче", раз уж мы с Вами будем далее стесняться слова "коррупция".

Практически все институты развития создают условия для голосования в расчёте на максимальное доверие к региональной экспертизе. Опыт участия в недавнем Generation S это подтверждает.

С другой стороны, региональный эксперт, как представитель региональной научной сферы, зажат со всех сторон всевозможными ограничениями - приоритетами, ресурсными блокадами и пр. Действуя рационально, он ищет способы поддержки своих студентов/аспирантов и поддержки своей научной школы, использует для этого любые доступные ресурсы. К сожалению, он считает конкурсы, проводимые институтами развития (например, тот же Generation S), "дешевыми" источниками такой поддержки и готов где-то поступиться совестью, проголосовав за "своего" и против "чужого", чтобы поддержать своей коллектив, а не вообще достойные заявки - это и есть непотизм.

Изменить это со стороны эксперта нельзя - взрослых дядек и тётек не переделаешь (особливо после того, что с ними происходило за 20 лет реформы образовательной и научной сферы), необходимо создать такую систему, в которой эксперту будет "неудобно" вести себя подобным образом, а удобно будет голосовать за все достойные проекты, в том числе и "свои", если "за них не стыдно".

 

pS. Коллега, мне нравятся Ваши вопросы с подковыркой, но прошу Вас как эксперта, скажите, есть ли у Вас что-то по существу заданных мной вопросов? Мне, право, хочется тратить больше сил на решение исходной задачи.

 1

Прошу прощения, если мои вопросы показались Вам несколько двусмысленными. Требуемую информацию из Вашего ответа я получил, спасибо. По существу задаваемых вопросов свои предложения постараюсь сформулировать в ближайшие дни.

 1
Показать ответы (1)
Скрыть ответы (1)

Я буду рад любому Вашему мнению. Если Вы почувствуете, что часть Ваших представлений выходит за рамки публичной дискуссии, напишите мне на a0e8ddd522a444r.hady@fasie.info.

 1

Большое спасибо Владимиру Виленовичу Безуглову, Алексею Фомину, Сергею Александровичу Шашеву, Александру Подкидышеву (указаны в порядке появления ответов на анкету) за то, что оставили свои ответы в анкете для участников голосования. Если я правильно понимаю, её результаты не видны до окончания голосования.

Обращаясь к остальным участникам дискуссии, прошу Вас, уважаемые коллеги, не поленитесь оставить две-три строчки Вашего мнения в ответ на представленные в анкете вопросы. Формат дискуссии подразумевает активное вовлечение всех участников.

 1
Показать ответы (1)
Скрыть ответы (1)

Все верно, результаты формируются в виде отчета после окончания дискуссии.

 2
Nataqliia Zelentsova 29 июля 2015 в 13:11

Предлагаемые подходы к организации экспертизы, высказанные участниками дискуссии, во многом интересны и полезны. Однако, не тратя время на комплементы, хотелось бы обратить внимание на некоторые не вполне продуманные поредложения, которые, как мне кажется исходят, из недостаточного знания практики проведения экспертизы.

1. Необходимо четко определить обсуждаемую  область экспертизы, исключив из нее (или вернее, приняв во внимание)  нормативно закрепленные процедуры в области технических, токсикологических, медицинских, строительных и других направлений  инновационной деятельности. Это сразу прояснить вопрос, а можно ли доверять экспертизу специалистам, не сведущим в соотвествующих областях, если внедрение/коммерциализация продукта потребует специальных разрешений.

2. Необходимо различать открытую и анонимную экспертизу. Они имеют разные формы  и, в определенной степени, разные сферы приложений.  В большинстве иностранных конкурсных отборов превалирует открытая (реже смешанная, и очень редко закрытая) система экспертного рассмотрения заявок финансирования, в то время как, например, экспертиза ФЦП основывается исключительно на закрытой (конфидициальной) процедуре. Есть недостатки у той и другой систем, но важно понимать, что только в условиях открытого комиссионного обсуждения возможно приглашение экспертов с дополнительными функциями (экономистов, бизнесменов, юристов и др.), так как их оценки будут пропущены через профессиональные фильтры.

3. Основное влияние на решение экспертизы оказывает подбор экспертов, и этот процесс также как и вся экспертиза не может решаться на базе формализованных подходов. Можно упомянуть несколько общих эвристических правил формирования группы экспертов. Первое из них заключается в том, что уровень компетентности экспертов не должен быть ниже уровня компетентности ЛПР. Второе правило гласит, что при формировании группы экспертов наиболее квалифицированные должны быть задействованы на проектах, обладающих наибольшей степенью неопределенности. Третье правило предписывает наличие специализации экспертов и их осведомленности в методах экспертных оценок целей реализации проекта. И, наконец, экперт должен иметь представление об условиях коммерциализации проекта и инновационных рисках. Эти правила снимают некоторые преждевременные предложения дискутирующих.

4. Многие предложенные способы оценок, например  приоритетная (экспертная оценка, основанные на рейтинговом глосовании) были опробованы в рамках экспертизы ФЦП. Вывод: никакие формальные экспертные анкеты, предлагающие оценить проект по тем или иным критериям, не способны повлиять на  генеральное мнение эксперта: хороший проект или плохой. Он всегла подгонит баллы для закрепления своей позиции.

Можно покритиковать и еще несколько высказанных предложений, но, как мне представляется. основной недостаток предложений, это, как уже отмечалось в начале текста,  отсутствие полноценного анализа имеющихся научных трудов и практики в данной области.

 3
Показать ответы (0)
Скрыть ответы (0)

Я бы добавила к первому варианту экспертизы еще оценку значимости самих факторов: например, значимость фактора "Коммерциализация" - 8, фактора "Научная новизна" - 10, фактора "Социальная значимость" - 5. Тогда сумма баллов по проекту будет складываться из произведений значимости фактора на оценку эксперта по этому фактору. На практике такой подход позволяет увеличить разницу в оценках и сделать ее более очевидной.

На мой взгляд, проблема не в системе оценки, а в том, кто находится в составе экспертной комиссии. Было бы полезно, если бы существовала база экспертов с их оценками по проектам и результатами этих проектов. Можно было бы оценивать силу правильности прогноза эксперта.

Показать ответы (0)
Скрыть ответы (0)