Первым этапом принятия большинства решений в бизнесе является сбор данных. В большинстве случаев информация собирается в виде слов. Как только слова становятся доступными, специалисты, собирающие данные, анализируют эти слова и представляют результаты лицу, принимающему решение. Недавние научные исследования показывают, что эти специалисты чаще всего терпят неудачу в анализе качественных данных. В статью включены данные недавнего научного исследования.
Научное исследование (Baxt WG, Waeckerle JF, Berlin JA, Callaham ML. Кто проверяет рецензентов? Целесообразность использования фиктивной рукописи для оценки работы рецензента. Ann Emerg Med. 1998, сентябрь; 32 (3 Pt 1): 310-7 ) допустил 10 крупных и 13 мелких ошибок в вымышленной научной рукописи. Рукопись была разослана всем рецензентам «Анналов неотложной медицины», официального издания Американского колледжа врачей неотложной помощи. «Анналы» издаются уже более 25 лет и являются наиболее читаемым журналом по неотложной медицине. Работа, описанная в рукописи, представляла собой стандартное двойное слепое плацебо-контрольное исследование влияния препарата пропранолол на головные боли при мигрени. Рукопись рецензировали 203 рецензента. Восемьдесят процентов рецензентов были профессорами академических кафедр неотложной медицины, а двадцать процентов — врачами, занимающимися частной практикой.
Анализ комментариев рецензентов дал следующие результаты. Пятнадцать рецензентов рекомендовали публикацию. Рецензенты в этой группе пропустил 82,7% крупных ошибок и 88,2% мелких ошибок.. Шестьдесят семь рецензентов рекомендовали внести изменения. Рецензенты этой группы пропустили 70,4% крупных ошибок и 78,0% мелких ошибок. Сто семнадцать рецензентов рекомендовали отклонить. Рецензенты этой группы пропустили 60,9% крупных ошибок и 74,8% мелких ошибок.
Согласно таблице, 15 профессоров, рекомендовавших публикацию, в среднем допустили 82,7% крупных ошибок и 88,2% мелких ошибок. Другими словами, профессора пропустил минимум 4 из 5 ошибок вставлен в рукопись. Эти ошибки были определены авторами как «неустранимые ошибки, которые сделали недействительными или заметно ослабили выводы исследования». Интересно отметить, что одной из незначительных ошибок, включенных в рукопись, было неправильное написание названия препарата. Из 203 рецензентов 30 были убеждены в правильности написания имени и использовали его на протяжении всего интервью. О результатах авторы исследования рассказали (с обычным научным подтекстом): «Небольшое количество ошибок, выявленных рецензентами в этом исследовании, было удивительным. Основные ошибки, допущенные в рукописи лишило законной силы или подорвало каждый из основных методологических этапов исследования. … Выявление хотя бы части этих ошибок должно было указывать на то, что исследование невозможно спасти, однако рецензенты выявили только 34% этих ошибок, и только 59% рецензентов отвергли работу».
Моменты, которые следует учитывать:
1. В этом исследовании рецензентами были профессора и врачи частной практики со средним трехлетним опытом работы в качестве рецензентов для «Анналов» и дополнительными годами опыта рецензирования научных рукописей для двух других научных журналов, а также с 10-летним опытом практики неотложной медицинской помощи. Эти рецензенты обладают гораздо более высоким уровнем знаний по теме тестируемой рукописи по сравнению даже с самыми опытными исследователями рынка, анализирующими качественные данные о клиентах, самыми опытными менеджерами по персоналу, анализирующими данные о кандидатах, юристами, анализирующими патенты, или инвестиционными аналитиками и консультантами. анализ бизнес-данных. Итак, если профессорам и врачам не удалось распознать серьезные ошибки в стандартной научной рукописи, каковы шансы, что менее подготовленные специалисты обнаружат пробелы и несоответствия в нестандартных качественных бизнес-данных?
2. В этом исследовании преподаватели должны были определить технический ошибки, обнаруженные в рукописи. Выявление и устранение ошибок такого типа является целью многолетнего обучения каждого ученого. В отличие от этого исследования, подавляющее большинство качественных исследований в бизнесе включают психологический пробелы и несоответствия, и в отличие от ученых, большинство других специалистов практически не проходят подготовку по выявлению психологических ошибок. Если профессорам не удалось выявить большинство технических ошибок, каковы шансы, что менее подготовленные специалисты смогут выявить гораздо более сложные психологические ошибки?
3. Насколько вам следует волноваться, когда исследователь рынка анализирует ваши фокус-группы? Типичная фокус-группа содержит около 12 000 слов. Средняя рукопись содержит около 3000 слов, что намного меньше, чем в одной фокус-группе. Типичное исследование рынка состоит из 4-8 фокус-групп или В 16–32 раза больше текста. Итак, если экспертам в этом исследовании не удалось выявить большинство технических ошибок в объеме данных, эквивалентном одной четверти фокус-группы, каковы шансы, что исследователь рынка выявит психологические несоответствия (и интеллектуальные несоответствия) с данными? гораздо больший набор данных?
4. Насколько вам следует волноваться, когда менеджер по персоналу анализирует список кандидатов? Расшифровка часового собеседования вмещает около 6000 слов (при приеме на работу менеджеров среднего и высшего звена собеседование может занять целый день, а слов на порядок больше). При собеседовании с несколькими кандидатами общие данные могут включать 30 000 и более слов (для 5 кандидатов). Итак, если эксперты в этом исследовании не смогли выявить основные несоответствия в объеме данных, эквивалентном половине одного интервью, каковы шансы, что менеджер по персоналу выявит основные несоответствия с помощью гораздо большего набора данных?
5. Насколько вам следует беспокоиться, когда инвестиционный аналитик анализирует для вас некоторые компании? Годовой отчет может включать десятки тысяч слов. Например, годовой отчет IBM за 2004 год занимает 100 страниц и включает более 65 000 слов. Итак, если экспертам в этом исследовании не удалось выявить основные проблемы в наборе данных, который содержит менее 5% Из данных, включенных в годовой отчет IBM за 2004 год, каковы шансы, что инвестиционный аналитик обнаружит основные проблемы, скрытые в гораздо большем наборе данных?
Краткое содержание:
Бакст и др. ал. Исследование показывает, что профессора и врачи, являющиеся высококвалифицированными специалистами, чаще всего не могут выявить серьезные технические ошибки в стандартном наборе качественных данных и в результате приходят к неправильному решению. Каковы шансы, что менее подготовленные специалисты превзойдут профессоров в выявлении наиболее сложных психологических пробелов и несоответствий в гораздо большем нестандартном наборе данных? А когда профессиональные аналитики терпят неудачу, каковы шансы, что, несмотря на неверное направление, вы все же примете правильное решение?
-
Пришло Время Бросить Своего Босса?
19 Oct, 24 -
Правильный Интернет-Маркетинг
19 Oct, 24 -
Куда Делись Все Мои Шины?
19 Oct, 24 -
Если Ты Ценишь Меня - Оцени Меня
19 Oct, 24
