Почему изготовители ватных палочек считают своим долгом предупредить, что их не стоит совать в уши? Почему они не говорят – не есть, не поджигать, не засовывать в …? А потому что известно, что люди обычно чистят ватными палочками именно уши, делая при этом себе только хуже.
Тот же самый примерно принцип должны, на мой взгляд, применять исследователи в сфере социальных наук. Начать думать о том, какой наиболее вероятный неправильный способ использования полученных данных, и предупреждать потенциальных пользователей о таких очевидных опасностях. Например, большинство тестов по оценке образовательных достижений детей нельзя использовать для оценки эффективности учителей и директоров школ. Это и потому что, что тесты просто разработаны для другого, и потому что в вступает в силу так называемый «закон Кэмпбелла». Оцениваемые неизбежно находят способы манипулирования данными, с помощью которых они оцениваются. Кроме того, использование одного узкого показателя ВСЕГДА искажает деятельность, которую мы намерены улучшать через измерения. Например, сокращение не-ЕГЭ-ванных предметов, тем, навыков.
Традиционно исследовательская этика не предусматривала ничего подобного. Мы публиковали свои исследования в специальных журналах, потом бурчали по поводу журналистов и бюрократов, которые все извратили, как всегда. Но теперь ситуация меняется. Многие результаты становятся мгновенно известны широкому слою людей, в том числе блогерам, активистам, чиновникам, родителям. Есть специальные сайты, которые читают все подряд, и выбирают наиболее сенсационные с их точки зрения находки, чтобы превратить в заметный заголовок, который потом превратить в клики. Только очень небольшой процент читающей публики способен оценить тонкие различия между корреляцией и причинностью, оценить размер эффекта, понять особенности выборок, и т.п. Мы живем в совершенно новом мире, и этика исследователя не должна оставаться неизменной.
Что я предлагаю? В структуру типичной статьи к существующим разделам (литература, методы, данные, анализ, выводы) надо добавить раздел «как можно и как нельзя использовать данные». Там должно быть простым языком написано что-то вроде «ватные палочки в уши не совать». Например «Данный инструмент нельзя использовать для оценки эффективности педагогов и администраторов». Или, «несмотря на наличие корреляции, увеличение количества книг в доме не приведет к улучшению образовательных результатов».
Тот же самый примерно принцип должны, на мой взгляд, применять исследователи в сфере социальных наук. Начать думать о том, какой наиболее вероятный неправильный способ использования полученных данных, и предупреждать потенциальных пользователей о таких очевидных опасностях. Например, большинство тестов по оценке образовательных достижений детей нельзя использовать для оценки эффективности учителей и директоров школ. Это и потому что, что тесты просто разработаны для другого, и потому что в вступает в силу так называемый «закон Кэмпбелла». Оцениваемые неизбежно находят способы манипулирования данными, с помощью которых они оцениваются. Кроме того, использование одного узкого показателя ВСЕГДА искажает деятельность, которую мы намерены улучшать через измерения. Например, сокращение не-ЕГЭ-ванных предметов, тем, навыков.
Традиционно исследовательская этика не предусматривала ничего подобного. Мы публиковали свои исследования в специальных журналах, потом бурчали по поводу журналистов и бюрократов, которые все извратили, как всегда. Но теперь ситуация меняется. Многие результаты становятся мгновенно известны широкому слою людей, в том числе блогерам, активистам, чиновникам, родителям. Есть специальные сайты, которые читают все подряд, и выбирают наиболее сенсационные с их точки зрения находки, чтобы превратить в заметный заголовок, который потом превратить в клики. Только очень небольшой процент читающей публики способен оценить тонкие различия между корреляцией и причинностью, оценить размер эффекта, понять особенности выборок, и т.п. Мы живем в совершенно новом мире, и этика исследователя не должна оставаться неизменной.
Что я предлагаю? В структуру типичной статьи к существующим разделам (литература, методы, данные, анализ, выводы) надо добавить раздел «как можно и как нельзя использовать данные». Там должно быть простым языком написано что-то вроде «ватные палочки в уши не совать». Например «Данный инструмент нельзя использовать для оценки эффективности педагогов и администраторов». Или, «несмотря на наличие корреляции, увеличение количества книг в доме не приведет к улучшению образовательных результатов».
No comments:
Post a Comment