Search This Blog

May 27, 2016

Ватные палочки в уши не вставлять!

Почему изготовители ватных палочек считают своим долгом предупредить, что их не стоит совать в уши? Почему они не говорят – не есть, не поджигать, не засовывать в …? А потому что известно, что люди обычно чистят ватными палочками именно уши, делая при этом себе только хуже.

Тот же самый примерно принцип должны, на мой взгляд, применять исследователи в сфере социальных наук. Начать думать о том, какой наиболее вероятный неправильный способ использования полученных данных, и предупреждать потенциальных пользователей о таких очевидных опасностях. Например, большинство тестов по оценке образовательных достижений детей нельзя использовать для оценки эффективности учителей и директоров школ. Это и потому что, что тесты просто разработаны для другого, и потому что в вступает в силу так называемый «закон Кэмпбелла». Оцениваемые неизбежно находят способы манипулирования данными, с помощью которых они оцениваются. Кроме того, использование одного узкого показателя ВСЕГДА искажает деятельность, которую мы намерены улучшать через измерения. Например, сокращение не-ЕГЭ-ванных предметов, тем, навыков.

Традиционно исследовательская этика не предусматривала ничего подобного. Мы публиковали свои исследования в специальных журналах, потом бурчали по поводу журналистов и бюрократов, которые все извратили, как всегда. Но теперь ситуация меняется. Многие результаты становятся мгновенно известны широкому слою людей, в том числе блогерам, активистам, чиновникам, родителям. Есть специальные сайты, которые читают все подряд, и выбирают наиболее сенсационные с их точки зрения находки, чтобы превратить в заметный заголовок, который потом превратить в клики. Только очень небольшой процент читающей публики способен оценить тонкие различия между корреляцией и причинностью, оценить размер эффекта, понять особенности выборок, и т.п. Мы живем в совершенно новом мире, и этика исследователя не должна оставаться неизменной.

Что я предлагаю? В структуру типичной статьи к существующим разделам (литература, методы, данные, анализ, выводы) надо добавить раздел «как можно и как нельзя использовать данные». Там должно быть простым языком написано что-то вроде «ватные палочки в уши не совать». Например «Данный инструмент нельзя использовать для оценки эффективности педагогов и администраторов». Или, «несмотря на наличие корреляции, увеличение количества книг в доме не приведет к улучшению образовательных результатов».

May 5, 2016

The lonely thinker syndrome

You know the type – someone smart, with a thirst for knowledge, a good natural thinker, but through circumstances of one’s life excluded from a broader scholarly conversation. Those are intelligent people outside the intellectual milieu, the lonely thinkers.

Their tragedy is self-induced. The lonely thinkers tend to develop a theory, and there is no one to challenge it. Working alone on a theory is incredibly hard, because it is so incredibly easy. They mistake their own excitement that comes from insight for the revelations of truth, and become seduced and captured by their own ideas. Gradually, the mental positive reinforcements create an unassailable and graceful castle of beliefs that explain everything just right. The only nagging worry is that others do not appreciate or use their discoveries.

It is so hard to reconcile one’s convictions with the indifference of other people that some succumb to the madness of conspiracy theories. Such thinkers believe the evil forces suppress the truth intentionally. Others include in their theories a belief that all other people are very stupid, which completes the lonely thinker’s system. The loneliness becomes justified and arrogant, the Truth becomes whole and impenetrable by doubt. But if the world does not want to hear you out, and you are so right, then it is one of the two: people are evil or they are stupid. Underneath all of that is a deeply held fear of own incompetence, suppressed.

But wait, don’t we all suffer sometimes from the lonely thinker’s fallacy? It happens when we work on a specific project in isolation for too long. It happens when we pursue exotic theories no one in our field can understand and therefore critique. We all do fall in love with our neat theories and favorite hypotheses. An alcoholic’s brain comes up with myriad sophisticated excuses to get a drink. Just like that, a scholar’s brain will find many reasons how to ignore rather than honestly consider criticisms or disconfirming data.

Oh yes, we all have been there, for creating new knowledge and being confronted by others is so painful. Admitting that you have missed this little thing and that little thing, and that you completely ignored this large hole in your argument, and that your data just does not say what you think it says… So painful, so necessary, so very human it is.