Что означает воспроизводимость результатов опыта
Что такое воспроизводимость и повторяемость?
Воспроизводимость и повторяемость они являются основными принципами научного метода; С помощью обоих можно подтвердить эксперименты, а также установить международные и национальные стандарты измерений. Воспроизводимость связана с тиражированием теста в руках научного сообщества данной отрасли..
Даже считается, что эта изменчивость ниже, поскольку она более точная. В любом случае, оба метода считаются важными опорами для проверки гипотез в таких дисциплинах, как инженерия, статистика, химия, физика и другие науки..
Что такое исследование воспроизводимости и повторяемости?
Исследования воспроизводимости и повторяемости подтверждаются статистикой для оценки дисперсии результатов, полученных после эксперимента..
Именно поэтому предпочтительным является последующий анализ независимых исследовательских групп, который подтвердит уровень воспроизводимости и повторяемости проведенного теста..
Ввиду вышесказанного необходимо отметить некоторые важные особенности в каждом из процессов:
воспроизводимость
Это указывает на различия, вызванные измерительным оборудованием, которое использовалось во время испытания, которое должно сохранять те же условия и тех же операторов или членов исследовательской группы. Изменение будет дано условиями измерения.
Хотя в некоторых дисциплинах эта концепция может быть более или менее строгой, в целом считается, что важна определенная степень согласованности результатов. Вот некоторые соображения, которые следует учитывать в этом случае:
-Важно указать, какие есть вариации в ходе процесса, среди которых выделяются принцип измерения, метод, оператор, используемый прибор, место, время и общие условия лаборатории..
-Результаты должны быть выражены количественно.
-В научном сообществе это считается относительно простым процессом и легко тиражируется, хотя и предполагает постоянный обзор результатов..
стабильность
Как упомянуто выше, повторяемость указывает отклонение, которое может произойти из-за измерительного прибора, используемого во время эксперимента. Поэтому его точность оценивается, когда тест повторяется в тех же условиях и в течение определенного периода времени..
Также мы можем выделить некоторые соображения, которые следует учитывать во время проведения исследования:
-Вы должны попытаться уменьшить вариации, которые могут быть вызваны оператором.
-Должна использоваться одна и та же измерительная система и один и тот же оператор.
-То же место, где проводился эксперимент, необходимо учитывать.
-Необходимо сделать несколько повторений за данный промежуток времени.
-Результаты должны быть отражены количественно.
С другой стороны, хотя оба метода обсуждаются в области наук, они также применяются в социальных науках, хотя результаты могут отличаться из-за изменений, которые всегда присутствуют в предметах исследования..
Другие элементы
В дополнение к вышесказанному, исследование воспроизводимости и повторяемости зависит от других факторов, одинаково важных:
Точность измерения
Указывает близость результата измерения и измеряемой величины.
Цифровой измерительный прибор
Это инструмент, который будет отражать результат в цифровом виде. На этом этапе стоит упомянуть, что важно детализировать работу этих типов устройств, чтобы они не влияли на процесс эксперимента..
Рабочий шаблон
Он включает в себя компоненты, которые являются частью процедуры калибровки и измерения. Это связано непосредственно с приборами в лаборатории..
калибровка
Это отношения, которые существуют в значениях, полученных с помощью оператора и / или измерительных приборов, между процессами, предусмотренными в схеме работы.
Точность инструментов
Это связано с точностью, которая ожидается от инструментов, используемых для теста.
чувствительность
Это связано с изменением измерения инструмента из-за некоторых изменений во время теста.
результаты
Этот конкретный момент важен, потому что он зависит от тщательного анализа, поскольку он подтвердит или нет успех применяемого экспериментального дизайна.
В этом случае не все результаты получены из измерительного прибора, но они также могут зависеть от оператора, различных измерений или от того, был ли результат исправлен или нет..
Воспроизводимость в метрологии
Воспроизводимость позволяет уменьшить неопределенность в измерительной системе, поэтому она стремится к максимальной точности. Поскольку он использует воспроизведение одного и того же результата в нескольких условиях, он зависит от исследований, проведенных в данный период времени..
Аналогично, это применимо к нескольким областям, таким как разработка, статистика, промышленность и даже право. Именно поэтому это считается важным фактором, поскольку позволяет устанавливать национальные и международные стандарты..
Некоторые используемые инструменты варьируются от самых простых, таких как правила и компасы, до инструментов с более высоким уровнем сложности, таких как микроскопы и телескопы..
Применение воспроизводимости также подтверждается в так называемом Международном словаре метрологии или VIM, который отражает измерения, установленные и понятые на международном уровне..
Воспроизводимость в химии
Процедура воспроизводимости в химии также требует ряда шагов для получения измерений и других результатов..
Вы можете взять в качестве примера определение массы элемента:
1- взвешивающая чаша помещается на вес, чтобы получить определенное значение.
2. Затем будет сделано то же самое, но с объектом или элементом, о котором идет речь. Таким образом, будут получены два разных результата, которые необходимо сопоставить. Именно на этом этапе, когда калибровка значений проявляется.
3- Выполните эту же процедуру в течение следующих нескольких дней, так как она поможет найти существующие варианты.
В этом, как и в любом другом случае, касающемся воспроизводимости, важно не игнорировать ценность статистики в процессе, поскольку она будет служить элементом контроля в эксперименте и результатах..
Воспроизводимость результатов
61. Воспроизводимость результатов
Мера разброса результатов в параллельных опытах
Смотри также родственные термины:
3.9 воспроизводимость результатов анализа: Степень близости друг к другу независимых результатов анализов, полученных в условиях воспроизводимости одним и тем же методом, на идентичных объектах, в разных лабораториях, разными операторами, с использованием различного оборудования.
3.1.19. воспроизводимость результатов измерений: Степень близости результатов измерений одного и того же измеряемого параметра, выполненных при измененных условиях измерений (рисунок 6) [1].
1. В настоящем стандарте измененные условия включают в себя только изменение оператора.
2. При более общем анализе воспроизводимости результатов измерений измененные условия вместо оператора могут содержать:
— методику выполнения измерений;
— средство измерительной техники;
— место проведения измерений и т.д.
Достоверное установление воспроизводимости требует констатации изменившихся условий измерения.
3. Воспроизводимость может быть выражена количественно в виде дисперсионных характеристик результатов измерений.
2.19.1 воспроизводимость результатов испытаний: Степень близости друг к другу независимых результатов испытаний, полученных одним и тем же методом на идентичном материале в разных лабораториях, разными операторами, с использованием различного оборудования [3].
Разделы 2, 3 (Измененная редакция, title=»Изменение № 1, ИУС 1-2003″).
3.4 воспроизводимость результатов испытаний: Характеристика результатов испытаний, определяемая близостью результатов испытаний одного и того же объекта по единым методикам в соответствии с требованиями одного и того же нормативного документа с применением различных экземпляров оборудования разными операторами в разное время в разных лабораториях.
3.3, 3.4 ( title=»Поправка, ИУС 8-2002″, ИУС 8-2002).
3.3 воспроизводимость результатов испытаний: Характеристика результатов испытаний, определяемая близостью результатов повторных испытаний объекта.
3.19 воспроизводимость результатов испытаний :Характеристика результатов испытаний, определяемая близостью результатов испытаний одного и того же объекта по единым методикам в соответствии с требованиями одного и того же нормативного документа с применением различных экземпляров оборудования разными операторами в разное время в разных лабораториях (ГОСТ Р 51672, [51]).
3.19 воспроизводимость результатов испытаний :Характеристика результатов испытаний, определяемая близостью результатов испытаний одного и того же объекта по единым методикам в соответствии с требованиями одного и того же нормативного документа с применением различных экземпляров оборудования разными операторами в разное время в разных лабораториях (ГОСТ Р 51672, [51]).
Пункт 4.2 дополнить примечанием:
Пункт 4.5 Первый абзац после слов «государственных нужд» дополнить словами: «в том числе для нужд сферы обороны и безопасности»; после слов «утвержденных типов» исключить слова: «в соответствии с ПР 50.2.009 [1]».
Пункт 4.6 после слов «используемых в качестве» дополнить словами:
«средств испытаний или в составе»; после слов «испытательного оборудования» исключить слова: «или в его составе»;
«Типы средств измерений, встраиваемых в испытательное оборудование, применяемое для испытаний продукции, поставляемой для нужд сферы обороны и безопасности, должны быть утверждены в установленном для данной сферы порядке»;
«4.7 Транспортируемое в процессе использования испытательное оборудование подлежит первичной аттестации только при вводе его в эксплуатацию в соответствии с 4.2 настоящего стандарта».
Пункт 5.2 дополнить абзацем:
«Программы и методики аттестации испытательного оборудования, применяемого при испытаниях продукции, поставляемой для нужд сферы обороны и безопасности, должны пройти метрологическую экспертизу в установленном для данной сферы порядке».
Пункт 5.3 дополнить словами: «и при наличии информационное обеспечение (например, компьютерное, программное обеспечение и (или) обеспечение алгоритмами функционирования»).
Пункт 5.5. Первый абзац после слов «проводит комиссия» дополнить словами: «назначаемая руководителем предприятия (организации) по согласованию с государственным научным метрологическим центром и (или) органом государственной метрологической службы (32 ГНИИИ МО РФ), если их представители должны участвовать в работе комиссии»;
четверили абзац. Заменить слова: «для нужд Вооруженных Сил» на «для нужд сферы обороны и безопасности»;
дополнить абзацем (после четвертого):
два последних абзаца исключить;
«5.5.1 Первичную аттестацию испытательного оборудования (за исключением испытательного оборудования, применяемого для испытаний продукции, поставляемой для нужд сферы обороны и безопасности) могут проводить на договорной основе аккредитованные в соответствии с title=»ГСИ. Порядок аккредитации головных и базовых организаций метрологической службы государственных органов управления Российской Федерации и объединений юридических лиц» [1] головные и базовые организации метрологической службы (согласно области их аккредитации).
Первичную аттестацию испытательного оборудования, применяемого для испытаний продукции, поставляемой для нужд сферы обороны и безопасности, могут проводить на договорной основе организации, аккредитованные в соответствии с МИ 2647 [2].»
Пункт 5.6 дополнить примечанием:
Пункт 6.3 Заменить слова: «руководитель подразделения» на «руководитель предприятия (организации)»:
Пункт 7.1 изложить в новой редакции:
«7.1 Повторную аттестацию испытательного оборудования после ремонта или модернизации осуществляют в порядке, установленном для первичной аттестации испытательного оборудования в разделе 5 настоящего стандарта».
Пункт 7.2 изложить в новой редакции:
Приложение Г изложить в новой редакции:
[1] title=»ГСИ. Порядок аккредитации головных и базовых организаций метрологической службы государственных органов управления Российской Федерации и объединений юридических лиц» Государственная система обеспечения единства измерений. Порядок аккредитации головных и базовых организаций метрологической службы государственных органов управления Российской Федерации и объединений юридических лиц
[2] МИ 2647-2001 Государственная система обеспечения единства измерений. Порядок аккредитации организаций на право аттестации испытательного оборудования, применяемого в интересах обороны и безопасности».
Пункт 4.2 дополнить примечанием:
Пункт 4.5. Первый абзац после слов «государственных нужд» дополнить словами: «в том числе для нужд сферы обороны и безопасности»; после слов «утвержденных типов» исключить слова: «в соответствии с title=»ПР 50.2.009-94 ГСОЕИ. Порядок проведения испытаний и утверждения типа средств измерений» [1]»
Пункт 4.6 после слов «используемых в качестве» дополнить словами: «средств испытаний или в составе»; после слов «испытательного оборудования» исключить слова: «или в его составе»;
«Типы средств измерений, встраиваемых в испытательное оборудование, применяемое для испытаний продукции, поставляемой для нужд сферы обороны и безопасности, должны быть утверждены в установленном для данной сферы порядке»;
«4.7 Транспортируемое в процессе использования испытательное оборудование подлежит первичной аттестации только при вводе его в эксплуатацию в соответствии с 4.2 настоящего стандарта».
Пункт 5.2 дополнить абзацем:
«Программы и методики аттестации испытательного оборудования, применяемого при испытаниях продукции, поставляемой для нужд сферы обороны и безопасности, должны пройти метрологическую экспертизу в установленном для данной сферы порядке».
Пункт 5.3 дополнить словами: «и при наличии информационное обеспечение (например, компьютерное, программное обеспечение и (или) обеспечение алгоритмами функционирования)».
Пункт 5.5. Первый абзац после слов «проводит комиссия» дополнить словами: «назначаемая руководителем предприятия (организации) по согласованию с государственным научным метрологическим центром и (или) органом государственной метрологической службы (32 ГНИИИ МО РФ), если их представители должны участвовать в работе комиссии»;
четвертый абзац. Заменить слова: «для нужд Вооруженных Сил» на «для нужд сферы обороны и безопасности»;
дополнить абзацем (после четвертого):
«- заказчика на предприятии в случае использования испытательного оборудования для испытаний продукции, поставляемой по контрактам для нужд сферы обороны и безопасности»;
предпоследний и последний абзацы исключить;
«5.5.1 Первичную аттестацию испытательного оборудования (за исключением испытательного оборудования, применяемого для испытаний продукции, поставляемой для нужд сферы обороны и безопасности) могут проводить на договорной основе аккредитованные в соответствии с title=»ПР 50.2.008-94 ГСИ. Порядок аккредитации головных и базовых организаций метрологической службы государственных органов управления Российской Федерации и объединений юридических лиц» [1] головные и базовые организации метрологической службы (согласно области их аккредитации).
Первичную аттестацию испытательного оборудования, применяемого для испытаний продукции, поставляемой для нужд сферы обороны и безопасности, могут проводить на договорной основе организации, аккредитованные в соответствии с МИ 2647 [2]».
Пункт 5.6 дополнить примечанием:
Пункт 6.3. Заменить слова: «руководитель подразделения» на «руководитель предприятия (организации)».
Пункты 7.1, 7.2 изложить в новой редакции:
«7.1 Повторную аттестацию испытательного оборудования после ремонта или модернизации (см. 4.4 настоящего стандарта) осуществляют в порядке, установленном для первичной аттестации испытательного оборудования в разделе 5 настоящего стандарта.
Nature задаётся вопросом, воспроизводимы ли современные научные эксперименты?
Случайно в потоке новостей и информации наткнулся на статью в Nature Scientific Reports. В ней представлены данные опроса 1500 учёных, посвящённого воспроизводимости результатов научных исследований. Если ранее данная проблема поднималась для биологических и медицинских исследований, где она с одной стороны объяснима (ложные корреляции, общая сложность исследуемых систем, иногда даже научный софт обвиняют), с другой стороны имеет феноменологический характер (например, мыши склонны вести себя по разному с учёными разных полов (1 и 2)).
Однако не всё гладко и с более естественнонаучными дисциплинами, такими как физика и инженерные науки, химия, экология. Казалось бы, именно эти дисциплины зиждутся на «абсолютно» воспроизводимых экспериментах, проведённых в максимально контролируемых условиях, увы, потрясающий – во всех смыслах этого слова – результат опроса: до 70% исследователей сталкивались с НЕвоспроизводимыми экспериментами и результатми, полученными не только другими группами учёных, НО и самим авторами/соавторами опубликованных научных работ!
Каждый кулик хвалит своё болото?
Хотя 52% опрошенных указывают на кризис воспроизводимости в науке, менее 31% считают опубликованные данные в корне неверными и большинство указало, что по-прежнему доверяют опубликованным работам.
Вопрос: Существует ли кризис воспроизводимости результатов?
Конечно же, не стоит рубить с плеча и линчевать всю науку как таковую лишь на основании данного опроса: половину опрошенных всё же составили учёные, связанные, так или иначе, с биологическими дисциплинами. Как отмечают авторы, в физике и химии уровень воспроизводимости и доверия к полученным результатам намного выше (см. график ниже), но всё же не 100%. А вот в медицине дела обстоят совсем плохо на фоне остальных.
Один раз я пытался воспроизвести эксперимент из литературных источников, который мне показался простым, но я просто не смог этого сделать. У меня появился кризис доверия, но затем я понял, что мой опыт не был такой уж редостью.
Вопрос: Сколько уже опубликованных работ в Вашей отрасли воспроизводимы?
Широта и долгота глубина проблемы
Представьте, что Вы – учёный. Вам попадается интересная статья, но результаты/эксперименты не могут быть воспроизведены в лаборатории. Логично написать об этом авторам оригинальной статьи, спросить совета и задать уточняющие вопросы. Согласно опросу, менее 20% делали это когда-либо в своей научной карьере!
Авторы исследования отмечают, что, возможно, такие контакты и разговоры слишком сложны для самих учёных, потому что вскрывают их некомпетентность и несостоятельность в тех или иных вопросах или раскрывают слишком много деталей текущего проекта.
Более того, абсолютное меньшинство учёных попыталось опубликовать опровержение невоспроизводимых результатов, сталкиваясь при этом с противодействием со стороны редакторов и рецензентов, которые требовали преуменьшить сравнение с оригинальным исследованием. Стоит ли удивляться, что шанс сообщить о невоспроизводимости научных результатов составляет порядка 50%.
Первый вопрос: Пытались ли Вы воспроизвести результаты эксперимента?
Второй вопрос: Пытались ли Вы опубликовать свою попытку воспроизвести результаты?
Может быть стоит тогда внутри лаборатории хотя бы проводить проверку на воспроизводимость? Самое печальное, что треть респондентов даже НИКОГДА и не задумывалось о создании методик проверки данных на воспроизводимость. Только 40% указало, что они регулярно пользуются такими методиками.
Вопрос: Разрабатывали Вы когда-либо специальные методики/тех.процессы для улучшения воспроизводимости результатов?
Другой пример, биохимик из Соединённого Королевства, которая не пожелала раскрывать своё имя, говорит, что попытки повторить, воспроизвести работу для её лабораторного проекта просто удваивают временные и материальные затраты, ничего не давая и не привнося нового в работу. Дополнительные проверки проводятся лишь для инновационных проектов и необычных результатов.
И конечно же, извечные русские вопросы, которые стали пытать зарубежных коллег: кто виноват и что делать?
Кто виноват?
Вопрос: Какие факторы повинны в невоспроизводимых научных результатах?
Ответы (сверху вниз): –Выборочная отчётность –Давление начальства –Плохой анализ/статистика –Недостаточная повторяемость эксперимента в лаборатории –Недостаточный надзор –Отсутствие методика или кода –Плохое планирование эксперимента –Отсутствие сырых данных от первичной лаборатории –Мошенничество –Недостаточная проверка экспертами/рецензентами –Проблемы с попытками воспроизведения –Необходима техническая экспертиза для воспроизведения –Вариативность стандартных реагентов –«Ниудачка и пичалька»
Что делать?
Из опрошенных 1500, более 1000 специалистов высказались за улучшение статистики при сборе и обработке данных, улучшение качества надзора со стороны боссов, а также более строгое планирование экспериментов.
Вопрос: Какие факторы помогут повысить воспроизводимость?
Ответы (сверху вниз): –Лучшее понимание статистики –Более строгий надзор –Улучшенное планирование экспериментов –Обучение –Внутрилабораторная проверка –Совершенствование практических навыков –Стимулирование к формальной перепроверке данных –Межлабораторная проверка –Выделение большего количества времени для управления проектами –Повышение стандартов научных журналов –Выделение большего количества времени для работы с лабораторными записями
Заключение и немного личного опыта
Во-первых, даже для меня, как учёного, результаты ошеломляющие, хотя привык уже к некоторой степени невоспроизводимости результатов. Особенно ярко это проявляется в работах, выполненных китайцами и индусами без стороннего «аудита» в виде американских/европейских профессоров. Хорошо, что проблему осознали и задумались над её решением(ями). Про российскую науку тактично умолчу, в связи с недавним скандалом, хотя многие честно выполняют свою работу.
Во-вторых, в статье замалчивается (вернее, не рассматривается) роль научных метрик и рецензируемых научных журналов в возникновении и развитии проблемы невоспроизводимости результатов исследований. В погоне за скоростью и частотой публикаций (читай, повышение индексов цитирования) резко падает качество и не остаётся времени на дополнительную проверку результатов.
Как говорится, все персонажи вымышлены, но основано на реальных событиях. Довелось как-то одному студенту проводить рецензирование статьи, ибо не у каждого профессора есть время и силы на вдумчивое чтение статей, поэтому собирается мнение 2-3-4 студентов и докторов, из которого складывается отзыв. Была написана рецензия, в ней указывалось на невоспроизводимость результатов по методике, описананой в статье. Это было наглядно продемонстрированно профессору. Но дабы не портить отношения с «коллегами» – ведь у них-то всё получается – рецензия была «скорректирована». И таких статей опубликовано 2 или 3 штуки.
Получается замкнутый круг. Учёный отправляет статью редактору журнала, где указывает «желаемых» и, основное, «нежелаемых» рецензентов, то есть фактически оставляя лишь положительно настроенных к авторскому коллективу. Они рецензируют работу, но не могут по-чёрному «гадить в комментах» и стараются из двух зол выбрать меньшее – вот список вопросов, на которые необходимо ответить, и мы тогда опубликуем статью.
Другой пример, о котором рассказывал редактор Nature буквально месяц назад – солнечные панели Грацеля. Из-за огромного интереса к данной тематике в научном сообществе (ведь все же хотят статью в Nature!), редакторам пришлось создать специальный опросник, в котором требуется указать уйму параметров, предоставить калибровки оборудования, сертификаты и прочее, чтобы подтвердить, что методика измерения КПД панелей соответствует некоторым общим принципам и стандартам.
И, в-третьих, когда в очередной раз вы услышите про чудо-вакцину, побеждающую всё и вся, новую историю о Джобсе в юбке, новые АКБ или вреде/пользе ГМО или излучения смартфонов, особенно, если это было пропиарено желтописателями от журналистики, то отнеситесь с пониманием и не делайте скоропалительных выводов. Подожди подтверждения результатов другими группами учёных, накопления массива и выборок данных.
А что вы, уважаемые Хабра/GT пользователи, думаете о воспроизводимости научных данных? Поделитесь своим мнение в комментариях!
PS: Статья переводилась и писалась на скорую руку, обо всех замеченных ошибках и неточностях, просьба писать в ЛС.
Иногда кратко, а иногда не очень о новостях науки и технологий можно почитать на моём Телеграм-канале — милости просим;)