ИНВЕСТИЦИОННЫЙ ПОРТАЛ ВОЛГОГРАДСКОЙ ОБЛАСТИ

Верификация методик анализа | Лаборатория физико-химических методов анализа

Что такое верификация?

Верификация [verification] – подтверждение лабораторией способности получать достоверные результаты (пригодные для решения конкретной задачи) по готовой валидированной методике

Отличие верификации от валидации

Валидация доказываем, что МЕТОДИКА пригодна для решения конкретной аналитической задачи, т.е. позволяет получать достоверные результаты

Верификация доказываем, что ЛАБОРАТОРИЯ в состоянии получить достоверные результаты по данной ВАЛИДИРОВАННОЙ методике

Из таблицы сразу видно, что лаборатория, которая проводила валидацию «автоматически» доказала достоверность результатов, получаемых в своей лаборатории (естественно, при успешной валидации)

Зачем делать верификацию?

Коротко — чтобы быть уверенным, что лаборатория способна выдать достоверные результаты аналиа по этой методике.

Проведение верификации методик предусмотрено ISO 17025, ведущими фармакопеями и правилами GMP:

Лаборатория должна подтвердить, что она может правильно использовать стандартные методики, прежде чем приступить к испытаниям	п. 5.4.2 ГОСТ ИСО/МЭК 17025-2009
Лаборатория, которая использует методику испытаний и которая не выполняла ее первоначальную валидацию, должна верифицировать пригодность методики	п. 6.15 Правил надлежащей производственной практики (GMP) Евразийского экономического союза

Литература по верификации

• Раздел 4 «Валидация или верификация?» The Fitness for Purpose of Analytical Methods: A Laboratory Guide to Method Validation and Related Topics: Second edition (2014) (Eurachem Guide)
• Валидация аналитических методик: пер. с англ. Яз. 2-го изд. Под ред. Г.Р. Нежиховского. Количественное описание неопределенности в аналитических измерений: пер. с англ. Яз. 3-го изд. Под. ред. Р.Л. Кадиса. Руководства для лабораторий. – СПб.: ЦОП «Профессия», 2016. – 312 с. (сайт издательства)
• Г.Р. Нежиховский Валидация, верификация и аттестация методик, Контроль качества продукции, № 9, 2016
• Правила надлежащей производственной практики (GMP) Евразийского экономического союза
• Верификация (verification) и трансфер методик: система контроля качества лекарственных средств в свете изменений GMP, Аптека.ua, № 8 (979), 2015
• ГОСТ ИСО/МЭК 17025-2009 Общие требования к компетентности испытательных и калибровочных лабораторий
• USP <1226> Verification of Compendial Procedures
• Глава 2 «Внедрение и использование методики анализа в лаборатории»
  Терещенко А.Г., Пикула Н.П. Внутрилабораторный контроль качества результатов химического анализа, Томск: STT, 2017
• Р 50.2.060-2008 Внедрение стандартизованных методик количественного химического анализа в лаборатории. Подтверждение соответствия установленным требованиям
• Приложения А и Б, РМГ 76-2014 ГСИ. Внутренний контроль качества результатов количественного химического анализа

Видео про верификацию (примеры)

Шаблон протокола верификации для химической лаборатории

Шаблон протокола верификации для химической лаборатории (docx)

Вопрос-ответ

Кто несет ответственность за верификацию? Ваш шаблон гарантирует что этого эксперимента достаточно?

Ответственность за достоверность выдаваемых результатов в полном объеме несет лаборатория — ее руководитель и специалисты лично. А верификация (наряду с валидацией и контролем качества) — важный элемент обеспечения достоверности анализа (QA).

В шаблоне приведен минимальный, с нашей точки зрения объем эксперимента. Уверенно можем сказать — что лучше верификация в малом объеме, чем никакой верификации.

Мы не аккредитованная лаборатория. Нам все равно надо делать верификацию?

Любая лаборатория, даже не аккредитованная, несет полную ответственность за выдаваемые результаты. Верификация позволяет убедиться самим, и подтвердить документально, что по данной методике лаборатория может выдавать достоверные результаты.

Верификация — это лишние затраты!

Верификация выгодна любому предприятию, т.к. существенно снижает риски получения недостоверных результатов, и позволяет выявить проблему на старте, а не через год работы.

Потери от недостоверных результатов анализа (выпуск некачественной и опасной продукции, работа технологов «впустую» и др.) обычно на порядки более существенны, чем затраты на организацию нормальной работы лаборатории.

Верификация гарантирует, что теперь у нас всегда будут достоверные результаты?

Нет. Верификация — лишь один из элементов обеспечения достоверности анализа (QA).

Чтобы быть уверенным что и дальше результаты выдаются достоверные, проводят контроль качества и множество других процедур.

Хорошая книга — Причард Э., Барвик В. Контроль качества в аналитической химии, пер. с англ. (2007 г., Quality Assurance in Analytical Chemistry) под ред. Болдырева И.В, 2014

В СССР никаких верификаций не делали, и нормально работали!

Делали. Только называлась это по другому: «внедрение методики», «постановка методики», «отработка методики». Эту процедуру, в соответствии современными международными рекомендациями, мы называем верификацией.

Вы гарантируйте, что к шаблону не будет вопросов?

Нет. Это просто пример-шаблон, чтобы доработать его под себя. Ответственность лежит на конкретной лаборатории.

По какому ГОСТу, нормативному документу составлен этот шаблон?

Шаблон составлен на основе нашего опыта внедрения методик, здравого смысла, с опорой на международные рекомендации Eurachem «A Laboratory Guide to Method Validation and Related Topics» и некоторые Российские документы из рекомендованного списка литературы.

А вот в ГОСТе, РМГ написано не так!

Любой ГОСТ в России доброволен к применению:

добровольность применения заинтересованным лицом документов в области стандартизации и обязательность соблюдения указанным лицом требований, содержащихся в этих документах, в случае объявления об их использовании, а также в случае определения обязательности исполнения требований стандартов в рамках контрактных (договорных) обязательств

ГОСТ Р 1. 0-2012, пункт 4

Если лаборатория приняла на себя обязательства использовать какой-то конкретный ГОСТ или РМГ (в договоре, руководстве по качеству, стандарте организации, обязательствах в рамках аккредитации, регуляторных требований, попадания в область гос. регулирования обеспечения единства измерений по ФЗ 102) — то значит надо ориентироваться на них.

Если лаборатория не обременена обязательствами, разумно опереться на Р 50.2.060, РМГ 76, РМГ 61, Eurachem «Laboratory guide to method  validation» как на справочные документы, доработав шаблон под себя.

А почему не оценивается погрешность / неопределенность?

Шаблон содержит минимальный, наш взгляд, объем эксперимента, чтобы можно было убедиться в нормальной работе методики, и начать работать. Делать расчет неопределенности / погрешности на основе только 3 серий измерений на наш взгляд не совсем корректно.

Можно расширить объем эксперимента (количество серий), и рассчитать погрешность / неопределенность на основе оценок правильности и прецизионности (по ГОСТ Р ИСО 21748-2012, РМГ 61-2010, Р 50. 2.060-2008, приложениям А и Б, РМГ 76-2014).  

Наша рекомендация — делать все поэтапно. Если, например, сейчас вообще не делается верификация, то лучше начать делать «по простому», не усложнять расчеты.

Кто утверждает критерии верификации? Где их брать?

Критерии приемлемости утверждает тот, кто несет ответственность за достоверность результатов анализа и верификацию — лаборатория. Правильный, обоснованный выбор критериев — ключевой вопрос, «сердце» верификации.

Т.к верификации подвергаются только валидированные методики (для которых уже доказано, что методика позволяет получать результаты, пригодных для достоверного принятия управленческих решений по результатам анализа), разумно проверить выполнение базовых валидционных критериев (пусть в меньшем объеме): повторяемости, промежуточной прецзионности, правильности.

Для обоснования требований к верификационным критериям есть несколько подходов:

• Если в методике приведены значения показателей (повторяемости, промежуточной прецизионности, правильности) — проверяют в сокращенном объеме, выполняются ли они;
• Если в методики значения показателей не приведены — запрашивают валидационный отчет, и проверяют выполнение базовых валидционных критериев (повторяемости, промежуточной прецзионности, правильности) в сокращенном объеме
• Устанавливают требования к показателям, исходя из требований к неопределенности (погрешности). Неопределенность (погрешность) может быть прописана в методике, или определяться аналитической задачей.
• Устанавливают требования к показателям «экспертно», исходя из опыта. Например, у продукта норма «от 9,5% до 10,5%». Чтобы делать достоверную отбраковку в этом случае, разумно потребовать СКО промежуточной прецзионности < 5%, а лучше < 2-3%.

Часто верификацию делают поэтапно. Сначала устанавливают требования «экспертно», а по мере накопления статистических данных, могут ужесточить, или наоборот смягчить требования.

Можно ли делать верификацию для не-валидированной методики?

Нет. Если методика не прошла валидацию — то нет доказательств, что методика пригодна для решения конкретной аналитической задачи. Применение валидированных методик — ключевой элемент обеспечения достоверности анализа (QA).  

Если нет сведений о валидации методики — значит надо проводить полноценную валидацию.

Если мы сделали валидацию, нужно ли дополнительно делать верификацию?

Нет. Если методика прошла валидацию на базе вашей лаборатория — этим автоматически подтверждается что она способна получать по ней достоверные результаты, т.е. что методика «внедрена».

Что делать если методика аттестована, но сведений о ее валидации нет?

Аттестация говорит о том, что у методики посчитаны метрологические характеристики, и что аттестованная государством организация это подтверждает. В ходе аттестации не решается вопроса, пригодна ли методика с такими метрологическими характеристиками для решения конкретной задачи, стоящей перед предприятием. Еще, в ходе «метрологической аттестации» нередко уделяется мало внимания таким показателям методик как селективность и устойчивость (робастность).

Необходимо провести «последний шаг валидации» — решить, пригодна ли методика с такими метрологическими характеристиками для решения вашей аналитической задачи (возможно ли принятие обоснованных управленческих решений по результатам анализа). Эксперимент проводить при этом не потребуется — т. к. показатели методик  уже оценены в ходе аттестации.

А после этого делать верификацию — подтвердить экспериментально, что лаборатория достигает заложенные в методике метрологические характеристики (правильность, прецизионность, правильность).

У нас продукт сложного/переменного состава (смола, отход), для которого не получиться сделать модельные растворы и оценить правильность. Как нам быть?

Исходим из того что методика уже прошла валидацию, и мы знаем, что она пригодна для решения задачи. Мы можем только оценить СКО повторяемости и промежуточной прецизионности на реальных пробах. Разумно найти реальные пробы со значениями из начала, середины и конца диапазона измерений.

Можно услышать мнение, что без подтверждения правильности валидация и верификация получается «не полноценная». Но мы придерживаемся «теории малых дел» — лучше сделать то что можно в имеющихся условиях, чем вообще ничего не делать.

Нет ГСО — нет верификации!

Если лаборатория не входит в сферу «государственного регулирования обеспечения единства измерений» по 102 ФЗ, то она сама может решать, какие стандартные образцы использовать в своей работе.

А самое главное — для большинства методик ни ГСО, ни стандартных образцов просто не существует. И что теперь, не делать верификацию?

При отсутствии СО готовят модельные растворы с известным содержанием определяемого компонента (в российских метрологических документах из называют «аттестованные смеси»). Модельные растворы стараются делать максимально близкими по составу к реальным пробам.

Верификация не получается. Что делать?

В первую очередь — не впадать в панику. Отрицательный результат верификации — не катастрофа, а рабочий момент, причем позитивный: проблема с методикой «отловлена» на старте, лаборатория не успела выдать недостоверные результаты.

Вторым шагом — запротоколировать результат: оформить протокол верификация с отрицательным результатом.

Третий этап — спокойно искать причину.

Потенциальные источники ошибок:

• проблемы с прибором, хроматографческой колонкой, реактивами, стандартами
• ошибки при выполнении методики
• проблемы с весами («плавает» масса)
• бракованная мерная колба
• ошибки на стадии пробоподготовки
• неоднородность образцов (особенно если они твердые)
• нестабильность образцов

При поиске проблемы, часто проверяют эти же образцы по другой методике, на другом приборе, в другой лаборатории.

Преступная практика — вместо оформления «отрицательно протокола» пойти на пойти на подлог и поделку данных, что якобы «все в порядке». Это признак полной проф. непригодности руководства лаборатории и компании в целом. Такая практика создает чудовищные риски для бизнеса. Как можно дальше быть уверенными в качестве продукции, если лаборатория подделывает данные по своему усмотрению?

Шаблон подходит для аккредитованных лабораторий? У экспертов не будет к нему вопросов?

Нет. Необходимо ориентироваться на требования системы аккредитации. К сожалению, не сможем проконсультировать по внедрению аттестованных методик в аккредитованных лабораториях — рекомендуем обратиться к профильными экспертам.

Есть вопросы по верификации методик?

что это, принципы и примеры

В современном мире, где большая часть всех взаимодействий с пользователями происходит в онлайн-режиме, важно установить с ними доверительные отношения. Это возможно благодаря верификации личности.

Содержание

1. Что такое верификация и зачем она нужна
2. Код верификации: что это такое
3. Принципы верификации
4. №1
5. №2
6. №3
7. Цели верификации
8. Чем верификация отличается от валидации
9. Примеры 
10. Верификация в производстве 
11. Пример
12. Верификация в интернет-технологиях
13. Верификация в медицине
14. Верификация карты (кредитной, дебетовой)
15. Верификация в платежных системах
16. Верификация в философии и науке
17. Верификация «ВК» и «Инстаграм»
18. Заключение 

Что такое верификация и зачем она нужна

Простыми словами верификация — это проверка пользователя на достоверность внесенных данных. Термин происходит от двух латинских слов verus «истинный» и facere «делать», что в буквальном переводе означает «сделать что-либо настоящим». 

Процедура обработки персональной информации называется аутентификацией. Классический пример — сравнение введенного пароля с паролем, привязанным к этому аккаунту.  

Да! 🙂

47.97%

Нет… 🙁

52.03%

Проголосовало: 715

Код верификации: что это такое

Скорее всего, вы неоднократно сталкиваетесь с кодом верификации в повседневной жизни, когда при регистрации на ваш телефон или e-mail приходил специальный пароль для входа в личный кабинет. Таким образом, администрация сайта удостоверяется в подлинности внесенных данных. 

Принципы верификации

После того как мы узнали, что такое верификация и для чего она нужна, познакомимся с ее основными принципами. 

№1

Первостепенный принцип верификации выглядит следующим образом: данные должны быть подтверждены экспериментальным путем и не должны противоречить общепринятым фактам. 

Рассмотрим пример. Банковская карта принадлежит И. И. Иванову. Данные подтверждаются, когда клиент внес в банкомат свою карту. Но этого недостаточно. Ко всему прочему необходимо ввести специальный пароль, который знает только владелец карты. 

№2

Сведения должны быть познаваемыми. К примеру, невозможно подтвердить информацию о том, что существует реальный Человек-Паук. Его никто не видел, а значит, нельзя провести верификацию. 

№3

Информация должна быть объективной. Возьмем за пример Аню и Толю. Если мы захотим верифицировать утверждение «Толя любит Аню», то ничего не получится. Мы не можем «залезть в душу» к Толе, поэтому невозможно проверить это утверждение на достоверность. 

КСТАТИ

Зарегистрируйтесь в нашем сервисе голосовых рассылок Zvonobot и получите первые 20 звонков — бесплатно!

Регистрация

Цели верификации

Цель верификации весьма понятна — защитить аккаунт от посторонних лиц. После успешного прохождения аутентификации пользователю предоставлен доступ к продукту. Конечный результат должен соответствовать требованиям разработчиков. 

Также выдвинутые предположения о том, что аккаунт принадлежит пользователю, должны соответствовать научным фактам. 

Чем верификация отличается от валидации

Слова верификация и валидации довольно схожи по смыслу, поэтому непримечательный читатель может не заметить разницы.  

Ниже представлена таблица, в которой подробно расписаны основные отличия этих понятий.

	Верификация	Валидация
Определение	Проверка соответствия конечного результата с теоретической частью	Мера соответствия, показывающая насколько совпадают поставленные задачи с практической частью в конкретных ситуациях
Заинтересованные лица	Производители	Потребители
Кто проводит	Производители, тестировщики, разработчики, программисты	Потребители
Использование на практике	Обязательное (Продукт должен работать в соответствии с ТЗ)	Необязательное
Виды знаний	объективные (Продукт должен соответствовать ТЗ)	субъективные (Пригоден ли продукт для использования в конкретных условиях)
Примеры	На фармацевтической фабрике производят лекарства. Перед вводом в производство устанавливают стандарты для безопасного применения. После успешного прохождения исследования, препараты поступают на производство. Верификация пройдена успешно.	Терапевт назначает лекарство. Он определяет, поможет ли препарат конкретному пациенту.

Отличие верификации от валидации

Примеры 

Проверка информации на достоверность — неотъемлемый процесс работы

Диапазон использования верификации достаточно широкий, поэтому мы рассмотрим лишь основные направления, где проверка информации на достоверность является неотъемлемым процессом работы.

Верификация в производстве 

После того как продукт выпущен, отдел технического контроля (ОТК) проверяет изделие на соответствие с требуемыми параметрами, а именно: 

• государственным стандартам,
• отраслевым стандартам,
• техусловиям,
• проекту,
• нормативами. 

Это еще не все. ОТК отправляет продукцию в отдел менеджмента качества для сравнения с сертификацией ИСО. Данное подразделение отвечает за технологические и экологические параметры выпущенного изделия.  

Пример

На некоторой фабрике выпускается кожаная обувь. Работники компании из отдела контроля качества сверяют изготовленную пару обуви с документацией, в которой прописаны физико-механические параметры продукта (деформация, гибкость, прочность и т. д). Как правило, верификации подлежит лишь несколько пар из всей партии обуви. Бракованную обувь снимают с производства. 

Верификация в интернет-технологиях

Технологии в просторах интернета подразделяют на 4 направления: 

1. Верификация пользователя. Например, «галочка» в Инстаграме означает, что данный аккаунт подлинный и, действительно, принадлежит известному человеку. 

2. Верификация ПО. Продукт, созданный на основе программного обеспечения, должен содержать все сборные части и запускаться при нажатии. Что касается самой работы программного обеспечения, то уже это проверяется с помощью валидации. 

3. Верификация сайта. Чтобы доказать собственность сайта, необходимо вставить в код специальный файл HTML или использовать другие способы подтверждения.

4. Верификация электронной цифровой подписи (ЭЦП). Такая подпись используется для передачи документов в электронном виде. Благодаря специальным верификационным сервисам, можно проверять истинность указанных сведений. 

Верификация в медицине

Излечение болезней — основная задача медицины. Один неверный шаг может привести к губительным последствиям. Поэтому сфера здравоохранения подлежит тщательной проверке: от производства медикаментов вплоть до предписаний лечащего врача. К примеру, на фармацевтической фабрике изготовленный препарат сравнивается с химическим составом в соответствии с ТЗ. 

Верификация карты (кредитной, дебетовой)

Это один из самых популярных видов верификации. Чтобы оплатить услугу или товар с банковской карты, необходимо указать пин-код от нее или ввести секретный пароль, который отправляется на привязанный телефон клиента. Также подтвердить собственность аккаунта можно через приложение банка или звонка оператора. 

Для повышения безопасности своих клиентов банки все чаще начали использовать двухфакторную верификацию. Здесь в дополнение к основной требуется еще один этап подтверждения. Это может быть также код из СМС-сообщения или любой другой способ. 

Верификация в платежных системах

Чтобы зарегистрироваться в любой из платежных систем, нужно пройти процесс валидации: отправить сканы документов для подтверждения личности. Для входа в личный кабинет интернет-кошелька необходимо верифицироваться. Как правило, платежные системы требуют логин и пароль. 

Верификация в философии и науке

В философии термин верификация означает выяснение теоретических знаний с помощью практического исследования. Мы уже знаем, что основным критерием верификации является познаваемость. Если мы захотим верифицировать утверждение «Собаки не умеют говорить», то фраза пройдет проверку. Законы биологии и физики не позволяют четвероногим друзьям воспроизводить человеческую речь. 

Верификация «ВК» и «Инстаграм»

Верификация Instagram

Для подтверждения собственности странички звездам в популярных социальных сетях «ВКонтакте» и «Инстаграм» используются специальный значок в виде голубой галочки. Это помогает отличить официальную страничку/группу от фейковых.

Заключение 

Верификация — это очень важный процесс, который регулирует различные сферы нашей жизни. Благодаря ей можно выявлять технологические нарушения в области производства, корректировать лечение пациентов, а также защищать персональные данные от мошенников. 

Стоит отметить, что многие не понимают всю значимость и необходимость верификации. Важно уточнить, что это формальный и объективный процесс. Например, если по каким-либо причинам вы указали неверный пароль, то сотрудник банка не может отходить от предписаний и выдать вам деньги. 

Да

57.65%

Нет

42. 35%

Проголосовало: 170

9. Проверка результатов — EDRM

Проверка результатов — важный этап поиска. Некоторые из общих целей этого этапа заключаются в следующем.

1. Обеспечьте рентабельным способом, удовлетворяет ли набор выполненных поисков производственному запросу. При выполнении очень широкого поиска часто трудно выполнить крупномасштабную проверку вручную, поэтому этап проверки должен обеспечить необходимую оценку, не потребляя слишком много ресурсов проверки.
2. Убедитесь, что проверка дает достаточно результатов своевременно, чтобы оценить и оценить, нужно ли нам изменить первоначальный набор поисков (т. е. помочь в цикле обратной связи на этапе выполнения поиска).
3. Разрешить сравнение альтернативных методов поиска.
4. Поддержка потребностей метрик EDRM с точки зрения отслеживания и подачи показателей обработки и анализа.

Меры по проверке результатов зависят от общих целей производства электронных документов. В частности, применимы следующие соображения.

1. При поиске обзора отзывчивости при проверке результатов может потребоваться рассмотрение вопроса о том, является ли общая цель ограничительной или всеобъемлющей. В зависимости от конкретной ситуации это может повлиять на оценку. В то время как некоторые документы будут иметь четкое ответное определение, некоторые — нет. Чрезмерно инклюзивная стратегия будет включать те, которые не имеют четкого реагирования. Ограничительная стратегия отбросит их. В некоторых случаях на этот выбор может повлиять стоимость проверки человеком и общий бюджет.
2. При поиске проверки привилегий может потребоваться этап строгой проверки, вызывающий обратную связь, которая делает поиск более широким при выборе результатов. Однако это может подлежать рассмотрению при наличии соглашений о возврате, выборочных отказах и соглашений по правилу 502 FRS, т. е. поиск привилегий может быть более строгим.
3. При оценке необходимости расширения коллекции ESI (возможно, путем добавления новых хранителей) может потребоваться проверка результатов поиска в контексте каждого пакета коллекции. Довольно часто многоуровневый сбор ESI приводит к тому, что некоторые пакеты создают большее количество ответных обращений к документам по сравнению с другими пакетами. Таким образом, необходимо правильно документировать и сравнивать результаты поиска.

9.1. Описание результатов поиска

Для проверки результатов поиска необходимо зафиксировать следующее:

1. Отправленный поисковый запрос.
2. Количество найденных документов.
3. Количество документов, которые оказались дубликатами других документов.
4. Если документ содержится в другом документе (электронные письма, вложения и т. д.)
5. Количество искомых документов.
6. Идентификация каждого документа (с использованием хэш-содержимого MD5 или SHA1).
7. Количество совпадений в каждом документе.

Приведенные выше результаты, возможно, потребуется классифицировать по дополнительным строкам, как показано ниже.

1. Хранители, где были найдены результаты.
2. Загрузка пакетов, в которых были найдены результаты, чтобы результаты поиска отслеживались для каждого пакета.

9.2. Методологии валидации

Существует несколько методологий валидации, которые следует использовать при разработке критериев поиска, которые будут использоваться для отбора документов для проверки юристом. Многие из упомянутых ниже методологий проверки предполагают, что группа по рассмотрению дела просматривает образцы документов, чтобы определить актуальность судебного разбирательства для классификации документов как отвечающих или не отвечающих вопросам дела и, следовательно, повышающих точность результатов поиска.

9.2.1. Частотный анализ

Первоначально частотный анализ может использоваться для оценки эффективности исходных критериев поиска. Условия поиска проверяются, чтобы определить, эффективно ли они различают потенциально релевантные и явно нерелевантные данные. Думайте об этом как о реальной проверке результатов поиска по сравнению с общим размером коллекции и разумно ожидаемой долей релевантных результатов. Если коллекция состоит из ESI, вручную обозначенных хранителями как релевантные, 80 % ответов могут быть разумными. Поэтому, если вы выполняете поиск в комбинированных почтовых ящиках отделов и общих файловых ресурсах, вы ожидаете гораздо меньший набор результатов.

Этот метод включает просмотр пропорционального количества возвращенных элементов с использованием исходного набора критериев поиска и отдельных условий поиска. В зависимости от используемой вами технологии поиска полезно иметь возможность оценивать перекрывающиеся условия поиска и видеть, какие элементы получили только одно или несколько совпадений.

После того, как вы определили слишком широкие термины, образцы используются для разработки допустимых квалификаторов или исключающих терминов, которые можно использовать в комбинации, чтобы сфокусировать или сузить поиск. Критерии недискриминации, те термины, которые носят чрезмерный характер и вряд ли дадут соответствующие документы, могут быть удалены.

Этот анализ также идентифицирует критерии поиска, которые не могут получить какие-либо данные или не могут получить ожидаемые количества или типы данных, чтобы определить, могут ли они нуждаться в расширении или дальнейшем исследовании.

Этот процесс повторяется на протяжении всего жизненного цикла проекта по мере изменения критериев поиска. Целью этого метода является увеличение относительной точности или доли релевантных элементов в результатах поиска. Он не касается отзыва или полноты соответствующих предметов из коллекции.

9.2.2. Проверка отброшенных элементов

Поскольку набор критериев поиска обновляется и модифицируется во время начального расследования и анализа, анализ отброшенных элементов является еще одной формой проверки, необходимой для обеспечения того, чтобы отвечающие элементы не были случайно пропущены из-за изменений в критериях поиска.

Это сравнение выберет документы, которые изначально были результатами одного набора критериев поиска, но больше не являются результатами измененного набора критериев поиска.

Затем рабочая группа просматривает образцы отброшенных элементов на предмет реагирования, чтобы убедиться, что отвечающие элементы не были отброшены. Если определены соответствующие элементы, их следует просмотреть, чтобы определить, нужно ли создавать дополнительные термины для охвата этих элементов или следует изменить изменения, внесенные в критерии, чтобы эти элементы по-прежнему были включены.

Соответствующее количество случайных или статистических (пример: каждый 20-й элемент) элементов выборки обсуждается в Разделе 9..5. Выборочные проверки следует повторять после изменения критериев до тех пор, пока команда не убедится, что порог достоверности достигнут. Проверка отброшенных элементов может выполняться в сочетании со следующим методом выборки «Проверка без совпадений», но элементы, которые соответствуют ранее отвечающим критериям поиска, должны иметь более высокий порог допустимой ошибки.

9.2.3. Non Hit Validation

Поскольку критерии поиска разрабатываются и используются для перемещения полученных элементов в обзор документов, следует отбирать образцы элементов, которые не соответствуют ни одному из используемых критериев поиска. Группа, занимающаяся рассмотрением дела, должна проверить незавершенные элементы на предмет реагирования. Как и в случае проверки отброшенных элементов, любые документы, которые считаются отвечающими требованиям во время проверки, должны быть оценены для определения дополнительных критериев поиска или изменений, необходимых для существующих критериев, чтобы зафиксировать эти элементы, чтобы передать их на рассмотрение.

Как и в случае проверки отброшенных элементов, любые образцы документов, которые считаются отвечающими требованиям во время проверки, должны быть оценены для определения дополнительных критериев поиска или модификаций, необходимых для существующих критериев, чтобы зафиксировать эти элементы, чтобы переместить их на рассмотрение. Эти методы выборки элементов, не входящих в ваши результаты, имеют решающее значение для построения надежного процесса. Они демонстрируют разумные усилия для того, чтобы все подходящие были найдены. По сравнению с частотным анализом эти методы улучшают отзыв при поиске (доля релевантных элементов по сравнению со всеми релевантными элементами). Использование этих методов снижает риск непреднамеренного пропуска важных элементов, но увеличивает общий объем для проверки.

9.2.4. Review Feedback Validation

Документы в наборе для проверки проверяются юристами на соответствие требованиям, конфиденциальность и другие вопросы, связанные с конкретным вопросом. Обратная связь по результатам рецензирования, т. е. запросы рецензентов о том, какие документы являются релевантными или конфиденциальными, может предоставить дополнительную информацию, полезную для уточнения критериев поиска и отбора или для выявления пробелов, требующих дополнительного анализа. Эта обратная связь будет использоваться для дополнительного анализа и уточнения наборов критериев поиска. В отзыве могут быть указаны категории документов, которые не являются ответными документами. Эта информация будет использоваться для разработки критериев исключения, которые будут определять документы, подлежащие исключению из набора для проверки. Кроме того, отзывы могут определять новые категории документов, которые следует включить, и критерии будут расширены, чтобы включить эти документы в набор для проверки.

Примером проверки обратной связи может быть полная проверка ключевых хранителей, собранных ESI, а затем сравнение релевантных или привилегированных документов с частотными показателями критериев поиска. Таким образом, если конкретный поисковый запрос появляется в 80% ваших релевантных документов и не встречается ни в одном из нерелевантных документов, этот термин следует использовать, чтобы сфокусировать ваш узкий набор известных релевантных критериев для первого просмотра. В зависимости от возможностей отчетности поисковой системы может потребоваться разделение и повторная обработка различных категорий проверенных элементов для создания показателей обратной связи.

Метод проверки можно использовать для повышения точности и полноты поиска. Его также можно применять к существующим коллекциям ранее рассмотренных вопросов, чтобы улучшить общие критерии категоризации ESI перед первоначальным поиском.

9.3. Контрольный показатель эффективности поиска

При сравнении нескольких поисковых технологий важно отметить, что каждая поисковая технология может предоставлять различные наборы результатов. Даже в рамках одной технологии предложения нескольких поставщиков могут давать разные результаты поиска. Кроме того, необходимо оценить контекст поиска в рабочем процессе EDRM, чтобы оценить эффективность поиска.

1. В случае поиска метаданных с использованием поиска по полям для идентификации хранителя и т. д. существует очень высокий порог точности, и крайне важно понимать различия в свойствах полей, соглашениях об именах и синтаксисе.
2. При раннем анализе случаев поиск должен быть быстрым, но результаты должны быть упорядочены по релевантности, чтобы результаты поиска можно было быстро оценить и повторить.
3. В случае крупномасштабной отбраковки поиски должны разделять популяцию таким образом, чтобы большие популяции попадали в корзину отбракованные/неотвечающие.
4. В случае поиска потенциально отвечающих документов итеративная проверка должна исключать ложные отрицательные результаты и минимизировать ложные положительные результаты.
5. В случае с потенциально привилегированными документами поиск должен быть нацелен на отвечающую группу населения и иметь низкий порог ложноотрицательных результатов.

Важным фактором является то, отвечает ли документ и как это определяется. Вполне возможно, что документ считается отвечающим требованиям, потому что эксперт в предметной области или опытный читатель-человек, знакомый с рассматриваемыми юридическими вопросами, определил, что документ является отвечающим требованиям. Нет необходимости, чтобы адаптивный документ содержал определенный набор поисковых терминов, что делает определение адаптивности субъективным. Следовательно, представление о том, насколько эффективным был поиск в определении отвечающих требованиям документов, само по себе является субъективным. Кроме того, часто невозможно определить, как человек оценивает всю коллекцию документов, поэтому полная оценка усилий по поиску для каждого предприятия по электронному обнаружению невозможна.

Точно так же трудно измерить эффективность методологии поиска для проверки привилегий или конфиденциальности. Хотя эти обзоры обычно включают меньше документов (т. е. только отвечающие), цена побега от обзора очень высока, поскольку это может привести к отказу от привилегий. Таким образом, поиск с несколькими ложноотрицательными результатами, скорее всего, приведет к непреднамеренному производству.

При его отсутствии эффективность поиска часто основывается на двух методах.

1. Определить для конкретной известной коллекции, какова эффективность конкретного алгоритма/методологии поиска.
2. Выполните отбор проб из коллекции и оцените эффективность по сравнению с образцом.

9.4. Точность поиска: точность и полнота

Точность поиска часто измеряется с помощью показателей информационного поиска Точность и полнота[1. Амит Сингхал, Джон Чой, Дональд Хиндл, Дэвид Льюис и Фернандо Перейра, AT&T на TREC-7, Труды Седьмой конференции по поиску текстов (TREC-7), страницы 239–252. Специальная публикация NIST 500-242, июль 1999 г.] [2. Показатели эффективности информационного поиска, статья в Википедии]. Хотя эти меры хороши для регистрации эффективности конкретного поиска, полное электронное открытие может включать в себя комбинированный набор поисков, и комбинированная оценка более актуальна для обсуждения.

Точность измеряет количество действительно отвечающих документов в извлеченном наборе отвечающих документов. Отзыв измеряет количество извлеченных отвечающих документов по сравнению с общим количеством отвечающих документов в корпусе. Эти два коэффициента широко используются для характеристики эффективности информационно-поисковых систем.[3. Блэр, округ Колумбия, Марон, Мэн (1985). Оценка эффективности поиска для полнотекстовой системы поиска документов, сообщения ACM, 28, 289-299.]

Точность = {Количество полученных ответных документов} / {Общее количество полученных}

Отзыв = {Количество извлеченных отвечающих документов} / {Общее число отвечающих}

Более высокое число точности означает, что извлекается большой процент отвечающих документов, и только небольшое количество неотвечающих документов было отнесено к категории отвечающих. Число с более высокой точностью полезно для создания эффективного второго прохода человека. Кроме того, если показатели точности высоки, можно даже подумать об отказе от проверки второго прохода.

Более высокий показатель отзыва свидетельствует о том, что система информационного поиска была эффективна при извлечении более высокого процента отвечающих документов, и в невостребованной коллекции осталось меньше отвечающих документов. Очень небольшой отзыв предполагает улучшение методов автоматического поиска.

Другим фактором, который необходимо учитывать, является общее количество документов. Часто можно достичь высокой точности и высокой скорости полноты в небольшом корпусе, но по мере увеличения размера корпуса эти показатели значительно падают. Во многих сценариях автоматического поиска информации скорость отзыва может быть легко увеличена, но скорость точности снижается. Пересечение точек Precision и Recall является критической точкой данных оптимизации, и системы поиска информации пытаются переместить эту точку данных ближе к верхнему правому углу, как показано ниже.

Другой полезной мерой является единая мера, известная как F-мера, которая объединяет обе эти меры в одно значение.

F = 1/( α /P + (1- α)/ R)

α — это вес для придания различных уровней важности Точности и отзыву. В большинстве случаев выбирается равный вес, поэтому значение α может быть установлено равным 1. Эта единственная мера представляет эффективность поиска.

9.4.1. Определение точности

Для любой методологии поиска определение точности является более простой задачей, поскольку можно легко определить как количество действительно отвечающих требованиям документов, так и количество извлеченных документов. Это тот случай, когда критерии выбора поиска достаточно специфичны, чтобы сузить результаты до небольшого числа. В приведенных выше примерах критерии отбора позволили сузить общее количество извлеченных данных примерно до 1% от общего размера корпуса. Затем этот набор подвергается проверке человеком, чтобы определить, действительно ли документ отвечает требованиям.

В ситуациях, когда критериев выбора недостаточно для сокращения полученного набора, для оценки точности используется технология выборки.

9.4.2. Определение полноты

Поскольку полнота измеряет соотношение отвечающих документов к полному корпусу, количество отвечающих документов в корпусе определить трудно. Это связано с тем, что, как правило, эффективные автоматизированные методологии отбраковки оставляют больший процент документов не отвечающими на запросы. Выполнение человеком проверки неотзывчивой коллекции часто является непомерно дорогостоящим и противоречит первоначальной цели автоматизации. Чтобы преодолеть эту проблему, мы используем методологию выборки, чтобы определить количество отвечающих документов в неизвлеченном наборе документов и оценить отвечающие документы, которые не были выбраны.

Альтернативой оценке Precision and Recall на основе выборки является ранжирование документов по порядку баллов и последующий выбор только определенного количества документов с наивысшим рейтингом. Это часто называют оценкой релевантности на основе отсечки. Использование меньшего набора позволяет получить точность и полноту, а затем результаты экстраполируются на всю коллекцию. Мы считаем, что эта экстраполяция не так надежна, как определение на основе выборки.

9.4.3. Итеративный поиск

Довольно часто эффективность метода поиска может быть низкой, и может быть не очевидно, что значительное количество ожидаемых документов фактически не находится. Например, знаковое исследование Блэра и Морана[4. Блэр, округ Колумбия, Марон, Мэн (1985). Оценка эффективности поиска для полнотекстовой системы поиска документов, Communications of the ACM, 28, 289-299.] определила, что поиски на основе ключевых слов дают отклик только на 20%. Некоторые из способов повышения эффективности поиска заключаются в многократном повторении новых поисковых запросов. Эти запросы могут быть разработаны для повышения как точности, так и отзыва.

Способы улучшения отзыва:

• Укажите дополнительные условия поиска.
• Внедрить новые технологии поиска, такие как поиск понятий.
• Увеличьте охват ключевых слов, используя подстановочные знаки, нечеткую спецификацию.
• Используйте первоначальный поиск в качестве «шага обучения» и включите механизм обучения для поиска других подобных документов.

Методы повышения точности:

• Предоставьте более конкретные запросы, включающие более сложные комбинации булевой логики для повышения точности.
• Выполните предварительный анализ подстановочных знаков, орфографических ошибок и т. д. и устраните ненужные расширения подстановочных знаков, тем самым повысив точность.

9.5. Методология выборки и контроля качества для поиска

Для оценки эффективности стратегии поиска на ранних стадиях анализа дела необходимо провести выборку результатов и оценить выборку. Правильный выбор образцов, скорее всего, приведет к быстрой и экономичной оценке, что имеет решающее значение, когда необходимы множественные оценки. Использование выборки также полезно при выполнении окончательной оценки поиска как части этапа контроля качества. Опять же, важным соображением является стоимость оценки большой коллекции ESI с использованием проверки человеком, а выборка сокращает количество документов, которые необходимо изучить.

Основное применение выборки требует случайного выбора элементов из большей совокупности и оценки наличия атрибута (например, отзывчивости) в выборке, а затем оценки характеристик совокупности. При этом принимается определенная 90 128 ошибка оценки 90 129 и 90 128 доверительный интервал 90 129 того, что оцениваемая мера находится в пределах этой ошибки. Например, выборка 1537 записей может дать оценку +/- 5% с доверительным интервалом 9.5%. Один из результатов теории выборки состоит в том, что выборка совокупности по признаку с определенной ошибкой и доверительным интервалом не зависит от размера совокупности.[5. Как определить размер выборки: Инициатива «Шесть сигм». Как правило, при составлении выборки учитываются широкие знания населения и проводится беспристрастный отбор. В большинстве случаев сторона, проводящая выборку, имеет некоторые знания о генеральной совокупности, и есть одна сторона, обладающая этими знаниями. Напротив, в большинстве судебных процессов, где между Запрашивающей стороной и Стороной-производителем существуют враждебные отношения, и поскольку только одна сторона имеет доступ к основному набору документов, согласование стратегии выборки затруднено. Эффективной методологией является та, которая не требует знания данных, но при этом способна применять процесс случайного отбора, имеющий центральное значение для эффективности выборки.

Дополнительные сведения о различных аспектах надежной выборки описаны в Приложении 2.

8 способов определить достоверность отчетов об исследованиях — Блог

В нашей работе нам все чаще приходится принимать решения на основе данных или фактов. Множество организаций предлагают анализ, данные, разведданные и исследования в области развития международного высшего образования. Может быть трудно понять, на какой источник полагаться. Поэтому первая страница, к которой следует обратиться в любом исследовательском отчете, — это раздел методологии. Причина в том, чтобы определить, стоит ли читать другие страницы и насколько критично мы должны относиться к напечатанной на них информации. Этот пост в блоге охватывает восемь элементов, которые следует искать в исследовательском отчете, чтобы определить его достоверность.

Почему было проведено исследование?

Независимо от того, было ли целью исследования получение дохода, лоббирование изменения политики, оценка воздействия программы или разработка новой теоретической основы, это повлияет на вопросы исследования, сбор и анализ данных, а также представление результатов исследования. Результаты. Чтобы наилучшим образом использовать результаты и поместить их в контекст для вашего использования, рекомендуется помнить о цели исследования.

Кто проводил исследование?

Множество организаций в этой области предлагают информацию, которая помогает принимать решения в нашей повседневной работе. Поэтому важно посмотреть, кто проводил исследование, и есть ли у рассматриваемой организации или лица опыт, необходимый для проведения исследования по теме. Кроме того, хорошей практикой является оценка того, заинтересована ли организация в конкретном результате исследования. Если это так, исследование должно быть прозрачным в демонстрации того, как проводились различные этапы исследования, чтобы гарантировать его объективность.

Международные исследования в области высшего образования должны быть прозрачными в демонстрации того, как проводились различные этапы исследования, чтобы гарантировать его объективность.

Twitter

Кто финансировал исследование?

Не менее важно проверить, спонсировала или финансировала ли третья сторона исследование, поскольку это может еще больше повлиять на объективность исследования. Если, например, организатор студенческих ярмарок спонсирует исследование эффективности различных методов найма, вы должны критически относиться к результатам, особенно если студенческие ярмарки становятся наиболее эффективным методом найма.

Как собирались данные?

В социальных науках структурированные интервью и анкеты для самостоятельного заполнения являются, пожалуй, двумя наиболее распространенными способами сбора количественных данных. То, как были идентифицированы лица в выборке, т. е. те, кого подошли к опросу, имеет решающее значение для определения репрезентативности результатов. Существует два основных типа выборок, а именно вероятностные и невероятностные выборки. Вероятностная выборка — это выборка, в которую каждый индивидуум в совокупности имеет равные шансы быть включенным. Это также является предпосылкой для возможности обобщать результаты для населения (см. ниже).

Чтобы проиллюстрировать разницу, предположим, что вы проводите опрос первокурсников, попросив студенческие клубы поделиться опросом в социальных сетях. Поскольку эта невероятностная выборка снежного кома с большей вероятностью охватит учащихся, активных в таких клубах, результаты не будут репрезентативными или обобщаемыми.

Достаточен ли объем выборки и частота ответов?

Чем больше размер выборки, тем выше вероятность точности результатов. После размера выборки около 1000 выигрыш в точности становится менее выраженным. Однако часто из-за ограниченности времени и денег получение такой большой выборки может оказаться невозможным. Однородность населения дополнительно влияет на желаемый размер выборки; более неоднородное население требует большей выборки, чтобы в удовлетворительной степени включить различные подгруппы населения. Доля ответивших является дополнительным показателем размера выборки, показывающим, сколько подходящих лиц в выборке дали полезный ответ. В веб-опросах процент ответов, как правило, ниже, чем в других типах опросов.

Используются ли в исследовании вторичные данные?

Данные могут собираться как из первичных, так и из вторичных источников, т.е. они могут собираться для целей исследования или могут использоваться существующие данные. Если используются существующие наборы данных, собранные другой организацией или исследователем, важно подумать о том, насколько достоверным является источник данных и насколько он применим для рассматриваемого исследования. Здесь, используя здравый смысл (и Google, если необходимо), вы проделаете долгий путь.

Измеряет ли исследование то, что заявлено для измерения?

Обычно в статистике для обозначения достоверности исследования используется термин «валидность». Валидность относится к степени, в которой понятие, вывод или измерение хорошо обоснованы и соответствуют действительности. Другими словами, измеряет ли он то, что намеревается измерить? Например, исследование направлено на изучение дискриминации по признаку пола среди преподавателей и при этом изучает количество случаев дискриминации, выдвинутых преподавателями-женщинами. Тем не менее, поскольку в исследовании не рассматривается причина этих жалоб на дискриминацию – будь то пол или этническая принадлежность, религия, возраст или сексуальная ориентация – нельзя сделать вывод о том, что гендерная дискриминация усилилась.

Можно ли обобщить результаты на мою ситуацию, учреждение или страну?

При проведении исследований часто наблюдается стремление обобщить полученные данные. Для того, чтобы это стало возможным, должны быть соблюдены два ключевых критерия. Во-первых, результаты применимы только к исследуемой популяции. Другими словами, если в исследовании анализируется удовлетворенность студентов в Великобритании, результаты нельзя распространять на университетские городки, например, во Франции. Во-вторых, данные должны собираться с помощью вероятностной выборки, т. е. каждая единица анализа, в данном случае каждый студент в Великобритании, имеет равные шансы быть включенной в выборку.

Часто в отчетах отсутствуют многие важные аспекты сбора и анализа данных. Поскольку время и деньги, возможно, оказывают наибольшее влияние на качество исследований, а ни у кого нет бесконечного количества ни того, ни другого, при проведении исследований часто приходится находить баланс между (экономической) эффективностью и качеством. Прозрачный и четкий отчет о том, как было проведено исследование, имеет решающее значение для читателя, чтобы оценить достоверность отчета, находящегося в его руках.