Яндекс толика: Толока — Вакансии от Яндекс — ИНВЕСТИЦИОННЫЙ ПОРТАЛ ВОЛГОГРАДСКОЙ ОБЛАСТИ

Содержание

правила контроля качества — Добро пожаловать в блог Яндекс.Толоки

В Толоке зарегистрированы более 7 млн исполнителей. Каждый день они выполняют порядка 13 млн заданий. При таких объёмах управлять качеством вручную невозможно, и платформа позволяет делать это автоматически.

Инструменты контроля качества в Толоке можно разделить на три группы:

Первые помогают обучать и экзаменовать исполнителей до того, как они приступят к разметке данных.
Вторые нужны, чтобы следить за разметкой в режиме реального времени: отключать тех, кто хитрит или не справляется, отправлять некачественные ответы на переделку.
Третьи предназначены для обработки результатов, когда разметка полностью завершена.

О первой группе инструментов — как отбирать исполнителей — мы уже рассказывали. Остановимся подробнее на наиболее многочисленной — второй группе. Это правила контроля качества, которые регулируют процесс выполнения заданий и доступ толокеров к ним. Правила можно настроить как для всего проекта в целом — на вкладке «Контроль качества», так и для каждого пула по отдельности.

Контролируйте действия исполнителей

Прежде всего системе, в которой удалённые пользователи выполняют однотипные задания, нужна защита от ботов и бездумного прокликивания. Толока умеет оценивать поведение исполнителей и блокирует тех, кто пытается её обмануть.

Ограничение быстрых ответов

Оплата в краудсорсинге сдельная. Не исключено, что кто-то из исполнителей захочет злоупотребить этим — отправить как можно больше ответов за меньшее время и с наименьшими усилиями.

Допустим, задача толокера — выделить на фотографии объекты для обучения алгоритмов компьютерного зрения. Если он справился с одним изображением быстрее, чем вы ожидаете, — это не значит, что он спешил и плохо выполнил задание. Но если исполнитель размечает несколько фотографий подряд с подозрительно высокой скоростью — это повод усомниться в его старательности. Возможно, он торопится, чтобы больше заработать, и небрежно обводит объекты.

Чтобы спешка не сказывалась на качестве, настройте правило «Быстрые ответы». Например, вы сами пробовали выполнять задания и знаете, что на один объект требуется не менее 15 секунд. Значит, стоит отстранить того, кто выполнит три задания из десяти быстрее контрольного времени.

Лимит на пропуск заданий

Другой способ «оптимизации», которым могут воспользоваться недобросовестные исполнители, — пропуск отдельных заданий. Пока одни выбирают из общего потока то, что кажется им более лёгким, другие честно выполняют все задания подряд. Оплата при этом остаётся одинаковой.

К примеру, исполнитель оценивает публикации на медицинские темы: содержат ли они рецепты, дозировки, упоминания конкретных лекарств. Он может пропускать длинные статьи и размечать лишь короткие заметки, на чтение которых уходит 10–20 секунд.

Чтобы избежать такой ситуации, настройте правило «Пропуск заданий». Оно ограничит доступ тем исполнителям, которые пропускают слишком много. Например, больше трёх заданий подряд.

Капча

На краудсорсинг отдают задачи, которые не получается автоматизировать: алгоритмы слишком часто ошибаются в них. И всё же отдельные пользователи пытаются привлекать ботов, чтобы не выполнять задания самостоятельно.

Например, перед толокерами стоит задача сравнить две картинки и отметить, являются они дублями или нет. Тот, кто обладает навыками программирования, может написать скрипт, выбирающий случайные ответы, запустить его и заняться другими делами.

Способ защититься от скриптов — правило «Капча». В Толоке её обычно показывают через каждые 10 страниц с заданиями. Если задания выполняются быстро и капча мешает, можно настроить показ через каждые 20 страниц. Для этого укажите в настройках пула низкую частоту показа капчи и настройте правило.

Ограничение доступных заданий

Лимиты нужны не только для того, чтобы бороться с читерством. Они полезны там, где требуется как можно больше исполнителей. Например, для сбора любой статистики — соцопроса или выбора логотипа. Другой случай — описания внешности для дейтинг-сервиса. Если тексты будет писать один человек, они получатся однообразными и, скорее всего, скучными.

Вы задействуете больше участников, если ограничите количество задач, выдаваемых «в одни руки». В Толоке это можно сделать, установив лимит на число заданий, доступных одному исполнителю, или дневной заработок в отдельном проекте. За эти настройки отвечают правила «Выполненные задания» и «Заработок».

Отсеивайте тех, кто не справляется

Капча и лимиты ограничивают доступ тем, кто пытается хитрить. Но результаты добросовестных исполнителей также стоит проверять. И в Толоке это тоже можно делать автоматически.

Контрольные задания

Во многих заданиях перед толокерами стоит выбор из двух или нескольких вариантов ответа. Например: «Что изображено на фотографии — легковой автомобиль, грузовик, автобус, мотоцикл, другое транспортное средство?» Проверять качество в таких проектах можно с помощью правила «Контрольные задания». Это вопросы, для которых вы указали правильный ответ. Для примера с транспортом — фотографии, про которые вы точно знаете, что на них изображено.

Добавьте проверочные вопросы к основным заданиям. Желательно, чтобы их было не меньше 1%. По количеству ошибок в них вы оцените старательность исполнителей и присвоите им навыки в виде чисел от 0 до 100.

Тех, кто набрал критическое число ошибок, система отстранит от разметки благодаря фильтрам. А толокеров с высоким навыком — например, 90 и более — можно поощрить повышенной оплатой. Так у исполнителей появится стимул внимательнее относиться к заданиям.

Мнение большинства

Иногда у заказчиков нет возможности регулярно добавлять контрольные задания и следить за тем, чтобы они не устаревали.

Возьмём задачу, в которой нужно оценить соответствие интернет-страниц запросам. Исполнитель получает набор заданий — как правило, это одна поисковая фраза и несколько ссылок к ней. Создавать контрольные задания индивидуально для каждого набора — дело долгое и затратное. Но если подмешать их в случайном порядке, они будут слишком заметны: в некоторых наборах будет две фразы вместо одной.

Поможет правило «Мнение большинства». Система выдаст одно и то же задание сразу нескольким исполнителям, например, пятерым. Вариант ответа, который выберут трое, она сочтёт правильным, а двум другим исполнителям засчитает ошибку.

Долю согласованных ответов используйте как в предыдущем правиле — для присвоения навыков, настройки доступа и поощрения исполнителей.

Результаты проверки

Ни контрольные вопросы, ни мнение большинства не помогут оценить навыки в заданиях, где каждый исполнитель должен дать уникальный ответ. Например, записать аудио, снять фото или сочинить текст. Как правило, такие задания проверяют сами заказчики или другие толокеры. Некачественные ответы они отклоняют.

Результаты ручной проверки тоже можно использовать для того, чтобы регулировать доступ исполнителей к заданию. Правило так и называется — «Результаты проверки». Платформа сама подсчитает, какой процент ответов принят, а какой отклонён у каждого из исполнителей. Те, кто часто ошибался, перестанут получать ваши задания.

Отправляйте сомнительные результаты на доработку

Даже самые подробные инструкции не гарантируют на 100% идеальный результат. Но контрольные правила позволяют минимизировать последствия ошибок. В Толоке можно отправлять на переделку как отдельные отклонённые задания, так и все ответы исполнителя, который проявил себя не с лучшей стороны.

Отклонённые задания

Например, с помощью краудсорсинга вы хотите улучшить алгоритмы распознавания речи. Исполнители должны прослушать множество 5–10-секундных записей и сделать транскрипцию каждой — перевести речь в текст. Несмотря на простую инструкцию и небольшую длину роликов, некоторые из них могут быть транскрибированы неправильно.

Не принимайте такие транскрипции и настройте правило «Обработка отклонённых и принятых заданий». Оно автоматически отправит отклонённые вами записи на переделку другим толокерам.

Ответы заблокированного исполнителя

Пользователь должен выполнить некоторое количество заданий, чтобы система оценила, справляется он с ними или нет. Сколько именно — зависит от того, как вы настроили правила. И если окажется, что он часто ошибается — например, распределяет фотографии для датасета по неправильным категориям — Толока ограничит его доступ к разметке. Но ответы, которые он успел дать, останутся в базе и могут попасть в итоговый набор данных. Эти фото нужно обработать заново.

Для переразметки сомнительных результатов в Толоке предусмотрено особое правило — «Повторное выполнение заданий после блокировки исполнителя». Оно увеличит стоимость разметки, но избавит датасет от потенциальных ошибок.

Как только кто-то из исполнителей потеряет доступ к заданию, например из-за низкого навыка, система автоматически отправит все обработанные им фотографии на переоценку другим толокерам.

Сочетайте методы

Правила контроля качества желательно комбинировать. Так, с помощью толокеров Яндекс сортирует упоминания компании в социальных сетях. Одна большая задача — фильтрация сообщений — разбита на три простые: 1) оценить важность упоминания; 2) понять, о каком продукте или сервисе речь; 3) определить тональность. Все три задания предполагают выбор ответа из нескольких вариантов. Стоит использовать:

капчу — для защиты от скликивания;
правило «Быстрые ответы» — чтобы исполнители не спешили и внимательно читали посты и комментарии;
контрольные задания или проверку мнением большинства, чтобы отсеять исполнителей, которые допускают много ошибок.

Проектам с генерацией контента (написанием текстов, съёмкой фото) подойдёт другое сочетание. Например, компания ID R&D с помощью Толоки собрала датасеты из оригинальных фотографий. Исполнителей просили делать селфи и другие снимки. В подобных задачах можно настроить:

ограничение числа выполненных заданий, чтобы не доверять значительную их часть одному исполнителю;
правило «Результаты проверки», чтобы ограничить доступ тем, кто не справляется;
обработку отклонённых заданий, чтобы собрать столько данных, сколько запланировано.

Экспериментируйте

Каждый проект требует индивидуального подхода. Методы, эффективные в одном случае, могут оказаться бесполезными в другом. Но существуют и общие рекомендации:

Проанализируйте задачу и выберите подходящие правила контроля качества.
Напишите чёткие инструкции. Если создаёте контрольные задания — следите, чтобы среди них не было устаревших, неоднозначных и тем более неверных примеров.
Поставьте себя на место исполнителя. В Толоке есть тестовая среда — песочница. Запуск и выполнение заданий в ней помогут разобраться в правилах и подсчитать, сколько времени нужно на одно задание.
Проведите первый настоящий запуск с небольшим количеством заданий. Проанализируйте результаты и, если нужно, скорректируйте настройки.
Продолжайте следить за разметкой и прислушивайтесь к отзывам исполнителей.
Не забывайте о руководстве заказчика Толоки.
И не стесняйтесь обращаться в поддержку, если что-то не получается.

Яндекс.Толока — Яндекс Кью

Сообщества

Яндекс.Толока

Это официальный профиль Яндекс.Толоки на Кью.

159 подписчиков

56 ответов

Яндекс.Толока

9мес

5,4 K

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

Письмо: почта и телефон «Пожалуйста, убедитесь, что в вашем Яндекс ID указан адрес… Развернуть

спрашиваетТигран Г. · 1 ответ

Отвечает

Аркадий Ответов

Здравствуйте, Тигран! Вам нужно продолжить диалог с поддержкой, для более полного понимания, что вышло не так. Возможно, причина не в телефоне, а в почте. А чтобы привязать к аккаунту… Читать далее

Яндекс.Толока

10мес

2,8 K

Яндекс.

ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

спрашиваетnazar826 nazar825 · 1 ответ

Отвечает

Аркадий Ответов

Здравствуйте, Назар! Если проблема ещё не решилась, напишите в поддержку Толоки и вам там обязательно помогут. Но на первый взгляд похоже, что вместо авторизации на ПК вы пытаетесь зарегис… Читать далее

Яндекс.Толока

10мес

3,0 K

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

спрашиваетArbi-jeweler · 2 ответа

Отвечает

Аркадий Ответов

Здравствуйте, МегаПиксель! Обратите внимание на сервис для заработка «Яндекс.Толока», здесь вы можете указать свои навыки, проходить обучения, выполнять всё более сложные задания и.

1 эксперт согласен

Яндекс.Толока

10мес

1,3 K

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

спрашиваеткирилл шубин · 1 ответ

Отвечает

Аркадий Ответов

Здравствуйте, Кирилл! Надёжно лежат и ничего с ними не случается)

Яндекс.Толока

12мес

1,3 K

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

спрашиваетКсения Зайцева · 1 ответ

Отвечает

Аркадий Ответов

Здравствуйте, Ксения! Сложно ответить без полной информации, но проверка зависит от многих факторов и поэтому может занимать разное время. Предлагаю в таких случаях писать всё же в.

Яндекс.Толока

1г

1,1 K

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

спрашиваетЕвгения Телегина · 1 ответ

Отвечает

Аркадий Ответов

Здравствуйте, Евгения! Без ваших данных ответить на этот вопрос невозможно. Обратитесь напрямую в поддержку Толоки, и вам помогут с этим разобраться.

Яндекс.Толока

1г

894

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

Анонимный вопрос · 1 ответ

Отвечает

Аркадий Ответов

Здравствуйте! Без конкретных данных ответить не получится, к сожалению, (так как нет ни номера обращения, ни даже имени автора вопроса), но для общего случая скажу так: поддержка Толоки. .. Читать далее

Яндекс.Толока

1г

51,0 K

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

спрашиваетmartin grey · 4 ответа

Отвечает

Аркадий Ответов

Здравствуйте, martin! Это будет сильно зависеть от ваших навыков и времени, которые вы уделите выполнению заданий (и стоимости заданий, которые будут доступны соответственно развитию… Читать далее

Яндекс.Толока

1г

11,5 K

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

спрашиваетГалина Рамановская · 1 ответ

Отвечает

Аркадий Ответов

Здравствуйте, Галина! Уведомлений по окончанию проверки не приходит, просто спустя несколько дней повторите попытку вывода средств. Если проверка прошла — операция завершится успешно )

Яндекс.Толока

1г

1,3 K

Яндекс.ТолокаЭто официальный профиль Яндекс.Толоки на Кью.

спрашиваетсерый русский · 1 ответ

Отвечает

Аркадий Ответов

Здравствуйте, серый русский! Не беспокойтесь, никаких ограничений в сумме заработка Толока не накладывает, вы можете выполнять задания и зарабатывать на них столько, сколько хотите.

о себе

Яндекс.Толока даёт возможность выполнять простые задачи и зарабатывать деньги, делая интернет лучше. Заказчики размещают на платформе задания, которые просто сделать человеку, но не по силам компьютеру. Они связаны с анализом и оценкой контента. Можно выбрать понравившееся задание, выполнить его и получить вознаграждение.

Карма

На сайте с 27 декабря 2019

контакты

ya. toloka

yandex.toloka.ru

TolokaOfficial

Рейтинг в темах

краудсорсинг43

яндекс.толока41

толока25

заработок в яндексе17

яндекс толока15

работа14

работа яндекс толока13

яндекс10

бизнес и менеджмент9

сервисы яндекса7

как это сделать?6

помощь в интернете6

бизнес6

работа в интернете5

яндекс деньги4

разметка данных4

датасет4

задание3

сотрудничество с яндекс3

интернет3

ИНДЕКС | Обзор акций Yandex N.V. Cl A (США: Nasdaq)

Акции: котировки акций США в режиме реального времени отражают сделки, о которых сообщается только через Nasdaq; полные котировки и объем отражают торговлю на всех рынках и задерживаются не менее чем на 15 минут. Международные котировки акций задерживаются в соответствии с требованиями биржи. Основные данные компании и оценки аналитиков предоставлены FactSet. Copyright 2019© FactSet Research Systems Inc. Все права защищены. Источник: FactSet

Индексы: Котировки индексов могут быть в режиме реального времени или с задержкой в соответствии с требованиями биржи; обратитесь к отметкам времени для получения информации о любых задержках. Источник: FactSet

Рыночный дневник: данные на странице обзора США представляют торговлю на всех рынках США и обновляются до 20:00. См. таблицу «Дневники закрытия» на 16:00. закрывающие данные. Источники: FactSet, Dow Jones. Источники: FactSet, Dow Jones

ETF Movers: включает ETF и ETN объемом не менее 50 000. Источники: FactSet, Dow Jones

Облигации: котировки облигаций обновляются в режиме реального времени. Источники: FactSet, Tullett Prebon

Валюты: Котировки валют обновляются в режиме реального времени. Источники: FactSet, Tullett Prebon

Товары и фьючерсы: Цены на фьючерсы задерживаются не менее чем на 10 минут в соответствии с требованиями биржи. Значение изменения в период между расчетом по открытому крику и началом торгов следующего дня рассчитывается как разница между последней сделкой и расчетом предыдущего дня. Значение изменения в другие периоды рассчитывается как разница между последней сделкой и самым последним расчетом. Источник: FactSet

Данные предоставляются «как есть» только для информационных целей и не предназначены для торговых целей. FactSet (a) не дает никаких явных или подразумеваемых гарантий любого рода в отношении данных, включая, помимо прочего, какие-либо гарантии товарного состояния или пригодности для конкретной цели или использования; и (b) не несет ответственности за любые ошибки, неполноту, прерывание или задержку, действия, предпринятые на основании каких-либо данных, или за любой ущерб, возникший в результате этого. Данные могут быть намеренно задержаны в соответствии с требованиями поставщика.

Взаимные фонды и ETF: вся информация о взаимных фондах и ETF, содержащаяся на этом экране, за исключением текущей цены и ценовой истории, была предоставлена компанией Lipper, A Refinitiv Company, при условии соблюдения следующих условий: Copyright 2019© Refinitiv. Все права защищены. Любое копирование, переиздание или перераспределение контента Lipper, в том числе путем кэширования, кадрирования или аналогичными способами, категорически запрещено без предварительного письменного согласия Lipper. Lipper не несет ответственности за какие-либо ошибки или задержки в содержании, а также за любые действия, предпринятые в связи с этим.

Криптовалюты: Котировки криптовалют обновляются в режиме реального времени. Источники: CoinDesk (Биткойн), Kraken (все остальные криптовалюты)

Календари и экономика: «Фактические» цифры добавляются в таблицу после публикации экономических отчетов. Источник: Kantar Media

YNDX | Yandex N.V. Cl A Цена акций и новости

За последние два года не было значительных новостей.

Основные данные об акциях

Коэффициент P/E (TTM): Отношение цены к прибыли (P/E), ключевой показатель оценки, рассчитывается путем деления самой последней цены закрытия акции на сумму разводненной прибыли. на акцию от продолжающихся операций за последние 12 месяцев.
Прибыль на акцию (TTM): Чистая прибыль компании за последний двенадцатимесячный период, выраженная в долларах на полностью разводненные акции в обращении.
Рыночная капитализация: Отражает общую рыночную стоимость компании. Рыночная капитализация рассчитывается путем умножения количества акций в обращении на цену акции. Для компаний с несколькими классами обыкновенных акций рыночная капитализация включает оба класса.
Акции в обращении: Количество акций, которыми в настоящее время владеют инвесторы, включая акции с ограниченным доступом, принадлежащие должностным лицам компании и инсайдерам, а также акции, принадлежащие общественности.
Публичный оборот: Количество акций, находящихся в руках государственных инвесторов и доступных для торговли. Чтобы рассчитать, начните с общего количества акций в обращении и вычтите количество ограниченных акций. Акции с ограниченным доступом обычно выпускаются для инсайдеров компании с ограничениями на то, когда они могут быть проданы.
Дивидендный доход: Дивиденд компании, выраженный в процентах от текущей цены акций.

Key Stock Data

P/E Ratio (TTM)
N/A
EPS (TTM)
^$ -0. 51
Market Cap
^$ 6.79 B
Акции в обращении
323,00 M
В свободном обращении
318,26 M
YNDX63
Последний дивиденд
N/A
EX-Dividend Date
N/A

Акции проданы коротко: Общее количество акций, которые были проданы коротко, а не показывались короткие и еще не проданы, а не пока еще не продавались, а не пока еще не продавались, а не пока еще не продано, а не пока еще не продано, а не пока еще не продано, а не пока еще не продано и еще не продано, а не пока еще не продано, а не пока еще не продано, а не показыва-еще не выкуплен.
Изменение по сравнению с последним: Процентное изменение коротких процентов по сравнению с предыдущим отчетом по сравнению с самым последним отчетом. Биржи сообщают о коротких процентах два раза в месяц.
Процент в обращении: Общее количество коротких позиций по отношению к количеству акций, доступных для торговли.

Short Interest (10/14/22)

Shares Sold Short
3.27 M
Change from Last
-8.52%
Percent of Float
1.03%

Соотношение подъема/падения денежного потока: Денежный поток измеряет относительное давление покупки и продажи на акцию, основанное на стоимости сделок, совершенных при «подъеме» цены, и стоимости сделок, совершенных при «падении» цены. Соотношение вверх/вниз рассчитывается путем деления стоимости сделок вверх на стоимость сделок вниз. Чистый денежный поток — это стоимость сделок на росте минус стоимость сделок на понижении. Наши расчеты основаны на комплексных, отсроченных котировках.

Фондовый денежный поток

Н/Д

Фактический диапазон аналитиков Консенсус

Обзор

Акции: Котировки акций США в режиме реального времени отражают сделки, зарегистрированные только через Nasdaq; полные котировки и объем отражают торговлю на всех рынках и задерживаются не менее чем на 15 минут. Международные котировки акций задерживаются в соответствии с требованиями биржи. Основные данные компании и оценки аналитиков предоставлены FactSet. Copyright 2019© FactSet Research Systems Inc. Все права защищены. Источник: FactSet

Индексы: котировки индексов могут быть в режиме реального времени или с задержкой в соответствии с требованиями биржи; обратитесь к отметкам времени для получения информации о любых задержках. Источник: FactSet

ETF Movers: включает ETF и ETN объемом не менее 50 000. Источники: FactSet, Dow Jones

Облигации: котировки облигаций обновляются в режиме реального времени. Источники: FactSet, Tullett Prebon

Валюты: Котировки валют обновляются в режиме реального времени. Источники: FactSet, Tullett Prebon

ИНВЕСТИЦИОННЫЙ ПОРТАЛ ВОЛГОГРАДСКОЙ ОБЛАСТИ