Поделиться

В последнее время опубликовала пару задач на Amazon MTruk, где рабочим предлагается немного пообщаться с ботом за небольшое вознаграждение. Помимо оценок, необходимых мне для исследования, я получила немного материала для размышлений о жизни и людях. Позвольте поделиться деталями задания и поведенческими портретами рабочих, с которыми мне посчастливилось столкнуться. И с которыми наверняка и вы сталкиваетесь в обычной жизни.

Задание

Есть медицинский чатбот. Он начинает разговор с одного из вопросов медицинского репертуара. Пользователю предлагается поддержать разговор, отвечая на вопросы. Как только пользователь считает, что разговор окончен, он должен отправить кодовое слово, поставить оценку системе и получить вознаграждение. В самом начале человек знает сумму и примерное время выполнения. Казалось бы, все очень просто и тривиально! Но как же много сценариев мне посчастливилось повидать.

Простой адекатный работник

Он просто начинает и просто заканчивает, не хитрит, выполняет задание на совесть. Если видит, что разговор затягивается, то так прямо говорит: “Ну все, время вышло, спасибо, пока”. Такие оптимистичные люди, как правило, оставляют и оптимистичные оценки самой системе. Хотя просматривая некоторые диалоги, я бы сама поставила меньше. Хотя, когда у тебя здоровая самооценка, разве система может сильно повлиять на твое удовлетворение?

Безотказный и недостойный

Бывали и другие товарищи, которые старались поддержать диалог изо всех сил, пусть даже односложными ответами ! Иногда по манере письма можно заметить, что они начинают нервничать и уставать, но неустанно удовлетворяют потребности чатбота. Ну а чатбот был спроектирован для того, чтобы удовлетворять пользователя. Достаточно много случаев, когда такие пользователи закрывают вкладку с заданием и остаются без оплаты. А казалось бы, нужно было всего лишь отправить кодовое слово.

Тут может возникнуть критика самой системы. Безусловно, она имеет место быть. В системе есть некий порог, когда разговор считается необратимо законченным. Однако, как сказано в инструкции, для удобства пользователя, ему дается право завершить диалог в любой момент. Почему эти товарищи этой привилегией так и не воспользовались, остается загадкой.

Прямолинейные и вспыльчивые

Система у меня не идеально, иногда задает неподходящие вопросы и делает неправильные выводы. Тут было два типа реакции: “ты меня не понимаешь, ну и ладно, я пошел” и “да как ты можешь?! и хлопнуть дверью”. Правда, с получением вознаграждения у них проблем нет.

Водяные

Если помните старый мультик про Водяного и “Эх, жизнь моя жестянка, да ну ее в болото!”, то вполне можете представить себе этого работника. Несмотря на указанную тему, он найдет способ выразить свое недовольство жизнью, низкой зарплатой, и прочим.

Если забыть о контексте задания, то эта проблема, увы, действительно существует и для некоторых Amazon Mtruk – это основной источник дохода. Если погуглить больше на эту тему, то можно очень много узнать об уязвимых и незащищенных бедняках Америки.

Халявщики

Такие товарищи есть, но их очень мало. Отвечают они односложно, ни к месту, диалоги короткие, да и оценки ставят паршивые. Ну кто таких не знает? От таких есть защита: их работу ручками потом можно обнулить, а в будущем поставить фильтр на работников с определенным уровнем успешности.


Более чем уверена, что такие типажи повсеместны. И каждый из них научил меня чему-то новому, ведь к каждому из них нужен немного разный подход, а значит новые функции у чатбота. Легко создать систему для простых и адекватных работников, но интересно создать что-то такое, что позволит каждому почувствовать себя понятным, принятым и достойно оцененным.

Поделиться