Когда оценка расходится с действием
Материал основан на опубликованной PDF-презентации «Культура вежливого ответа». Проверены 22 страницы; видеозапись выступления не использовалась. Практические предложения редакции ниже обозначены отдельно.
На страницах 4 и 9 Мафтуна Беркимбаева иллюстрирует ситуацию, в которой участник затрудняется выполнить задание, но оценивает опыт положительно. Затем показано, как при автоматической разметке и пересказе затруднение может исчезнуть из отчёта. Это иллюстрация риска, а не сравнительное испытание ИИ-сервисов.
Автор обсуждает социальный и культурный контекст ответов. При этом на странице 6 отдельно оговорено, что предложенные объяснения нельзя автоматически приписывать каждому участнику. Они помогают поставить вопрос к эпизоду, но сами по себе не устанавливают мотив человека.
Ориентиры в PDF: страницы 4–6 и 9.
Зафиксировать расхождение, не угадать мотив
Самостоятельная рекомендация редакции.
Сохраните словесную оценку и наблюдаемое действие как два разных свидетельства. Не заменяйте похвалу предполагаемым скрытым недовольством и не вычёркивайте затруднение только потому, что участник дал положительный ответ. Сначала уточните, к чему относилась оценка: к конкретному шагу, работе сотрудника, общему впечатлению или другой части опыта.
Одна пауза ещё не объясняет её причину. Возможны разные интерпретации: участник искал нужный элемент, обдумывал задание или отвлёкся. Отметьте, что действительно видно в записи, а что остаётся предположением. Если запись не позволяет различить эти варианты, сохраните вопрос для проверки вместо уверенного вывода.
Редакционная карточка эпизода
Рабочий шаблон редакции, не цитата или методика спикера. Заполняйте по реальному материалу; отсутствующие наблюдения не дописывайте.
Задание. Какую задачу выполнял участник и какой результат считался выполнением?
Действия. Какие шаги, возвраты, остановки или обращения за помощью зафиксированы? Сохраните ссылку на запись и время эпизода.
Слова. Что именно сказал участник и на какой вопрос отвечал? Сохраните реплику вместе с ближайшим контекстом.
Расхождение. Какие части словесной оценки и наблюдаемого поведения требуют уточнения? Не записывайте предполагаемую причину как факт.
Варианты объяснения. Какие интерпретации поддерживаются материалом, а для каких не хватает сведений?
Следующая проверка. К какому фрагменту нужно вернуться и какой вопрос поможет различить объяснения? После проверки обновите карточку.
Уточнить конкретный опыт
Примеры вопросов редакции, а не цитаты из доклада.
Вместо общей повторной просьбы оценить удобство вернитесь к выбранному моменту: «Что вы искали на этом экране?» или «Как вы решили, что нужно сделать дальше?» Если ответ относится к другим людям, уточните: «А как это происходило у вас?»
Вопрос должен опираться на то, что произошло, и оставлять участнику возможность описать свой опыт. Формулировка «Вам было неудобно, верно?» уже предлагает желательный ответ. Не требуйте критики: положительное объяснение тоже может прояснить эпизод.
Что передать ИИ и как проверить разметку
На странице 12 автор предлагает включать наблюдаемое поведение в материал для анализа и сопоставлять автоматическую разметку с ручной. В презентации нет описания сравнительного испытания, которое позволяло бы оценить точность конкретной модели или эффект предложенного промпта.
Далее — самостоятельные предложения редакции для проверки результата.
Передавайте вместе задание, реплику и записанное наблюдение; различайте их в исходном файле. В инструкции попросите отдельно показать основание вывода, возможное расхождение и недостающие сведения. Не поручайте модели устанавливать скрытые мотивы по происхождению участника или автоматически считать вежливую формулировку негативной.
Сопоставьте результат с исходными эпизодами: сохранены ли положительные оценки, не потеряны ли затруднения, не возникли ли дополнительные обстоятельства? Разберите как понятные, так и спорные случаи. Объём такой проверки выбирайте под задачу и последствия ошибки; число ответов из отдельной рекомендации не становится универсальным порогом качества.
Перед передачей вывода
Короткий редакционный чек-лист.
Основание: реплика и действие доступны для проверки. Контекст: понятны задание и вопрос интервьюера. Различия: оценка не подменяет поведение и наоборот. Границы: мотив не установлен без достаточных сведений. Решение: отмечено, что подтверждено, что изменилось и что ещё предстоит уточнить.