Измерение производительности
Некоторые юзабилити-тестирования ориентированы на получение чётких, количественных данных. В большинстве случаев эти данные представлены в форме метрик производительности, – сколько времени занимает выделение блока текста с помощью клавиатуры, мыши или трекбола? Как расположение клавиши Backspace влияет на частоту появления ошибок?
Часто в процессе проектирования продукта ориентируются на достижение подобных целей. Цели в таком случае могут формулироваться в виде условий, например: «пользователь должен иметь возможность установить соединение с Интернет без ошибок или по бесплатной линии» или «Основная задача должна выполняться за время не превышающее часа 75 процентами пользователей». Эти условия устанавливаются на базе изначального тестирования предыдущей версии или продуктов-конкурентов.
Должна быть поставлена цель, определены задачи, спроектированы тесты и непосредственно поставлен эксперимент. При измерениях производительности необходимо учитывать следующие моменты:Критерий выполнения задачи должен быть количественно определён
Как оговаривалось ранее, задачи должны быть выражены в величинах, подлежащих определению, однако, для измерений производительности необходимо, чтобы они имели чёткий критерий в виде численно-выраженой величины. К примеру, вы можете задаться вопросом: «что более эффективно, кнопки на управляющей панели или «горячие клавиши». Ответ на сформулированный таким образом вопрос можно получить при помощи тестирования двух интерфейсов, одного, ориентированного на «горячие клавиши», и второго, основанного на панелях с кнопками. Производительность каждого пользователя определяется при помощи замеров времени, потраченного им на выполнение каждого задания и при помощи журнала допущенных пользователем ошибок.
Структура эксперимента действительно важна
Поскольку задачей тестов с измерением производительности является получение корректных количественных данных, структура эксперимента также должна быть корректной. Количественные тесты предполагают, что изменения в независимых переменных (таких, как наличие кнопок на панели или доступность «горячих клавиш») отразятся на зависимых (в нашем случае, на времени, затрачиваемом на запуск команд, использующих одну или две опции).
Это влияние называется экспериментальным эффектом. Тем не менее, если дополнительные факторы будут внесены в структуру теста, этот эффект может быть искажен и эксперимент окажется статистически недостоверен, поскольку будет испорчен влиянием неучтенных факторов. Эксперимент должен быть спроектирован с учётом возникновения возможных искажающих факторов, чтобы устранить всё, что может повлиять на экспериментальный эффект.
Данные не сообщают всех подробностей
По некоторым причинам тестирования, исключительно ориентированные на сбор данных, касающихся измерения производительности, не так распространены, как это могло бы показаться. Такие тестирования требуют очень скрупулезно спроектированных тестов и значительных ресурсов. У большинства компаний на такие тестирования нет ни времени, ни денег. Кроме этого, масштаб получаемых с их помощью результатов зачастую очень невелик. Действительно ли так важно, что использование «горячих клавиш» вместо панелей с кнопками даёт выигрыш в полсекунды? Возможно важно, если вы разрабатываете программное обеспечение для центров обработки заказов, и экономия половины секунды на каждом звонке, помноженная на тысячи операторов по всей стране, может сократить годовые расходы на миллионы долларов. Но для большинства офисных приложений экономия в половину секунды не представляет реальной важности.
Когда стоит использовать данную методику
Измерение производительности используется на начальных этапах для задания контрольных замеров для процесса проектирования. Также оно используется на протяжении всего проектирования для измерения того, насколько далеко удалось продвинуться относительно этих контрольных замеров.
наверх к оглавлению
