Методы оценки эффективности Аналитика(Прочитано 80237 раз)
… количественным методам оценки эффективности:
— работы аналитика, как конкретного сотрудника;
[/quote]
Кто-нибудь на практике этим занимается?
« Последнее редактирование: 13 Ноября 2009, 11:29:43 от bas »
Записан
Если вы не знаете куда идете, то вы вряд ли туда дойдете [Форест Гамп]
www.grigorash.ru
Я бы посетила семинар, посвященный количественным методам оценки эффективности:
— работы аналитика, как конкретного сотрудника;
— процессов, связанных с требованиями (разработка, управление, и подпроцессы, входящие в разработку).
Бытует мнение, что оценить эффективность работы аналитика практически не представляется возможным, потому что сложно подобрать количественные измеряемые показатели. Измерить эффективность тестировщиков, например, намного проще. Что касается, требований и процессов, с ними связанных, то здесь все не так сложно — нужно только определить критерии / показатели, по которым хотим оценивать. Например, это может быть время, затрачиваемое на выполнение каких-то действий, или количество ошибок в требованиях или что-то еще в этом роде.
А вообще, мне, например, эта тема давно интересна, но в связи с тем, что она не востребована, и тем, что все как-то не доходят руки, пока тоже вопросов больше, чем ответов.
Измерить эффективность тестировщиков, например, намного проще.
А вот в этом я сомневаюсь. Можно услышать аргументы? (т.к. это оффтоп, то можно в личку 
)
Записан
Измерить эффективность тестировщиков, например, намного проще.
Интересно было бы узнать варианты,но на мой взгляд, метрики для оценки эффективности тестировщиков, не проще. Не думаю что аналитика, как специалиста, удовлетворят метрики вида: «сколько требований было реализовано с первого раза, без дополнительных уточнений», «сколько времени было затрачено на выявление требований».
Хотя, смотря кто оценивает эффективность. Бизнес или команда.
Пардон, меня опередили
Записан
Per aspera ad astra.
А давайте отдельную ветку создадим с соответствующей темой ?
Записан
Не думаю что аналитика, как специалиста, удовлетворят метрики вида: «сколько требований было реализовано с первого раза, без дополнительных уточнений», «сколько времени было затрачено на выявление требований».
Почему не удовлетворят? По результатам дополнительных уточнений порой постановка задачи целиком переписывается и хорошо, если это происходит до того, как требования отданы в реализацию. К тому же, по таким данным можно делать выводы и пытаться понять, что именно послужило причиной того, что требование, например, не было реализовано с первого раза, и что можно предпринять для того, чтобы в следующий раз не случилось того же самого.
P.S. Что касается оценки эффективности тестировщиков по сравнению с аналитиками, аргументы приведу позже. Может, имеет смысл это обсуждение перенести в отдельную тему, коль уж есть подозрения на оффтоп?
Записан
Не важно какой ты сейчас — большой или маленький, важно — как ты растешь.
Б.А.С.
А вот в этом я сомневаюсь. Можно услышать аргументы?
Тема, посвященная оценке эффективности процессов тестирования и управления требованиями в последний раз поднималась у нас где-то около года назад. Вчера при более глубоком погружении я поняла, что произошла небольшая путаница: изначально речь шла о том, что проще оценить эффективность автоматизации процесса тестирования (а не эффективность работы тестировщиков), чем эффективность автоматизации того же процесса управления требованиями.
Так что прошу прощения за то, что ввела вас (да и себя) в заблуждение. 
Получается, что тема по-прежнему остается открытой…
Вопрос действительно очень интересный. Кстати, Александр Байкин должен был докладывать по Оценке качества требований на конференции Req Labs 2009, но эту тему заменили. Жаль… Это был один из двух докладов, из-за которых я вообще иду на эту конференцию…
Записан
«Все должно быть изложено так просто, как только возможно, но не проще.» А. Эйнштейн
Вигерс в своём профиле профессии аналитика требований:
http://www.processimpact.com/process_assets/RA_job_description.doc
приводит следующие (перевод Д.Олеванова, см. связанную тему: http://www.uml2.ru/forum/index.php?topic=202.0)
Показатели качества работы
1. Оценка требований продукт-менеджером и менеджером проекта относительно общего качества и эффективности продукта на рынке после разработки продукта.
2. Отзывы ключевых клиентов о реализации процесса управления требованиями
3. Показатели удовлетворенности клиентов
4. Соблюдение или превышение планов разработки требований, ограничений по ресурсам и качественных целей
5. Контроль расползания требований, связанный с пропущенными требованиями и просачиванием «неформальных» требований в проект
Дальше можно уже думать, какие шкалы ввести, для начала вам может хватить и 3-х значений для каждого показателя.
NB: Субъективные оценки важны и нужны, потому что качество — это соответствие ожиданиям ключевых ЗЛ, а ожидания всегда субъективны.
« Последнее редактирование: 14 Ноября 2009, 23:35:57 от Ontology Nazi »
Записан
Самой простой шкалой для показателей в этом случае будет
0 — не соответствует ожиданиям
1 — соответствует ожиданиям
2 — превосходит ожидания
Расширенная шкала будет включать оттенки градаций.
Но субъективность — подлая штука, никогда не знаешь, что за ней стоит — межличностные проблемы, крепкая дружба, политические и карьерные интересы, глубина понимания ситуации или честный профессионализм. Поэтому оценке в довесок нужно обоснование. Это не панацея, но если возникнут полярные оценки, то будет хотя бы понятно, что за ними стоит.
Можно еще помечтать о более систематизированном подходе, когда прежде чем собирать отзывы, с ЗЛ собирают их ожидания…
Записан
Возвращаясь к отцу Вигерсу, находим следующие характеристики идеальных требований:
1. Полнота
2. Однозначность
3. Корректность
4. Тестируемость
5. Трассируемость
6. Согласованность
(необходимость и осуществимость я не включаю, т.к., на мой взгляд, не удовлетворяющие этим критериям требования вообще не должны попадать в документы).Можно опираться на этот список для проверки качества требований.
Список хороший. Только он основан исключительно на экспертных оценках людей, проверяющих требования.
Основной риск в этом случае — насколько «эксперт» является экспертом
Можно посадить заказчика Васю и попросить его оценить полноту. Думаю вы мало чего полезного добьетесь
Каждый пункт этого списка к тому же проверяется отдельными людьми — экспертами предметной области, тестировщиками, разработчиками и сильно зависит от поставленного процесса (попробуйте например в ТЗ на 200 страниц, которая параллельно разрабатывается несколькими людьми, определить согласованность и трассируемость)
У меня был такой опыт, когда в НИИ ТЗ по частям писали несколько человек и потом склеивали в один документ.
И напоследок следует наверное заметить, что такое согласование займет не меньше нескольких недель (причем качество все равно никто не гарантирует), что в большинстве случаев не приемлемо для проектов
А так как кроме экспертизы пока человечество ничего не придумало к оценке качества спеки нам остается лишь улучшать процессы разработки и управления требованиями, чтобы хоть как-то контролировать качество требований
Записан
Если вы не знаете куда идете, то вы вряд ли туда дойдете [Форест Гамп]
www.grigorash.ru
Хорошим показателем качества требований является количество запросов на изменения после начала реализации и поставки системы заказчику.
Можно даже строить различные графики, показывающие отношение запросов на изменение к общему набору требований
Делая различные срезы можно оценивать эффективность работы аналитика
Пример из практики. По каждой функциональной области системы был назначен ответственный аналитик. После фиксации требований (читай бейзлайн) все изменения в документацию вносились по запросам на изменение. Так вот, аналитика по документу которого было больше всего запросов на изменение и вопросов от разработчиков, можно считать менее эффективным. Но это статистика, а в жизни еще бывают факторы которые нужно учитывать : опыт, работоспособность, умение коммуницировать с заказчиком, аналитический склад ума и умение видеть альтернативы.
Записан
Если вы не знаете куда идете, то вы вряд ли туда дойдете [Форест Гамп]
www.grigorash.ru
Хорошим показателем качества требований является количество запросов на изменения после начала реализации и поставки системы заказчику.
Можно даже строить различные графики, показывающие отношение запросов на изменение к общему набору требований
Делая различные срезы можно оценивать эффективность работы аналитика
Пример из практики. По каждой функциональной области системы был назначен ответственный аналитик. После фиксации требований (читай бейзлайн) все изменения в документацию вносились по запросам на изменение. Так вот, аналитика по документу которого было больше всего запросов на изменение и вопросов от разработчиков, можно считать менее эффективным. Но это статистика, а в жизни еще бывают факторы которые нужно учитывать : опыт, работоспособность, умение коммуницировать с заказчиком, аналитический склад ума и умение видеть альтернативы.
этот подход не учитывает командную работу. бывает так, что у одного аналитика действительно мало запросов на изменения, но когда доходит до объединения результатов с другими аналитиками, то всё оказывается совсем не так радужно.
Записан
Лью воду…
NB: Субъективные оценки важны и нужны, потому что качество — это соответствие ожиданиям ключевых ЗЛ, а ожидания всегда субъективны.
Качество -не есть соответствие чьим либо ожиданиям. Мне кажется, что качество аналитика — это
1 личные качества (ни за что не буду убирать из проекта человека если он не очень знает бизнес-область, но видно что у него глазки горят)
2 колво дефектов в требованиях (тут к сожалению ряд проблем — обнаруживать их(дефекты) иногда очень дорого и сложно или даже невозможно. А даже если их посчитали — то кто скажет много это или мало, ибо проекты неоднородны)
3 устойчивая тенденция к снижению колва дефектов (отсутствие эффекта пилы)
Короче вывод получается такой — что оценка аналитика (персоны, работника) есть действительно субьективная штука, только наверное не внешними (по отношению к проекту/процессу) личностями, а самой командой
Хорошим показателем качества требований является количество запросов на изменения после начала реализации и поставки системы заказчику.
Ни разу не согласен — например, одному попалась разработка справочников системы (относительно стабильной части) а другому — требования по новой (развивающейся) ветке бизнеса…
Кроме того, качество требований не равно тождественно качеству аналитика!!!!! Ведь они отчасти создаются и бизнесом (заказчиком)
Записан
В предыдущей части статьи мы описали, почему зачастую сложно определить пользу от бизнес-анализа. Однако популярность этой профессии активно растет, что косвенно говорит о том, что польза, как правило, есть.
В этой части поговорим о том, как можно измерить качество аналитических активностей.
Сразу стоит отметить, что “качество активностей” – это не то качество, которое мы хотели бы измерить. В идеальном мире хотелось бы измерить качество результата работы аналитика. А результатом должна являться решенная проблема или реализованная возможность. Но здесь мы снова упираемся в «стопицот» зависимостей, факторов и неопределенностей, которые на данный момент точно измерить нельзя. Да, сегодня качество результата ИТ-проекта с точки зрения измеряемости все еще ближе к творчеству, нежели к науке (скажем, к математике). Поэтому, преодолев последний порыв к философствованию и пустословию, предлагаю обсудить, что же мы сегодня все-таки можем измерить.
Из всех определений термина “качество”, на мой взгляд, к бизнес-анализу лучше всего подходит следующее: сравнение ожиданий от услуги и производительности данной услуги. Перевод вольный, оригинал можно найти здесь.
Качество бизнес-анализа в рамках определенного контекста (фаза проекта, проект, программа) будет определяться тем, насколько полно и качественно выполняются отдельные аналитические активности. Также имеет смысл рассматривать качество артефактов, насколько это возможно. Итого измеряем:
-
Качество аналитических активностей в общем процессе
-
Качество аналитических артефактов
Важно понимать, что любые попытки что-то измерить должны нести под собой основание. Мы должны четко представлять цель измерения. Иначе есть риск разработать и внедрить метрики, из-за которых:
-
люди будут стараться подстроить свою работу под конкретные KPIs, не обращая внимание пользу от такой работы
-
люди потеряют мотивацию
Также зачастую подход к оценке зависит от зрелости процессов в организации и общей договоренности между ключевыми заинтересованными лицами.
В целом, качество работы аналитика может измеряться с помощью как объективных (основанных на данных), так и субъективных метрик.
Проведя некоторое время в поисках идеального решения для нашей с вами задачи, я изучил все научные или близкие к таковым материалы, которые смог найти. Их оказалось примерно 35, скачать все можно тут. Если вы знаете какие-либо еще книги, статьи или реальные примеры, буду благодарен за информацию.
Оказалось, что существенных решений, которые можно было бы применить на практике почти нет. Коллеги в разных компаниях также расходятся во мнении относительно наилучшего подхода к анализу качества БА. Отсюда появились 2 гипотезы:
-
Полноценно измерять качество бизнес-анализа с учетом зрелости процессов и технологии на сегодняшний день невозможно
-
Никто толком этим не занимается, потому что это (нафиг никому не надо) не представляет особой ценности
Если задаться целью, то теоретически измерить можно что угодно. Вопрос только в целесообразности и доступных ресурсах. Про целесообразность обсудили выше в статье. Теперь немного о доступности ресурсов.
Обобщенный и далеко не полный список того, что теоретически можно измерить, может выглядеть так:
Количественные метрики
-
Время от появления идеи до финального утверждения требований (Сycle time from ideation to Feature approval)
-
Уровень покрытия тестами каждой функциональной области (Test coverage for Feature)
-
Количество дефектов на каждую функциональную область (Number of defects per Feature)
-
Уровень завершенности требования по каждой функциональной области (Feature Completeness)
-
Количество изменений в требованиях (Amount of Requirement Changes)
-
Доля функциональных доработок по причине измененных/новых требований (% of rework attributable to requirements)
-
Доля приоритизированных требований от общего объема (% of prioritized requirements)
-
Доля полностью реализованных требований (% of requirements fully implemented)
-
Доля утвержденных, но, в итоге, не реализованных требований (% of approved requirements not implemented)
-
Доля протестированных требований (% of Requirements Tested)
-
Количество упущенных требований (Number of missing requirements)
Качественные метрики
-
Уровень ценности для бизнеса от каждой функциональной области (Business value per Feature)
-
Уровень удовлетворенности заинтересованных лиц со стороны бизнеса (Stakeholder satisfaction with BA activities)
-
Удовлетворенность команды работой аналитика (Implementation team satisfaction with BA activities)
-
Активность заинтересованных лиц при работе с функциональными областями (Stakeholder activity by Feature)
-
Уровень своевременности аналитических активностей (Timeliness)
-
Качество спецификации требований
-
Полная (Complete)
-
Консистентная (Consistent)
-
Изменяемая (Modifiable)
-
Трассируемая (Traceable)
-
-
Качество отдельных требований
-
Полное (Complete)
-
Правильное (Correct)
-
Реализуемое (Feasible)
-
Необходимое (Necessary)
-
Приоритизированное (Prioritized)
-
Недвусмысленное (Unambiguous)
-
Проверяемое (Verifiable)
-
Понятное (Understandable)
-
Краткое (Concise)
-
Аннотированное версией (Annotated by version / Baselined)
-
Неизбыточное (Not redundant)
-
Можно повторно использовать (Reusable)
-
Наверняка, есть еще что-то, что можно рассмотреть как потенциальную метрику. Например, можно рассмотреть вариант от IIBA.
Почти каждая из метрик связана не только с работой аналитика, но и с другими активностями. Поэтому сложно провести четкую связь между отдельным показателем метрики (KPI) и качеством бизнес-анализа. Отсюда и редкость случаев, когда в провале проекта винят исключительно аналитика.
Из вышеперечисленных метрик большинство весьма трудно измеримы. Зачастую просто невозможно получить необходимые данные для количественных метрик. А результаты качественных измерений очень субъективны.
Количественные метрики, даже будучи измеримыми, могут оказаться не такими полезными. Например, количество требований в проекте. Отдельная цифра ни о чем не говорит. Сравнение этого показателя во времени или относительно других метрик представляет больший интерес – можно отследить тренды:
-
В феврале было зафиксировано на 30% больше требований. Значит ли это, что в марте у команды будет больше работы или просто аналитик стал более внимательным к деталям?
-
Количество новых требований растет быстрее, чем количество приоритизированных требований. Значит ли это, что в процессе находится узкое место (либо аналитик, либо бизнес-стейкхолдер)?
Более правдоподобным кажется подход, когда на основании нескольких несвязанных показателей выделяются тренды, а уже дальше проводится анализ причинно-следственных связей. Например, чтобы понять, как связано качество работы вашего 22-летнего ведущего бизнес-аналитика Ивана с тем, что бюджет проекта превышен в 1,5 раза, а сроки – в 2 раза, вы:
-
измерили Cycle time эпиков в бэклоге за последние 3 месяца
-
изучили субъективную удовлетворенность команды и владельца продукта качеством работы аналитика
-
посчитали количество измененных требований
-
собрали всех вместе и провели root-cause анализ (а, возможно, еще и уволили проектного менеджера)
Всегда ли можно сосчитать количество требований? Да и нужно ли? Предположим, количество пользовательских историй в Jir’e мы посчитаем. Но что делать, если, помимо Jir’ы, есть еще спецификация пользовательского интерфейса и еще пара дизайн-артефактов? Можно ли уже говорить о том, что качество бизнес-анализа на данном проекте низкое? Или начать считать количество макетов интерфейса, страниц в спеке?
На практике имеет смысл использовать только те метрики, которые напрямую или косвенно связаны с конечным результатом работы команды. Отсюда и короткий ответ на вопрос “какие ВА метрики использовать?” – никакие. Не измеряйте, как работают аналитики. Измеряйте, какой результат выдает вся команда.
Другими словами, в проекте все хорошо, в том числе и аналитические активности, если соблюдаются оба из нижеперечисленных условий:
-
Проект успешный (заказчик доволен, исполнитель доволен, все сделано в срок и в рамках бюджета)
-
Достигнута ценность для бизнеса
Если одно из условий не выполняется, то есть вероятность, что причина – низкое качество бизнес-анализа. И обычный анализ причинно-следственных связей должен помочь выявить проблему. Чтобы о проблеме узнать заранее, лучше обратиться к общим принципам мониторинга проектов. Опытный проектный менеджер – ваше все.
Да-да, успешный проект и ценность для бизнеса – это не всегда взаимосвязанные сущности. Но это тема для отдельной статьи.
Возможно, стоило бы опубликовать только предыдущие четыре абзаца и на этом закончить. Но ведь тогда бы мы не раскрыли тему сложности и целесообразности измерения качества работы аналитика.
Конечно, в отдельных случаях измерить качество работы все-таки имеет смысл. И об этом поговорим в следующей части.
Автор
Роман Баканович
Бизнес-аналитик
EPAM Netherlands
-
-
June 6 2011, 16:30
- Общество
- Cancel
Эффективность системного аналитика — Что оценивать и как?
Примем, что по умолчанию аналитическая работа так или иначе выполняется в любой команде, независимо от того, есть там выделенный аналитик или нет. В любом случае люди делают предположения, опираются на них, сообщают друг другу, проверяют их на практике.
На что влияет наличие выделенного аналитика в проекте:
- Обоснованность предположений
- Согласованность предположений и решений внутри проектной команды, с заказчиком и прочими контрагентами
- Полнота выявленных и закрытых рисков
Как можно оценивать эффективность системного аналитика?
- Кейсы — есть истории того, как конкретный специалист выявил проблему, помог команде принять сложное решение, сэкономил усилия, упростив требования и т.д.
- Удовлетворённость потребителей — сбор оценок «потребителей» работы аналитика, по любой шкале, с интеграцией оценок отдельных участников команды.
- Численный расчёт соотношения отдача / вложения.
С первыми 2-мя подходами мы уже работаем, однако у них есть свои недостатки, а именно — всё-таки может оставаться неясным, даёт ли этот специалист компании больше, чем забирает, или нет.
Численный расчёт хотя и прекрасен своей идеей объективности, на практике упирается в немалые ограничения. Но попробовать подойти к этой задаче всё-таки интересно.
На какие важные бизнес-показатели влияет системный аналитик?
Да всё те же:
- Cost — стоимость разработки
- Time — длительность выполнения проекта
- Volume — объём результата проекта
- Quality — качество результата проекта
Введение в проект системного аналитика, как и любого другого специалиста, должно повышать рентабельность проекта, которая выглядит как:
Volume * Quality / Cost
Какие бывают типовые положительные эффекты от выделенного аналитика:
При Fixed Scope (Volume):
Повышение Качества
Сокращение Длительности
Сокращение Стоимости
При Fixed Time:
Повышение Качества
Повышение Объёма
Сокращение Стоимости
Иначе говоря, V1*Q1/C1 < V2*Q2/C2 есть условие целесообразности введения выделенного аналитика в проект, где X1 — величины в проекте без аналитика, а X2 — величины в проекте с его участием.
Думаю, каким образом возможно повышение качества результата проекта пояснять особо не надо — это мы рассмотрели во 2-м абзаце.
Каким образом возможно сокращение длительности? Вовремя и полно выявленные и согласованные требования избавляют команду от 2-х традиционных бичей:
1. Переделки — когда не так поняли заказчика.
2. Переработки — когда недооценили объём работ из-за недостаточной детальности требований
Отсюда же следует и возможное сокращение стоимости, в случае Fixed Scope — за счёт сокращения длительности, в случае Fixed Time — за счёт сокращения размера проектной команды (скажем, 4 разработчика вместо 5).
Теперь осталось разобраться с единицами измерения. Cost можно выражать в человекоднях, если более точно — в деньгах. Volume можно выражать в количестве прошедших тестирование функциональных точек, способов применения или пользовательских историй. Quality можно мерять как % пройденных тестов.
Как оценить экономический эффект от внедрения систем бизнес-аналитики: проблемы, подходы, решения
Ольга Морозова, эксперт Intersoft Lab, специально для «Финансового директора» проанализировала существующие подходы к расчету эффективности CPM-систем и представила методику Intersoft Lab, проиллюстрировав ее оценками выгод, полученных заказчиками компании.
Аналитические системы[1] остаются востребованным элементом инфраструктуры
большинства крупных и средних предприятий независимо от их отраслевой
принадлежности. Исследования Gartner показали, что и в 2016 году BA/BI снова
возглавили рейтинг технологических приоритетов CIO, опередив облачные
технологии, мобильные приложения, цифровой маркетинг, дата центры, ERP, CRM,
специализированные отраслевые приложения и средства защиты информации. Причем,
эта картина не является следствием случайно сложившейся конъюнктуры, а отражает
объективную тенденцию, которая наблюдается уже 9 раз за последние 11 лет.
Показательно, что потребность в BA/BI CIO обосновывают в основном на
интуитивном или логическом уровнях: основной аргумент — возрастающие объемы
данных необходимо обрабатывать, трансформировать в знания и использовать в
процессах получения прибыли предприятия. В процессе эксплуатации таких решений
фактические показатели возврата инвестиций (ROI), как правило, не оцениваются.
На наш взгляд, именно отсутствие достоверных доказательств бизнес-ценности
систем BA/BI объясняет скептицизм к ним со стороны CFO и CEO и потенциальных
спонсоров BA/BI-проектов.
Почему мы говорим об эффективности BA/BIсегодня?
Во-первых, потому, что роль ИТ в бизнесе современных компаний возрастает. На
сегодня у каждой пятой российской организации ИТ используются в качестве
основного средства для получения конкурентных преимуществ, выхода на новые
рынки, создания новых продуктов и услуг[2]. У 37% российских компаний ИТ участвуют в
обеспечении основной бизнес-деятельности предприятия. Т.е. более чем у половины
компаний задачи ИТ выходят за рамки типовой обработки транзакций или
предоставления технологических решений по запросу бизнеса, а значит эти
компании являются пользователями или потенциальными потребителями решений для
управления эффективностью бизнеса (читай BA/BI решений).
Во-вторых, сокращение или заморозка ИТ-бюджетов становится привычным
явлением для большинства российских организаций, влияющим прежде всего на
бюджеты развития (Capex). Стабилизировав затраты на поддержку и обеспечение
операционной деятельности, организации имеют возможность инициировать только
жизненно необходимые ИТ-проекты. Именно поэтому так важно правильно расставить
приоритеты ИТ-инвестиций, учесть не только ежеминутные выгоды, но и достаточно
отдаленные стратегические перспективы.
По каким критериям сегодня на практике осуществляется приоритезация проектов
и принимаются решения об их стартезаморозкеразвитии? Начнем с того, что не
всегда эти критерии существуют. По результатам исследования, проведенного
консалтинговой компанией Marketvisio Consulting[3], только у трети крупных и средних российских
компаний существует практика обязательного рассмотрения бизнес-кейсов перед
авторизацией проектов. Почти половина компаний (более 40%) выполняют финансовое
обоснование только некоторых ИТ-проектов или не проводят его вообще. Аналитики
Gartner показали, что в качестве основной метрики, применяемой для оценки
эффективности ИТ, чаще всего используется стоимость решения, а также показатели
уровня сервиса и удовлетворенности пользователей. То есть чаще всего решение об
инвестициях в ИТ принимается на основании стоимости решения. Поэтому в условиях
жёстких финансовых ограничений предпочтение отдается недорогим и краткосрочным
проектам. Проекты бизнес-аналитики по этим критериям не всегда выигрывают, а
бизнес лишается современного инструмента управления эффективностью
В чем проблемы оценки эффективности BA/BI решений?
Основной постулат при оценке бизнес-ценности любого ИТ-решения заключается в
том, что информационные системы сами по себе не приносят прибыли, а добавленная
стоимость может быть получена только при правильном использовании ИТ за счет
таких эффектов как: ускорения операций, отказа от части рутинных ресурсоемких
операций или создания новых возможностей. Бизнес-ценность ИТ можно оценить с
разным уровнем детализации: качественно описать изменения, дать количественную
оценку улучшений бизнес-процессов или перейти к финансовым показателям,
наиболее интересным для бизнеса.
Далеко не все бизнес-выгоды можно оцифровать, существуют нематериальные
(неизмеримые, качественные) эффекты от ИТ, например, такие как повышение
качества управленческих решений, повышение удовлетворенности сотрудников,
повышение эффективности процессов принятия решений. Такие эффекты характерны
для всех классов систем, но для BA/BI систем эти эффекты являются основными
(доля нематериальных выгод существенно больше, чем для систем других классов).
Сложности оценки эффективности систем бизнес-аналитики систем связаны также и с
тем, что эффект от их использования очень сильно зависит от «человеческого
фактора» (решение принимает человек, система только предоставляет информацию),
и существует проблема выделения вклада ИТ в принятие управленческого решения.
Поэтому корректно говорить только о «потенциальной» возможности получения
эффекта за счет использования информационной системы. Будет ли этот
потенциальный эффект в полной мере использован – зависит от ее
пользователей.
Следует отметить, что проблема оценки эффекта систем BA/BI на сегодняшний
день до конца не решена, предлагаются различные методики, каждая из которых
имеет свои достоинства и недостатки.
Какие подходы к оценке эффективности BA/BI систем существуют на сегодняшний
день и какова достоверность подобных оценок?
Проведем краткий обзор известных универсальных методов, которые
принципиально могут быть использованы для оценки эффективности BA/BI.
Начнем с метода совокупной стоимости владения (Total Cost of Ownership, TCO)
от Gartner Group. Он применяется для обоснования ИТ-бюджетов, оценки
эффективности ИТ-менеджеров, оценки стоимости проектов и позволяет оценить
совокупные затраты на внедрение и эксплуатацию ИТ-системы. Основной недостаток
метода – он не позволяет оцифровать прибыль, приносимую ИТ.
Инвестиционный анализ (Cost Benefit Analysis, CBA) основан на сравнении
вариантов «до» и «после» проекта, сравнении сценариев развития во времени «с
проектом» и «без проекта» Использует известные финансовые показатели (чистый
дисконтированный доход (NPV), срок окупаемости, внутренняя норма
рентабельности. Недостатки метода — сильное влияние на результат ставки
дисконтирования, неопределенность в прогнозировании ставки на будущие периоды,
а также оценка только измеримых выгод.
Методы, использующие экспертные оценки (метод Дельфи, метод анализа
иерархий), потенциально подходят для оценки эффективности систем BA/BI,
поскольку ориентированы на оценку неизмеримых выгод ИС и анализ стоимости
информации, предоставляемой системой. Недостаток – это субъективизм и сложность
сбора исходной информации.
Вероятностные методы, в число которых метод прикладной информационной
экономики (Applied Information Economics, AIE) и метод реальных опционов (Real
Options Valuation, ROV), применяется для определения вероятности достижения
целей ИТ-проекта, исходя из этого определяется вероятность улучшения в
бизнес-процессах компании. Методы этой группы больше подходят для сравнения
ИТ-проектов. Метод AIE использует скоринговые модели, метод реальных опционов
трудно применять на практике, поскольку он требует оценки опционной стоимости
инвестиций в ИТ.
Таким образом, практически все открытые методы, подходящие для
количественной оценки «неизмеримых» выгод в той или иной степени субъективны,
сложны и трудозатратны.
Среди коммерческих методов следует отметить методику TEI (Total Economic
Impact) компании Forrester Consulting group и методику быстрого экономического
обоснования REJ (Rapid Economic Justification) от Microsoft. В соответствии с
ТEI совокупный экономический эффект ориентирован в основном на оценку измеримых
выгод и рассчитывается на основании четырех компонентов: выгод, затрат,
гибкости решения и рисков. Поскольку TEI является собственностью компании
Forrester, в открытом доступе отсутствуют описание процедур измерения
используемых в расчете показателей. Выходом методики REJ также являются
финансовые метрики проекта, которые рассчитываются в результате выполнения
пошаговой процедуры оценки ИТ. Microsoft не указывает конкретные методы
реализации шагов и предлагает выбирать их на каждом конкретном проекте.
Существуют ли удачные бизнес-практики оценки эффективности BA/BI?
Наиболее доступный способ обоснования ценности BA/BI — это анализ кейсов
успешно реализованных проектов. Этот прием используется многими вендорами,
однако в кейсах чаще всего не раскрываются финансовые показатели проектов,
столь интересные для CEO. Известен также подход к расчету эффективности BI,
оперирующий среднестатистическими показателями эффекта от внедрения ИТ
(например, показателями среднего прироста производительности труда). Но он не
вызывает доверия у инвесторов, т.к. не учитывает специфики конкретного
решения.
Компании, имеющие большой проектный опыт в области внедрения BA/BI могут
предлагать собственные методики оценки. Такие методики, безусловно, дают
наиболее точный результат (особенно, если речь идет о прединвестиционных
оценках). Для заказчика главное, чтобы они были прозрачными и основывались на
объективно оцениваемых показателях. Как правило, основными показателям затрат
при расчете возврата инвестиций (ROI) BA/BI проектов являются затраты на
приобретение лицензий и услуг на внедрение. Основной метрикой выгод при
внедрении BA/BI для менеджмента всех уровней является облегчение доступа к
данным. Основной метрикой выгод для ИТ-персонала является время, которые
занимает подготовка отчета. Ключевой показатель для оценки влияния на процесс
принятия решений является качество поставляемой информации. Примером обобщения
лучших корпоративных практик является методика оценки эффективности решений для
построения хранилищ данных, бюджетирования и управления прибыльностью,
предлагает своим клиентам оценку проектов бизнес-аналитики на этапе
технико-экономического обоснования всего проекта или отдельных этапов
комплексных проектов. Основным наполнением методики, является каталог
показателей, используемых для сбора оценок метрик «до» и «после» внедрения,
разработанный с учетом архитектуры программных продуктов и отраслевой специфики
(финансовый сектор), что позволяет получить существенно более точные оценки
потенциальных количественных эффектов от внедрения BA/BI. Например,
автоматизация процесса подготовки управленческой отчетности по финансовому
результату банка позволяет экономить порядка 1 млн. руб. на одном цикле
подготовки комплекта отчетов. Более 30% экономии обеспечивается за счет
сокращения времени расчета отчетных показателей, еще порядка 30% дает
сокращение затрат на подготовку аналитических расшифровок и детализаций, более
чем на четверть сокращаются затраты на согласования отчетных показателей и
исправление ошибок. Типовой проект управления прибыльностью финансовой
организации, включающий построение системы расчета финансового результата банка
в различных аналитических разрезах с учетом трансфертной стоимости ресурсов и
аллокаций накладных расходов, окупается в среднем за два
года.
[1] Под аналитическими
системами будем понимать не только традиционные инструменты Business
Intelligence (BI), но и такие решения для бизнес-аналитики (ВА), как системы
бюджетирования, системы подготовки пруденциальной и управленческой отчетности,
системы финансового планирования. Далее нами будет использоваться сокращение
BA/BI.
[2] Исследование Marketvisio
Consulting, охватившее 200 российских предприятий
[3] Консалтинговая компания,
принадлежащая Gartner
Автор:
Ольга Морозова, эксперт компании Intersoft Lab, к.т.н., доцент кафедры «Бизнес-информатика» Финансового университета при Правительстве Российской Федерации
Источник:
Сайт «Финансовый директор» (fd.ru)
Бизнес-аналитика — это инструмент, который помогает эффективно распределять финансовые и командные ресурсы. В её основе — сбор и анализ статистических данных, полученных вручную или с помощью онлайн-сервисов. Измеряют и описывают эти данные специальные числовые показатели — бизнес-метрики.
В сентябре 2022 года Нетология совместно с Финансовым Университетом запускает онлайн-магистратуру «Продуктовый маркетинг и аналитика». Ментор программы и руководитель продуктового маркетинга в Picsart Анна Маикова рассказала, какие метрики критически важны для бизнеса и как они помогают компании развиваться более эффективно.
Бизнес-аналитика — это сбор, обработка и анализ данных компании. Её задача — давать ценные сведения, которые помогут бизнесу принять обоснованные решения, сократить издержки и внедрить более эффективные процессы.
Конечно, можно принимать управленческие решения интуитивно, но в условиях повышенного риска, многозадачности и информационной перегрузки надёжнее полагаться на цифры. Тем более, сейчас есть инструменты и технологии, которые позволяют собирать максимально подробную статистику.
Какие преимущества даёт компании бизнес-аналитика:
Сокращает время реакции на поведение рынка или покупателя. Время — самый ценный ресурс в условиях высокой конкуренции, особенно в периоды кризиса. Больше всего это актуально для проблем, которые важно находить и решать оперативно.
- Сайт перестал открываться в браузерах Safari или Opera — закончилась лицензия на сертификат безопасности → резко сократится количество пробных подписок или заявок.
- Новый релиз приложения вызывает ошибки на Android или iOS → произойдёт всплеск негативных отзывов в соцсетях или магазинах приложений.
- Система онлайн-платежей не отправляет покупателю СМС с верификацией → перестанет работать оплата картами.
Похожие проблемы могут привести к серьёзным последствиям для бизнеса, поэтому их важно обнаруживать и устранять как можно быстрее.
Помогает отделять догадки и домыслы от фактов, устанавливать причинно-следственные связи между действиями компании и реакцией рынка. С аналитикой становится проще отличать последствия внешних факторов — например, сезонности, — от последствий, вызванных решениями менеджеров.
Позволяет экономить человеческие ресурсы. С помощью инструментов бизнес-аналитики можно автоматизировать некоторые операции вроде сбора данных или создания отчётов. Особенно это актуально для растущих компаний с большим количеством пользователей. Если автоматизировать рутинные операции, производительность труда вырастет, а потребность в кадрах, наоборот, снизится.
Показывает эффективность процессов и принятых решений в реальном времени. Если компания поменяла тарифы на сайте: сделала три платёжных плана вместо двух, аналитика поможет понять, верным было это решение или нет. Она покажет, выросла ли выручка или наоборот: интерфейс усложнился, время выбора увеличилось, и клиенты стали меньше подписываться.
Легко адаптируется под сектор, отрасль и сегмент. На рынке большое количество полезных и работающих инструментов аналитики, поэтому важно учитывать отрасль, особенности бизнеса и потребности самой компании.
Стартапу, продающему солнечные батареи другому бизнесу, круглосуточный мониторинг соцсетей не так важен, как авиакомпании, которой нужно быть на связи с клиентом 24/7.
Чтобы измерять и описывать эффективность работы компании на разных этапах, аналитики используют специальные числовые показатели — бизнес-метрики. Правильные метрики помогут принять эффективное управленческое решение.
Что важно учитывать при работе с бизнес-метриками:
- Не получится растить все метрики одновременно: на это не хватит ни внутренних, ни внешних ресурсов. Поэтому важно сосредоточиться на краткосрочной перспективе, определить период и сделать список гипотез: какие действия могут повлиять на конкретную метрику. После этого, в зависимости от цели и предположения, уже можно подбирать маркетинговые тактики.
Представим, что есть гипотеза: клиенты не покупают товар, потому что плохо знакомы с брендом. Чтобы проверить это, нужно измерить узнаваемость с помощью социологического опроса.
Если ответы целевой аудитории подтверждают предположение, значит нужно работать над узнаваемостью: писать статьи в СМИ, искать партнёрства с более известными брендами, участвовать в индустриальных премиях. Если гипотеза не подтверждается, проверяется следующая из списка.
- Необходимо соотносить показатели разных метрик и анализировать данные комплексно. Нельзя принимать решения, основываясь только на цифрах.
Продажи могут вырасти из-за внедрения бонусной программы, а могут — из-за сезонности или появления новой товарной позиции. Чтобы это выяснить, нужно сопоставить данные из разных источников.
Также важно держать связь с другими отделами и вместе обсуждать результаты аналитики. Бывает, что источник проблемы известен одним сотрудникам, но другие о нём даже не знают.
- Важно иметь группу реагирования. Когда что-то случается: выходит новый закон, появляется новая технология или возникают проблемы с сырьём, — команда из ключевых сотрудников принимает срочные меры и создаёт план действий.
Существует три вида метрик, критически важных для бизнеса:
Метрики роста. Помогают понять, сколько людей знают ваш бренд и с какой скоростью растёт их количество. Измеряется числом новых пользователей продукта.
Количество установок в месяц для мобильных приложений, число новых пользователей на сайте или подписчиков в соцсети — всё это показывает динамику роста.
Если компания продаёт свой продукт через сайт, показатель роста помогает ей понять, из-за чего увеличивается выручка. Он покажет, растёт ли число новых покупателей ежемесячно или выручка стала больше благодаря повторным покупкам и среднему чеку, а прироста новых клиентов нет.
Размер аудитории сайта можно измерить с помощью сервисов Яндекс Метрика и Google Analytics, размер аудитории соцсетей — в приложениях социального листенинга вроде YouScan и Brand24. Сервисы Sensor Tower и AppMetrica показывают количество установок мобильного приложения.
Метрики активности. Это всё, что показывает взаимодействие клиента с продуктом: количество кликов на карточки товаров в маркетплейсе, посещения профиля в инстаграме, переходы на сайт и просмотры.
Если у блогера 20 000 подписчиков, а контент смотрят 1 000 из них — активность составляет 5%.
Упоминание и комментарии, лайки и шеры в соцсетях — это тоже метрики активности. Статистику по ним можно увидеть в специальных сервисах для планирования контента, в отчётах страницы в личном кабинете профиля в соцсетях или в разделе статистики на сайте.
Метрики роста и активности взаимосвязаны. Если компания плохо узнаваема, то и активных пользователей у неё будет мало.
Метрики монетизации. Это количество покупок продукта и динамика роста этого показателя за определённый период. Эти метрики, как и все остальные, могут отличаться, в зависимости от специфики бизнеса и канала, для которого они рассчитываются.
Чтобы посчитать монетизацию мобильного приложения или игры, используют метрики ARPU — доход от пользователя, ARPPU — доход от платной подписки, Paying Share — доля платящих пользователей.
Как рассчитывается каждая из этих метрик:
- ARPU = доход за определённый период / количество пользователей, которые купили товар за это время
- ARPPU = доход за период / число платных подписок за это время
- Paying Share = число платных пользователей за период / общее количество пользователей за этот же период
В первую очередь нужно понять, какая метрика для вас — основной показатель эффективности и главный фокус для всей команды. Её ещё называют метрикой Полярной звезды (North star).
North star-метрика должна вести бизнес к прибыли, быть измерима и ограничена временем. Правильно выбранный ориентир на долгое время обеспечит компании стабильный рост.
Например, для музыкальных стриминг-сервисов вроде Spotify и Яндекс Музыка North star-метрика — время, которое пользователи потратили на прослушивание треков.
Чем больше музыки слушает пользователь, тем сильнее он привыкает к хорошему сервису и алгоритму, а значит, с большей вероятностью купит платную подписку.
Для других компаний метрикой Полярной звезды может служить месячный прирост числа активных пользователей, увеличение трафика или переходы по ссылке.
Ключевые метрики показывают, достигаете ли вы нужных результатов на макроуровне. Определите их и проговорите вместе с командой: если сотрудники не знают общей цели, есть риск, что они будут стремиться к разному, мешая друг другу.
Вся команда, включая новичков, должна быть в курсе North star-метрики. Им необязательно погружаться во все показатели, но важно держать в голове ключевой ориентир.
Уделите внимание скорости и темпу: определите, в каком режиме вам нужно двигаться, готова ли к этому ваша команда, как нужно перестроить процессы, чтобы скорость выросла.
Если вы договорились с командой быстрее запускать маркетинговые кампании, но по регламентам вам нужно согласовывать новые площадки для рекламы с тремя разными отделами, вряд ли такая договорённость сработает. Внутренние процессы должны быть адаптированы под ваши цели.
Если ваша компания, к примеру, разрабатывает мобильное приложение, важными показателями для неё будут количество скачиваний и объём выручки за месяц.
Найти своих конкурентов помогут топ-листы приложений Google Play и App Store. Чтобы следить за их результатами, используйте аналитические сервисы вроде data.ai. Они могут собрать статистику за месяц или за отдельный период: сколько скачиваний было в категории, какие приложения вышли в лидеры и какую сумму они заработали. Так вы сможете не только отслеживать рынок, но и понимать, как растёт ваш сегмент год от года и по сравнению с другими категориями.
Если вы находитесь в другом сегменте рынка и не знаете конкурентов, проведите CustDev (от англ. customer development — «развитие клиента») — опросите своих или потенциальных пользователей: как они решают проблему, связанную с вашей сферой, какими сервисами пользуются и сколько платят.
Ещё один способ определить конкурентов: отследить, кто находится в топе поиска по ключевым словам. К тому же это поможет узнать, какие рекламные каналы используют конкуренты.
Зачем отслеживать чужие успехи:
- Чтобы понимать ситуацию на рынке. Если рост вашей компании остановился — смотрите на конкурентов. Если не растёте не только вы, но и вся категория — значит, проблема не только в вас, но и во внешнем факторе: сезонности, политической ситуации, экономической нестабильности.
- Чтобы найти новые способы и возможности для роста. Показатели конкурентов помогут заметить новый тренд, получить срез по рынку, узнать полезные ноу-хау и увидеть новую нишу, в которой вы можете развиваться.
- Чтобы учиться на чужих ошибках.
Помимо количественных показателей конкурентов, важно отслеживать и качественные, например, узнаваемость бренда. Это поможет понять, как хорошо аудитория знает вас и ваших конкурентов и что думает о вашем продукте, когда идёт речь про всю индустрию.
Измерить качественные показатели также можно с помощью Sensor Tower, AppMetrica, data.ai.
Стратегия поможет эффективно распределить ресурсы на работу и финансы на продвижение.
Если ваша цель — увеличить число клиентов, определяющим фактором стратегии будет поиск источников привлечения новых пользователей и их погружение в продукт.
Например, у вас всё в порядке с привлечением пользователей, но нет приверженности продукту. В таком случае, хорошо бы провести аудит и посмотреть, в какой момент люди прекращают пользоваться продуктом, чего ему не хватает, как работает служба поддержки.
Растёт число заявок на пробный период, но когда он заканчивается, пользователи не покупают подписку? Здесь могут быть пробелы в предложенных возможностях — обещали много, но выполнили не всё. В этом случае нужно проводить интервью с пользователями, которые оформили пробную подписку, но не решились на платную.
Определите, какая метрика главная для каждого отдела. Это поможет сотрудникам сфокусироваться на задаче и идти к общей цели. Не забывайте о мотивации: предполагаются ли премии за достижение поставленных целей по метрикам? Стоит подумать и о нематериальной мотивации, которая будет стимулировать сотрудников двигаться вперёд.
Также не забывайте продумывать все риски при принятии определённых бизнес-решений. Например, если вы сделаете платным большее количество функций, то возможно увеличите выручку, но при этом потеряете количество активных пользователей в месяц и упадёте в рейтинге из-за негативных отзывов.
Важно знать все факторы, которые могут повлиять на ваш бизнес — от политической ситуации до погодных условий — и по возможности оставлять пространство для манёвра на случай форс-мажора.
Работая с метриками, важно понимать и учитывать в планировании, что с ростом компании скорость реагирования и принятия решений может замедлиться.
- Пройдёте стажировку у партнёров программы уже в первый год обучения
- Оформите резюме, подготовитесь к собеседованию и научитесь проходить его без стресса
- Соберёте работы и оформите портфолио так, чтобы работодатель убедился в вашем профессионализме
Сбор и анализ данных — неотъемлемая часть любого бизнеса. Аналитика помогает принимать стратегически важные решения, выбирать тактику поведения в сложных ситуациях и распределять ресурсы.
Для описания ключевых показателей используют бизнес-метрики. Критически важными для компании считаются метрики роста, метрики активности и метрики монетизации — они показывают, растёт бизнес или нет, окупается ли продукт.
Чтобы использовать показатели бизнес-процессов эффективно, нужно:
- знать, какие метрики важны для вашего бизнеса;
- видеть главную цель, ради которой вы работаете с метриками;
- донести её до команды;
- грамотно организовать работу с метриками.
Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.