Miary, co mierzyć, jak mierzyć - podsumowanie roundtables

 Miary, co mierzyć, jak mierzyć - podsumowanie roundtables
W połowie listopada 2013 roku brałem udział w konferencji Agile Management organizowanej przez Fundację Governica. Najciekawszą częścią konferencji (przynajmniej w mojej ocenie) były cztery sesje dyskusji przy okrągłych stołach (roundtables). W swojej formie bardzo przypominały one znaną i popularną formułę open space – otwartą dyskusję prowadzoną przez moderatora, mającą na celu aktywną wymianę wiedzy pomiędzy uczestnikami. W trakcie konferencji zaplanowane zostały cztery 45-minutowe sesje na różne tematy. Jedna z tych sesji miała dotyczyć tematu „Miary, co mierzyć, jak mierzyć” i miała zostać poprowadzona przez Tomka Włodarka – jednego z najbardziej znanych i doświadczonych trenerów Scruma w Polsce. Tomek z niezależnych przyczyn niestety nie mógł dojechać i w efekcie zostałem poproszony przez organizatorów o zastępstwo. W dyskusji wzięło udział kilkanaście osób o zaskakująco zróżnicowanych doświadczeniach – od doświadczonego kierownika projektów, próbującego dopiero zorientować się o co chodzi w lean i agile aż po znajomych z Onetu – firmy z kilkuletnim doświadczeniem ze Scrumem i bardzo dojrzałą implementacją.

Zaczęliśmy od określenia oczekiwań – ustalenia co różne osoby rozumieją pod pojęciem mierzenia i metryk oraz dlaczego są tym tematem zainteresowane. Bardzo szybko stało się jasne, że będziemy rozmawiać o dwóch głównych wątkach.

Mierzenie postępu i planowanie

Pierwszy fragment dyskusji dotyczył mierzenia postępu w projekcie oraz w trakcie samej iteracji (sprintu). Uczestnicy próbowali odpowiedzieć sobie na kluczowe pytania:

1. W jaki sposób przewidywać kiedy projekt zostanie ukończony?

2. Jak prognozować ile pracy zostanie wykonanej w trakcie jednej (najbliższej) iteracji?

W tym obszarze uczestnicy nie przedstawili metod wykraczających poza podstawowe techniki obecne w metodykach zwinnych – relatywne szacowanie pracy (porównywanie rozmiarów funkcjonalności), story pointy czy burndown charty.

Ponieważ czas upływał a w dyskusji pojawił się wątek motywowania i rozliczania zespołu z dowiezienia zakresu na określony moment (który to temat jest w mojej ocenie bardzo niebezpieczny i spokojnie mógł zdominować dalszą część spotkania, a jednocześnie nie do końca dotyczy tematu miar i swoją drogą zasługuje on na poruszenie niezależnie), spróbowałem skierować dyskusję na inne tory.

Mierzenie efektywności

W drugiej części poruszaliśmy kwestię mierzenia tego jak mierzyć wartość biznesową produktów dostarczanych przez zespół. W zasadzie wszyscy byli zgodni, że z perspektywy całej organizacji sam postęp projektu i dostarczanie na czas i w budżecie to za mało – kluczowe jest natomiast to, czy zespół dostarcza oczekiwanych efektów.

Oczywiście nie ma jednego uniwersalnego sposobu na mierzenie wartości biznesowej. Co prawda ostateczną metryką w organizacji (przynajmniej w większości) są wyniki finansowe, ale mierzenie efektywności na poziomie przychodów czy zysków często będzie zbyt ogólne i nie pozwoli ocenić pracy zespołu. Michał Parkoła z Fluid Circle, jeden z uczestników dyskusji przy naszym stole, zasugerował, że ciekawą propozycję na definiowanie i mierzenie wartości biznesowej prezentuje Tom Gilb w opracowanej przez niego metodyce Evolutionary Project Management (skrócie EVO).W bardzo dużym uproszczeniu EVO proponuje prostą drogę:

1. Wybierz ważnego interesariusza projektu / produktu – np. dyrektor sprzedaży

2. Wybierz jakiś kluczowy dla tego interesariusza wymiar – np. transakcje w sklepie

3. Ustal konkretny sposób mierzenia tego wymiaru – np. liczba transakcji

4. Zmierz poziom obecny i ustal kilka wartości oczekwianych (np. w zeszłym roku 1000 transakcji, cele na kolejny rok: 500 – absolutne minimum, próg bankructwa, 1000 – oczekiwane minimum, 1300 – cel do osiągnięcia /30% wzrostu/, 2000 – poziom marzeń /stretch goal/)5. W regularnych odstępach dokonuj pomiarów i na podstawie wyników oceniaj czy rozwiązania proponowane przez zespół prowadzą w dobrym kierunku czy nie.

Więcej o EVO przeczytać możesz na nieprawdopodobnie bogatej w materiały stronie Toma (zajrzyj tutaj).

Pewnym zaskoczeniem była dla mnie historia jednej z uczestniczek dyskusji, która opowiedziała o projekcie, w którym bierze udział. W projekcie tym został postawiony cel poprawy jakości produktu. Nie został jednocześnie określony sposób mierzenia tej jakości ani oczekiwany przez interesariuszy poziom docelowy. Przy czym – zaskoczeniem nie było to, że taki projekt się toczy – sam w trakcie swojej kariery brałem udział w wielu podobnych. Zaskoczeniem było to, że dokładnie o takich projektach opowiada Tom Gilb, choćby w swojej prezentacji, którą miał okazję przedstawić na tegorocznej AgileByExample (sprawdź tutaj).

Dwójka Scrum Masterów z Onetu uzupełniła ten wątek opowieścią o mierzeniu podstawowych kluczowych parametrów (KPI) w swojej organizacji. Parametrów bardzo podstawowych, takich jak np. liczba odsłon strony głównej albo liczba użytkowników jednocześnie oglądających materiały wideo. Co ważne – parametry te monitorowane i wykorzystywane są na bieżąco i na ich podstawie podejmowana jest czasami decyzja np. o wycofaniu nowej wersji oprogramowania w przypadku gdy jego uruchomienie odbiło się negatywnie na KPI. Dodatkowo – parametry dobrane są tak aby jak najbardziej odzwierciedlały finansową stronę organizacji – liczba odsłon strony jest bezpośrednio skorelowana z liczbą wyświetlonych reklam, co przekłada się na wyniki.

Podsumowanie

Dyskusję musieliśmy przerwać po planowych 45 minutach, choć spokojnie mogliśmy jeszcze ciągnąć ją dalej. Oczywiście formuła roundtables albo open space nie służy przekazywaniu uporządkowanej wiedzy tylko raczej skonfrontowaniu różnych punktów widzenia oraz wskazaniu potencjalnych tematów wartych głębszego poznania już poza dyskusją.

Na zakończenie chciałem jeszcze zaznaczyć, że Tomek Włodarek, który miał w pierwotnym zamyśle prowadzić tę sesję od pewnego czasu opowiada dużo o nowym pomyśle twórców Scruma – Agility Path Framework, czyli ramami procesu do zarządzania zwinnością całej organizacji (a nie tylko zespołu produktowego). Zarządzania poprzez mierzenie kluczowych dla zwinności parametrów. Więcej o APF można znaleźć na projektu.

Piotr Burdyło

Pierwotnie tekst został opublikowany na blogu Piotra Burdyło. Można go przeczytać tutaj