Bülten #39: Kullanıcı tutma (Retention)-3: Ölçümleme ve anlamlandırma

Nedir, nasıl yapılabilir, nasıl anlamlandırılır, yararlı kaynaklar..

Dec 14, 2021

Bültene hoş geldin 👋

“Kullanıcı tutma/Retention” üzerine başladığımız serinin üçüncü sayısındayız! Bu sayıda “ölçümleme”ye geldik: Ölçümlemede amacımız ne, ölçümlemeyi nasıl yaparak aradığımız cevaba ulaşabiliriz, bulduğumuz cevap ne ifade eder gibi konularda kısa açıklamalar ile ve örnekler üzerinden giderek konuya genel bir yorumlama yapmaya çalıştık ve faydalı kaynakları da yazının sonuna iliştirdik.

Önceki iki sayıda retention’ı tanımlayıp, kritik eylem’leri ve kullanım aralıklarını anlamaya çalışmıştık. Konuya vakıf değilseniz, bu sayıdan önce bu yazıları okumanızı tavsiye ederiz (linkler o sayılara gidiyor). Sonraki sayılarda da bu kritik eylemlere dair hedef koymayı ve mevcut durumun nasıl iyileştirilebileceğini anlamaya çalışacağız.

Konu üzerine beğendiğiniz kaynakları, araştırmamızı istediğiniz konuları, fikirlerinizi ve bildiklerinizi paylaşmak isterseniz, Slack’e de bekleriz. Konuk yazar olmak ya da sorularımızı cevaplamak isterseniz de kapımız oldukça açık. 👀 Umarız bilenlere bir tazeleme, bilmeyenlere bir fikir edinme aracı olur!

İyi internetler,
Burcu

Kullanıcı tutma-3: Ölçümleme ve anlamlandırma

Bir önceki sayıda “kullanıcının ürünü kullanırken aldığı, ürünün temel değer önermesiyle örtüşen aksiyon” olarak tanımladığımız “kritik eylem”i bulmaya ve “kullanıcının bu kritik eylemi gerçekleştirmek amacıyla ürünü ne sıklıkla kullanacağını” netleştirmeye yarayan “kullanım aralığı”na odaklanmıştık. Bu sayı bu adımları tamamladığımız yerden devam ederek, ölçümleme ve anlamlandırmaya geçiyoruz.

Retention’ı ölçümlemenin türlü yolları var, ancak hepsinin cevap aradığı ortak soru şu: Kullanıcıların ne kadarı zaman içinde bu kritik eylemi yapmaya devam ediyor? Biz de bu ölçümlenenin türlü yollarının detaylarına girmek yerine, bu soruya en basit şekilde nasıl cevap bulabileceğimize odaklanalım dedik.

Bir örnek üzerinden gidelim ki kavramlarda boğulmayalım: Kritik eylemi “içeriği kaydetmek” olarak belirledik diyelim, ve kullanım aralığını da “haftalık” olarak seçtik. İşe “cohort” yaratmakla başlıyoruz: 0. haftadan itibaren (örneğimizde 0. hafta, kullanıcının ürünü kullanmaya başladığı zaman) hafta hafta kullanıcıların ne kadarının kaydetme aksiyonunu en az bir kere yaptığına bakalım istedik. Şöyle bir sonuca ulaşıyoruz:

kaynak: https://june.so/template/retention. **Önerilen örnek uygulama retention’ı “yeni kullanıcı” özelinde kırmak,** çünkü yeni ve eski kullanıcıları bir arada değerlendirince “uzun vadede kaç kullanıcı kullanmaya devam ediyor” sorusuna cevap bulunamıyor.

Bu grafiğin okunuşu şu: 2-8 Kasım arası 120 yeni kullanıcı gelmiş, bu 120 kullanıcının 90’ı ilk hafta içinde geri gelip bir içeriği kaydetmiş, 80’i ikinci hafta geri gelip içerik kaydetmiş, 73’ü üçüncü hafta.. gibi.

Bu adımları her bir cohort için tekrarlayıp, sayıları oranlara çevirdiğimizde şöyle bir tablo oluşuyor:

kaynak: https://june.so/template/retention

Bu tablonun hafta hafta ortalamalarının grafiğe dökümünü yaptığımızı ve şöyle bir sonuca ulaştığımız düşünelim (kullanım sıklığı haftalık olduğunda, önerilen 12 haftalık bir ölçümleme yapmak):

Bu grafikten çıkarabileceğimiz ilk sonuç şu: Ürün yaşıyor. Haftalar geçtikçe belirlediğimiz kritik eylemi yapan kullanıcı oranı belirli bir aralıkta kalmış—düzleşmiş. Eğer bu grafiğin %0’a yakınsadığını ya da ulaştığını görseydik, oturup düşünmemiz gerekirdi: Ya ürün-pazar uyumunda bir problem var, ya da yanlış kritik eylemi veya kullanım aralığını seçtik. Eğer ürünün yaşadığını düşünüyorsak bu konulara odaklanarak başlamak gerekli; bunlardan eminsek ve grafik yine aşağı yönlü bir trenddeyse de önümüzdeki sayılarda odaklanacağımız hedefler koyma ya da mevcutu iyileştirme üzerine kafa yormak gerekiyor.

Basitçe gösterimlemeyi umduğumuz bu yaklaşımın bir handikapı var: Her haftanın ortalamasını aldık ve bu yaklaşım örnek uygulamalardan biraz uzak. Önerilen her bir cohortu kendi içinde değerlendirmek.

Biraz daha uzun soluklu bir örneğe bakalım:

kaynak: “How to increase your product's retention” - Lenny’s Newsletter

Bu grafikten çıkarabileceğimiz birkaç sonuç var:

Retention düşüş trendinde. Örneğin 5 Mayıs haftası kayıt olan kullanıcıların sadece %14’ü 10. haftada hala bir içerik kaydediyor.
Retention oranı zaman içinde %5-6 civarında düzleşiyor gibi. Düzleşmesi bir grup kullanıcının hala üründe bir değer gördüğünü gösteriyor, ama oran muhtemelen bizi mutlu etmedi.

Ölçümleme ve anlamlandırmaya böylece genel bir bakış atmış olduk. Akıllardaki beliren yeni soru muhtemelen şu oldu: Bu oranları nasıl karşılaştırmak lazım (benchmarking)? Biraz düşük gibi geliyor, nasıl iyileştireceğiz? Bu sorulara önümüzdeki sayı cevap arayacağız. Takipte kalın!

Faydalı kaynaklar

June - User Retention - Link — Güzel görsellerine yazıda da yer verdiğim bu rehberi baya beğendim. June ölçümlemeye yeni başlayacak startuplar için de önerilen, YC destekli bir ürün bu arada ilgilisine.
3 Ways to Measure User Retention - Link — Bu sayıda “N-day retention”ı hesaplayan örneklerle gittik, ancak farklı yöntemleri de görmek adına bu kaynağa göz atabilirsiniz.
Lifecycle analysis and tracking movement of users between cohorts - Link — Mixpanel topluluk üyelerinden güzel bir “cohort analizi” pratiği. Bu sayıda örneklediğimiz cohortlarda “yeni kullanıcı” herhangi bir segmentasyon yok, ancak bu yazıda biraz daha bu yönde düşünmeye yarayacak şeyler var.