Chromium Chronicle #20: Test Kayışlarını Karşılaştırma

20. Bölüm: John Chen, Bellevue, Washington (Nisan 2021)
Önceki bölümler

Hız, Chrome'un dört temel ilkesinden biridir. Karşılaştırma eklemek, performans regresyonlarını önlemenin ve zaman içinde performansı iyileştirmeye yardımcı olmanın kolay bir yoludur. İyi Karşılaştırmalar hızlı bir yineleme döngüsüne sahiptir, performans regresyonlarını UMA'dan çok daha erken yakalayabilir ve yeni bir özelliğin performansını ölçmek için idealdir.

Karşılaştırmalar, laboratuvarda düzenli olarak çalıştırılır. Bir regresyon tespit edildiğinde bisect, sorumlu CL'yi otomatik olarak bulur ve CL sahibine bir hata atar.

Chrome karşılaştırmaları, web sayfası etkileşimi dizilerini (hikayeler olarak adlandırılır) performans ölçümleriyle birleştirir. Benzer durumlar, karşılaştırma verimleri olarak gruplandırılır. Yeni karşılaştırmalar genellikle mevcut gruplardan birine uygundur:

  • Sistem Sağlığı
  • Yükleniyor
  • Bellek
  • Oluşturma
  • Güç
  • Başlangıç
  • V8 Çalışma Zamanı
  • Medya
  • WebRTC
  • Basın
  • Blink Perf

Telemetri çerçevesi, kayıtlı hikayeleri tekrar oynatarak Chrome ile kullanıcı etkileşimlerini simüle eder ve Chrome etkinliklerini kaydeden izleri toplar. Hikayeler bittikten sonra çerçeve, izleri analiz etmek için çeşitli performans metriklerini çalıştırır ve performans sonuçlarını hesaplar.

Chrome'daki yeni performans testi durumlarının çoğunu, mevcut gruplardan birindeki mevcut bir metriği kullanarak yeni bir hikaye ekleyerek kapsayabilirsiniz. Ayrıca daha fazla izleme toplayabilir, mevcut karşılaştırmalara daha fazla metrik ekleyebilir veya tarayıcıya ek işaretler aktarabilirsiniz.

Diğer kayışlara uymayan tek seferlik durumlar için Blink Perf'i kullanın. Blink Perf'te tek seferlik sayfalardaki izleme etkinliklerini ölçebilirsiniz.

Karşılaştırma hikayelerinizi basit tutun ve senaryonuzu tamamlamak için gereken minimum etkileşim kümesini ekleyin. Bir test durumu karmaşıksa bu sürecin otomatikleştirilmesi zor olabilir veya güvenilir olmayabilir.

Testlerinizi, en önemli kullanım alanlarını kapsayan en küçük sayıyla sınırlandırın. Karşılaştırma altyapısının bakımı pahalıdır. Desteklenen donanımların listesi için Chrome Hız Cihazları sayfasına bakın.

Performansı ölçmenin birden fazla yolu vardır. Telemetriye dayalı karşılaştırmalar, Chrome'u harici bir işlemden kontrol eder ve bu, her zaman gereken kontrol düzeyini sağlamaz. Alternatif olarak, gtest tabanlı karşılaştırmalar test kodunun Chrome koduyla aynı işlemi paylaşmasına olanak tanır. Performansı laboratuvar yerine kullanıcıların cihazlarında ölçmek için UMA kullanmak gibi başka performans araçlarını da kullanabilirsiniz.

Chrome karşılaştırması hakkında daha fazla bilgi edinmek ister misiniz? telemetry@chromium.org ile iletişime geçin.

Ek kaynaklar