BetaTestSystems » History » Version 7

« Previous - Version 7/13 (diff) - Next » - Current version
moyo, 01/25/2011 03:06 PM


Systèmes de bêta test

Problématique

Trouver un système de bêta test qui permettent de réduire au maximum la durée de bêta-test et de trouver le maximum de bugs.

Constat et proposition

Sur certaines versions, des bêta-testeurs ont fait un énorme travail ce qui a permis d'avoir une période de bêta vraiment efficace.
Malheureusement, sur la plupart des versions, la période de bêta test est longue avec peu de retours.
Différents modes de bêta-test ont été mis en place pour essayer de pallier les manques des systèmes précédents.

Éléments d'ajustement :
  • Bêta-test ouvert ou sur inscription : peu d'impact
  • sur tarball ou sur version RC / alpha : on voit que les RC sont plus testées
  • avec ou sans "récompenses" (goodies) : jamais testé
  • Périodes thématiques de bugs squashing : peu d'impact de ses journées.
  • Journées bugs squashing : pas encore testées

Proposition pour la prochaine Beta (0.80) :

  • Beta test ouverte sur tarballs
  • Récompenses globales sur retours
    • Retours unique sur forum beta-test, marquage en valide si obtention d'un point.
    • Récompenses
      • 1 pack platinium : 1 T-shirt personalisé / 1 T-shirt standard / lanyard / stylos
      • 4 pack gold : 1 T-shirt standard / lanyard / stylos
      • 10 pack silver : lanyard / stylos
    • Ouvert uniquement aux extérieurs à la team

Systèmes de Bêta-Test mis en place :

  • Bêta-Test ouvert à tous sur tarballs avec périodes de bugs squashing (0.78)
    • Pour : quelques bêta-testeurs productifs, pas mal de bêta-testeurs faisant des retours uniques
    • Contre : une grosse part des beta-testeurs ne demandes que des explications. Très peu d'impact des périodes thématiques de bugs squashing.
    • Conclusion : Pas vraiment productif sauf si une poignée de bêta-testeurs font des tests intensifs
  • Bêta-Test ouvert à tous sur tarballs (0.72)
    • Pour : quelques bêta-testeurs productifs, pas mal de bêta-testeurs faisant des retours uniques
    • Contre : une grosse part des beta-testeurs ne demandes que des explications.
    • Conclusion : Pas vraiment productif sauf si une poignée de bêta-testeurs font des tests intensifs
  • Bêta-Test ouvert sur inscription sur tarballs (0.70)
    • Pour : bêta-testeurs inscrits majoritairement investis
    • Contre : certains bêta-testeurs ne s'inscrivaient que pour poser des questions sur le fonctionnement
    • Conclusion : Pas vraiment productif sauf si une poignée de bêta-testeurs font des tests intensifs