[Gelistirici] Test süreçleri - Otomasyon ve Ölçüm

[Serbulent UNSAL]

On Sunday 21 December 2008 13:00:17 Doruk Fisek wrote:
> Sat, 20 Dec 2008 18:51:58 +0200, Erkan Tekman <tekman at pardus.org.tr> :
> > Test adımını ortadan kaldırsak toplam süre 12,5 gün olacak. Bunun
> > kabul edilebilir, 17,6'nın kabul edilemez bir süre olduğunu mu
> > düşünüyoruz?
> > ACK/NACK ve test adımlarını kaldırırsak süre 6,4 güne düşecek. Evet,
> > bu diğerlerinden net bir şekilde 1+ hafta daha kısa bir süre. Ama
> > gerçekten aradaki süreçleri kaldırmaya değecek mi?
>
> Oncelikle kisisel fikrim, yapilan istatistik cok sagliksiz. Rastgele
> paket secerek yapilmis ama zaman dilimlerine gore yapilan is oldukca
> farklilik gosteriyor.
>

Öncelikle bu çalışma "Bakın ne kadar da hızlıyız" amacıyla yapılmadı. Orada 6 
günde biten test örneği de var ( ki olması gerekenden yavaş bence ) , 3 günde 
bitende ( bu da fazla hızlı ve katılımın düşük olduğu bir testti )

> Hicbir problemi olmamasina karsin 1.5 ayda gecen paketler oldugu gibi,
> problemli olmasina karsin 3 gunde aktarilan paketler de oldu.
> Sadece son 1 ayda, o da rastgele ortalama alip paketlerin 17.6 gunde
> depoya vardigini dusunmek, yanlis bir kabulle yanlis bir sonuca varmak
> oluyor.
>
> Ornegin ilgili kisilerin halet-i ruhiyyesine gore bir paketin sadece
> ikili test deposuna varmasi bile bir haftayi bulabiliyor. Ya da test
> deposuna bir gun sonra varmasina karsin, test surecine girmesi 2-3
> haftayi bulabiliyor.


Bu dediğin örneklerin hemen hepsi çalışmada da görülebiliyor, demek o kadar da 
sağlıksız değilmiş ? Test deposunda yeterince beklemiş, hata içermeyen ve 
geliştiricisinin ilk seferde ACK verdiği bir paket için ortalama doğru. 

Tek tek örnekler üzerinden konuşarak gerçekçi bir tartışma yapılamayacağını 
düşündüğümüzden böyle bir çalışmaya gerek duyduk. O yüzden tartışmayı tekrar 
uç örnekler üzerinden yürütmesek ? 


>
> Su bir gercek, bu konunun tekrar ciddi (ve sert) bir bicimde
> tartisilmaya baslandigi son 1-2 ayda test sureci artik daha ciddi
> bicimde yapiliyor.


Bu konu tartışılsa da tartışılmasa da aklımızda süreçlerimizi nasıl daha iyi 
yaparız sorusu hep var. İçimizden birisi unutsa diğerleri unutulmasına zaten 
müsade etmez, etmiyor da.

Senin bir başka postanda söylediğin gibi 8-10 aylık olan bir süreç bu. Daha 
yeni yeni her test öncesi onlarca paketin nasıl test edileceğini ilk defa 
yazmaktan 3-5 paketin testini yazma durumuna geldik. 

Test süreçlerini nasıl daha iyileştirebiliriz konulu (ki bir bölümü cevapsız 
kalan veya 3 gün tartışılıp unutulan) postalarım halen mevcut bu listede.

> Daha once baska gelistiriciler yine bunu dile 
> getirmisti, bir konu tartisildigi sirada dikkat edilmeye baslaniyor,
> daha sonra tekrar eski haline geliyor.

Başlangıçdan bu yana genel olarak daha hızlandığı doğru sürecin. Evet bu 
listedeki tartışmalarında buna katkısı olmuştur. Ama cümlenin 2. kısmındaki 
ithamı eğer yanında sağlam sayısal veriler ile desteklemeyeceksen kabul etmem 
mümkün değil. Bir şeyleri suçlarken hiç olmazsa destekleyecek bir iki kanıt 
koy yanınaki havanda su dövmeyelim. 

> Ama bununla ilgili "adı konmuş" 
> zaman kurallari olmadigi icin bu sagliksiz olcumun bile aslinda sadece
> gecici bir performans olarak kalabilecegi bir gercek.
>
> Daha test ekibinin gokten zembille indigi ilk andan beri ayni seyi
> defalarca soyledim. Surecin belirsiz degil, belirli olmasi gerekir.
> Paket testlerine ne zaman baslanir (or: her Sali), kararli depoya ne
> zaman paket aktarilir (or: her Pazartesi), test deposu ne zaman
> derlenir (or: her iki gunde bir). Bunu kisilerin keyiflerine birakmamak
> gerekiyor. Yakinda test surecinde 1 yili devirmis olacagiz, hala bu
> konuda bir arpa boyu yol katedilmek istenmiyor.
>
> Istenmiyor diyorum cunku bunlari tanimlayip, kaotik ve belirsiz ortam
> yerine bunu gercek bir surec haline getirmenin cok zaman alacagini
> dusunmuyorum.

Peki sence, bu adamların canı istemiyordan daha mantıklı bir neden olamaz mı 
ortada ?

Şöyle yapalım; sen bana bundan sonraki testlerde kaç defa testci deposunu 
çeşitli sebeplerden yeniden oluşturmak zorunda kalacağımı, kaç defa testin 
bitmesini engelleyen kritik hata ile karşılacağımızı, bu hatalara ilişkin, 
hata bildiren testçiden ne kadar zamanda geri dönüş alacağımızı ve benim 
tahmin edemeyeceğim bunlara benzer diğer sorunların ne kadar zaman alacağını 
söylersen ben de hemen sana yıllık programı çıkartırım.

Konu kimsenin keyfi ile ilgili değil senin anlayacağın. Ama belirli bir 
periyot vermek de mümkün değil. Sadece elimizden gelenin en iyisi demekle 
yetinmek durumundayız, istemesek de.

>
> Oysa nedense surekli bir "savunma" ve "koruma" hali devam ediyor.
> Yapilan bircok iyilestirme onerisi (paketleri siniflandirma, zaman
> tanimlarinin yapilmasi, vb) sanki yapilmamis gibi davranilip "ya hep,
> ya hic" yaklasimlari sergileniyor.
>

Hayır sadece alternatif süreçlerin daha faydalı olacağına 1-2 kişinin değil 
ortak aklın ikna olması gerekiyor. Bir de madem bir taş atıyoruz bu sefer 
düzgün atalım, hem de nasıl taş atılacağını adam gibi 
tanımlayalım/belgelendirelim durumu var işleri biraz daha yavaşlatan.

> Ben yapilan saptirmalari duzeltmek icin hem tekrar tekrar anlatmakta,
> hem de surekli yazdiklarimi hatirlatacak enerjiyi bulmakta gucluk
> cekiyorum.
>
>                    Doruk

Sanki insanlar senin yazdıklarını bilerek erteliyor/savsaklıyor/saptırıyor muş 
fikrine kapıldığını düşünüyorum.

Tüm samimiyetimle söylüyorum ki, böyle bir şey yok. Lütfen tartışmaya devam 
etmeden bu tür düşüncelerin etkisinden kurtulmaya çalış. Aksi halde bu konu 
başlığı karşılıklı ego tatmininden başka bir sonuca varmayacak ki, böyle 
olsun istemiyorum.

Bu kadar zaman emek ve enerji harcadığımız bu tartışmalar serisinin sonunda 
elimizde somut birşeyler görmeyi en çok isteyenlerden biriyim emin ol. 

-- 
İyi Çalışmalar;
 
Serbülent