From: Murat Koc (murat.koc@frontsite.com.tr)
Date: Thu 09 Oct 2003 - 09:57:32 EDT
> Merhaba,
>
Selam,
> Ben size direkt HeartBeat (www.linux-ha.org) adresini oneririm.
> HeartBeat, istediginiz High-Availability (Yuksek Erisilebilirlik)
> cozumlerinden GNU lisansli ilk cikan yazilimdir ve OCF'de (Open Cluster
> Framework) onemli bir yere sahiptir. Gayet kapsamli, basarili ve
> performansli oldugunu sahsen soyleyebilirim.
>
> Alternatif olarak Kimberlite da
> http://oss.missioncriticallinux.com/projects/kimberlite/ kendini
> ispatlamis bir GNU cozumdur ancak MCL'nin ucretli cozumunun kirpilmis
> versiyonudur.
>
> Benim bildiklerim: HeartBeat, Kimberlite, OSCAR, Amata, IBM DLM, HP SSI
> ve The Linux Fail Safe Project.
>
Bunlarin disinda yaklasik olarak 20 tane daha var commercial olan ve ne
yazik ki opensource olan bu urunler bircok acidan commercial olanlarin
yaninda sonuk kaliyor.
Simdi aslinda cevap mailini uzunca bir zaman once atacaktim ama ne yazik
ki bu tur seyler icin zaman ayirmaktan hoslanmiyorum. Asagida benim
yazdigim seylere olur olmaz abuk subuk seyler yazan arkadasin niyetini
anlamis degilim ama hadi bakalim.
> > Benzer sekilde load-balancer lari failover yapabilirsiniz. Bu durumda
> > ancak heartbeat e ihtiyac duyarsiniz.
> >
>
> Cok guzel, ustteki load balancer'i HA yapmazsaniz clustr biraz allahlik
> olmaz mi? :)
Ustteki cumlemi tekrar oku.
Anlatirken en basit haliyle istenilen sekilde bir cluster in nasil
kurulacagini anlattim. Eger SPOF lari sifirlamak istiyorsak yapilmasi
gereken cok fazla sey vardir. Abesle istigal etme. Arsivlerden Baris
Metin ile yaptigimiz zamaninda SPOF maillerini oku.
>
> > Arkadaki iki mail server i ise identical olarak konfigurasyonunu
> > yaparsiniz.
> >
>
> Bu sadece isleri biraz kolaylastiracak bir sey ama bir mecburiyet degil.
> Yani RedHat uzerinde Apache olsun, Mandrake uzerinde baska bir web
> server, yine de takir takir calisir.
>
> Ayrica Sayin KOC'un cozumunu biraz tuzlu buluyorum. 1 mail server icin
> 1 Load Balancer, 1 veri deposu 1er de yedekleri, etti 6 makina. Web,
> DNS derken bir makina tarlasi ve gokdelen falan gerekir bunu
> gerceklestirmek icin :) Olceklenebilirlik, benim ilk kez IBM Turk'te
> kendisinden duydugum bir kelimeydi ancak burada atlanmis sanirim...
>
Muhtemelen IBM de staj yapan cocuklardan birisin. Seni hatirlamiyorum
kusura bakma. Siz orada cluster nedir seklinde arastirma yaparken ben
obur tarafta musteride bilmem kacinci cluster kurma isi ile ugrastigim
icin hatirlamami mazur gorursun umarim!
> > > Burada kritik durum mailboxlarin iki makinadada senkron olmasinin nasil
> > > saglanacagidir. Bunun icin ise ayri bir storage server ornegin isinizi
> > > gorebilir. Maili hangi makina almis olursa olsun her iki makina icinde
> > > ortak olan bir depolama birimine yazar ise sorun kalmaz.
> > > Bilgisayar bagimsiz raid cihazlari piyasada cokca bulunmaktadir.
> > >
> >
> > Burasi yukardakinden daha karmasiktir. Ayri storage serveriniz olsa dahi
> > filesystemleri sync tutmak icin storage server uzerinde kuracaginiz file
> > system ditributed olmalidir. NFS bir cozumdur ama yeterli degildir.
> > distributed nfs bir cozumdur ama yeterli degildir. Bundan dolayi coda,
> > intermezzo, GFS (Global File System) cozumdur ama ucretlidir, GPFS
> > (General Parallel File System) cozumdur ama paralidir, PVFS gibi file
> > systemler kullanmaniz gerekmektedir.
> >
>
> DRBD (Distributed Replicated Block Device) var. O da kalitelidir.
> Sonra NBD (Network Block Device) da oturmus sistemler. Yanilmiyorsam,
> cok buyuk bir ihtimalle bunlar GNU lisansli. Tabi LVM (Logical Volume
> Manager) da unutulmamali.
>
> Bunlarla kurarsaniz, 3. makinaya ihtiyac kalmayacaktir. Yoksa gercekten
> ama gercekten isiniz var. 6 makina'nin bakimi, guvenligi,
> guncellenmesi: Sayin KOC'un cozumu kesinlikle olceklenemez bir cozum.
Super kac tane yerde DRBD ve NBD ile cluster kurdun cok merak ediyorum!
LVM i ayrica ortak storage da sync icin nasil kullanacaksin o da ayri
bir merak konusu.
NBD ile sen bir makinadaki datayi read-write mount et sonra baska
birinden daha mount et bakayim ne oluyor. Birak onu sen bir
fibre-storage da iki tane makinayi ayni yere mount et ve ustune ovdugun
su super drbd, nbd yapmaya calis sonra bak bakalim ne kadar sync olmus
veya ne kadar data ucmus. Tabii ustune LVM koymayi unutma.
Ben senin bu nbd, lvm filan ne yapmistim biliyor musun? Sanirim sen o
zaman duymamistin bunlari. 40 tane makinadaki bos olan 2Gb yerleri tek
merkezde kullanip ftp server. taaa ben okulda iken kac sene olmus iste
:)
Eger amac ortada saglam bir cluster yapmak ise o zaman yaklasik $100K
civari parayi donanim+yazilim icin gozden cikartirsin. Haa daha ucuza
yapamaz misin yaparsin tabii. Bir kere sadece senin ister scsi olsun (ki
active-active yapacaksan locking islemleri scsi subsystem bazinda cok
sorun cikaracaktir) ister fibre olsun birkac $10K i sirf donanim icin
cikarman lazim. Tek active-passive yapacaksan iki makina arasindan
surekli data nin rsync ile sync yapilmasini dahi saglayarak istedigin
islemi yapabilirsin. Tabii bu senin yapmak istedigin icin ne kadar
profesyonel olacagini da belirleyecektir.
Ki gercekten onemli is yapiyorsan hickimse aptalca bir sekilde NBD, DRBD
ivir zivir kullanmaz bunlar icin adam gibi filesystem kullanilir. Bu tur
teknolojiler ile uzerine esasen distributed olmayan bir amaca icin
yazilmis filesystemleri koymak aptalliktan baska birsey degildir.
> NFS'se en ama en olmayacak cozumdur! NFS, pesinde pek cok problemle
> gelir ve HA sistemlerde NFS kullanmak veri kaybina yol acar. Cunku
> burada bilgisayarlarin suurlarini kaybettiklerini durumdan bahsediyoruz
> ve bu yuzden senkronizasyon NFS duzeyinde tutulamaz.
>
aferim en azindan soyledigim birseyi onaylamissin.
> Bilahare, NFS zaten kendi icinde sakatliklar arzeder: NFS bir sistemde
> mesela open ()'i appendle kullanamazsiniz. Konuyla ilgili man 2 open
> yazarsaniz, (ingilizce kusura bakmayin) "O_EXCL is broken on NFS file
> systems, programs which rely on it for performing locking tasks will
> contain a race condition." ve "O_APPEND may lead to corrupted files on
> NFS file systems if more than one process appends data to a file at
> once. This is because NFS does not support appending to a file, so the
> client kernel has to simulate it, which can˙t be done without a race
> condition." gibi iki siddetli toktok goreceksiniz. HA sistemlerde race
> condition'a (iki sistemin de -yanlislikla- ayni anda ayni isi yapmak
> istemesi, ornegin ayni disk bolgesine double mount) karsi onlemleri
> temel secim kriterlerindendir. Bkz: Linux-HA STONITH (Shut the other
> node in the head)
off off daha cok sey ogrenmek gerekecek. Kacinci yuzyilda yasiyorsun?
Test if attribute data is newer than cached data
* @inode: inode
* @fattr: attributes to test
*
* Avoid stuffing the attribute cache with obsolete information.
* We always accept updates if the attribute cache timed out, or if
* fattr->ctime is newer than our cached value.
* If fattr->ctime matches the cached value, we still accept the update
* if it increases the file size.
*/
> NFS'i kullanMAmanizi siddetle oneririm.
>
> > Bu sekilde bir sistem ile node ihtiyaciniz oldugu zaman rahatlikla
> > ekleyebilirsiniz veya cikartabilirsiniz.
> >
>
> Hayir, bunlar ilgisizdir. Node eklemek ile filesystem'in ilgisi
> yoktur. Demek istedigim, 2. dugum icin zaten DRBD kurduktan sonra, 3.
> dugumu eklemekle 13. dugumu eklemek HA cozumunun becerisiyle ilgilidir.
> HeartBeat 100, Kimberlite 64 cluster'a kadar destekliyor.
ya su HA sistem kurma isinde DRBD olayini gecelim bir kere. Sacmasapan
seylerle HA kurulmaz. Ortak storage da locking mekanizmasini ve sync i
saglamak icin nasil oluyorda filesystemden alakasiz oluyor.
sallamayalim.
> > Bunlarin benim kullandiklarimdan GPFS ve GFS en iyileridir ve bunlari
> > kullanmanizi tavsiye ederim.
>
> Hatta hatta, okumayi seven biriyseniz :) bu benim bitirme odevimdi, size
> "biraz" kaynak onerebilirim:
Bitirme odevini BITIRMISSIN hakkaten.
Soyledigin sekillerde yapmaya calistigin cluster ne yazik ki biraz
zorlaninca sak diye hemen coker ve hicbir anlami kalmaz yaptiklarinin.
Ayrica data corruptionlar yasarsin.
Ne varsa biraz daha guncel bilgilerle daha iyi seylerle soylediklerime
karsi cikarsan o.k. Ama fi tarihinden kalma ve sacmasapan itirazlar ile
soylediklerime karsi birseyler ortaya koyma. Beni de boyle abuk subuk
sekilde yazdirtdirma.
-- __________ | | | | Murat Koc | | Manager & IT Consultant | FRONT | |==========| FrontSITE Bilgi Teknolojisi A.S. |_____SITE_| http://www.frontsite.com.tr/ -- Attached file included as plaintext by Ecartis -- -- File: signature.asc -- Desc: This is a digitally signed message part -----BEGIN PGP SIGNATURE----- Version: GnuPG v1.2.3 (GNU/Linux) iQIXAwUAP4VpSErXxj6PxL+iFAJy5wgAqN87B6J6zuMMEWf26bOheBJbF2cSezw3 Nzp1Ax/BDyKPb29CnsA0w3/sc9LU9aQvofmypB7trNg/SDiMqqC4Q3K+5LBPQpI6 AITT2+j8jxkR8uxTK7eMrmH98c6FPn46XJ+ajQnjxaIwiGqfmwveVbWBa3Y8MJ9R yGiU++n4XIbg3Oj+ykbgY4ZnFpnNleJhdv7qi0EZXQhN9A6AlpqH2CHLeeoXMLAy KEv9+R+bYp+1ptW/5nSAtNr/oNydcXOG17Fo9Y5xIg/gpESzBHjV7V6SJxZHmPqg f/r40Tzmz5PV4WbcYukwpU5k1ECBQx+nnp3Fo0HYsI+WHGv6drP8xwgAwdj/+Q0Q zgIk+xp1KsR3/18tXQ1qagDCsPcTlr6Ma/P9ioB+w5SKS3MqefI7826jLfy9y9zy Sn84ROy8VjZghMz/vLUwHCjL9itsGHRDt9bcLFnr4vJ+MYT8c4bcANer8dmx0IeK jZ1m57I7KQu1mANNuqwTf5zX+y4Hg435AxtuByVfzb79U0n/UADet1nb3IwM95+j 3Vv1Yl8iFZhyn8ajUFkgmv4GDFjOl7IX7TwbfAtr/PADFHTm5ptHTN4o6nkpnyFG 7fdbGFCHJXZhZYPAGCZv1k6RVGBig1j13/cJldHocIq8Y56zjT5nFE6muZnpFJLR 3pxN7rEbN0AVMg== =9Wu7 -----END PGP SIGNATURE-----