[Gelistirici] pbzip2

[Burak Çalışkan]

12-08-2010 23:44, Fatih Aşıcı yazmış:
> On Thursday 12 August 2010 23:23:59 Necdet Yücel wrote:
>> Selamlar,
>>
>> 12 Ağustos 2010 23:19 tarihinde Fatih Aşıcı <fatih at pardus.org.tr> yazdı:
>>> Aslında bzip2'i fazla kullanmıyoruz. farmda da index oluşturma dışında
>>> kullanılmıyor. Yeni pisi'de bunun yerine xz kullanılacak.
>>
>> Kullandığımız kaynak dosyaların büyük bölümü tar.bz2 şeklinde
>> olduğundan farmda işimize yarar diye düşünüyorum.
> 
> Pisi bu iş için python modüllerini kullanıyor. Burada etkin olması için 
> libbz2.so.1 kitaplığının da yerine geçen bir kitaplık çıkması lazım.
> 
>>> Bunu öntanımlı yapan popüler bir dağıtım var mı? Yeterince kararlı
>>> olduğundan emin olabilecek miyiz?
>>
>> Benim bildiğim yok. Ama PiSi kullanan da başka dağıtım bilmiyorum ;)
>> Gentoo paketini kurunca /usr/bin altına bzip2 olarak linkleniyor. Yani
>> öntanımlı bzip2'nin yerini alıyor.
>>
>> Aktif olarak geliştirilen bir proje. Hatta mpibzip2 diye daha acayip
>> bir projeyi de geliştiriyorlar.
>>
>>> pbzip2 ile sıkıştırılan dosyalar normal bunzip2 ile açılabiliyor değil
>>> mi?
>>
>> Evet. Sıkıştırma ve açma konusunda bir problem yok. Performansta büyük
>> artış var.
> 
> Deneyebiliriz bence.

pbzip2 output'u klasik bz2 output'undan farklı. Şöyle ki; pbzip2
thread'i veriyi sıkıştırırken, bz2 header'i (hex BZh9 ile başlar)
ekleyip dosyanın sonuna yazıyor. Bu da bir .bz2 dosyasında birden fazla
.bz2 header'i olmasına neden oluyor, dosya boyutu bir miktar artması
bundan kaynaklanıyor. bunzip2 çok header'lı bz2 dosyalarını sorunsuzca
açıyor. Ancak, (yanlış hatırlamıyor isem, aradan çok zamana geçti)
python'un ya bz2 modülü ya da tarfile modülünün bz2 decompress desteği
bunu düzgün açamıyor. İlk bz2 header'i okuyor, diğerlerini okumuyor,
dosyayı eksik çıkartıyor. Python ile bunu açarken sorun yaşamamız
muhtemel(gerçi index'te .tar formatı yok)

bzip2smp oluşturulan dosya ile bzip2 oluşturulan dosyanın hash'leri aynı.

Aklımdayken söylemiş olayım.