Achmad Mardiansyah's Journal

Manage your knowledge by writing it

ZFS deduplication

with 2 comments

semenjak posting saya tentang kernel conference di brisbane, ada rekan yang bertanya tentang ZFS deduplication:

> Jadi deduplication ini bakal diimplementasikan di layer filesystem dari OS?
> Jika maksudnya untuk virtual machine saja, setahu saya Qemu, KVM dan
> User Mode Linux sudah menerapkannya dalam bentuk image yang berbentuk
> COW (Copy On Write). Jadi COW ini berbasis pada suatu image fix, dan
> perubahan yang dilakukan ditulis pada image lain. Dengan demikian jika
> ingin membuat varian baru berdasar image original, tinggal membuat
> image COW lain berdasar image original
> Yang menarik ini tentang hasil speed I/O bisa naik sampai 30%. Ada
> penjelasan metodologi testingnya?

iya. feature ini bakal ditambahkan di ZFS yang sekarang. command untuk eksekusinya adalah:
zfs set dedup=on bla bla bla…
hmm concept COW dari pemahaman saya bukan seperti yang ditulis pak. kalo yang di virtual machine (vmware,qemu,vbox) itu mirip seperti process deduplication, bukan COW. saya memang mengambil analogi dengan menggunakan virtual machine supaya pembaca punya gambaran tentang konsep deduplikasi meskipun analogi ini belum tentu 100% sesuai.
tulisan saya tentang COW di ZFS bisa disearch diblog ini.

saya ambil contoh tentang dedup ya:
misal kita simpan sebuah file yang menempati 10 blok diharddisk. kernel bakal inget itu pattern dari 10 blok tersebut. trus ada orang yang simpan file pada storage yang sama yang besarnya 10 blok & patternnya sama dengan yang diatas.
yang terjadi adalah:
kernel ngak bakal nulis 10 blok lagi karena dia tahu pattern blok yang mau di tulis tersebut sama dengan yang sudah ada di harddisk. sehingga kernel hanya akan ngasi pointer aja ke 10 blok tersebut. kalo ada data tambahan, barulah nulis blok baru lagi.
hasilnya:
– hemat space: karena tidak perlu nulis 10 blok lagi
– lebih cepat (read): karena bisa jadi blok tersebut udah ada dalam cache harddisk sehingga ngak perlu baca lagi dari cakram.

untuk metodologi testing, saya ngak tau. mungkin bisa tanya sendiri ke speakernya…

Written by Achmad Mardiansyah

July 21st, 2009 at 1:57 pm

2 Responses to 'ZFS deduplication'

Subscribe to comments with RSS or TrackBack to 'ZFS deduplication'.

  1. nice technology,,, saya baru install openindiana build 147 dan ternyata zfs nya sudah ada fitur dedup.

    Rachmat Febrianto

    23 Sep 10 at 13:25

  2. hmm berarti udah nyoba nih kayaknya?
    crita2 dunk gimana…

    Achmad Mardiansyah

    23 Sep 10 at 14:09

Leave a Reply