Názory k článku Souborový systém Btrfs: změny za chodu a práce s RAID

RAID5 som skúšal pred pár rokmi a preto ho zásadne nedoporučujem. RAID1 je proti tomu v pohode. Toto sú príčiny:
- z RAID5 nevedel grub bootovať (z RAID1 áno),
- všetky výpočty voľného priestoru, ako df, btrfs fi df a podobne vyhadzovali pri RAID5 blbosti.
- po pár mesiacoch sa RAID5 zosypal tak, že nebol schopný ani konverzie na RAID1.
- RAID1 mi funguje niekoľko rokov na jednom serveri a v pohode.

"RAID5 som skúšal pred pár rokmi a preto ho zásadne nedoporučujem."

Chápu to tak, že ho nedoporučuješ cestovatelům v čase, co se budou vracet do doby před pár lety? :-D

Nie, ale pravidelne sledujem zmeny v kerneli a žiadne zmeny ohľadom BTRFS a RAID5 som nehachytil, takže predpokladám že tie problémy stále nie sú vyriešené.

až na write hole jsou

Já jsem teda BTRFS RAID5 zatím nikde nepoužíval, přesto jsem zachytil nejprve informace, že je úplně rozbitý (neplní funkce RAIDu) a nemá se používat, a později informace, že už by to mělo být spravené. Takže to, že jste žádné informace nezachytil, mi připadá dost zvláštní.

Mno, vývojáři zatím nedoporučují RAID5 používat:

https://btrfs.wiki.kernel.org/index.php/Status

"Unstable: do not use for other then testing purposes, known severe problems, missing implementation of some core parts"

Používám RAID6 asi 5 nebo 6 let na 6 discích, ze začátky bylo hodně problémů, kernel panics, zatuhnutí PC. jednou jsem přišel o všechna data. Přešel jsem na styl, abych měl vždy, co nejaktuálnější kernely. Poslední 3-4 roky nemám žádné problémy a to jsem i několik disků měnil. Jenom mi trochu vadí, že scrub trvá týden a ten týden je opravdu utrpení ten server používat, všechno je hrozně pomalé.

Ahoj, já v roce 2015 nadšeně zkoušel btrfs raid5, ale měl jsem problémy, možná to souviselo i s tím, že jsem měl nějaký podivný HW řadič. Každopádně jsem se chtěl k btrfs raid5 vrátit, ale stále není označený za stable. Tvoje zkušenosti jsou tedy takové, že používáš raid6 nad produkčními daty? A stačí jen používat vždy nový kernel? Na jakém systému jedeš?
Díky

No, produknčními bych neřekl, nad domácími daty, filmy, videa, hudba, běží tam nějaké servery, pošta, nextcloud, mastodon, nahrává ze satelitu. Používám openSUSE Tumbleweed. Co já vím, tak jediná chybějící věc je write hole, ale nesetkal jsem se s ní i přes výpadky proudu nebo vypínání natvrdo, když bylo období, kdy mi server zatuhával, kvůli threadripperu.

Přesně na tohle bych ho používal, teď mám raid5 nad ext4 a pro málo místa nemůžu rozšířit prostor. Jinak domácí server je samozřejmě za UPS a nenahraditelná data jako fotky a dokumenty mám ještě zrcadlené k rodičům v jiné lokaci. Takže nic bez čeho bych nepřežil.

Kdy by ten RAID 5 mohl být dokončen? V tomhle stavu kdy je to inzerováno jen k testování a nedoporučuje se tomu svěřit reálná data už se to nachází mnoho let.

Problem RAID5 je v tom, ze v nom nie su peniaze.

Pre "velke" data sa pouzije NAS/SAN, kde sa nativny filesystem neriesi, to je zalezitost vyrobcu, pre este vacsie data distribuovane systemy, ktore si chcu manazovat disky same (ala Ceph).

Pre "male" systemy RAID5 netreba, napr. kontajnerizacny workload co pouziva Facebook si vystaci s jednym fyzickym diskom, ked node odide, nic sa nedeje. Pokial sa nieco da do stanice, tak skor RAID1/10, 5 urcite nie.

Tak zostava RAID5 pre domacich nadsencov, homelabistov a podobne use cases, ktori chcu pomer kapacita/cena RAID5, ale ktori vyvoj neutiahnu.

NAS/SAN používá vespod nějaký podobný filesystem. Někdy ZFS, Btrfs si nikdo, snad jen kromě Synology netroufl.
Jestli má mít Btrfs nějakou budoucnost, musí tento práh přeskočit!

Nejen Synology, je jich víc. Jednak levnější "consumer" NASy (Thecus, Asustor a pod. - každý má nad tím nějaký grafický snapshot kabátek) a jednak o dost dražší on-premises "NAS as a service" jako např. Unraid, který se používá hodně v multimediích (menší studia s <100 TB).

Každopádně jsou to firmy, které dokázaly najít příjem a z něj si zafinancovat podporu pro R5, ale zpětně už se o své zkušenosti nedělí.

Synology Btrfs nepoužívá v režimu RAIDU, to běží až jako fs nad RAIDEM vytvořeným pomocí mdadm.

Zajímavý článek / seriál článků.

Pokud bych ale mohl poprosit, bylo by fajn pokud by v jednom z dalších článků bylo rozebráno chování v případě výpadku disk, a další pak s ukázkou opravy/obnovy pro některé případy.

Co tak lehce sleduju různá fóra, co kdo řešil atp. tak by mne zajímalo například:
* jak se projeví/může projevit výpadek nebo chyba za běhu systému (pád aplikace/systému, unmount? nebo běží až do příštího restartu a pak nenamountuje(bez degraded volby) )
** - v případě že je ještě dost disků
** - v případě že je málo disků na zaručenou redundanci (např. když umře druhý disk z
dvoudiskového Raid1)
** - výpadek dalšího disku během rebalance (např pokud by bylo 10disků v raid1)
** - Jak se v situacích výše chovají nové režimy raid1c3 / raid1c4?
** Jak dá btfrs vědět o výpadku disku (pro monitoring)
** Jak dá btfrs vědět o problémech které se ale podařilo opravi (pro monitoring - statistika)
* Jestli je stále v případě kdy nelze zajistit redunndanci (např vypadne druhý disk z dvoudiskového raid1) možno přimountovat v RW jen jednou? A jak jsou na tom v tomto ohledu nvé režimy raid1c3 raid1c4?

Informace se dají najít různě po webu, ale většinou jsou starší nebo nekompletní , a většinou se řeší až násldná situace kdy disk nejde namountovat.

Aktuální přehled o chování během výpadku, a během prvních chvílích pokusů o diagnostiku a opravu(to je možná na samostatný článek) by myslím tomuto seriálu slušel.

Možná mi tu někdo vysvětlí následující situaci v Ubuntu 18.04:

btrfs fi show:
Label: none uuid: 55c2cb51-94bf-2176-bf80-9c0c87bd6504
Total devices 5 FS bytes used 119.54GiB
devid 1 size 418.81GiB used 273.06GiB path /dev/sda6
devid 2 size 418.81GiB used 273.06GiB path /dev/sdb6
devid 3 size 418.81GiB used 273.06GiB path /dev/sdc6
devid 4 size 418.81GiB used 273.06GiB path /dev/sdd6
*** Some devices missing

mount:
/dev/sda6 on /storage type btrfs (rw,noatime,de­graded,compres­s=lzo,space_cache,sub­volid=5,subvol=/)
(viz degraded)

btrfs device delete missing /storage/
ERROR: error removing device 'missing': no missing devices found to remove

Problém RAID 5 (stabilní / nestabilní) je tak trochu problémem z dřívější doby, kdy byla malá kapacita disků, dnes je už velká a asi stačí RAID 1 i pro SOHO. Ale velice podobná je i situace s příkazem replace pro jednodušší náhradu disku, pokud na nahrazovaném disku ještě jde přečíst superblok. Bezproblémové využití replace bez následné magie by správu btrfs významně zefektivnilo !! Ono to nějak funguje, ale statusové informace po jeho provedení nejsou úplné, zdánlivě je vše v pořádku, ale doporučuje se použít ještě příkaz dmesg a pak se objeví chyby. Jak to tedy je - v jaké situaci se replace může použít bez obav, v jakých případech je jen pro experty a kdy je třeba se mu obloukem vyhnout? Takovéto příkazy poněkud devalvují jinak vynikající filesystém btrfs.