Názory k článku HTB - automatizujeme

Jen mensi preklep, k pred-predposlednim radku v "shaping-builtree" je chyba. Radek
->
tc filter add dev ${IFACE} parent 1${grp}:0 protocol ip handle {$grp}${band} fw flowid 1${grp}:${band}
<-
je nutne nahradit
->
tc filter add dev ${IFACE} parent 1${grp}:0 protocol ip handle ${grp}${band} fw flowid 1${grp}:${band}

GROUPS
An array variable containing the list of groups of which the current user is a member. Assignments to GROUPS have no effect and return an error status. If GROUPS is unset, it loses its special properties, even if it is subsequently reset.

Neni to primo k tematu, ale souvislost to ma - jaky efekt bude mit, kdyz v downloadu(ne v uploadu!) budu urychlovat vsechny ACK pakety ? (tzn v souvislostech tohoto clanku je hodim do stejne tridy jako SSHcko). Diky...

V zasade je to dobry napad a mohlo by to mit celkem pozitivni efekt, zkuste to. Na druhou stranu tech ACKu muze byt celkem dost, takze by mohli saturovat odchozi linku, takze uplne do stejne tridy jako SSH bych je asi nedaval.

Ma mereni ukazala, ze ACK ma nastaveno prilis mnoho packetu (tedy i ty, co nesou data), takze je potreba brat v potaz, ze packet s ACK flagem muze byt i "obtezovatel".

No, zasadni problem v tomhle je v tom, ze i ACK packety (respektive packety s nahozenym ACK flagem) mohou nest data. To, ze je vetsinou nenesou je zbusobeno stylem prace nadrazenych protokolu na bazi request-response.

iptables -t mangle -A PREROUTING -p tcp --tcp-flags ALL ACK -m state --state ESTABLISHED -m length --length 40:100 -j MARK --set-mark 20

Tymto by sli oznacit ACKacka z velostou 40 - 100 bytov ...

Pochopitelne. Ale puvodni varianta to tak nedela. A mam dojem, ze -m length je volitelny option iptables a musi se explicitne zakompilovat (mozna je vetsinou zapnuty, to nevim).

Zdravim,
pojal jsem shaping trochu jinym zpusobem a asi by bylo zajimave to konfrontovat.
Moje cile a jejich dosazeni
-aby clovek co ma pusteny p2p neobtezoval ostatni
-aby se dal parit CS, bezohledu na to kdo co taha
-aby jelo Radio1 pres internet bez cukani (btw:ukazalo se tez jako dobry diag. nastroj,
protoze se da krasne rychle pustit : 'mplayer http://live.atlas.cz/radio1/radio1-20.asx' - nejlepe hodit do skriptu.)
-aby www brouzdani melo "prioritu" a jel "rozumne" rychle
-kdyz dojde na nejhorsi situaci, tzn nekdo taha neco velkyho z www, tak aby mi to jelo aspon polovicni rychlosti

Realizace :
Downloadu delim na 3 classy, podle priority. Prvni - rekneme interaktivni, druha - puvodne mineno "prostredni",nyni pouze na web, treti -nizkoprioritni- na vsechno ostatni.
Konfiguraci jsem okoukal z wondershaperu na lartc.org, ale skript si stavim vlastni.(Kromtoho wondershaper neni pripraveny na nasi konfiguraci 2 sitovkama)

Bohuzel je to dost komplexni situace a neobejde se bez zjednodusujicich predpokladu :
1) na routeru nebezi zadny proces generujici traffic [ zejmena Squid a take Apache-kdyz nemame dost bandwithu pro sebe, nebudeme ho jeste davat cizim(navic nahodny charakter pristupu by ztezoval diagnostiku) ]
2) aby jsem se nazamotal z klasifikace bandwithu, predpokladam apriori vsecheno ma nizkou prioritu
3) do prioritni tridy nasypu : CS(podle src port), Radio1 (podle src IP ), DNS resolvy, ACK-y [tim
si popravde receno nejsem jisty, v uploadu urcite, ale v downloadu ? ]
4) prostredni tridu delim na poloviny podle dst ip, abych mel zarucenou pulku pasma kdyz si nekdo pusti download [delim linku mezi 2 rodiny,predpokladam ze v ramci 1 rodiny se lidi sami dohodou "kdo to prave brzdi"]
5) zatim shapuji pouze download, uzivatelum jsem zakazal blokovat upload(ke cti jim slouzi ze to vesmes dodrzuji). Situaci jsem tak podstatne zjednodusil a vyhnul se fwmarku(casem asi bude).
Upload zatim to resim tak, ze je tam 1 sfq-cko -je na 1 radek a udela to spoustu prace

Rad bych sem napsal ze vsechno chodilo na 100%, ale menil jsem skripty do toho navic UPC rozdrbalo rychlost a kvalitu linky, takze aspon to co (nekdy) uspesne fungovalo :
-prioritizace CS - pri plnym zatizeni linky ukazovalo CS ping temer jako na prazdno
-prioritizace Radia 1 - at se delo cokoliv, buffer byl dost plny takze ani necuklo
-web se delil fifty fifty , takze vzdy se dalo pozitelne brouzdat, i kdyz to bylo trochu pomale.
-kdyz nikdo nic nedelal, p2p traffic si zabral celou linku a plnou rychlosti stahoval
-web stanky se zacinaji nacitat rychleji a celkova doba natazeni je kratsi, i kdyz nekdo jiny mam p2p na plny kotel. (to je ovsem jeste necim jinym, a to perturbem)

PERTURB:
-zajimave, ze tomuhle parametru se nikdo moc nevenuje, i kdyz jeho vliv je znacny - obvykle je perturb 10sec. domnivam se ze v dusledku to znamena, ze kdyz je 100% zatizena linka a odklepnu v browseru URL, tak browser bude muset 1-10 sec "zivorit" s jakousi zbytkovou kapacitou, nez HTB prepocita "kolik a kam tece" a prideli mu jeho urcenou cast pasma. Receno jeste vulgarneji, perturb="cas, kdy shaping nefunguje". Pri perturbu 10 vychazi prumerny cas cekani 5 sec, a to uz je na brouzdani dost poznat.
Proto mam vsude perturb nejmensi(tzn 1sec). Byla tu obava, ze to pak bude zrat moc CPU, tak jsem nainstaloval HOTSANIC a obcas to kontroluji(shaping mam tak jednoduchy,jak to jde a router(dual 133MHz pentium 1) ma trvale zatizeni 5-10% obou CPU, takze v pohode)
POZOR - cely odstavec o perturbu je "hypoteza ve stadiu overovani",takze ruku do ohne za nej nedam !

Porovnani s shapingem popsanym v clanku
-co se mi libi, ze kombinace HTB+PRIO krasne resi tento problem - pomery trid "prioritizovana/normalni/nedulezita" mam nastaveny fixne a tise predpokladam, ze v prioritizovane tride je traffic do 5kb, takze na web se vzdycky dostane. Pokud by ovsem nekdo tuto tridu nedejboze zaplacl(map transfer v CS,vetsi stream radia1, tunelovani X pres SSH) tak na web nezustane nic - coz je jednoznacne chyba.

-na druhou stranu, toto deleni primarne podle IP adresy ma jednu fundamentalni nevyhodu : kdyz si 2 ze 3 vasich uzivatelu pusti trvale p2p na "co to da", udelaji z vasi krasne 256kbit linky 80kbit socku, coz uz pri brouzdani sakra poznate.

Zaver : Tim ze delim primarne podle druhu mi umoznuje webem "vytlouct" p2p z linky, kdyz je treba.
Dale vyzyvam zde pritomne ctene ctenare, aby popsali jakym zpusobem shapuji a jak dobre to funguje...

ako to tu popisujes, ti to musi asi chodit uplne dokonale. nemozes to niekde hodit na web, alebo poslat mailom? zislo by sa mi to na nabratie novych skusenosti s htb ;-)

Tyhle moznosti (tvoje a moje) jsou v celku ekvivalentni. Kazda ma svoje vyhody a nevyhody, ktery jsi shrnul, takze neni co dodat. Snad jen to, ze ja se ridil heslem, ze kazdej uzivatel ma pravo na svuj dil at se deje co se deje...

Pokud najdu cas, zkusim vymyslet nejakou hybridni kombinaci...

citam citam a pozeram ze ziadny skript na konci neni pastnuty :o) prosim ta napis ho boze vsak podla toho opisu je to presne to co potrebujem, je to borgska dokonalost sama

No, koukam ze jsem to asi moc prechvalil, me se to zas tak dokonaly nezda :) Skripty nemam ve forme vhodne k publikovani, ale do vikendu to zkusim napravit a postnu to sem. I kdyz popravde receno si myslim, ze ten slovni popis zbehlemu clovekovi k (re)konstrukci staci, a zacatecnikovi nepomuzou ani skripty...

Toz, pro ty,kterym to chybelo : skript je na :
http://www.sweb.cz/dvorak.vaclav/htb-vdv.zip

Nicmene - jak jsem to ted editoval a korigoval, uvedomil jsem si ze uzivatele+jejich chovani+poskytovatel+shaping tvori dohromady skoro organicky system, takze kdyz to fungovalo bezchybne 3 mesice, zitra uz to fungovat nemusi, natozpak v jine siti, s jinymi uzivateli. Je to zpusobeno volnejsim pristupem a povicero predpoklady pri jeho budovani-to je cena za rychlost. Tudiz kdyz se vyrazne zmeni chovani uzivatelu, bude ho treba opravit.
Zaver : Pokud vyzadujete spolehlivejsi system,nebo nemate takove zkusenosti s shapovanim a nevadi vam pripadna pomalost linky, je system pana Podgorneho pro vas lepsim resenim.

perturb je čas v sekundách mezi změnami hashovací funkce v sfq - tato změna pomáhá čelit případům, kdy se vám do jednoho slotu v hashovací funkci dostane jedna nebo více velmi aktivních např. "stahovacích" sessions společně se jinou např. "interaktivní" session, která je tímto bržděna a smysl sfq je tímto potlačen - díky perturb tento stav vydrží maximálně "perturb" sekund :)

Ma otazka je trochu z jineho soudku. Jak udelam, aby mi jel UPLOAD + DOWNLOAD dohromady 128? Chci rict, jak ukrojit z napr. 2 Mbit linky spoustu malich linek po 128 kbps, ale ne 128 UPLOAD a 128 DOWNLOAD, jak to funguje ted, protoze na eth1 a a eth0 je uplne jiny filter, tudiz kazdy pusti 128. Ale ja chci, aby to jelo proste celkem dohromady max 128. Jednoduche rovnice:
Takhle to chci:
MAX UPLOAD + MAX DOWNLOAD = 128
MAX DOWNLOAD = 128
MAX UPLOAD = 128
Takhle to je bohuzel ted:
MAX UPLOAD + MAX DOWNLOAD = 256
MAX DOWNLOAD = 128
MAX UPLOAD = 128
Proste aby max. propustnost linky byla 128. Lamu se s tim hodne dlouho, tak kdo poradi, udela mi velkou radost a bude to muj nejlepsi darecek k vanocum :))))

Zkus IMQ, milý Lojzo, milý Lojzo...;-)
http://trash.net/~kaber/imq/

Jak uz odpovedel kolega prede mnou, IMG by bylo resenim...

...kazdopadne by me docela zajimal duvod. K cemu by se to vubec hodilo?

oprava: IMQ

P.S.: Taky si to po sobe v "nahledu" nectete?

SFQ, pokud je nad nim trida s ratem kolem 64kbit, muze zpusobit priblizne 15 sekundove pingy, doporucuju mrknout na parametr limit u SFQ. (vcelku ok je tohle: limit = 32 >? (rate/2)

To by se ale clovek musel stourat v kernelu (coz jsem nechtel), ale dik za info. Kouknu na to...

Dejme tomu že mám do inetu linku cca 6Mbit. Uživatelů je poměrně dost že by bylo neúnosně vytvářet pro každého třídu.Je možné proto všechny pro všechny použít jednu class a pak pro některé privilegované uživatele samostatné class? Např.:
<CODE>
#classes
tc qdisc add dev wlan0 root handle 1:0 htb
tc class add dev wlan0 parent 1:0 classid 1:1 htb rate 5mbit ceil 6mbit burst 8k
#sem budou spadat všechny packety omarkované na 11
tc class add dev wlan0 parent 1:1 classid 1:11 htb rate 1mbit ceil 5mbit burst 8k prio 0
#sem budou spadat všechny packety omarkované na 10
tc class add dev wlan0 parent 1:1 classid 1:10 htb rate 128kbit ceil 5mbit burst 8k prio 1
#markování
iptables -A POSTROUTING -t mangle -d 10.26.2.0/24 -j MARK --set-mark 10
iptables -A POSTROUTING -t mangle -s 10.26.2.0/24 -j MARK --set-mark 10

iptables -A POSTROUTING -t mangle -d 10.26.2.1 -j MARK --set-mark 11
iptables -A POSTROUTING -t mangle -s 10.26.2.1 -j MARK --set-mark 11
</CODE>
Bude to takhle fungovat správně?

Mám Slackware 9.0
zkompilované jádro 2.4.25
iptables v1.2.7a
iproute2-2.4.7 ss020116

veškeré důležité části QoS mám v jádře (aspoň myslím)až na modul cls_u32 (který "modprobuju").

CBQ funguje, HTB nefunguje... :-/ modul htb je zakompilovaný do jádra (alespoň podle nastavení menuconfigu před kompilaci jádra to tak vypadá)

Hlášky:
> /sbin/tc qdisc del dev eth0 root
RTNETLINK answers: No such file or directory

> /sbin/tc qdisc add dev eth0 root handle 1 htb default 30
Unknown qdisc "htb", hence option "default" is unparsable

Následující nevypisuji, neb jsou analogické

U mazání (první řádek) je pravděpodobně standartní hláška (CBQ funguje, tak to bude asi OK), nicméně další chybová hláška, kde se pokouším zavést htb normální asi nebude :-D :-/.
Jestli ještě někdo selduje diskuzi, mohl by pls. poradit (nebo alespoň vnuknout nápad) co s tím ?? Nemůžou se v jádře "mlátit" části CBQ a HTB ?

Chtěl jsem nainstalovat iptables 1.2.9, jestli by to čistě náhodou nepomohlo, ale zarazilo mě upozornění: "This package requires a 2.4.4 kernel, or above." v souboru INSTALL v instalaci, takže jsem nezkoušel.

Opravdu nevím, co s tím a budu velice vděče za každou radu.

Děkuji.

Tak jsem již na to přišel. Musel jsem opatchovat (tedy stáhnul jsem binárky) tc, neb to s htb "nekamarádilo". Blbá chyba, která mě stála hodně času (např. se stačí podívt na čas mého prosebného přízpěvku :-))

nedavaj to do kernelu ale kompiluj aj htb ako modul a vsetky ostatne veci ktore to vyuziva a bude ti chodit aj htb
ja som mal rovnaky problem
good luck

Zdravim!

Jaka je HW narocnost na shaping? Napr. pro sit s 20-ti PC, pro sit s 200 PC... ???
Nova masina je sice za par korun, ale kdyz uz mam linuxovy router...

diky, amper

zalezi na rychlosti linky
pII450/256MB ram se zda s 2MBitem v pohode.

Ahoj ví někd jak nastavit správně traffic na freebsd?

je mozne cez u32 filtre filtrovat pakety ktore nejdu z lokalnej siete?
Priklad: server; 3 sietovky:eth0,eth1,wlan0; eth0 a wlan0 maju tu istu siet a maksku 192.168.2.0/24 - lokalna siet; eth1 smer internet.
Pomocou filtra

tc filter add dev eth0 parent 1:0 protocol ip prio 10 u32 match ip src 192.168.2.0/24

je mozne vyfiltrovat packety, ktore su z danej siete, ale ja by som potreboval vyfiltrovat pakety ktore NIESU z danej siete, teda nieco ako

tc filter add dev eth0 parent 1:0 protocol ip prio 10 u32 match ip src ! 192.168.2.0/24

akurat ze to takymto sposobom nefunguje a neviem najst k tomu help. Je nieco podbne vobec mozne pomocou u32?

Tak myslím, že tady pomůže jen markovat pomocí iptables:

iptables -A PREROUTING -t mangle -i eth0 -s ! 192.168.2.0/24 -j MARK --set-mark 6

+ tc fwmark match:

tc filter add dev eth0 protocol ip parent 1:0 prio 10 handle 6 fw flowid 1:1

Místo čísla 6 může být zvoleno libovolné jiné.

Převzato z http://www.lartc.org

Pri cteni vsech techto clanku, jsem dostal chut si HBT taky vyzkouset. Ale nez neco delam, tak planuju jak na to.

Jestli jsem to dobre pochopil, tak pokud by slo jen o pristup na internet funguje deleni pasma v pohode. Pokud by nekdo pristupoval k tomutop serveru jako na File server, a chtel vyuzit maximalky sitovky, coz je 100Mbit tak ma smulu a dostane jen pridelenych napr. 80kB. Mam pravdu?

Jestli ano, nesel by tento problem resit virtualnim rozhranim? A povesit IMAP, SAMBU ... treba jen na tento virtualni interface? Prave ze nevim, jestli dojde k shapovani i na virtualnim interface kdyz byl vytvoren z fyzickeho?

Muze mi nekdo potvrdit nebo vyvratit tuto ideu?

Diky

Muzu ti to vyvratit. Deleni 100Mbit funguje. Autor uvadel problemy v pripade, ze rozdelujes 100Mbit na 98Mbit, 1Mbit a 0.128Mbit. Pak se to opravdu spatne pocita.

Ahoj lidi mam problem s omezovanim rychlosti pro jednotlive
uzivatele v operacnim systemu linux.
Skouset jsem vsechno mozne a nic mi nefunguje.
Prikladam muj dosavadni funkcni trafik pro zkouknuti,
predem dekuji za kazdou pomoc.

tc qdisc del dev eth1 root

# omezeni rychlosti do internetu
tc qdisc add dev eth1 root handle 1:0 htb
tc class add dev eth1 parent 1:0 classid 1:1 htb rate 1000kbit ceil 1000kbit
# garantovana linka
tc class add dev eth1 parent 1:1 classid 1:2 htb rate 100kbit ceil 100kbit

# sdilene tridy
# se 100kbit a agregaci
tc class add dev eth1 parent 1:1 classid 1:11 htb rate 100kbit ceil 100kbit

# s 200kbit a agregaci
tc class add dev eth1 parent 1:1 classid 1:12 htb rate 200kbit ceil 200kbit

# garantovana trida
tc class add dev eth1 parent 1:2 classid 1:13 htb rate 100kbit ceil 100kbit

# sdilene podtridy
# se 100kbit a agregaci
tc class add dev eth1 parent 1:11 classid 1:111 htb rate 14kbit ceil 100kbit

# se 200kbit a agregaci
tc class add dev eth1 parent 1:12 classid 1:121 htb rate 28kbit ceil 200kbit

# garantovana podtrida
tc class add dev eth1 parent 1:13 classid 1:131 htb rate 100kbit ceil 100kbit
# sdilene filter
# se 100kbit a agregaci
tc filter add dev eth1 parent 1:0 protocol ip u32 match ip dst 192.168.5.9 match ip src 0.0.0.0/0 flowid 1:111

# se 200kbit a agregaci
tc filter add dev eth1 parent 1:0 protocol ip u32 match ip dst 192.168.5.10 match ip src 0.0.0.0/0 flowid 1:121

# filter pro garantovanou linku
tc filter add dev eth1 parent 1:0 protocol ip u32 match ip dst 192.168.5.16 match ip src 0.0.0.0/0 flowid 1:131

Protoze mi cely script nefungoval, badal jsem a zjistil, ze seq nepodporuje defaultne incrementaci -1, tak jak asi autor zamyslel. Default increment je 1.

Takze asi se nikdo neozval,

ale myslim si ze by v

seq $GRPS 1

mela byt oprava na

seq $GRPS -1 1

jak v in tak out

prosím nemůže mi někdo poradit jak mám spustit ten skript když má v sobě cykly aby ty cykly pořád probíhali ? ..vše jsem si upravil na svojí síť ale bohužel mi to nic s rychlostí nedělá...myslim právě že to bude mít nějakej háček a s tim skriptem musím udělat něco co znalej linuxář hned ví..jen já jsem začátečník takže díky za rady...

Jak je mozne omezit UDP provoz?
Mam htb shaper na imq rozhrani, klasifikaci pres u32, ale UDP pakety to ignoruje a uzivatel tak vklidu zabere celou linku i kdyz TCP je omezene jak ma byt. Pres IMQ UDP pakety patrne tecou, ale jake parametry pouzit u tc filter ... protocol ..., aby do neho spadly i UDP pakety? Nebo to musi byt uple jinak..? Diiky za pomoc.

Aha, tak omyl... filter klasifikoval co mohl, ale pres IMQ to neteklo..

--
# /bin/bash
echo $GROUPS
--

!RESERVED!
GROUPS = seznam skupin, jichž je současný uživatel členem

:o]

IMHO dobrej clanek

Zdravím, zjistil jsem, že script je limitován GRPS < 11, pokud člověk překročí počet shapovaných adres 10, dojde k chybovým hláškám. Není problém s velikostí výsledného čísla u zápisu: "handle 1${grps}${band}:0" pod komentářem # leaf discs?