Názory k článku Framework Torch: pokročilejší operace nad vektory a maticemi

Tak mě napadlo, proč jsou vlastně vektory implicitně sloupcové? Potom to vypadá blbě při výpisu (no ok, to asi nevadí), ale operace matice x vektor (nebo naopak že?) jsou psané jinak, než je v matice běžné. Má to co dělat s tím, že vektor je jen spec. forma tenzoru?

Pro nasobeni matice krat vektor, tj. y = A*x, se v matematice standardne uvazuji vektory psane do sloupcu. Je to jenom urcita konvence, ktera se jevi byti uzitecnou. Obecne je treba byt opatrny s uvazovanim o vektorech a tenzorech v ramci ruznych frameworku, protoze konkretni vyznem se mezi frameworky muze lisit.

diky za osvetleni. Ja vim, ze se pouziva matice*vektor, ale zatim tam lidi cpali ^T (transpozici vektoru).

Lidi tam cpou transposici, protoze si zavedli vektory jako radky, aby se jim to lip psalo v textu do radku. Jenze pak kdyz chteji delat nasobeni matici zleva, tak potrebujou vektory jako sloupce a musi transponovat. Tohle je bohuzel typicky artefakt, ktery vychazi z toho, ze slovo "vektor" muze znamenat: abstraktni vektor, souradnice abstraktniho vektoru, usporadanou n-tici (jako prvek z R^n), matici nx1, matici 1xn.

jj nasobeni matice-vektor se takto pouziva v grafice atd.

Proc ale muze byt vyznam tenzoru jiny? Ja to chapu tak, ze tenzor delaji tenzorem az operace, ktere se nad nim provadi, jinak je to jen obycejny vektor, matice, 3d pole atd. Treba v Numpy to tak ani neoznacuji (vse je NDarray), ale tenzorove operace tam jsou podobne jako v Torchi.

Tenzor dělá tenzorem to, že rovnice s tenzory nezávisí na bázi, tj. platí bez ohledu na konkrétní čísla. U každé dimenze záleží na varianci, proto se některé indexy zapisují nahoře.

Ja to chapu podobne, jako to pisete vy. Tenzor delaji tenzorem operace, je to nejake multilinearni zobrazeni. V kontextu numerickych metod se ale toto pojeti vetsinou redukuje na to, ze tenzor je multirozmerna tabulka cisel. Treba "Low Rank Tensor Decomposition" a veci kolem toho, ktere pripominaji SVD (singular value decomposition). Tam se vetsinou na nejakou linearitu nebo invarianci vuci transformacim nehraje a tenzory jsou chapany spise jako datove objekty, obcas s nejakou vnitrni strukturou. Pojeti, ktere zminuje kolega Feynman, je obvykle ve fyzice, a je de facto jinou strankou toho abstraktniho matematickeho, jsem v ramci numeriky jsem ho jeste nepotkal.

Záleží na typu tenzoru, což se u vektorů redukuje na varianci. Kontravariantní vektory se konvenční zapisují jako sloupcové.