Samozřejmě neural networks lze implementovat i ve Windows. Můžete mít Windows bez GUI a s minimální sadou služeb, můžete použít DirectCompute, OpenCL nebo CUDA, a dá se to běžet třeba na Windows HPC (MPICH2 a job management, vývoj i remote debugging probíhá ve Visual Studiu). Vy jste si vybral jinak, a jste šťastný - dobře tak.
Internet si možná můžete prohlížet přes AVR, ale pořád to bude počítač. A pokud od toho počítače chcete přehrávání videa, hry, office aplikace a pár dalších věcí, nutně vzniknou problémy s výkonem HW, nekompatibilitou programů apod. BTW před časem jsem měl problém s autem, a v servisu mi řekli, že upgradovali SW řídící jednotky. To mě trochu poděsilo :)
Samozřejmě používejte to, co se vám líbí. Tak je to správně. A jestli je tohle nejdelší flame na rootu? Ani náhodou :)