Stavový prostor neuronové sítě je daleko větší než objem trénovaných dat. Neuronová síť může vymýšlet nové věci. Jestli budou dávát smysl je jen otázka modelu a způsobu tréningu. V tom je jedna z jejich záludností – nemáte jistotu, co všechno se může objevit na výstupu..