Názor k článku Knihovna Pandas: použití metody groupby, naformátování a export tabulek pro tisk od anonym - pandas pracuje s daty, ktera se vejdou do...

pandas pracuje s daty, ktera se vejdou do pameti, tedy ne moc velkymi.

to co chcete, neni use case pro pandas. Existuje dask, coz je knihovna s temer stejnym API jako pandas pro praci s tzv externimy daty (ktera se nevejdou cela do pameti).

Pro opravdu hodne velka data muzete uvazovat o analyticke databazi, tam nebude problem ani agregace nad stovkami miliard zaznamu na jedinem stroji v realnem case.

6. 1. 2021, 22:57 editováno autorem komentáře