Skip to main content

etl

2018

"Praca domowa" SysAdmina – part 2: ETL, czyli ładowanie dużej ilości danych do bazy danych
·3863 words·19 mins
blog.dsinf.net csv database etl io linux postgresql psql sysadmin
Ten wpis jest kontynuacją wpisu “Praca domowa” SysAdmina – part 1: disk baselines - z ciekawszym zadaniem polegającym na zoptymalizowaniu ładowania sporych plików csv do wybranej bazy danych jak najszybciej. Punkt wyjściowy - copy extract from STDIN WITH delimiter E'\t' NULL AS "; tl;dr? Podsumowanie jest na końcu artykułu 😉 Intro notes # Disk benchmarking for ETL is done in file for task 1. Following sections are in chronological order of testing.