Sysadmin

Podczas tworzenia strony z metrykami w Grafanie którą chciałem wyświetlać w kilku miejscach w mojej sieci (m.in. na “stronie admina” która oprócz linków do wewnętrznych systemów ma też kilka wykresów) dotarłem do problemu niezbyt popularnego ale mimo wszystko występującego. Grafana sama z siebie posiada tryb auth.anonymous, który tworzy możliwość podglądu danych bez zalogowania, ale wystawienie takowego na świat ma 2 problemy - ujawniamy dane i umożliwiamy zajechanie serwera przez złych ludzi w Internecie - od prymitywnego ładowania maksymalnie długich zakresów na dashboardach po wykonywanie własnych kwerend na naszych datasource’ach - a więc nawet Postgresie.

Ten wpis jest kontynuacją wpisu “Praca domowa” SysAdmina – part 1: disk baselines - z ciekawszym zadaniem polegającym na zoptymalizowaniu ładowania sporych plików csv do wybranej bazy danych jak najszybciej. Punkt wyjściowy - copy extract from STDIN WITH delimiter E'\t' NULL AS "; tl;dr? Podsumowanie jest na końcu artykułu 😉 Intro notes # Disk benchmarking for ETL is done in file for task 1. Following sections are in chronological order of testing. Average of 2 most consistent results were chosen in perf tests, over 4-6 performed awk’s and plotly.js average value are different since rounding is performed on different stages of computation krps is k rows/sec, 1000x amount of rows inserted per second Environment setup # Initial filesystem for /home is ext4 journalled. Below is setup log

Historia pewnej rekrutacji # Jakiś czas temu zostałem zaproszony na proces rekrutacyjny na stanowisko SysAdmina przez pewną firmę i dostałem “pracę domową” składającą się z dwóch zadań mających sprawdzić moje praktyczne umiejętności i podejście do problemu. Firma okazała się turboniepoważna i mimo pozytywnego feedbacku od autora zadań kilka dni później, zasłaniając się “wewnętrznymi problemami” poprosiła mnie o chwilę cierpliwości. Kilkadziesiąt chwil później kontakt się urwał i po 3 tygodniach uznałem że czas o nich zapomnieć. Ale zadania zostały i warte są opublikowania. Nic nie wspomniano o zakazie publikacji rozwiązań, a teraz nie zamierzam o to pytać. Tak czy inaczej - jeśli dostaniecie od jakiejś firmy identyczne lub podobne zadania - uważajcie na nich.