Нам нужен серьезный специалист, которого вдохновляет работа с инфраструктурой, обрабатывающей по 4ТБ данных в месяц. Для тебя это уникальная возможность построить data flow 2.0.
Рабочие задачи
- разработка, автоматизация и поддержание высокопроизводительной системы сбора данных;
- анализ производительности Clickhouse и устранение узких мест;
- обучение аналитической команды написанию эффективных SQL-запросов под Clickhouse;
- анализ и возможное внедрение отраслевых решений для проведения препроцессинга (Airflow, dbt и пр.);
- работа с DevOps;
- развитие направления.
Требования к вакансии
- 3+ года релевантного опыта в проекте с большими данными;
- 2+ года опыта работы со стеком Amazon (S3, Athena);
- 2+ года опыта работы с Clickhouse (4+ nodes, materialized views, etc);
- Опыт написания и оптимизации SQL-запросов (ClickHouse/Athena);
- Опыт написания скриптов на python (Airflow и не только).