Data Engineer [Middle]

deeplay — продуктовая ИТ-компания. Мы создаём системы и решения в сфере интеллектуальных игр. 

Мы ценим идейных людей, которых заряжают нестандартные задачи и профессиональные вызовы.Тех, кто любит экспериментировать, находить уникальные решения и всегда ориентируется на результат. Если тебе близок такой подход, будем рады видеть тебя среди наших тиммейтов!

Сейчас нам нужен Data Engineer [Middle], который будет вносить свой вклад в развитие продуктов компании, сможет поддерживать открытое общение и дружескую атмосферу. 

С нами ты можешь комфортно работать из любого уголка мира, потому что мы: 

• Настроили процессы технического оснащения, чтобы можно было рассчитывать на нашу помощь в подготовке техники для работы, где бы ты ни находился. 
• Выстроили систему взаимодействия — никаких бесконечных чатов в ТГ. Работаем через онлайн-сервис управления проектами и корпоративный мессенджер с настроенной картой каналов. 
• Организовываем рабочие процессы с учётом часовых поясов, время для регулярных командных встреч подбирается максимально удобно для всех.
• Помогаем сохранять контекст и знакомиться с коллегами из других отделов — регулярно проводим общие информационные и развлекательные онлайн-мероприятия, а также командные встречи с выездами в российские города и за границу. 

Наш стек: СУБД PostgreSQL / ClickHouse, Python, Apache Airflow, GitHub, Docker, Kubernetes.
 

Основные задачи:

• Поддержка текущего функционала продукта.
• Расширение и развитие функционала действующего продукта.
• Анализ логов, данных, выстраивание логических цепочек, построение и проверка гипотез;
• Создание и поддержка новых дата-пайплайнов;
• Работа с Clickhouse. Написание и оптимизация средних/сложных SQL запросов;
• Анализ, подготовка и обработка данных;
• Обеспечение качества данных.

Предстоит поддерживать и развивать:

• Десктопное кроссплатформенное ПО (Java 17+, Swing);
• Монолитное ПО, включает в себя клиентскую и серверную части (взаимодействие посредством gRPC);
• Отсутствие фрэймворка, используются собственные наработки;
• Организация взаимодействия с БД (PostgreSQL, ClickHouse) посредством jdbc, без подключения дополнительных библиотек;
• Организация работ механизмов в многопоточном режиме с помощью ExecutorService, CompletableFuture;
• Покрытие кода тестами (Mockito, JUnit);
• Аналитические запросы и большие объемы данных (~60 TB).

Для реализации задач тебе потребуется:

• Опыт работы в аналогичной роли от 3 лет
• знание теории реляционных БД, понимание логической, физической моделей БД;
• опыт оптимизации сложных запросов;
• опыт поиска проблем в работающих под высокой нагрузкой системах.
• Опыт создания и поддержки ETL-процессов;
• Глубокий практический опыт разработки на Python (pandas, numpy);
• Опыт работы с Apache Airflow, самостоятельное создание DAG;
• Опыт работы с СУБД Clickhouse, написание средних/сложных и нетривиальных SQL-запросов;
• Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата;
• Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения.

Основное: 

• PostgreSQL: глубокое знание системных каталогов, статистики, индексов, партиционирование, наследование, foreign tables,  EXPLAIN ANALYZE,  cost model, pg_stat_statements, pg_stat_activity, pg_locks, индексные стратегии, lock monitoring
• SQL: сложные запросы с CTE, window functions, lateral joins, динамический SQL, хранимые процедуры, триггеры, функции, query rewriting, понимание планов выполнения

Будет плюсом: 

• Bash: скрипты для автоматизации рутинных операций
• Linux: command line (уверенный  уровень), systemd, cron, bash scripting
• Понимание алертинг стратегии
• Опыт работы с ClickHouse
• Docker (базовое понимание)
• Ansible/Terraform: базовое понимание для автоматизации
• Python/Pandas для сложной аналитики
• Jupyter notebooks для исследовательского анализа
• pgBadger для детального анализа

• Мониторинг БД: анализ connection pools (PgBouncer), performance troubleshooting, анализ wait events

Мы предлагаем:

• Гибкий подход к формату и месту работы — выбирай любое место на карте или один из комфортных офисов в Омске, Новосибирске и Санкт-Петербурге; 
• Корпоративную культуру: общаемся на равных, поддерживаем друг друга, ценим обратную связь и инициативность, легкость общения и юмор.
• Возможность влиять на процессы: если увидишь потенциал для улучшения, сможешь воплотить свои идеи, повысить эффективность и качество продукта. 
• Стать частью команды, которая находит драйв в своих задачах и стремится к технологическому лидерству в индустрии. 
• Доступность руководства компании и открытую внутреннюю политику.

Обучение и развитие:

• Оценка компетенций и составление индивидуального плана для прокачки твоих скилов.
• Ежегодный перфоманс ревью с полезными рекомендациями от команды и возможностью увидеть свои достижения глазами тиммейтов. 
• Частичная компенсация затрат на обучение.
• Изучение английского языка для всех желающих 2 раза в неделю.
• Доступ к корпоративной офлайн и онлайн-библиотеке.
• Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры.

Корпоративная жизнь:

• Открыто делимся новостями о развитии компании: регулярно проводим интервью и внутренние бизнес-мероприятия с руководителями и экспертами deeplay.
• Работаем из любой точки мира, но всё равно не теряем связь с командой — помогают в этом командообразующие мероприятия: живое общение, новые локации и настоящие эмоции. Делаем ставку на реальные впечатления и командный дух.
• Поддерживаем актуальное внутреннее информирование: систематически публикуем дайджесты о стратегии, продуктах и технологиях компании.
• Развиваем тематические комьюнити: проводим командные и личные турниры, участвуем в квизах/мозгобойнях, спортивных челленджах.
• Оказываем спонсорскую помощь профильным факультетам, выступаем с технической экспертизой на внешних мероприятиях, создаём собственные образовательные проекты.

P.S.: Хоть мы и постарались вместить в описание больше деталей, но нам все еще есть что рассказать. Будем рады познакомиться ;)