Python-разработчик (middle)

Навыки

Обязанности

• 01Проектирование, разработка, оптимизация и поддержка ETL процессов для загрузки данных из различных источников
• 02Управление потоковой обработкой данных с использованием Apache Kafka (разработка продюсеров/консьюмеров, управление топиками, обеспечение надежности и отказоустойчивости)
• 03Разработка и оптимизация структур данных, схем и запросов в PostgreSQL для операционных и транзакционных задач
• 04Построение, администрирование и тонкая настройка ClickHouse кластеров для обеспечения высокой производительности аналитических запросов на больших объемах данных
• 05Разработка и поддержка решений на базе ClickHouse (или связки PostgreSQL + ClickHouse)
• 06Интеграция данных между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3)
• 07Мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных
• 08Автоматизация процессов обработки данных и развертывания (CI/CD)
• 09Взаимодействие с аналитиками, разработчиками и product owner'ами для понимания потребностей в данных и их реализации
• 10Устранение неисправностей в pipeline данных и базах данных

Требования

• 01Опыт работы от 2-х лет на Python
• 02Опыт разработки и администрирования ClickHouse (знание особенностей движков таблиц, оптимизация запросов, кластеризация, репликация, шардирование)
• 03Глубокое понимание и практический опыт работы с Apache Kafka, настройка и обеспечение надежности потоков данных
• 04Опыт работы с PostgreSQL (написание сложных SQL-запросов, оптимизация производительности, понимание механизмов транзакций, репликации)
• 05Понимание принципов построения ETL процессов
• 06Знание SQL на продвинутом уровне
• 07Понимание принципов DevOps (Docker, Kubernetes, Linux, CI/CD) применительно к инфраструктуре данных