Data Engineer
Контакты
Python-разработчик с опытом написания многопоточных приложений, скриптов для бизнес-логики и моделей для фреймворка dbt.
Опыт коммерческой разработки - 3 года. Проект - команда по анализу и прогнозированию ценовой политики для клиентов компании Evolve Vacations Rental (evolve.com).
- Языки:
- Python
- SQL
- JS + Node (на базовом уровне)
- Фреймворки:
- dbt
- Apache Airflow
- Flask (на базовом уровне)
- Gitlab CI\CD, AWS (EC2, DynamoDB), Heroku, Snowflake Data Cloud
Evolve Vacations Rental - сервис для владельцев недвижимости, сдаваемой в аренду, для рынков США.
Команда Smart Revenue занимается сбором информации о недвижимости с сайтов Airbnb, Booking и VRBO и анализом полученных данных для того, чтобы предоставить клиенту наиболее полную информацию о выгодном ценообразовании, а так же прогнозы цен на жилье в заданном регионе.
В этой команде я совмещал задачи и обязанности как разработчика на Python, так и дата-инженера.
Опыт
- Участвовал в разработке многопоточного высоконагруженного приложения для сбора данных через мобильный API (web-scraper). Приложение собирало полную информацию об объектах недвижимости на сайтах Airbnb и VRBO, упорядочивало данные и выгружало в облачное хранилище.
- Создал "форк" вышеупомянутого скрейпера на базе selenium.
- Занимался глобальным рефакторингом имеющейся кодовой базы для бизнес-логики: привел в порядок Python-скрипты, в т.ч. согласно PEP8, а затем мигрировал 90% SQL-скриптов (массивные запросы по 1000+ строк) на фреймворк dbt.
- Работал над улучшением процесса разработки: отвечал за миграцию репозиториев с GitHub на Gitlab, с нуля построил CI/CD пайплайны, совместно с Tech Lead-ом внедрили концепцию Release Train как наиболее подходящую под критерии нашего процесса разработки.
Ключевое достижение:
На базе Snowflake разработал платформу для команды Data-science, на которой у них была возможность свободно экспериментировать с данными из продакшена.
Проживаю в городе Северодвинск
- Изучать программирование начал самостоятельно в 2016 году, прошел все бесплатные (на тот момент) курсы на Codecademy.
- В свободное время изучаю новые технологии - в данный момент это Apache Airflow, FastAPI и Clickhouse.