Для доступа к материалам доклада
купите билет
или авторизуйтесь, если у вас он уже есть
или авторизуйтесь, если у вас он уже есть
Реальный путь команды Lenta Tech от перегруженного on-prem Hadoop через переезд в Яндекс Облако и Kubernetes к новой модели владения данными и поддерживаемому ETL-фреймворку.
Мы расскажем, почему конкуренция за общий пул YARN ограничивала производительность больше, чем нехватка железа, и разберём, как прерываемые ноды, автоскейлинг Kubernetes и новый PySpark-фреймворк изменили экономику и скорость платформы. Покажем на примере, что стоит за моделью «домен отвечает за свои данные» и как это ускоряет запуск новых продуктов.