ВШЭ РС МОВС. Модуль BigData. SQL over BigData

JavaScript isn't enabled in your browser, so this file can't be opened. Enable and reload.

Максимальное (для данного вопроса) число баллов равномерно распределяется по количеству верных вариантов ответа и это же число баллов распределяется по количеству неверных вариантов. Выбор верного варианта прибавляет баллы к общей сумме, а выбор неверного варианта — отнимает их от общей суммы («штраф»).

НЕ забудьте нажать submit перед концом работы! Иначе форма закроется и отправить тест станет невозможно.

Deadline: 21.03, 23:59

Какой тип user defined function может создать целую таблицу из одной записи?

UDTF

UDAF

UDF

PTF (оконные функции)

Clear selection

Выберите верное утверждение про Hive Streaming.

См. ключевые слова TRANSFORM, USING.

В SELECT-запросе можно применить Hive Streaming-скрипт не для всех полей, а только для части

Для работы скрипта с Hive Streaming, нужно сохранить его в Distributed cache

Hive Streaming позволяет оптимизировать HiveQL-код, добавив Streaming-скрипт вместо цепочки HiveQL-функций.

Скрипт для Hive Straming можно писать ТОЛЬКО на языке, который установлен как интерпретатор по умолчанию (например, на bash для debian-подобных систем т.к. там интерпретатор /bin/bash)

Какой должна быть таблица в Hive чтоб мы могли влиять не только на Metastore, но и на сами исходные данные?

Skewed

External

Managed

Clear selection

Выберите правильные утверждения о Hive

Hive - это распределенная СУБД в экосистеме Hadoop

Базы данных в Hive это по сути пространства имён (namespaces), в одном запросе можно использовать таблицы от нескольких баз

Для парсинга данных в таблицу НЕ обязательно использовать регулярные выражения

Hive позволяет дополнять запросы самописными скриптами и функциями.

Полями в таблицах Hive могут быть ТОЛЬКО объекты примитивных типов (INT, DOUBLE, STRING etc..)

Выберите верное утверждение про партиционирование.

См. ключевое слово PARTITIONED BY

Чтоб создать партиционированную таблицу, Hive должен знать заранее, сколько партиций создавать поэтому нужно предварительно подсчитать кол-во уникальных ключей в нужном поле.

Партиционирование нельзя применять для поля, в котором есть NULL

Партиционирование рекомендуется делать по полю, в котором мало уникальных значений (напр., поле 'страна')

На каждую партицию в Data Warehouse создается папка, которая хранит все данные для этой партиции

Таблица может быть партиционированной только по 1 полю

Создание и заполнение партиционированной таблицы не порождает MapReduce-задачу и работает также быстро как и создание непартиционированной таблицы.

Выберите верные утверждение про кластеризацию.

См. ключевое слово CLUSTERED BY

Каждый файл в HDFS соответствует одному значению поля, по которому происходит кластеризация

Если данных мало, нет смысла делать кластеризацию

Hive умеет автоматически делать кластиризацию даже если мы её не включили

Кластеризацию рекомендуется делать по полю, в котором много уникальных значений (напр., поле 'город')

Кластеризация использует Hash при генерации bucket'ов из-за чего в одном bucket'е могут быть записи с разными значениями кластеризуемого поля

Обычно кластеризация используется в паре с партиционированием, причем так что в 1 партиции находится несколько bucket'ов

Какие конструкции языка HiveQL при трансляции в MapReduce не используют Reducer?

ORDER BY

WHERE

SELECT

HAVING

Что хранит metastore для базы?

Типы полей в таблицах

Данные для каждой таблицы

Названия таблиц и полей

Данные только для партиционированных или кластеризованных таблиц

Логи запросов

Какие конструкции HiveQL нужно использовать для оптимизации операции Filter над таблицей?

Например, для оптимизации запросов с WHERE. Результат запроса после оптимизации меняться не должен.

CLUSTERED BY

HAVING

TABLESAMPLE

PARTITIONED BY

В какой момент Hive проверяет корректность схемы данных (table scheme)?

Во время чтения данных (выполнения SELECT'ов к таблице).

Во время записи данных (выполнения запросов CREATE TABLE).

ФИО *

Пожалуйста, выбирайте ФИО внимательно :)

Какая конструкция HiveQL позволяет делать примерные расчёты?

CLUSTERED BY

PARTITIONED BY

TABLESAMPLE

SKEWED BY

Clear selection

Submit

Clear form

This content is neither created nor endorsed by Google. Report Abuse - Terms of Service - Privacy Policy

Forms