Все статьи автора в журнале: Пролетарская В.А.

1. Каскадное использование фильтра Блума при реализации SQL-запроса с коррелированным подзапросом на платформе параллельной обработки данных Spark 2

   Cascading use of the Bloom filter at implementing a SQL query with a correlated subquery on the platform Spark 2 for dates parallel processing

   Номер: 2019 / 03

   Пролетарская В.А.Proletarskaya V.А.

   Авторы статьи

   Authors

   Пролетарская В.А.

   Proletarskaya V.А.

   ---

   Каскадное использование фильтра Блума при реализации SQL-запроса с коррелированным подзапросом на платформе параллельной обработки данных Spark 2

    

   На примере SQL-запроса Q17 теста TPC-H выполнено сравнение двух методов доступа к хранилищу данных: разработанного метода с каскадным использованием фильтра Блума (КИФБ) и Hive. В этих целях проведены натурные эксперименты в среде кластера из семи узлов на платформе распределённых параллельных вычислений Apache Spark 2. Результаты экспериментов подтвердили преимущества разработанного метода КИФБ.

    

   ---

   Ключевые слова

   обработка данных; большие данные; Spark SQL; Bloom filter; TPC-H; Q17 Query; MapReduce; Date Warehouse

   Cascading use of the Bloom filter at implementing a SQL query with a correlated subquery on the platform Spark 2 for dates parallel processing

   Two methods of accessing the data storage is performed as an example of the SQL query Q17 of the TPC-H test: the developed method with the cascaded usage of the Bloom filter (CUBF) and Hive. For this purpose, fullscale experiments in a cluster medium of seven nodes on the platform of distributed parallel computing Apache Spark 2 are conducted. The result s of the experiments confirm the advantages of the developed CUBF method.

   ---

   Keywords

   data processing; big data; Spark SQL; Bloom filter; TPC-H; Q17 Query; MapReduce; Date Warehouse