[ Russian ] [ English ]

PosDB — прототип распределенной дисковой колоночной СУБД

Георгий Чернышев,
Санкт-Петербургский государственный университет
chernishev@gmail.com

PosDB [8-13] — прототип распределенной колоночной дисковой СУБД, ориентированной на обработку аналитических запросов в среде без разделения ресурсов. Система разрабатывается с нуля и предназначена для изучения распределенной обработки запросов в дисковых колоночных системах с поздней материализацией. Дисковой называется СУБД, в которой объем данных значительно превышает размер оперативной памяти. В колоночной (column-oriented) СУБД данные хранятся поколоночно, в отличие от традиционных реляционных СУБД, в которых данные хранятся построчно.

В настоящее время исполнение запросов в PosDB основывается на модели Volcano [6] c поблочной обработкой данных и поздней материализацией кортежей. Для поддержки реляционных операций, таких, как соединение, агрегация и фильтрация, в системе реализованы различные физические операторы. Кроме того, специальные служебные операторы обеспечивают внутризапросный параллелизм и сетевое взаимодействие. В системе поддерживается интервальное горизонтальное фрагментирование с реплицированием данных. В текущем состоянии PosDB может выполнять все запросы из эталонного теста Star Schema Benchmark [7] как в локальном, так и в распределенном случае.

В рамках доклада будет рассмотрена архитектура PosDB и основные принципы исполнения запросов. Также будет рассказано о завершенных и проводимых в настоящий момент исследованиях.

Литература:

  1. Abadi, D., Boncz, P., Harizopoulos, S.: The Design and Implementation of Modern Column-Oriented Database Systems (2013)
  2. Daniel J. Abadi, Peter A. Boncz, and Stavros Harizopoulos. 2009. Column-oriented database systems (slides). Proc. VLDB Endow. 2, 2 (August 2009), 1664-1665. DOI: https://doi.org/10.14778/1687553.1687625
  3. Peter A. Boncz and Martin L. Kersten. 1999. MIL primitives for querying a fragmented world. The VLDB Journal 8, 2 (October 1999), 101-119. DOI=http://dx.doi.org/10.1007/s007780050076
  4. Mike Stonebraker, Daniel J. Abadi, Adam Batkin, Xuedong Chen, Mitch Cherniack, Miguel Ferreira, Edmond Lau, Amerson Lin, Sam Madden, Elizabeth O'Neil, Pat O'Neil, Alex Rasin, Nga Tran, and Stan Zdonik. 2005. C-store: a column-oriented DBMS. In Proceedings of the 31st international conference on Very large data bases (VLDB '05). VLDB Endowment 553-564.
  5. Andrew Lamb, Matt Fuller, Ramakrishna Varadarajan, Nga Tran, Ben Vandiver, Lyric Doshi, and Chuck Bear. 2012. The vertica analytic database: C-store 7 years later. Proc. VLDB Endow. 5, 12 (August 2012), 1790-1801. DOI=http://dx.doi.org/10.14778/2367502.2367518
  6. Graefe. Query Evaluation Techniques for Large Databases. ACM Comput. Surv., 25(2):73{169, June 1993.
  7. P. E. ONeil, E. J. ONeil and X. Chen. The Star Schema Benchmark (SSB). http://www.cs.umb.edu/~poneil/StarSchemaB.PDF, 2009.
  8. Chernishev G., Galaktionov V., Grigorev V., Klyuchikov E., Smirnov K. (2018) PosDB: A Distributed Column-Store Engine. In: Petrenko A., Voronkov A. (eds) Perspectives of System Informatics. PSI 2017. Lecture Notes in Computer Science, vol 10742. Springer, Cham
  9. Chernishev G., Galaktionov V., Grigorev V., Klyuchikov E., Smirnov K. (2018) PosDB: An Architecture Overview Program Comput Soft (2018) 44: 62. https://doi.org/10.1134/S0361768818010024
  10. Tuchina, A., Grigorev, V, Chernishev, G. (2018) On-the-fly filtering of aggregation results in column-stores. CEUR Workshop Proceedings Volume 2135, Pages 53-60, 3rd Conference on Software Engineering and Information Management, SEIM 2018.
  11. Chernishev G., Galaktionov V., Grigorev V., Klyuchikov E., Smirnov K. (2017) A study of PosDB performance in a distributed environment. CEUR Workshop Proceedings Volume 1864, 2nd Conference on Software Engineering and Information Management, SEIM 2017.
  12. Chernishev G. (2017)The design of an adaptive column-store system. Journal of Big Data, Volume 4, Issue 1, 1 December 2017, Article number 5
  13. G. Chernishev. Towards self-management in a distributed column-store system. In T. Morzy, P. Valduriez, and L. Bellatreche, editors, New Trends in Databases and Information Systems, volume 539 of Communications in Computer and Information Science, pages 97-107. Springer International Publishing, 2015.
Supported by Synthesis Group