[ Russian ] [ English ]

Приближенная обработка запросов с использованием вейвлет-преобразований в OLAP-системах

Андрей Ухаров,
МГТУ им. Н.Э. Баумана,
oukharov@gmail.com

Доклад посвящен вопросам приближенной обработки запросов в системах аналитической обработки данных OLAP.

Авторы рассказывают об области применения и преимуществах приближенной обработки данных, а также рассматривают существующие методики, включая выборку, гистограммы и вейвлет-преобразования. Использование вейвлет-преобразований представляется авторам наиболее перспективным подходом для реализации в OLAP-системах.

Подробно освещаются существующие методы приближенной обработки на основе вейвлет-преобразования и приводятся основные проблемы применения этих подходов на практике. В частности, авторы разбирают две основные проблемы: сложность обработки многомерных массивов данных произвольной структуры; оценка и контроль погрешности единичного элемента данных и агрегированных данных.

В докладе рассматривается новый метод, позволяющий решить указанные выше проблемы, что значительно расширяет область практического применения приближенной обработки данных в OLAP-системах. Предложенный метод был апробирован на задаче анализа санитарно-эпидемиологической обстановки и управления рисками в рамках Системы надзора за эпидемиологической обстановкой (СНЭО) –- http://epiit.ru. Приводятся результаты использования предложенного метода.

Возможные направления сотрудничества включают рассмотрение вопросов использования предложенного метода в параллельных СУБД для аналитической обработки сверхбольших массивов данных, использование предрассчитанных агрегатов и возможность обновления данных.

Литература:

  1. Agarwal S., Mozafari B., Panda A., Milner H., Madden S., 2013. BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data. In ACM EuroSys.- Prague, Czech Republic.
  2. Chakrabarti, K., Garofalakis, M., Rastogi, R. 2001. Approximate query processing using wavelets. The VLDB Journal — The International Journal on Very Large Data Bases.- Vol. 10(2).- P. 199-223.
  3. Deligiannakis, A., Roussopoulos, N. 2007. Extended Wavelets for Multiple Measures. ACM Transactions on Database Systems (TODS).- Vol. 32(2).- P.31-39.
  4. Garofalakis, M. 2006. Wavelet-Based Approximation Techniques in Database Systems. IEEE Signal Processing Magazine.- Vol. 23(6).- P. 54-58.
  5. Stollnitz, E. J. Tony D. DeRose, David H. Salesin. 1996. Wavelets for Computer Graphics: Theory and Applications. Morgan Kaufmann Publishers, Inc., San Francisco, California.
  6. Vonesch, С., Unser, M. 2008. A Fast Thresholded Landweber Algorithm for Wavelet-Regularized Multidimensional Deconvolution. IEEE Transactions on Image Processing.- Vol. 17 ( 4).-P. 539-549.
  7. Zeng, Li, et al. 2002. Four-dimensional wavelet compression of arbitrarily sized echocardiographic data. Medical Imaging, IEEE Transactions on 21.9. P. 1179-1187.
Supported by Synthesis Group