Енергоефективна обробка та візуалізація Великих даних

SmartDataLake

Період реалізації:: 2019-2022

Замовник: Горизонт 2020 Європейського Союзу

Виконавець:

Група аналізу та візуалізації даних, Університет Констанца

Озера даних — це екосистеми необроблених даних, де зберігаються та співіснують великі обсяги різноманітних даних. Вони полегшують аналітику самообслуговування для гнучкого, швидкого, тимчасового прийняття рішень. SmartDataLake забезпечує надзвичайно масштабну аналітику стабільних великих озер даних. Він надає адаптивну, масштабовану та еластичну систему керування озером даних, яка пропонує: (a) віртуалізацію даних для абстрагування та оптимізації доступу та запитів до неоднорідних даних, (b) резюме даних для приблизних відповідей на запити та аналітику для забезпечення інтерактивного часу відповіді та ( c) автоматизоване розміщення даних на різних рівнях зберігання на основі характеристик даних і моделей доступу для зниження витрат. Вміст озера даних моделюється та організовується як неоднорідна інформаційна мережа, що містить кілька типів сутностей і зв’язків. Ефективні та масштабовані алгоритми надаються для: (a) пошуку схожості та дослідження для виявлення релевантної інформації, (b) роздільної здатності та ранжування сутностей для ідентифікації та вибору важливих і репрезентативних сутностей у різних джерелах, (c) прогнозування зв’язків та кластеризації для виявлення прихованих зв’язків та шаблони між об’єктами та (d) виявлення змін і поступове оновлення результатів аналізу для забезпечення швидшого аналізу нових даних. Нарешті, надається інтерактивна та масштабована візуальна аналітика, щоб включити та розширити можливості спеціаліста з даних у циклі вилучення знань.