Опубликовано:
Google открыла в AlloyDB прямой доступ к таблицам Iceberg в одном SQL-запросе
Google Cloud открыла в AlloyDB предварительный доступ к таблицам Apache Iceberg из Cloud Storage и объявила общий доступ к AlloyDB sync и Lakehouse federation.
Google Cloud открыла в AlloyDB for PostgreSQL предварительный доступ к таблицам Apache Iceberg: их читают прямо из бакета Cloud Storage и соединяют с живыми операционными данными в одном SQL-запросе. Тогда же в общий доступ вышли AlloyDB sync и Lakehouse federation. По тестам компании на наборе данных объёмом 1 ТБ прямой доступ к Iceberg до 7 раз быстрее агрегирующих запросов, чем у сопоставимого PostgreSQL-совместимого сервиса Amazon, и до 3,5 раза быстрее открытого расширения PostgreSQL.
Таблицу Iceberg регистрируют один раз командой CREATE TABLE с параметром USING iceberg и путём к файлам в хранилище, после чего с ней работают как с обычной таблицей PostgreSQL, включая JOIN с операционными таблицами. Поддержка встроена в AlloyDB и ускоряется колоночным движком. Запросы идут на том же инстансе, что и приложение, отдельный reader-инстанс не нужен.
Изображение: Google Cloud Blog
Функция работает в preview на инстансе PostgreSQL 18. Второй способ, AlloyDB sync, копирует данные из BigQuery в AlloyDB один раз или по расписанию и обновляет копию. Локальную таблицу можно индексировать, отдавать из пулов чтения и использовать с колоночным движком и векторным поиском. Третий, Lakehouse federation, оставляет данные в нативных таблицах BigQuery: AlloyDB передаёт туда фильтры, агрегации и лимиты, а получает только результат. Для таких запросов можно указать проект для оплаты и ограничить роли.
Изображение: Google Cloud Blog
Цену и сроки выхода из preview компания не называет.
