Вы находитесь здесь:
Рекомендации по выставлению счетов для Data Federation
Использование интегрирования данных влияет на использование кредитов, используемых для выставления счетов для организаций, использующих Data 360 под лицензией Data Cloud.
Эта функция имеет доступ к Digital Wallet, бесплатному инструменту управления организациями, который предлагает данные потребления включенных продуктов в активных контрактах в близком к реальному режиме времени. Откройте Digital Wallet и начните отслеживать использование организации. Дополнительные сведения см. в разделе About Digital Wallet.
| Карта Digital Wallet | Тип использования | Описание типа использования | Примечания |
|---|---|---|---|
| Службы данных | Конвейеры пакетных данных (конвейеры внешних данных) | Использование рассчитывается на основе количества строк пакетных данных, обработанных потоками данных Data 360 во всех коннекторах, за исключением структурированных данных, принимаемых посредством внутренних ожидаемых продаж данных. | Если вы включаете ускорение в Query Federation и включаете кэширование, данные принимаются в Data 360 посредством пакетных ожидаемых продаж данных. |
| Службы данных | Федерация данных или общий доступ к строкам | Для интегрирования данных использование рассчитывается на основе количества записей, извлеченных из источника. Для общего доступа к данным использование рассчитывается на основе количества строк, возвращенных для выполнения запроса внешнего озера данных. В общем доступе к данным между организациями Data 360 этот тип использования применяется к целевой организации для всех запросов. Данный тип использования применяется только к межоблачным и межрегиональным запросам. Кредитное потребление отсутствует, если запрос поступает из одного региона и одного облака. |
|
| Службы данных | Запросы данных | Использование рассчитывается на основе количества обработанных записей. Количество обработанных записей зависит от структуры запроса, а также от других связанных факторов, например, общего количества записей в запрашиваемых объектах. |
Запросы данных расходуются при запросе ускоренного кэша. |
| Хранилище данных | Хранилище вне распределения | Использование рассчитывается на основе объема хранилища, использованного выше распределенного объема. | Если вы включите ускорение в Query Federation и включите кэширование, данные сохраняются в Data 360. Хранение данных может повлиять на использование хранилища данных. |
Дополнительные сведения о том, как выставляется счет за использование Data 360, см. в контракте или обратитесь к менеджеру по работе с клиентами.
Сокращение расходов на федерацию данных
Вы можете снизить уровни потребления для интегрирования данных, изменив правильный режим и используя ускорение.
- Выберите нужный режим интегрирования данных. Определите, соответствует ли интегрирование запросов или интеграция файлов вашему сценарию использования.
- Включите ускорение. Если ваш сценарий использования его поддерживает, включите ускорение. Использование ускорения позволяет процессам Data 360 запрашивать локальный кэш метаданных вместо многократного запроса внешнего источника данных. Это уменьшает затраты на интегрирование данных. Использование ускорения также повышает производительность, поскольку запросы к ускоренному кэшу данных предоставляют более быстрые ответы. Чтобы узнать о различиях в разных методах интегрирования данных, см. Сравнение методов интегрирования данных.
- Просмотр частоты обновления кэша: при включении ускорения выберите частоту обновления кэша, соответствующую частоте изменения исходных данных. Обновление кэша чаще использует кредиты без предоставления доступа к обновленным записям.
- Настройка инкрементного обновления: при включении ускорения используйте столбец инкремента для определения поля исходных данных, указывающего на обновление записи после последнего обновления кэша. Использование инкрементного обновления уменьшает использование кредита, обновляя только измененные записи.
Инкрементные обновления не удаляют удаленные записи. При использовании инкрементного обновления рекомендуем периодически выполнять полное обновление вручную, чтобы убедиться в синхронизации кэша с источником.
Оперативный запрос и ускоренное потребление запросов
В зависимости от способа использования интегрирования данных, интерактивные или ускоренные запросы могут быть более эффективными с точки зрения затрат.
Федерация данных с ускорением обычно является лучшим выбором при частом доступе к данным, но объем и частота изменений невелики.
Например, вы создаете панель мониторинга, отображающую тенденции продаж для категорий продуктов за последний год для каждого магазина в сети. Данные обновляются ежедневно, а панель мониторинга просматривается в среднем 20 раз в день. Панель мониторинга создается на основе результатов запроса при каждой загрузке.
Например, панель мониторинга создана на основе данных из 1 000 000 записей, хранящихся во внешнем озере данных. Каждый день добавляется или обновляется около 10 000 записей.
В этом сценарии ваши затраты ниже при включении ускорения. Давайте поговорим о математике ниже.
- Кредиты, израсходованные федерацией запросов посредством оперативных запросов
- Поскольку панель мониторинга загружается примерно 20 раз в день, вы запрашиваете данные посредством оперативных запросов примерно 20 раз в день. Каждый запрос открывает около 100 000 записей. Предположим, вы оплачиваете 70 кредитов, израсходованных на каждый миллион просмотренных строк.
- 100 000 записей, просмотренных на запрос x 20 ежедневных запросов = 2 000 000 строк, просмотренных ежедневно
- 2 000 000 строк, просмотренных ежедневно x 30 дней = 60 000 000 строк, просмотренных в течение одного месяца
- 60 миллионов x 70 кредитов на миллион = 4200 кредитов, израсходованных в месяц
- Кредиты, израсходованные федерацией запросов с ускорением
- Например, вы включаете ускорение в запросах федерации данных и заполняете локальный кэш данных инкрементно. В кэш добавляются только новые или измененные записи. Например, вы потребляете кредиты из расчета 2000 кредитов на 1 миллион новых или измененных строк в исходных данных.
Во время первичной настройки вы заполняете кэш всеми записями во внешнем объекте озера данных.
- 1 миллион записей x 2 000 кредитов на миллион = 2 000 кредитов для инициализации кэша
Вы также будете использовать 2000 кредитов при каждом выполнении полного обновления.
Предположим, что кэш обновляется ежедневно посредством 10 000 новых и измененных записей в день.
- 10 000 строк обновляются ежедневно x 30 дней = 300 000 строк возвращаются в течение одного месяца
- 0,3 млн х 2000 кредитов на миллион = 600 кредитов в месяц
В месяц инициализации кэша и в любом месяце выполнения полного обновления используется 2 000 кредитов. В месяцы после установки кэша и не выполнения полного обновления используется 600 кредитов.
В этом сценарии вы сохраняете от 1 600 до 3 600 кредитов в месяц, используя ускорение.
Объединение данных посредством оперативных запросов лучше, если ваши данные меняются часто и вам нужны самые актуальные данные для работы.
Например, вы публикуете сегменты 20 раз в день. Вы создаете сегмент из примерно 1 000 000 записей, хранящихся во внешнем озере данных. Каждые 30 минут добавляется или обновляется около 10 000 записей.
В этом сценарии ваши затраты ниже при использовании оперативных запросов. Рассмотрим математические выкладки ниже.
- Кредиты, израсходованные федерацией запросов посредством оперативных запросов
Поскольку вы публикуете сегменты примерно 20 раз в день, вы запрашиваете данные посредством оперативных запросов примерно 20 раз в день. Каждый запрос открывает около 100 000 записей. Предположим, вы оплачиваете 70 кредитов, израсходованных на каждый миллион просмотренных строк.
- 100 000 записей, просмотренных на запрос x 20 ежедневных запросов = 2 000 000 строк, просмотренных ежедневно
- 2 000 000 строк, просмотренных ежедневно x 30 дней = 60 000 000 строк, просмотренных в течение одного месяца
- 60 миллионов x 70 кредитов на миллион = 4200 кредитов, израсходованных в месяц
- Кредиты, израсходованные федерацией запросов с ускорением
Например, вы включаете ускорение в запросах федерации данных и заполняете локальный кэш данных инкрементно. Вам нужны новые данные, поэтому вы обновляете кэш каждые 30 минут. При каждом обновлении кэшу добавляется около 10 000 новых или измененных записей. Например, вы потребляете кредиты из расчета 2000 кредитов на 1 миллион новых или измененных строк в исходных данных.
Во время первичной настройки вы заполняете кэш всеми записями во внешнем объекте озера данных.
- 1 миллион записей x 2 000 кредитов на миллион = 2 000 кредитов для инициализации кэша
Вы также используете 2 000 кредитов при каждом выполнении полного обновления.
Ваш кэш обновляется каждые 30 минут или 48 раз в день, с 10 000 новых и измененных записей в день.
- 10 000 строк обновлено 48 раз в день x 30 дней = 14 400 000 строк возвращено за один месяц
- 14,4 млн. x 2000 кредитов на миллион = 28 800 кредитов в месяц
В месяц инициализации кэша и в любом месяце выполнения полного обновления используется 30 800 кредитов. В месяцы после установки кэша и не выполнения полного обновления используется 28 800 кредитов.
В этом сценарии вы сохраняете от 24 600 до 26 600 кредитов в месяц посредством оперативных запросов.
