Мониторинг Azure Data Lake Store

Я храню данные в XML-файлах в Data Lake Store в каждой папке, как будто одна папка представляет собой одну исходную систему.

В конце каждого дня я хотел бы запустить какую-нибудь аналитику журналов, чтобы узнать, сколько новых XML-файлов хранится в Data Lake Store в каждой папке? Я включил журналы диагностики, а также добавил OMS Log Analytics Suite.

Я хотел бы знать, как лучше всего получить этот отчет выше?


azure-data-lake monitoring azure-log-analytics azure-diagnostics oms
person Rag    schedule 14.05.2018    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Можно сделать агрегированный отчет (и даже создать оповещение/уведомление). Используя Log Analytics, вы можете создать запрос, который ищет любые экземпляры, когда файл записывается в Azure Data Lake Store, на основе общего корневого пути или имени файла:

AzureDiagnostics
| where ( ResourceProvider == "MICROSOFT.DATALAKESTORE" )
| where ( OperationName == "create" )
| where ( Path_s contains "/webhdfs/v1/##YOUR PATH##")

В качестве альтернативы, последняя строка также может быть:

| where ( Path_s contains ".xml")

...или их комбинация.

Затем вы можете использовать этот запрос для создания оповещения, которое будет уведомлять вас в течение заданного интервала (например, каждые 24 часа) о количестве созданных файлов.

В зависимости от того, что вам нужно, вы можете отформатировать запрос следующим образом:

  • Если вы используете общее имя файла, вы можете найти совпадение, в котором путь содержит указанное имя файла.
  • Если вы используете общий путь, вы можете найти совпадение, где патч соответствует общему пути.

  • Если вы хотите получать уведомления обо всех экземплярах (а не только о конкретных), вы можете использовать агрегирующий запрос и оповещение при достижении/превышении порогового значения (т.е. 1 или более событий):

    AzureDiagnostics
| where ( ResourceProvider == "MICROSOFT.DATALAKESTORE" )
| where ( OperationName == "create" )
| where ( Path_s contains ".xml")
| summarize AggregatedValue = count(OperationName) by bin(TimeGenerated, 24h), OperationName

С помощью запроса вы можете создать оповещение, выполнив действия, описанные в этой записи блога: https://azure.microsoft.com/en-gb/blog/control-azure-data-lake-costs-using-log-analytics-to-create-service-alerts/.

Дайте нам знать, если у вас есть дополнительные вопросы или вам нужна дополнительная информация.

person José Lara_MSFT    schedule 29.05.2018