Как рассчитать стоимость (счет) Google Cloud Genomics Pipeline

Я использую движок Cromwell в Google Cloud, который отправляет запросы на выполнение конвейера: https://cloud.google.com/genomics/reference/rest/v1alpha2/pipelines/run.

После завершения конвейеров я могу найти операции Google Cloud, связанные с каждым конвейером, с помощью меток. Однако я не могу определить их стоимость. В журналах выставления счетов Google Cloud перечислены только счета за вычислительные машины, но они не показывают связи между экземплярами вычислительных машин и операциями геномики, поэтому я не могу понять, как рассчитать стоимость.

Как я могу рассчитать стоимость конвейера Google Cloud Genomics


google-cloud-platform google-genomics
person Migwell    schedule 21.11.2018    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Оказывается, если вы запустите конвейер с правильным указанием labels (объяснено здесь, в документации API), вы можете фильтровать журналы выставления счетов с помощью этих ярлыков. В моем случае двигатель Cromwell делал это автоматически, поэтому мне не пришлось делать ничего лишнего.

Если вы хотите проанализировать счета, вам необходимо экспортировать данные в BigQuery, вы не можете экспортировать данные в файл, потому что это не дает вам необходимых полей.

Как только счета загрузятся в BigQuery (у меня это заняло около 4-5 часов), вы можете выполнить следующий запрос:

SELECT SUM(cost)
FROM `PipelineBilling.gcp_billing_export_v1_BILLING_ACCOUNT_ID`, UNNEST(labels) as l
WHERE l.key = 'cromwell-workflow-id' AND l.value = 'cromwell-MY-WORKFLOW-ID'

Это вернет единственное число, которое представляет собой общую стоимость конвейера с меткой cromwell-workflow-id и значением cromwell-MY-WORKFLOW-ID (однако эта метка будет другой, если вы не используете Cromwell).

person Migwell    schedule 22.11.2018