क्वेरी के अनुसार BigQuery लागत विश्लेषण

यह क्यों मायने रखता है

एकत्रित लागत दृश्य (उपयोगकर्ता, लेबल द्वारा) उच्च स्तर पर बताते हैं कि पैसा कहां जाता है, लेकिन समस्या को वास्तव में ठीक करने के लिए आपको व्यक्तिगत क्वेरी देखने की आवश्यकता है।

यह कैसे काम करता है

क्वेरी INFORMATION_SCHEMA.JOBS_BY_PROJECT से पढ़ती है और प्रत्येक क्वेरी निष्पादन के लिए कई लागत मेट्रिक्स की गणना करती है: अनुमानित स्लॉट संख्या, ऑन-डिमांड लागत, बिल किए गए स्लॉट घंटे, और निष्पादन गिनती।

SQL क्वेरी

-- Per-query cost breakdown with slot and duration metrics

DECLARE lookback_days INT64 DEFAULT 7;

WITH base_jobs AS (
  SELECT
    project_id,
    query,
    start_time,
    end_time,
    COALESCE(total_bytes_billed, 0) AS bytes_billed,
    total_slot_ms,
    TIMESTAMP_DIFF(end_time, start_time, MILLISECOND) AS duration_ms,
    ROUND(SAFE_DIVIDE(total_slot_ms,
      TIMESTAMP_DIFF(end_time, start_time, MILLISECOND)), 2) AS avg_slots
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
  WHERE creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY)
    AND state = 'DONE' AND total_slot_ms IS NOT NULL
),
with_billing AS (
  SELECT *,
    CEIL(avg_slots / 100) * 100 AS billed_slots,
    GREATEST(duration_ms, 60000) / 3.6e6 AS billed_hours,
    GREATEST(bytes_billed, 10 * POW(1024, 2)) AS billed_bytes
  FROM base_jobs
),
freq AS (
  SELECT query, COUNT(*) AS exec_count FROM base_jobs GROUP BY query
)
SELECT
...

क्वेरी व्याख्या

क्वेरी निष्पादन समय से total_slot_ms विभाजित करके अनुमानित स्लॉट संख्या की गणना करती है। BigQuery की न्यूनतम बिलिंग नियम लागू करती है: न्यूनतम 10 MiB बाइट्स और 1 मिनट की न्यूनतम अवधि। स्लॉट संख्या को निकटतम 100 तक गोल किया जाता है।

मुख्य अंतर्दृष्टि

• lightbulb

  उच्च ऑन-डिमांड लागत लेकिन कम स्लॉट वाली क्वेरी बहुत अधिक डेटा स्कैन कर रही हैं — उन्हें पार्टीशन फिल्टर या कॉलम प्रूनिंग की जरूरत है।

• lightbulb

  उच्च स्लॉट घंटे लेकिन कम बिल किए बाइट्स वाली क्वेरी गणनात्मक रूप से महंगी हैं।

• lightbulb

  उच्च निष्पादन संख्या वाली क्वेरी रिजल्ट कैशिंग या मैटेरियलाइज्ड व्यू के लिए उम्मीदवार हैं।

• lightbulb

  यह निर्धारित करने के लिए on_demand_cost_usd बनाम slot_hours की तुलना करें कि कौन सा बिलिंग मॉडल सस्ता होगा।

सर्वोत्तम प्रथाएं

1. 1

   लागत द्वारा शीर्ष 10 क्वेरी पर अनुकूलन प्रयास केंद्रित करें।

2. 2

   बार-बार निष्पादित क्वेरी के लिए, परिणामों को मैटेरियलाइज करने या BI Engine का उपयोग करने पर विचार करें।

3. 3

   अनुकूलन से पहले और बाद में क्वेरी निष्पादन योजना को समझने के लिए EXPLAIN का उपयोग करें।

4. 4

   लागत सीमा से अधिक क्वेरी के लिए स्वचालित अलर्ट सेट करें।

संबंधित गाइड