अंतिम क्वेरी तारीख के अनुसार BigQuery तालिका संग्रहण

यह क्यों मायने रखता है

बड़े संगठन हजारों तालिकाएं जमा कर सकते हैं जो अब उपयोग नहीं की जाती हैं। ये तालिकाएं प्रत्येक महीने चुपचाप संग्रहण शुल्क जमा करती हैं।

यह कैसे काम करता है

क्वेरी INFORMATION_SCHEMA.JOBS_BY_PROJECT (प्रति तालिका अंतिम क्वेरी समय खोजने के लिए), TABLE_STORAGE (आकार डेटा के लिए) और TABLE_OPTIONS (लॉजिकल बनाम भौतिक बिलिंग मॉडल निर्धारित करने के लिए) जोड़ती है।

SQL क्वेरी

-- Find stale tables sorted by last query date with storage cost

DECLARE lookback_days INT64 DEFAULT 30;

-- US multi-region pricing ($/GiB/month)
DECLARE logical_active_price NUMERIC DEFAULT 0.02;
DECLARE logical_longterm_price NUMERIC DEFAULT 0.01;
DECLARE physical_active_price NUMERIC DEFAULT 0.04;
DECLARE physical_longterm_price NUMERIC DEFAULT 0.02;

WITH last_access AS (
  SELECT
    ref.project_id, ref.dataset_id, ref.table_id,
    MAX(j.creation_time) AS last_query_at
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT j,
    UNNEST(j.referenced_tables) ref
  WHERE j.state = 'DONE' AND j.job_type = 'QUERY'
    AND j.creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY)
  GROUP BY 1, 2, 3
),
storage_info AS (
  SELECT
    s.project_id,
    s.table_schema AS dataset_id,
    s.table_name AS table_id,
    IFNULL(opt.option_value, 'LOGICAL') AS model,
    IF(opt.option_value = 'PHYSICAL', s.total_physical_bytes, s.total_logical_bytes) AS size_bytes,
    IF(opt.option_value = 'PHYSICAL', s.active_physical_bytes, s.active_logical_bytes) AS active_bytes,
    IF(opt.option_value = 'PHYSICAL', s.long_term_physical_bytes, s.long_term_logical_bytes) AS lt_bytes
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.TABLE_STORAGE s
...

क्वेरी व्याख्या

क्वेरी दो डेटा स्रोतों को क्रॉस-संदर्भित करती है: जॉब मेटाडेटा (प्रति तालिका अंतिम क्वेरी समय के लिए) और तालिका संग्रहण मेटाडेटा (आकार और बिलिंग मॉडल के लिए)।

मुख्य अंतर्दृष्टि

• lightbulb

  सूची के शीर्ष पर तालिकाएं (कभी क्वेरी नहीं की गई या बहुत पहले क्वेरी की गई) हटाने या संग्रहीत करने के लिए आदर्श उम्मीदवार हैं।

• lightbulb

  जिन बड़ी तालिकाओं की क्वेरी नहीं की गई वे अभी भी अन्य सिस्टम द्वारा संदर्भित हो सकती हैं।

• lightbulb

  90 दिनों से पुरानी तालिकाओं को स्वचालित रूप से दीर्घकालिक मूल्य निर्धारण मिलता है।

• lightbulb

  भौतिक बिलिंग मॉडल तालिकाएं प्रति GiB 2x लागत करती हैं लेकिन संपीड़न से लाभ उठाती हैं।

सर्वोत्तम प्रथाएं

1. 1

   पिछले 30 दिनों में क्वेरी नहीं की गई तालिकाओं की मासिक समीक्षा सेट करें।

2. 2

   अस्थायी डेटा के लिए तालिका समाप्ति नीतियां लागू करें।

3. 3

   महत्वपूर्ण लेकिन अनुपयोगी तालिकाओं को Google Cloud Storage में संग्रहीत करें।

4. 4

   संग्रहण बचत के लिए उच्च संपीड़न अनुपात वाले डेटासेट को भौतिक बिलिंग मॉडल पर स्विच करें।

संबंधित गाइड