Question

我正在使用Google bigquery分析GDELT GKG 2.0 dataset，并希望更好地了解如何基于主题（或V2Themes）进行查询。 docs提到了“类别列表”电子表格，但到目前为止，我一直未能找到该列表。

以下引人注目的blog提到您可以使用世界银行分类法来缩小搜索范围。我的目标是找到所有提及“干旱/水少”的物品，提及“洪水/水过多”的所有物品以及提及“质量差/水太脏”的所有物品，这些物品在某个子区域国家一级。

到目前为止，我已经能够获得不同主题的列表，但这并不是广泛的主题，并且我还没有得到它的层次结构。

SELECT
  DISTINCT theme
FROM (
  SELECT
    GKGRECORDID,
    locations,
    REGEXP_EXTRACT(themes,r'(^.[^,]+)') AS theme,
    CAST(REGEXP_EXTRACT(locations,r'^(?:[^#]*#){0}([^#]*)') AS NUMERIC) AS location_type,
    REGEXP_EXTRACT(locations,r'^(?:[^#]*#){1}([^#]*)') AS location_fullname,
    REGEXP_EXTRACT(locations,r'^(?:[^#]*#){2}([^#]*)') AS location_countrycode,
    REGEXP_EXTRACT(locations,r'^(?:[^#]*#){3}([^#]*)') AS location_adm1code,
    REGEXP_EXTRACT(locations,r'^(?:[^#]*#){4}([^#]*)') AS location_adm2code,
    REGEXP_EXTRACT(locations,r'^(?:[^#]*#){5}([^#]*)') AS location_latitude,
    REGEXP_EXTRACT(locations,r'^(?:[^#]*#){6}([^#]*)') AS location_longitude,
    REGEXP_EXTRACT(locations,r'^(?:[^#]*#){7}([^#]*)') AS location_featureid,
    REGEXP_EXTRACT(locations,r'^(?:[^#]*#){8}([^#]*)') AS location_characteroffset,
    DocumentIdentifier
  FROM
    `gdelt-bq.gdeltv2.gkg_partitioned`,
    UNNEST(SPLIT(V2Locations,';')) AS locations,
    UNNEST(SPLIT(V2Themes,';')) AS themes
  WHERE
    _PARTITIONTIME >= "2018-08-20 00:00:00"
    AND _PARTITIONTIME < "2018-08-21 00:00:00" )
WHERE
  (location_type = 5
    OR location_type = 4
    OR location_type = 2) --WorldState, WorldCity or US State
ORDER BY
  theme

以及到目前为止我能找到的与水有关的主题列表（样本，并非详尽无遗）：

CRISISLEX_C06_WATER_SANITATION
ENV_WATERWAYS
HUMAN_RIGHTS_ABUSES_WATERBOARD
HUMAN_RIGHTS_ABUSES_WATERBOARDED
HUMAN_RIGHTS_ABUSES_WATERBOARDING
NATURAL_DISASTER_FLOODWATER
NATURAL_DISASTER_FLOODWATERS
NATURAL_DISASTER_FLOOD_WATER
NATURAL_DISASTER_FLOOD_WATERS
NATURAL_DISASTER_HIGH_WATER
NATURAL_DISASTER_HIGH_WATERS
NATURAL_DISASTER_WATER_LEVEL
TAX_AIDGROUPS_WATERAID
TAX_DISEASE_WATERBORNE_DISEASE
TAX_DISEASE_WATERBORNE_DISEASES
TAX_FNCACT_WATERBOY
TAX_FNCACT_WATERMAN
TAX_FNCACT_WATERMEN
TAX_FNCACT_WATER_BOY
TAX_WEAPONS_WATER_CANNON
TAX_WEAPONS_WATER_CANNONS
TAX_WORLDBIRDS_WATERFOWL
TAX_WORLDMAMMALS_WATER_BUFFALO
UNGP_CLEAN_WATER_SANITATION
WATER_SECURITY
WB_1000_WATER_MANAGEMENT_STRUCTURES
WB_1021_WATER_LAW
WB_1063_WATER_ALLOCATION_AND_WATER_SUPPLY
WB_1064_WATER_DEMAND_MANAGEMENT
WB_1199_WATER_SUPPLY_AND_SANITATION
WB_1215_WATER_QUALITY_STANDARDS
WB_137_WATER
WB_138_WATER_SUPPLY
WB_139_SANITATION_AND_WASTEWATER
WB_140_AGRICULTURAL_WATER_MANAGEMENT
WB_141_WATER_RESOURCES_MANAGEMENT
WB_143_RURAL_WATER
WB_144_URBAN_WATER
WB_1462_WATER_SANITATION_AND_HYGIENE
WB_149_WASTEWATER_TREATMENT_AND_DISPOSAL
WB_150_WASTEWATER_REUSE
WB_155_WATERSHED_MANAGEMENT
WB_156_GROUNDWATER_MANAGEMENT
WB_159_TRANSBOUNDARY_WATER
WB_1729_URBAN_WATER_FINANCIAL_SUSTAINABILITY
WB_1731_NON_REVENUE_WATER
WB_1778_FRESHWATER_ECOSYSTEMS
WB_1790_INTERNATIONAL_WATERWAYS
WB_1798_WATER_POLLUTION
WB_1805_WATERWAYS
WB_1998_WATER_ECONOMICS
WB_2008_WATER_TREATMENT
WB_2009_WATER_QUALITY_MONITORING
WB_2971_WATER_PRICING
WB_2981_DRINKING_WATER_QUALITY_STANDARDS
WB_2992_FRESHWATER_FISHERIES
WB_427_WATER_ALLOCATION_AND_WATER_ECONOMICS

Answer 1

以下是GKG主题列表：

http://data.gdeltproject.org/documentation/GDELT-Global_Knowledge_Graph_CategoryList.xlsx

Answer 2

虽然此链接作为主题列表提供：

http://data.gdeltproject.org/documentation/GDELT-Global_Knowledge_Graph_CategoryList.xlsx

...还远远不够完整（也许只是原始主题列表？）。我刚刚拉出了一天的GKG值，该电子表格中的283个主题列表中没有很多主题。

位于https://blog.gdeltproject.org/world-bank-group-topical-taxonomy-now-in-gkg/的

GKG文档指向位于http://pubdocs.worldbank.org/en/275841490966525495/Theme-Taxonomy-and-definitions.pdf的世界银行分类法。 GKG帖子暗示该世界银行的分类法已被纳入GKG主题列表。

这是世界银行分类学主题的完整列表。不幸的是，我在GKG中发现了许多世界银行的主题，这些主题不在本出版物中。这两个列表的并集代表GKG主题的一部分，但绝对不是全部。

Answer 3

如果有人需要这个，我已经添加了 GKG v1 中所有主题的列表，该列表在 1/1/2017-31/12/2020 的时间段内至少出现在该特定日期的 10 篇或更多文章中： Themes.parquet

它由每天计数的 17639 个独特主题组成。看起来像这样：

该 4 年数据集的完整数字是 36 713 385 个独特的演员、50 845 个独特的主题以及 26 389 528 个独特的组织。这些数字没有针对同一实体的不同拼写进行过滤，因此唐纳德特朗普和唐纳德 J.特朗普将被视为两个独立的演员。

Answer 4

我能找到的最好的 GDELT GKG 主题列表是 here，如 this blog post 中所述。

我将它放入一个 CSV 文件中，我觉得它更易于使用，并将该文件放入 here。

了解Google BigQuery GDELT GKG 2.0中的主题

4 个答案: