Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryのシンプルなデータ挿入とデータ更新

ホーム
BLOG
技術ブログ
Pythonでのgoogle-cloud-bigquer…

技術ブログ
2019.03.29

Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryのシンプルなデータ挿入とデータ更新

前回に引き続きgoogle-cloud-bigqueryのライブラリを使ってpythonでBigQueryの操作を行います。

★Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryの操作を標準SQLとレガシーSQLで実施（データの取得）
https://developer-collaboration.com/2019/03/28/python-google-cloud-bigquery-1/

前回はSELECTでのデータ取得だけでしたので、今回はデータの登録と更新を行います。

尚、テーブルとしては以下のような構成としています。


[
    {
        "name": "name",
        "type": "string"
    },
    {
        "name": "id",
        "type": "integer"
    }
]

[

{

"name": "name",

"type": "string"

{

"name": "id",

"type": "integer"

}

]

データの登録（insert）

それではデータの登録から。

DMLでのデータの登録は標準テーブル、分割テーブルともに制限がありますので、確認をしておいた方が良いです。

・割り当てと制限
https://cloud.google.com/bigquery/quotas?hl=ja

さて、データ登録のプログラムです。


from google.cloud import bigquery
import os
credentials_json = './credentials.json'
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credentials_json

## Set Project ID
project = "project_name"
## Set Dataset
dataset = "dataset"
## Set Table
table = "table"

bigquery_client = bigquery.Client()
query = "INSERT INTO `{0}.{1}.{2}` (name, id) SELECT 'taro', 10".format(project, dataset, table)

rows = bigquery_client.query(query).result()

from google.cloud import bigquery

import os

credentials_json = './credentials.json'

os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credentials_json

## Set Project ID

project = "project_name"

## Set Dataset

dataset = "dataset"

## Set Table

table = "table"

bigquery_client = bigquery.Client()

query = "INSERT INTO `{0}.{1}.{2}` (name, id) SELECT 'taro', 10".format(project, dataset, table)

rows = bigquery_client.query(query).result()

データの更新（update）

続いてデータの更新です。

こちらについても上記の「割り当てと制限」のページにありますように、「UPDATE、DELETE、および MERGE の各ステートメントを組み合わせた実行数の 1 日あたりのテーブルあたり最大値 - 200」と制限が非常に厳しいので注意が必要です。


from google.cloud import bigquery
import os
credentials_json = './credentials.json'
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credentials_json

## Set Project ID
project = "project_name"
## Set Dataset
dataset = "dataset"
## Set Table
table = "table"

bigquery_client = bigquery.Client()
query = "UPDATE `{0}.{1}.{2}` SET name = 'hanako' WHERE id = 10".format(project, dataset, table)

rows = bigquery_client.query(query).result()