Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryのシンプルなデータ挿入とデータ更新

前回に引き続きgoogle-cloud-bigqueryのライブラリを使ってpythonでBigQueryの操作を行います。

★Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryの操作を標準SQLとレガシーSQLで実施(データの取得)
https://developer-collaboration.com/2019/03/28/python-google-cloud-bigquery-1/

前回はSELECTでのデータ取得だけでしたので、今回はデータの登録と更新を行います。

尚、テーブルとしては以下のような構成としています。

 

 

データの登録(insert)

それではデータの登録から。

DMLでのデータの登録は標準テーブル、分割テーブルともに制限がありますので、確認をしておいた方が良いです。

・割り当てと制限
https://cloud.google.com/bigquery/quotas?hl=ja

 

さて、データ登録のプログラムです。

 

データの更新(update)

続いてデータの更新です。

こちらについても上記の「割り当てと制限」のページにありますように、「UPDATE、DELETE、および MERGE の各ステートメントを組み合わせた実行数の 1 日あたりのテーブルあたり最大値 – 200」と制限が非常に厳しいので注意が必要です。

 

DSL操作なので共に標準SQLを使用しています。

では、今回はこの辺で。

★関連記事
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryの操作を標準SQLとレガシーSQLで実施(データの取得)
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryでのパーティションを利用したデータの挿入と検索
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryへのストリーミング挿入

 

このブログは株式会社CoLabMixによる技術ブログです。

GCP、AWSなどでのインフラ構築・運用や、クローリング・分析・検索などを主体とした開発を行なっています。

Ruby on RailsやDjango、Pythonなどの開発依頼などお気軽にお声がけください。

開発パートナーを増やしたいという企業と積極的に繋がっていきたいです。

お問い合わせやご依頼・ご相談など

関連記事

  1. CentOS7にLAMP環境(PHP7.2)のインストール

  2. Ubuntu 18.04 に MariaDBのインストール

  3. AWS Lambda でS3にファイルがアップロードされたら、加工して…

  4. 「outlook.jp」や「hotmail.co.jp」宛のメールがエ…

  5. Python で Elasticsearch の settings と…

  6. CentOS8 + Apache2.4 を 無料 の SSL 「Let…