Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryのシンプルなデータ挿入とデータ更新 - 株式会社CoLabMix

Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryのシンプルなデータ挿入とデータ更新

前回に引き続きgoogle-cloud-bigqueryのライブラリを使ってpythonでBigQueryの操作を行います。

★Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryの操作を標準SQLとレガシーSQLで実施(データの取得)
https://developer-collaboration.com/2019/03/28/python-google-cloud-bigquery-1/

前回はSELECTでのデータ取得だけでしたので、今回はデータの登録と更新を行います。

尚、テーブルとしては以下のような構成としています。

 

 

データの登録(insert)

それではデータの登録から。

DMLでのデータの登録は標準テーブル、分割テーブルともに制限がありますので、確認をしておいた方が良いです。

・割り当てと制限
https://cloud.google.com/bigquery/quotas?hl=ja

 

さて、データ登録のプログラムです。

 

データの更新(update)

続いてデータの更新です。

こちらについても上記の「割り当てと制限」のページにありますように、「UPDATE、DELETE、および MERGE の各ステートメントを組み合わせた実行数の 1 日あたりのテーブルあたり最大値 - 200」と制限が非常に厳しいので注意が必要です。

 

DSL操作なので共に標準SQLを使用しています。

では、今回はこの辺で。

★関連記事
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryの操作を標準SQLとレガシーSQLで実施(データの取得)
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryでのパーティションを利用したデータの挿入と検索
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryへのストリーミング挿入

 

このブログは株式会社CoLabMixによる技術ブログです。

GCP、AWSなどでのインフラ構築・運用や、クローリング・分析・検索などを主体とした開発を行なっています。

Ruby on RailsやDjango、Pythonなどの開発依頼などお気軽にお声がけください。

開発パートナーを増やしたいという企業と積極的に繋がっていきたいです。

お問い合わせやご依頼・ご相談など

    関連記事

    1. Dockerfileを使った基本的なDockerの動作

    2. scrapy-redisを使って、redisを使ったクローリングを試…

    3. python3でGoogleDriveからファイルの取得

    4. CentOS7系の最新版のredisをyumでインストール

    5. [Rails] SJISのエクスポートでの「ActionView::T…

    6. [ Rails : アンチパターン ] Validation しすぎで…

    最近の記事

    制作実績一覧

    ITシステム開発の開発先・発注先の選び方を見つけるコンシェルジュサービス

    ITシステム開発の開発先・発注先の選び方を見つけるコンシェルジュサービス

    ITクリエイターのための転職・仕事情報サイト

    ITクリエイターのための転職・仕事情報サイト

    SNS分析での転職支援

    SNS分析での転職支援

    受託パートナーのマッチングとSES人材のマッチング

    受託パートナーのマッチングとSES人材のマッチング