GoogleCloudPlatform

Inthiscurrenterawherethemarketisgettingdigitizedeveryday,weandalltheotherbusinessesoutthereneedfacilitieslikemassivestorageplacesfortheiressentialdata,whichcan'tbereplaced.Earlier,thesector,whichwasalreadydigit

テーブルは見せたくないカラムがあるのでアクセスさせたくない、限られたカラムのビューを作ってそこにアクセスを許可する。承認済みビューを使う。承認済みビューとマテリアライズドビュー承認済みビューとマテリアライズドビュー|BigQuery|GoogleCloudGoogleCloudコンソール、bqアップデートコマンド、tables.patchRESTAPIメソッド、およびGo、Java、Pythonのクライアントライブラリを使用して、BigQuery

[CloudOnAir]クラウド時代に待ったナシ！クラウド、そしてGoogleCloudPlatformを選ぶワケ世の中でクラウド化が進んでいる中、実際にクラウド化したことによって起こるメリットはなんなのか？そして移行までに掛かる労力などは費用対効果にあっているのかなどをお話します。LucyThomasAmazon（アマゾン）Hallelujah200円Amazon（アマゾン）FixYou200円Amazon（アマゾン）LaVieEnR

[CloudOnAir]#06GoogleCloudの事例紹介本年度最後の回ではスペシャルゲストをお呼びして、実際にGCPをお使いになっていらっしゃる企業様にお話いただきます。LucyThomasAmazon（アマゾン）Hallelujah200円Amazon（アマゾン）FixYou200円Amazon（アマゾン）LaVieEnRose200円Amazon（アマゾン）Encore1,600円

[CloudOnAir]#05GoogleCloudのGoogleWorkspaceで働き方改革が簡単にできるGoogleCloudの主力製品であるGoogleWorkspace。働き方改革に非常に役立つ機械学習を使った最新機能やGoogleCloudPlatformとGoogleWorkspaceを組み合わせてできる働き方分析ソリューション、またさらなる業務効率化が実現可能なGoogleAppsScript、AppMakerなどをデモを

[CloudOnAir]#04今話題の機械学習・GCPで何ができるのか？今、世の中でも話題沸騰の機械学習とディープラーニングについてお話します。機械学習とディープラーニングの違いから始まり、ディープラーニングの応用例、さらには、GCPにおける機械学習サービスの特徴などをお話ししていきます。LucyThomasAmazon（アマゾン）Hallelujah200円Amazon（アマゾン）FixYou200円Amazon（アマゾン）LaVieEn

[CloudOnAir]#03No-opsで大量データ処理基盤を簡単に構築する次のビジネス時代を生き抜くためにBigDataは欠かせないものとなりつつあります。GCPのビッグデータ製品である、BigQueryやCloudDataflow、Pub/Subを使ってNo-Opsでデータ処理基盤を構築する方法を紹介します。LucyThomasAmazon（アマゾン）Hallelujah200円Amazon（アマゾン）FixYou200円

[CloudOnAir]#02GCPのアプリランタイムについて学ぼうGoogleCloudPlatformの基礎とも言えるアプリランタイムについて解説していきます。GoogleCloudPlatformでは、ComputeEngine,AppEngine,ContainerEngineなど多種多様なものがあり、皆様の用途などに合わせて使い分けができます。GCPを使う上では非常に重要なものとなりますので、皆様お見逃しなく！

GoogleProfessionalDataEngineer認定資格合格体験記GoogleProfessionalDataEngineer認定資格の試験を受ける機会があり、無事合格できました！GoogleProfessionalDataEngineer認定資格に関する情報は少ないので、興味ある方向けに合格体験記を書こうと思います。GoogleProfessionalDataEngineer認定資格とは？GCP（GoogleCloudPlatform）を使った

GoogleFirebaseとAWSAmplifyの両方を使ってみた感想思い立ったらサクッとSPAサイトが作れたらいいなぁと思っていたのですが、Reactはちょっとしたサイトを作るにも大掛かりになってしまうので諦めていました。しかし、最近ReactのRecoilを触り始めたのですが、Recoilを使うと、Reactも随分シンプルに書けるようになっていました。フロントエンドの手軽さはReact+Recoilで解決できそうなので、後はバックエンドをサクッと作れれば夢が叶いそうです。

昨日、GoogleCloudの試用期間について見ましたが、過去12か月は月に調整されました。更新時間は2020年9月です。GoogleCloudから寄付された300米ドルを使用して、プロジェクトの作成、Webサイトの構築、その他のプロジェクトを行うことができます。これは非常に良い経験です。

GCPを使って、できるだけ楽してGo言語のgoroutineのリークを監視するゴルーチンリークGo言語はめちゃめちゃ簡単にゴルーチン（スレッドのようなもの）を作れるのが魅力です。あまりにも簡単なので、あまり深く考えずゴルーチンを生成していたのですが、ゴルーチンはメインフローとは別に切り離されて実行されるので、デッドロックなどでゴルーチンの処理が途中で止まっていても気づかず、「終了したと思っていたが、実は実行中で残っていました」ということがありました。バッチ処理などの終わりのあるプログラ

GoogleKubernetesEngine（GKE）で、コンテナでエラーが発生したらSlackやメールに通知する方法GCPのKubernetes（GKE）で、プログラムでエラーが発生したら、Slackやメールなどの外部に通知する方法です。自分でエラー検知の仕組みを実装しなくても、GCPの設定のみで可能です。大まかな仕組みプログラムでエラーが発生した時に、プログラムから標準エラーにメッセージを出力するようにします。GKEでは標準で、コンテナの標準出力および標準エラーをCloudL

plug.djでは今年の２月頃からだったかYouTube検索がエラーになる状況が未だに続いています。plugの運営に問合せを何度かしていますが回答はありません。Twitterで確認するとYouTubeサイドの問題だからplugの運営としては何もできないって感じで呟かれています。色々な情報を集めた中でplug内でYouTube検索用のAPIコマンドを実行すれば検索が可能であることが分かりました。APIコマンドは、コマンド＋APIキーで実行しなければなりません。しかも、APIコマンドを実行し検

kubectlで複数のクラスターを切り替える方法Kubernetesの新しいクラスターを追加したので、kubectlコマンドで切り替えられるように設定しました。一度設定してしまうといじることはなく、このままだとやり方忘れてしまうので、自分用に設定方法をメモしておきます。仕組みKubernetesを操作するにはkubectlコマンドを使うのですが、kubectlはKubernetesを構築したプラットフォームに非依存で、Kubernetesをオンプレで作ろうが、GCPで作ろうが、AWSで

GoogleCloudSDK（gcloud）で複数アカウント・プロジェクトを切り替える方法GoogleCloudPlatformに新しいプロジェクトを追加したので、GoogleCloudSDK（gcloudCLI）でプロジェクトを切り替えられるように設定しました。一度設定してしまうといじることはなく、このままだとやり方忘れてしまうので、自分用に設定方法をメモしておきます。必要情報gcloudコマンドを実行するのに必要な情報は、下記の４つです。アカウントプロジェクトリー

Dockerfileのタグでlatestは使っちゃいけないなぁと思った定期的に、AWSS3のファイルを、GoogleCloudStorageにコピーしています。コピーのやり方は色々あるのですが、ここではGoogleCloudSDKのgsutilコマンドを使っていて、GoogleCloudSDKは、AlpineLinuxのDockerイメージを使用しています。しかし、ある時から、下記のようなエラーがでるようになって、コピーができなくなりました。...Traceback

GoogleBigQueryのNode.jsSDKで、CloudStorageの複数のファイルをまとめてロードする方法GoogleBigQueryに、GoogleCloudStorageのファイルをロードする時、複数のファイルをまとめてロードすることができます。しかし、それをGoogleBigQueryのNode.jsSDKでやろうとしてハマったので、そのメモ書きです。概要および問題点table.createLoadJob()を使ってロードします。ファイルは１番目の引数

GoogleCloudStorageでファイルとディレクトリを区別する方法GoogleCloudStorageで、サブディレクトリ内のファイル一覧を取得して、それらのファイルの処理をしようとしました。しかし、ファイルがおかしいとエラーが出るので見てみたら、取得したファイル一覧に、サブディレクトリが含まれていました。原因前に勘違いしてハマったのですが、Googleに限らず、AWSやAzureなど、この手のクラウドストレージには、本当はディレクトリというものはありません。ファイル名

GoogleCloudStorageのサブディレクトリ一覧をNode.jsで取得する方法以前、GoogleCloudStorageのサブディレクトリ一覧を、GCPPyhtonライブラリを使って取得したのですが、そのNode.jsバージョンです。Pythonバージョンはこちらwww.kwbtblog.com手順GCPNode.jsSDKのドキュメントにサンプルがあるので親切ですね。https://googleapis.dev/nodejs/storage/latest/B

クラウドを利用するということは、常時メンテコストが発生するということGoogleCloudPlatformからメールが来ていました。GoobleCloudFunctionsで、当初作ったFunctionのNode.jsのバージョンが6だったのですが、今回バージョン6のサービスが終わるので、そのバージョンアップ要請のメールでした。薄々意識はしていたのですが、色々ライブラリを使っていて、そのままバージョンアップすると動かないのでほっといてました…。しかも、最初に作ったFunction

大体何か放送がある日の前後一週間というのはチェックの重点期間かなという感じです。この間に大掃除をしてオリジナルの障害をなくす・・・そんなポリシーが見えてきました。自分の場合はとくにCDソースやTVソースというのもなく至って健全な利用状況ですがジブリに限っては主張の根拠を「メロディの使用」というのが目立ちますので、ある意味特許侵害の申し立てに近いところがあります。善意悪意を問わずYouTUbeは収益化というお金の側面が強く影響しますのでやむを得ない部分もありますが、現状では不良債権リストと化

Spark（GoogleDataproc）からAWSS3にアクセスする方法Spark（GoogleDataproc）から、AWSS3にアクセスする方法です。手順Spark設定下記のSpark・Haddopの設定をすると、SparkからAWSS3ファイルの読み書きができるようになります。Sparkに下記AWS関連のjarファイルを読み込みますaws-java-sdk-bundle-xxxx.jarhadoop-aws-xxxx.jarHadoopの設定ファイル「core-

Spark（GoogleDataproc）からMicrosoftSQLServer（AzureSQLDatabase）にアクセスする方法Spark（GoogleDataproc）から、MicrosoftSQLServer（AzureDatabase）にアクセスする方法です。手順Spark設定下記のSparkの設定をすると、SparkからSQLServerのデータの読み書きができるようになります。MSSQLServerのJDBCのjarファイルをダウンロードします

Spark（GoogleDataproc）からMySQLにアクセスする方法Spark（GoogleDataproc）から、MySQLにアクセスする方法です。JDBCを使ってアクセスするので、PostgreSQL等、他のRDBにも応用可能です。手順Spark設定下記のSparkの設定をすると、SparkからMySQLのデータの読み書きができるようになります。MySQLのJDBCのjarファイルをダウンロードしますhttps://mvnrepository.com/artifact

MySQLのデータベースを、スキーマレスでパーティショニングしながらBigQueryにロードしてみるBigQueryはデータ量が膨大でも、インフラの事は全く（本当に全く）気にしなくてよく、しかも早くて安いので、データは全てBigQueryに入れてしまって、全部BigQueryで処理したくなってしまいます。そんな訳で、MySQLのデータベースをまるまるBigQueryにロードしたいことがあって、その時の作業ポエムです。構成・要件MySQLの容量は数百ギガで、テーブル数は数百でした。幸い