GCP

1977年4月に薬剤師として大学病院で働くようになってから、何度か“大きな波”を経験しました。例えば、1990年代は「病院業務の電算化」です。そして、2000年前夜に、新しい“大きな波”が襲ってきました。それは、当時、「新GCP」と呼ばれたもの。新薬申請のための臨床試験の実施体制の国際標準化です。今回は、その「新GCP」への対応の経験について紹介します。「新GCP」って、一体、どんなもの?1997年，アメリカ合衆国、ヨーロッパ諸国と日本の3極の合意を基本にした新しい

BigQueryの少し凝った使い方メモ（etc）普段GoogleBigQueryでは簡単な集計SQLしか使っていないのですが、集計SQL以外にも色々便利な機能があります。ただ、使用頻度が高くないので、いざ使おうとするとマニュアルを探すところから始まるので、自分用に簡単な使い方をまとめておこうと思います。これまでいくつかの…

各国でデータ流出発生するアマゾンデジタルデータは安全か。デジタルデータを管理する組織、人の問題。政府のデータは海外ベンダーが管理する時代各国でデータ流出発生するアマゾンデジタルデータは安全か。デジタルデータを管理する組織、人の問題。政府のデータは海外ベンダーが管理する時代[社会・政治・時事]「アレクサ」で収集子どもの声を不適切保管アマゾン側が43億円余支払いへ訴訟で和解成立23年...www.nicovideo.jp「アレクサ」で収集子どもの声を不適切保管アマゾン側

アマゾンウェブサービス(AWS)は、コンピューティング、ストレージ、データベースサービスを世界規模で提供するクラウドサービスであり、AWSのテクノロジーと製品が最大の利点であるエンタープライズサービスです。AWSWebサービスは、アプリケーションに必要なネットワーク、データベース、ストレージ、その他の機能を提供するスケーラブルなサービスです。AWSWebサービスを使用すると、企業はアプリケーションを構築、管理、保守することなく、世界中のさまざまな場所にデプロイできます

HowtoswitchbetweenmultipleclustersinkubectlWehaveaddedanewKubernetesclusterandconfiguredittobeswitchedwiththekubectlcommand.Onceyousetitup,youdon'thavetotwea…

テーブルは見せたくないカラムがあるのでアクセスさせたくない、限られたカラムのビューを作ってそこにアクセスを許可する。承認済みビューを使う。承認済みビューとマテリアライズドビュー承認済みビューとマテリアライズドビュー|BigQuery|GoogleCloudGoogleCloudコンソール、bqアップデートコマンド、tables.patchRESTAPIメソッド、およびGo、Java、Pythonのクライアントライブラリを使用して、BigQuery

UsingGCPtomonitorgoroutineleaksintheGolanguageaseffortlesslyaspossibleGoroutineLeakTheGolanguageisafascinatinglanguagebecauseitissoeasytocreategoroutines(likethreads).However,sincethegorou…

HowtonotifySlackoremailwhenanerroroccursinacontainerwithGoogleKubernetesEngine(GKE)ThisisawaytonotifyexternalpartiessuchasSlackoremailwhenanerroroccursinaprograminGCP'sKubernetes(GKE).Youdonothave…

HowtoswitchbetweenmultipleaccountsandprojectsinGoogleCloudSDK(gcloud)WeaddedanewprojecttoGoogleCloudPlatformandsetuptheGoogleCloudSDK(gcloudCLI)toswitchprojects.Onceyousetitup,youdon…

IthoughtIshouldn'tuse"latest"inDockerfiletags.Periodically,AWSS3filesarecopiedtoGoogleCloudStorage.Therearemanywaystocopy,buthereweusethegsutilcommandfortheGoogl…

HowtoloadmultipleCloudStoragefilestogetherwithGoogleBigQuery'sNode.jsSDKWhenloadingGoogleCloudStoragefilesintoGoogleBigQuery,multiplefilescanbeloadedatonce.However,Igotstucktryingtodothatw…

HowtodistinguishbetweenfilesanddirectoriesinGoogleCloudStorageInGoogleCloudStorage,Itriedtogetalistoffilesinasubdirectoryandprocessthosefiles.However,whenIlookedattheerrormessa…

HowtogetasubdirectorylistingofGoogleCloudStoragewithNode.jsWepreviouslyusedtheGCPPyhtonlibrarytogetalistofGoogleCloudStoragesubdirectories,andthisistheNode.jsversionofthat.Pyt…

UsingthecloudmeansconstantmaintenancecostsIreceivedanemailfromGoogleCloudPlatform.TheNode.jsversionofthefunctionIoriginallycreatedforGoobleCloudFunctionswasvers…

UsingFirestoreasalightweightdatabaseIwasworkingonaprogramrelatedtoGCPandwantedtostoresomedata.Itwasaone-offpieceofdatathatwasnotlargeenoughtosetup…

AnoteonaslightlymoreelaborateuseofBigQuery(scheduledqueries)IusuallyuseGoogleBigQueryonlyforsimpleaggregateSQL,buttherearemanyotherusefulfunctionsbesidesaggregateSQL.However,since…

NotesonaslightlymoreelaborateuseofBigQuery(programming)IusuallyuseGoogleBigQueryonlyforsimpleaggregateSQL,buttherearemanyotherusefulfunctionsbesidesaggregateSQL.However,since…

MemoforslightlyelaborateusageofBigQuery(tablecreationanddataupdate)IusuallyuseGoogleBigQueryonlyforsimpleaggregateSQL,buttherearemanyotherusefulfunctionsbesidesaggregateSQL.However,since…

MemoonhowtouseBigQueryinaslightlymoreelaborateway(views,materializedviews,tablefunctions)IusuallyuseGoogleBigQueryonlyforsimpleaggregateSQL,buttherearemanyotherusefulfunctionsbesidesaggregateSQL.However,since…

HowtocallRESTAPIswithaserviceaccountonGoogleCloudPlatformNormally,GCPoperationscanbedoneviacommandlinetoolsorclientlibraries,sowenevercalledtheRESTAPIdirectly.I'mtryingouta…

EstimateaflatrateforBigQuery.SinceGoogleBigQueryispay-as-you-goandrelativelyinexpensive,Ihadbeenusingitwithoutmuchconcernaboutthefees.Bigdataanalysi…

GoogleProfessionalDataEngineerQualificationQualificationTestRecordIhadtheopportunitytotaketheGoogleProfessionalDataEngineercertificationexamandIpassed!ThereisnotmuchinformationaboutGoo…

IwanttorunVisualStudioCodeusingonlyabrowser,soI'mgoingtouseTheia,aVSCode-likesoftware,tobuildanenvironmentwhereIcancodeandterminalinabrowser.IusemultiplePCsandhaveVisualStudioCode(VSCode)installedoneach

ThoughtsonusingbothGoogleFirebaseandAWSAmplifyIhadhopedtobeabletocreateaquickSPAsiteonthespurofthemoment,butIhadgivenuponReactbecauseitistoobigajobtocrea…

HowtoaccessAWSS3fromSpark(GoogleDataproc)HowtoaccessAWSS3fromSpark(GoogleDataproc).procedureSparkConfigurationThefollowingSparkandHaddopsettingswillallowyoutor…

HowtoaccessMicrosoftSQLServer(AzureSQLDatabase)fromSpark(GoogleDataproc)HowtoaccessMicrosoftSQLServer(AzureDatabase)fromSpark(GoogleDataproc).procedureSparkConfigurationThefollowingSparksettings…

HowtoaccessMySQLfromSpark(GoogleDataproc)HowtoaccessMySQLfromSpark(GoogleDataproc).SinceitisaccessedusingJDBC,itcanbeappliedtootherRDBssuchasPostgreSQL.proce…

LoadaMySQLdatabaseintoBigQuerywithschema-lesspartitioningBigQuerycanhandlehugeamountsofdata,butyoudon'thavetoworryabouttheinfrastructureatall(really,atall),andit'sfastandch…

HowtogetasubdirectorylistingofGoogleCloudStorageusingPythonIwantedtogetalistofGoogleCloudStoragesubdirectoriesusingtheGCPPythonlibrary,Igotstuck,sohere'sanoteonhowandwhy.Li…

HowtoautomaticallyrenewLet'sEncryptonKubernetes(GKE)(wildcardcertificate)Itwasconvenienttouse"cert-manager"+DNSauthenticationtoautomaticallyupdateLet'sEncryptonKubernetes(GKE)withoutprocessingon…