BERT

最近の人工知能はTransformerという技術が基本になっています。HuggingFaceというフレームワークを使うことで、最先端の技術を簡単に試すことができます。この本ではTransformerを一躍有名にしたBERT、最近の生成AIブームをけん引しているGPT-3やDALL-Eといった人工知能プログラミングを・単純に使う方法・ファインチューニングする方法などをわかりやすく解説しています。といってもHuggingFaceのフレームワークを単に使うだ

言語生成AIにブレイクスルーをもたらしたChatGPTが話題となってだいぶ経ちます。ベースとなる技術は少し前のBERTの基礎となっているTransformerです。この本ではTransformerを自前で実装し、BERTやGPT2を自前で学習することで理解を深めようとしています。TensorFlow2系で書かれているのでPyTorch派にはちょっと読みづらいですが、用意されているレイヤーは使わずすべて自前で実装してあるので、アルゴリズムはそのまま使

ディープラーニングのフレームワークとしてはTensorflow+Kerasが有名ですが最近はPyTorchもだいぶ使われるようになってきました。最近はJAXというフレームワークも広まりつつあるようですが、主要の論文での実装に使われたのはPyTorchが８割だったという調査もあるようです。自分はこれまでTensorflow+Kerasを使ってきましたがさすがにそろそろPyTorchも使えるようになっておきたい。一応本は読んだものの真剣に実装には使っていなかったの

著者である巣籠氏はディープラーニングに関する本を多数書いていますが、「詳解ディープラーニング」の第２版が出ていたので読んでみました。tensorflowの２系や最新のpytorchでのコード例が多数載っているのがうれしいところです。個人的にはBERTの基盤となっているTransformerモデルの詳しい実装が載っているのがありがたい。一応BERTの実装としては「作って理解するTransformer/Attention」というサイトが有名ですが、そちらよりも論文で

Thanksforwatchingmyvideo!PutyourLike!Subscribetomychannel:https://www.youtube.com/channel/UCNfhah23o39ZK4J6pizIfaA?sub_confirmation=1Mylife:https://www.artemland.comSOCIALMEDIA:https://linktr.ee/ArtemLandIRECOMMENDYOURTOSEE

プログラミングに関しては、前にも書いた通り関数型プログラミングから入ったほうがいいです。すごいHaskellたのしく学ぼう！すごいHaskellたのしく学ぼう！|ＭｉｒａｎＬｉｐｏｖａｃａ,田中英行,村主崇行|工学|Kindleストア|AmazonAmazonでＭｉｒａｎＬｉｐｏｖａｃａ,田中英行,村主崇行のすごいHaskellたのしく学ぼう！。アマゾンならポイント還元本が多数。一度購入いただいた電子書籍は、KindleおよびFire端末、スマートフォンやタブレ

深層学習にブレークスルーを起こしたResNet、BERT、AlphaZeroという３手法について、素人でもわかるレベルで丁寧に解説しています。しかし素人レベルにごまかしているわけではなく、どういうものかよく知っている自分にも正確と思える解説なのが素晴らしい。難しいことを分かりやすく説明するのはかなり難しいのに、しっかり成し遂げているといえます。つまり著者らが内容をしっかり理解しているということ。だからAIでできることとできないことを正確に把握できているのでしょう。有象無象の変

本文は、３月１７日の日経クロステックの要旨及びそれに関するコメントです要旨画像やテキストなど異なる種類の情報を基に判断を下すAIが開発できる「マルチモーダル学習」は、AIにおける次の有望株だ。日本でもスタートアップであるストックマークが、業務アプリケーションにマルチモーダル学習を応用した。マルチモーダル学習のモーダル（modal）とは、情報の形式や種類という意味だ。1つの機械学習モデルに対して画像やテキストといった異なる種類のデータを学習させることで、その両方を勘案して判断を下す機械学

■外部リンク：WIRED「Googleの検索エンジンに「過去5年で最大の飛躍」。新たな言語処理モデル「BERT」の秘密」（2019/11/14）https://wired.jp/2019/11/14/google-search-advancing-grade-reading/「BERT（バート：BidirectionalEncoderRepresentationsfromTransformers）」は、昨年10月にGoogleが発表した言語処理モデル。このモデルによる機械学

おはようございます♬ラグビー🏉わたしはにわかファンですが、、凄く好きになりました好きな選手は沢山います皆さま個性的です。【松島選手の巻^^】寡黙でシブいっす！だけど、、、娘の部屋にあるぬいぐるみの中から発見しました♬（セサミストリート）似てないって娘に聞いたら『髪型だけ』とバッサリえっ！失礼しました〜

早速ですが今日は何の日か知っていますか？そう、セサミストリートのキャラクター”Bert”のBirthdayです☆ミ教室の飾り付けしてお祝いです！お手紙を書いてくれた子もいます♪Bertは幸せ者ですね＼（＾０＾）／皆さまもぜひBertのことをお祝いしてあげて下さい☆

よしじまです。更新は、２時間おきの、０，２（Appleネタ中心），４（ヤバそうなネタがあったらココｗ），６，８，１０，１２，１４，１６，１８，２０，２２（メイン、音楽ネタ固定）２２時のメイン更新には必ず好きな音楽ものを入れています。前日の記事一覧（http://ameblo.jp/masatoshi-yoshijima/day-20170916.html）前日のメイン記事：click!!→AWWW-dorable:FunniestBabyAn・・（動画付←cli

急に忙しくなったり予定が詰まりだしてバタバタしている造花ですミニオン以降、遠征や自分のための買い物に行かなきゃと思いながら、時間がある日は動きたくなくてひたすら引きこもっている日が続いていたんですが、やっぱり行かなきゃと重い腰を上げて福岡へ行きたい場所・買わなきゃいけないものをしっかりリストに書いて…最近どうも忘れっぽいです前回のブログでも書いてた、ロバート秋山竜次プレゼンツ福岡クリエイターズ・ファイル祭天神クリエイティブ大作戦この日が最終日でした天神

よしじまです。更新は、２時間おきの、０，２（Appleネタ中心），４（ヤバそうなネタがあったらココｗ），６，８，１０，１２，１４，１６，１８，２０，２２（メイン、音楽ネタ固定）２２時のメイン更新には必ず好きな音楽ものを入れています。前日の記事一覧（http://ameblo.jp/masatoshi-yoshijima/day-20170910.html）前日のメイン記事：click!!→14FunnyPetVideosCompilatio・・（動画付←cli

よしじまです。更新は、２時間おきの、０，２（Appleネタ中心），４（ヤバそうなネタがあったらココｗ），６（ペットネタ固定），８，１０，１２，１４，１６，１８（ペットネタ固定），２０，２２（メイン、音楽ネタ固定）２２時のメイン更新には必ず好きな音楽ものを入れています。前日の記事一覧（http://ameblo.jp/masatoshi-yoshijima/day-20170824.html）前日のメイン記事：click!!→10Mind-BlowingCoca-Col

よしじまです。更新は、２時間おきの、０，２，４（ヤバそうなネタがあったらココｗ），６，８，１０，１２，１４，１６，１８（ペットネタ固定），２０，２２（メイン、音楽ネタ固定）２２時のメイン更新には必ず好きな音楽ものを入れています。前日の記事一覧（http://ameblo.jp/masatoshi-yoshijima/day-20170815.html）前日のメイン記事：click!!→Omarion-MondayMoovesからのW4W（動画付←click!

よしじまです。更新時間は、３時間おきの、０，３，６，９，１２，１５，１８，２１の８回の予定。２１時のメイン更新には必ず好きな音楽ものを入れています。尚、１０日から２時間おきにするかもしれません。前日の記事一覧（http://ameblo.jp/masatoshi-yoshijima/day-20170808.html）前日のメイン記事：click!!→Tinashe-Flame（動画付←click!!★サブネタ★気になった動画をコメントなしでご紹介します。