Selenium

タイトルでなんのこっちゃかわからん人はスルーしてください。要するにスクレイピングで引っ掛かっちゃう問題なんですが、プログラムでブラウザ開いてHTMLを読み込まねばならん場合。最近のトレンドみたいですがどうもChrome君をですね、プログラムで起動すると個人プロファイルが読み込みできないんですよ。いったいこれの何がマズいのかというと、Chromeを開いたら俺と言うユーザーの前の操作データなり、入力したテキストなりが記録されていて残っているじゃないですか。うん、cooki

GlobalInfoResearch’sreportofferskeyinsightsintotherecentdevelopmentsintheglobalSeleniummarketthatwouldhelpstrategicdecisions.Italsoprovidesacompleteanalysisofthemarketsize,share,andpotentialgrowthprospects.Additio

【注意！：ここに書いてあるやり方は現在（2024年8月）残念ながら無効となっています。新しいコードについては、そのうち書きますが今は他のWEBページを参考にすることをお勧めします】プログラミングのお勉強の続き。いきなり落とし穴のドツボにハマったpythonによるブラウザ自動化失敗問題であるが、とりあえず1か月以上経過してようやく解決の糸口にたどり着いた。一般的なコードはこうなっている。fromseleniumimportwebdriverdriver=webdri

本当に、今さらなんで申し訳ないけど、パソコンも新調したことだし、プログラミングのお勉強を開始した。自分の仕事のためには覚えんとならんなー、と思いつつも、今までボーっと時間を過ごしてたｗ学生の時分にBASIC3級の資格は取らされたんだよ（懐かしい！！ｗ）でも現代ではBASICなんて誰も使ってないと思う。これから実用に耐えうるのは、やはりPythonですな。聞きかじりですが。で、Pythonで何するかっていうと、俺の場合「ブラウザの自動操縦」をしたい。いろいろネッ

iPhoneの壁紙用のフリー画像をネットで探していたら、Pexelsというページを見つけました。「iphonewallpaper」で検索すると良さそうな画像が表示されます。まとめてダウンロードしたいと思って、ChatGPTを使ってPythonコードを作りました。Promptはこんな感じです。Web上でリンク先の画像をまとめてダウンロードする方法を教えてpythonを使用して自動的にダウンロードする方法はWebページのサムネイル一覧画面でサムネイルをクリックした先の画像をすべ

教えて下さい。やりたいこと外部プログラムからアメブロ記事を投稿したい外部プログラム（VBA）から、Seleniumeを使用してMicrosoftEdgeで、アメブロ画面を開き、画面操作を行う。参考にしたページVBAでEdge/Chromeを操作する機能のまとめ(逆引き目次)【Selenium】当ページでアクセス数の多いSeleniumBasic(Edge/Chrome)自動操作・スクレイピングの記事をまとめます他サイトに比べ圧倒的な記事量、シンプルな作りのペ

教えて下さい。やりたいこと外部プログラムからアメブロ記事を投稿したい外部プログラム（VBA）から、Seleniumeを使用してChromeで、アメブロ画面を開き、画面操作を行う。参考にしたページVBAでEdge/Chromeを操作する機能のまとめ(逆引き目次)【Selenium】当ページでアクセス数の多いSeleniumBasic(Edge/Chrome)自動操作・スクレイピングの記事をまとめます他サイトに比べ圧倒的な記事量、シンプルな作りのページなので理解し

教えて下さい。やりたいこと外部プログラムからアメブロ記事を投稿したい外部プログラム（GoogleColabototy）から、Seleniumを使用してGoogleChromeで、アメブロ画面を開き、画面操作を行う。参考にしたページGoogleColaboratoryアップデート後のSeleniumエラー解決法:コードコピペで解決！GoogleColaboratoryのアップデート後に生じているSeleniumエラーを解決するコードを紹介します。Selen

「インターネットの存在しない時代」を知らない社会人たちは、自分が見たくない情報をみようともしない。「インターネットの無い時代」の情報源は、本やPC技術雑誌だった。自分の不得意な分野でも目を通した。インターネット時代の社会人は、自分のほしい情報だけを簡単に検索できる。本質が理解できていなくても都合のいいものだけをつまみ食いできる。したがって全体が見えていない。頭の中が、つまみ食いの世界だからPythonの万能プログラムのように見えているようだ。こころが痛くな

fromwebdriver_manager.chromeimportChromeDriverManagerChromeDriverManager().install()前日まで使えてたコードで、急にエラーが出ました。「packages\webdriver_manager\core\http.py",line16,invalidate_responseraiseValueError(f"Thereisnosuchdriverbyurl{resp.url}"

seleniumは、Pythonでスクレイピングを行う際に有用はライブラリ。Chromeなどのブラウザを介して、HTML記述の中から特定のデータを抽出することができる。HTML記述の中の要素名や属性名、入れ子関係や出現順を利用して必要なデータを得る。データ取得にあたり、seleniumversion4以降では、Byというモジュールをimportしfind_element/find_elementsメソッドを使用する。例えば、driver.find_elemen

Pythonを使ったWebのスクレイピングでよく使われるのがselenium。スクレイピングでは、webページの特定箇所のデータを取り出したり、クリックなどの操作を行うことが必要となる。特定するためには、htmlデータから対応する要素を取得する必要がある。seleniumでは、find_elementやfind_elementsというメソッドが提供されている。html中のタグのidやclass名などを使って要素を取得できる。find_elementは、最初に見つかっ

４月初旬に適当に種まきした唐辛子が発芽したっぽい！？唐辛子は初めてなので自信ないのです（雑草かもしれない）、自作の防虫剤を作った時に使った唐辛子から種を取り出して庭に適当に種をまいただけですから、よく似た雑草かもしれない記録として書いておきます。ブログをお訪ねくださり、🔍このブログ内検索ありがとうございます。唐辛子の種を撒いた時の記事(2023年04月02日)『庭の柿の木に自作の防虫剤を散布』庭の柿の木の葉っぱが大きくなってきたので先日自作した防虫剤を噴霧しました

第１話https://ameblo.jp/araya-benki/entry-12766410252.html第２話https://ameblo.jp/araya-benki/entry-12766734601.html第３話https://ameblo.jp/araya-benki/entry-12766908187.html第４話https://ameblo.jp/araya-benki/entry-12767249127.html第５話https://ameblo.jp/

FiledropwithSelenium,puppeteer,andPlaywrightForsometimenow,wehavebeenputtingtogetheralistofhowtouseSelenium,puppeteer,andPlaywright.Sincethesummaryisgettinglong…

InfinitescrollingwithSelenium,puppeteerandPlaywrightForawhilenow,IhavebeenputtingtogetheralistofhowtouseSelenium,puppeteer,andPlaywright.Sincethesummaryisgettinglong,I…

NotesonhowtousepuppeteerIhadpreviouslytestedbothSeleniumandPlaywrightforcomparison.NowthatI'velearnedhowtousethem,I'vecompiledabriefsummaryof…

SeleniumUsageNotesSinceIhavebeenexperimentingwithSeleniumrecently,IthoughtIwouldmakeanoteofhowtouseSeleniumsothatifIforgethowtouse…

ThoughtsonusingbothSeleniumandPlaywrightIusePuppeteerforwebcrawling.IhadhopedtosomedayputtogetheraguideonhowtousePuppeteer,butinthemeantime,Ihavebeenhear…

Selenium・puppeteer・Playwrightでファイルドロップするここしばらく、Selenium・puppeteer・Playwrightの使い方をまとめていました。まとめが長くなってきたので、ある程度の説明や手順が必要な操作は別記事にまとめようと思います。ここでは、Selenium・puppeteer・Playwrightそれぞれで、ファ…

Selenium・puppeteer・Playwrightで無限スクロールするここしばらく、Selenium・puppeteer・Playwrightの使い方をまとめていました。まとめが長くなってきたので、ある程度の説明や手順が必要な操作は別記事にまとめようと思います。ここでは、Selenium・puppeteer・Playwrightそれぞれで、無限…

puppeteerの使い方メモ以前、SeleniumとPlaywrightの比較のため両方を検証していました。せっかく使い方を覚えたので、また必要になった時にすぐに思い出せるよう下記記事に簡単に使い方をまとめました。元々クローラーとしてpuppeteerを使っていたので、Selenium・Playwrigh…

Seleniumの使い方メモ最近Seleniumを試していたので、使い方を忘れてもまた思い出せるよう、Seleniumの使い方をメモしておこうと思います。インストールSeleniumpipinstallseleniumブラウザとそのブラウザを駆動するWebDriverは別途インストールする必要が…

SeleniumとPlaywrightの両方を使ってみた感想WebのクローリングにPuppeteerを使っています。いつかPuppeteerの使い方をまとめたいなと思っていたのですが、そうこうしている内に月日は流れ、Puppeteerと同様のブラウザ操作ツールとして、Playwrightの名前をよく聞くようになってきました。ならばいっ…