ブログ記事10件
投稿しました【OSS】ElasticsearchがOSSに復帰AGPLライセンスに対応にほんブログ村人気ブログランキング
はじめに今回は、ElasticStackの一つであるbeatsをインストールしてみたいと思います。beatsといっても以下の通り何種類かあります。また、その中でWindows10のイベント情報を収集してみようと思うので、winlogbeatをクライアントに入れて、グラフ化してみました。種類説明Filebeat一般的なログファイルを監視し、ログデータを転送および集中管理すためのもの。MetricbeatOSや実行中のサービスのリソースなどの情報を収集するものPacketbea
はじめに今回は、前回TwitterのツイートログをLogstashを使って取り込んだのでそれをグラフ化をしてみました。確かにグラフ化はできたのですが、取り込んだ過去のCSVファイルの中身が悪いのか？解らないのですが、全てを取り込もうとした際にパイプラインで定義した内容を無視したまま、取り込まれてしまったようです。簡単に言うと、_csvparsefailureでした。とりあえず練習という意味合いで、3件のみででグラフにしました。笑※練習です。。。まず、CURLコマンドについてcurl
はじめに今回は、Elasticsearch+kibanaのログ可視化ツールに日本語も扱えるようにプラグインを追加しました。そして、LogstashをインストールしてTwitterのログを取り込んでみたいと思います。kuromojiのプラグインインストール公式サイトをみているとプラグインを追加する事で日本語も解析できる様です。AnalysisPlugins今回、インストールするのは「kuromoji」です。kurmojiインストールインストールは非常に簡単。RPM版
はじめに前回の続きでDiscoverとVisualizeの基本的な事をやってみます。というか、マニュアルに沿ってやってみるだけです。。。(初めてElasticStackを使うので1ミリも使い方を知りませんので。)Discoverでデータの絞り込み検索kibana画面で左メニューの「Discover」を選択すると、初期表示が「shakes*」のデータが表示されます。IndexPatternを「shakes*」から「ba*」に変更します。このシェイクスピアデータセットを検索し
はじめにElasticsearchとkibanaを初めてインストールしました。そんな初心者がまずkibanaへデータを入れてIndexPatternを作成するまでやってみました。ElasticStackとはどのような場所からも安全に、信頼できる方法で、任意の形式でデータを取得、リアルタイムで検索、解析、可視化することができます。（「Elasticsearch」、「Logstash」、「Kibana」、「Beats」などから構成されるソフトウェア群の名称です。）製品名機
はじめに職場では、splunkを使ってログの一括管理(一部除く)をしています。その製品と同じ様な類の製品がオープンソースでリリースされているので今回は、ElasticSearch+kibanaというツールを興味本位でCentos7にインストールしてみようと思います。ElasticSearchダウンロード/インストールまず、ElasticSearchをインストールします。で、最初に、CURLコマンドとjavaの1.8系が必要になりますので予めインストールしておく必要があります。
人間っていうのは欲深い生き物なので、少しできるようになると、あれもやりたい、これもやりたい、と次々に欲求が出てくるものです。以前の記事では、秋田市の最高気温と最低気温を、折れ線グラフにしていました。今回は、さらに積雪量を棒グラフで表示することに挑戦してみました。グラフの元データは、前回と同じ気象庁のサイトからダウンロードします。ダウンロードしたCSVファイルを、logstashで読み込み、Elasticsearchに投入します。投入したデータを、Kibanaで可視化します。同じ種類
今回は、logstash（ログスタッシュ）のお話です。logstashとは、Elastic社が提供するオープンソフトウェアのログ管理ツールです。ログを収集し、主に、Elastic社の全文検索検索エンジン「Elasticsearch」とのセットでの連携を想定されています。logstashの設定ファイルに、「input」「filter」「output」を定義することで、簡単に連携することができます。今回は、以下の様なファイル、KV形式ファイルがあります。KV形式とは、「キー(KEY)=値
気象庁のサイトから、秋田市の気温データをcsvでダウンロードし、logstashを使い、elasticsearchに読み込み、kibanaで可視化してみた。※サイトからダウンロードできる最新バージョンは、6.1ですが、私のタブレットPCは32bitなので、5.6をダウンロードしました。私が秋田に帰省していた12/27が一番寒い日でした(T_T)※秋田市で、最高気温が氷点下になることはめったにありませんが、12月27日の気温は最高-1.1度。トイレのタンクの水の表面が凍っていたぐらいの
