ほんじゃら堂

めんどくさい仕事をラクにする作業自動化レシピ集

データ収集

Node.jsでテレビの映画放映情報をWebスクレイピングしてSlackに通知する

最近素晴らしいことに家族内でSlackを使ってやりとりするようになった。 せっかくなので何かボット的なものを作ろう、ということで 昔Clojureで作った、 「映画情報をスクレイピングして通知する」スクリプトのNode.js版を作って、 定期的にSlackに通知する…

node.jsでWebスクレイピングして取得データを保存する

node.jsでデータ収集のためのWebスクレイピングを行う。 Webスクレイピングの流れというのはだいたい決まっていて、 WebページにアクセスしてHTMLを取得する 取得したHTMLの中から必要なデータを抽出する 抽出したデータを保存する の3段階となる。

効率的にやせるために栄養について理解するために栄養素データで遊ぶ

太り過ぎでそろそろ家族の冷たい視線と容赦ない言葉に耐えられなくなってきたので、 ダイエットに真剣に取り組みたい。 ダイエットといえば「食事のバランス」と「適度な運動」だけど、 おそらく日々の食事の方が体重への影響は大きいだろう、 ということで…

Node.jsで非同期処理を不特定回数繰り返す方法をYouTubeのお気に入りタイトル一覧を取得するスクリプトを作りながら考える

YouTubeでお気に入りに入れた動画のタイトルを一覧化して見たくなったので、 YouTube Data API経由でデータを取得して表示するNode.jsスクリプトを作ってみた。 APIへのアクセス自体はサクッとできたのだけど、 複数ページデータを非同期で取得するフローの…

Windows/Linuxでディスクがいっぱいになった時に、フォルダ毎に使用している容量を確認する方法

PCやサーバの容量がなくなる、というのは案外よくあるもので、 年に1回くらいそんな事態に遭遇しては、 どのフォルダ・ファイルが容量を圧迫してるんだ! 容量を調べるためのコマンドなんだっけ? とコマンドを探したりツールを探したりする。 なので、自分…

Twitter APIでタイムラインを分析して、フォロワーが最も活動している時間を見つける

Twitterに記事ツイートを投稿するなら、 閲覧者が多い時間帯に投稿した方が効率が良い。 ツイートが多い時間 = 閲覧者が多い時間だろう、 ということでTwitterのAPIを使って自分のフォロワーが どの曜日、どの時間帯でツイートしているのかを調査してみた。 …