2014年9月7日日曜日

Golang Cafe #45

8/31(日)に開催された「Golang Cafe #45」に参加してきました。

参加者は主催の +Takashi Yokoyama さん、+Takanobu Hagino さん、私の3名でした。

今回は各種資料の読み進めとHaginoさんが作成されたGoツールのソースチェック(?)を行いました。

今週は、ruiさんのQiitaへの記事の投稿が始まったり、8月に開催された各Goイベントの資料が公開されていたりと、関連資料が豊作の週でした。

前半は、公開された資料の中から、以下の2つを読み進めました。


ruiさんの投稿も牧さんのスライドも量が多いので斜め読みになりましたが、再度、どちらもじっくりと読み直したいところです。

後半は、Haginoさんが作成された、サイト「textream（テキストリーム）」の記事をWebスクレイピングするツールのソースチェック(?)を行いました。

以下、自分用のメモも兼ねて、ツールのセットアップ手順です。

１）SQLiteがインストールされていることを確認
　　→インストールされていなければインストールして下さい。

　$ sqlite3 -version
　3.7.12 2012-04-03 19:43:07

２）go-yahoo_textreamをインストール

　$ go get github.com/taknb2nch/go-yahoo_textream

３）必要なパッケージをインストール

　$ go get github.com/mattn/go-sqlite3
　$ go get github.com/coopernurse/gorp
　$ go get code.google.com/p/cascadia
　$ go get github.com/PuerkitoBio/goquery

４）Webブラウザーにて、サイト「textream」からWebスクレイピングしたい記事を表示

  1. トップページの左側の一覧からカテゴリーを選択。
    例）ニュース速報
  2. 一覧からメッセージを選択。
    例）アイドル（エンターテイメントの欄）
  3. 各メッセージのパーソナルのリンクをクリック。
    例）Yahoo!ニュース トピックス

４）go-yahoo_textream/batch/配下のusers.json.sampleをusers.jsonにリネームした後、テキストエディターにて、表示した記事の内容で書き換え

  • YahooId
    パーソナルページの右側のYahoo! ID/ニックネーム
  • DisplayName
    パーソナルページの右側の表示名
  • Url
    パーソナルページのURL

　書き換え例）
　　"Id" : 1,
　　"YahooId" : "y_news_topics",
　　"DisplayName":"Yahoo!ニュース トピックス",
　　"Url" : "http://textream.yahoo.co.jp/personal/history/comment?user=HrwFiSBtiy9RitKhZWXCdRGC"

５）同ディレクトリ内のmain.goを実行
　　→記事をWebスクレイピングしてSQLiteに格納するため、時間がかかります。

　$ go run main.go

６）go-yahoo_textream/web/配下のmain.goを実行して、Webサーバーを起動

　$ go run main.go

７）Webブラウザーにて、http://127.0.0.1:8080/users/ にアクセス

８）記事を最新化したい場合は、５）を実行した後、Webブラウザーをリロード

次回も引き続き各種資料の読み進めを行うようです。
投稿者 時刻:
ラベル:

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)