さくらVPS CentOS6.2でSolr4.0にwikipediaのデータを投入

1. Solrのインストール
SolrにWikipediaのデータを入れて遊ぶを参考にさせていただいた。以下、設定内容。



2. Solr 4.0 のインストール
細かい設定は、さくらVPS CentOS6.2でSolr4.0のチュートリアルに従って設定済みのため、詳細は割愛する。


3. Wikipedia用ディレクトリの用意



4. 不要ファイルの削除



5. solr.xmlの編集
以下のとおりになっていることを確認する。

defaultCoreName="wikipedia"
core name="wikipedia"
instanceDir="wikipedia"



6. schema.xmlの編集
(1/31追記)SyntaxHighlighter内のソース記載が壊れていたため修正。
以下の内容をコピペする。

Ctrl+Cで終了する。


削除されている項目もあったたため、サンプルのschema.xmlのコメントを参照しながら、設定する。 maxFieldLengthの代わりに設定するはずだった、solr.LimitTokenCountFilterFactoryは、JIRAに不具合が報告されているようなので、ひとまずコメントアウトする。

LimitTokenCountFilterFactory config parsing is totally broken
(1/31追記)SyntaxHighlighter内のソース記載が壊れていたため修正。
solr4.0から導入された_version_フィールドを設定しないと起動時に異常終了する。



7. solrconfig.xmlの編集
今回は、特に実施しない。
(1/31追記)solrconfig.xmlを編集する。
以下をコメントアウトする。




8. solrの起動




9. wikipediaのデータをダウンロード




10. Javaソース（PagesArticlesXmlParser.java）の設置
Ctrl+Cで終了する。

grepcodeで調べたところ、CommonsHttpSolrServerは、solr-solrj 3.6.1までのようなので、HttpSolrServerに変更した。





11. Javaソース（WikipediaModel.java）の設置
Ctrl+Cで終了する。






12. クラスファイルの生成




13. Wikipediaのデータインポート




14. 管理コンソールの起動
ブラウザから、「http://IPアドレス:8983/solr/#/wikipedia/query」を起動し、管理コンソールから検索できるか確認する。

単体テストを“神速”化するQuick JUnitとMockito

これは便利。

さくらVPS CentOS6.2でSolr4.0のチュートリアル

1. Javaのインストール
CentOSにJavaをインストール(with yum)を参考にさせていただいた。以下、設定内容。



2. Java1.6のインストール

今回は、Java1.6をインストールする。



3. Javaのバージョン確認



4. 複数バージョンのJavaを切り替える場合は以下のコマンドで切り替える。



5. Javaのシンボリックリンク作成



6. JAVA_HOMEの設定



7. .bashrcの読み込み



8. Solr 4.0 のインストール
Solr 4.0 Tutorialを参考に設定する。



9. Solr 4.0 の起動

ブラウザから、「http://IPアドレス:8983/solr/」を起動し、管理コンソールが起動するか確認する。


10. iptablesの設定
管理コンソールが起動しない場合は、別ターミナルでiptablesの設定をする。

以下のとおり「8983」ポートを許可するように設定しておくこと。


11. iptablesの再起動


ブラウザから、「http://IPアドレス:8983/solr/」を起動し、管理コンソールが起動するか確認する。

以前（Solr 3.x系まで）と比べて、だいぶ見栄えが変わったように見える。














































12. サンプルドキュメントのポスト（post.jar）



13. サンプルドキュメントのポスト（post.sh）
curlがインストールされているか確認する。インストールされていなければ、yumでインストールする。
post.shでドキュメントをポストする。



14. 管理コンソールからクエリ検索










15. URLからクエリ指定

Bloggerの統計に不審なサイトからアクセス

Bloggerの統計を見てみたら、海外の不審なサイトから、大量のページビューだけがあった。
怪しい検索キーワードでも記事にあるのかと思ったが、特に引っかからない。
ググったら、原因は以下のようだった。

Blogger付属のアクセス解析「統計」の不審なトラフィック

テンプレートのHTML編集で、></b:skin>の前に以下の設定をすれば解決らしい。

さくらVPS CentOS6.2にdropbox

1. Dropboxのインストール
さくらVPSでDropboxを参考にさせていただいた。以下、設定内容。



2. Dropboxのアカウント作成
Dropbox公式ホームページからアカウントを作成する。


3. Python2.6のインストール



4. dropbox.pyの設置



5. dropboxの起動


上記URLをブラウザで開き、作成したDropboxのアカウントでサインインする。


6. 自動起動設定

以下、編集内容。 chkconfigによる自動起動設定をする。

Syntax Highlighter

Blogger上でソースコードを表示するのに、SyntaxHighlighterを使ってみた。

BloggerにおけるSyntaxHighlighterの使い方を参考にさせていただき、
Bloggerのテンプレートの</head>の前に以下のコードを追加した。

    <link href='http://alexgorbatchev.com/pub/sh/current/styles/shCore.css' rel='stylesheet' type='text/css'/> 
    <link href='http://alexgorbatchev.com/pub/sh/current/styles/shThemeDefault.css' rel='stylesheet' type='text/css'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shCore.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushBash.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushCpp.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushCSharp.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushCss.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushJava.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushJScript.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushPhp.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushPlain.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushPython.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushRuby.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushScala.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushSql.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushVb.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushXml.js' type='text/javascript'/> 
    <script src='http://alexgorbatchev.com/pub/sh/current/scripts/shBrushPerl.js' type='text/javascript'/> 
    <script language='javascript'> 
    SyntaxHighlighter.config.bloggerMode = true;
    SyntaxHighlighter.config.clipboardSwf = 'http://alexgorbatchev.com/pub/sh/current/scripts/clipboard.swf';
    SyntaxHighlighter.all();
    </script>

とりあえず、趣味で以下を追加してみた。

Linuxのコマンド表示用：「shBrushBash.js」
テキスト表示用       ：「shBrushPlain.js」
Scala表示用          ：「shBrushScala.js」

便利。

さくらVPS CentOS6.2のOS設定

1. さくらVPSの申し込み
さくらのVPS 2Gを使用中。
OS設定にしくじっても、VPSコントロールパネルから手軽にOS再インストール出来るし、なかなか便利。 （OS再インストールを実行後、15分ぐらいで再度使用できる。）


2. CentOS6.2の基本設定
名古屋で働くWebプログラマの覚書を参考にさせていただいた。以下、設定内容。



3. etckeeperのインストール



4. 作業用ユーザ（例：superuser）の作成
ユーザ名、パスワードは任意の内容に変更する。


5. sudoコマンドの為の設定ファイルの編集



6. SSH鍵生成
Tera TermのSSH鍵生成を使用して、SSHの鍵ペア（秘密鍵、公開鍵）を作成した。

「設定」メニューから「SSH鍵生成」を選択する。



「生成」ボタンをクリックする。





「鍵のパスフレーズ」に任意のキーワードを入力する。





「id_rsa.pub」（公開鍵）を任意のフォルダに保存する。





「id_rsa」（秘密鍵）を任意のフォルダに保存する。








7. SSH公開鍵の設置
WinSCP等のSCPクライアントで、作業用ユーザ（superuser）のHOMEディレクトリ（/home/superuser）に、「id_rsa.pub」（公開鍵）を転送する。転送後、所定の場所（/home/superuser/.ssh/authorized_keys）に設置する。


8. SSHの設定



9. iptablesの設定
iptablesの再起動とchkconfigによる自動起動設定をする。


10. root宛のメール設定
メールアドレス（user@example.com）は、自分のメールアドレスに変更する。


11. 日本語環境を使用する
CentOS 6.2 FAQ - 1. 日本語環境を使用するを参考に日本語化する。


12. yumパッケージの最新化



13. etckeeperのcommit



14. Tera TermからSSH鍵を使用して接続する。






以下のようなTeratermマクロ（例：ssh2login_publickey.ttl）を作成してもいい。

気が向いたら、chef-soloでrecipe化したい。