さくらVPS CentOS6.2にsystemuをインストール ruby-2.0.0-p0

1. systemuのインストール
rubyから実行した外部コマンドの出力結果が EUC-JP なのに、端末の表示は UTF-8 の場合、当然ながら文字化けする。
リダイレクトでファイルに書き込んで、「iconv -f euc-jp -t utf-8」で文字コードを変換するのも何か微妙な気がしたので、
systemuを使用することにした。

サンプルスクリプト（test.rb）のイメージは、以下のような感じ。

2. Rubyから外部コマンドを実行する場合の参考資料
Rubyで外部コマンドを実行して結果を受け取る方法あれこれ systemu で外部コマンドを実行する
systemu を使用して Ruby から外部コマンドを実行する

さくらVPS CentOS6.2にraccをインストール ruby-2.0.0-p0

1. raccのインストール
Racc でおてがる構文解析を見て、raccを使ってみたくなった。

ヘルプを表示する。


2. 【補足】「--no-ri --no-rdoc」オプションをつけなかった場合。
でインストールした場合に、

っと、以下の警告が出ていた。

ひとまずgemのインストール場所を探す。

16進数の制御コードでgrepしてみる。

16進数の制御コードでgrepしても見つからない。。


こういうときは、「--no-ri --no-rdocオプションをつけて、ドキュメントをインストールしない対処でいいんだろうか。
「/usr/local/lib/ruby/gems/2.0.0/gems/racc-1.4.9/lib/racc」ディレクトリ配下に格納されているファイルで「cparse.so」だけバイナリファイルで、「*.rb」じゃないのが原因な気もする。

さくらVPS CentOS6.2でインターネット公報SGMLをOpenjadeを使ってHTML変換

1. インターネット意匠公報のダウンロード
2. 電子署名検証（TARP7→TAR形式）
インターネット利用による公報発行サイトにも書いておいたが、Windowsのクライアント上で、あらかじめ、


電子署名検証方法について（「特許庁公報電子署名検証プログラム」のダウンロード）


に従って、プログラム本体のダウンロードと電子署名検証を一度は試しておき、取得した以下のファイルをインターネット意匠公報（TARP7形式）と同一ディレクトリに格納する。


・電子署名検証して取得したルート証明書（例：JPT_2013006_01-01_root.der）
・p7verify.jar


TARを解凍する。



3. OpenJadeのインストール



4. CATALOGのファイルの用意
「./JPD_2013006/SOFTWARE/CATALOG_BASE.FIL」（Shift-JIS）を元に、ファイル名を小文字にしておく。


Linux（CentOS6.2）でデフォルトがutf-8エンコーディングのため、以下の加工をしておく。

・「＊１＊:\」、「＊２＊」の文言を削除しておく。
・ファイル名を小文字にしておく。
でvimの文字コードを「Shift-JIS」に変更して編集できる。


5. SGMLDECLファイルの用意
「./JPD_2011048/GAZETTE.SGM」を元に、ファイル名を小文字にしておく。




6. DTDファイルの用意
「./JPD_2011048/DES.DTD」を元に、ファイル名を小文字にしておく。




7. ENTITYファイルの用意
「./JPD_2011048/SOFTWARE/*.ENT」を元に、ファイル名を小文字にしておく。




8. 公報（SGML 文書）を閲覧するための編集形式について
「公報仕様　意匠、商標、公開・国際商標、審決 第8版について」－「第3編 公報文書の詳細」－「1．意匠公報」－「1.5. 公報編集形式」に以下の記載がある。

ＳＧＭＬ文書より、表示例のごとく表示するための編集形式を以降に示す。
公報（SGML 文書）を閲覧するための閲覧ソフトウェアは以降の編集形式にしたがって、公報データを表示すること。


公報ビューアでの編集形式が記載されている「./JPD_2011048/SOFTWARE/DES.CSV」（euc-jp）が参考になる。


9. DSSSLスタイルシートの用意
DSSSLスタイルシートを「euc-jp」で作成する。

でvimの文字コードを「euc-jp」に変更して編集できる。




10. SGMLの準備
何かいいサンプルが無いかとGoogleで探したら、意匠登録第1429489号が任天堂の「Wii U」の意匠らしいので、それをサンプルに使ってみる。



11. マルチTIFFの解凍
ImageMagickのconvertコマンドを使用する。
詳細はさくらVPS CentOS6.2でインターネット公報SGMLのマルチTIFFを分割で解説済みのため、割愛する。


convertコマンドで分割する。
IMGファイル（マルチTIFF形式）に格納されている順序が以下のため、convertコマンドで抽出順序順に連番を付与すると、残念ながらファイル名がずれてしまう。

ということで、RMagickを使ったRubyスクリプトを作成した。

IMAGEタグのORIGINAL-FILE-NAMEに設定されているファイル名で書き込みをしているため、マルチTIFFに格納されているイメージがJPEG/TIFFかどうかを判定する必要もない。

スクリプトを実行する。




12. HTMLへ変換
openjadeでHTML変換し、iconvで文字コードを「utf-8」に変換する。



13. HTMLをブラウザで表示
「Internet Explorer 9（以下IE9）」から、デフォルトでTIFF表示できる。TIFFプラグインを考えたくないなら、IE9でOK。









14. 公報ビューアで元SGML表示
公報ビューアで表示した場合と比較しても、特に問題ないように見えるので、ひとまずは満足した。








15. SGML/DSSSL/JADEの参考資料
SGML/DSSSL/JADEについては、以下を参考にした。

「SGML」

The SGML/XML Page

「DSSSL」

DSSSL入門
DSSSLへの手引き
The DSSSL Cookbook

「2013/04/09追記」
文書スタイル意味指定言語 (DSSSL)

「JADE」

フォーマッターJADE
OpenJade

DSSSLは、Lisp Schemeを手本にしているので、細かい表現はSchemeが参考になる。

「Scheme」

もうひとつの Scheme 入門
逆引きScheme
scheme Programming
Gauche ユーザリファレンス
「2013/04/09追記」
Scheme演習

さくらVPS CentOS6.2でインターネット公報SGMLのマルチTIFFを分割

1. インターネット意匠公報のダウンロード
2. 電子署名検証（TARP7→TAR形式）
インターネット利用による公報発行サイトにも書いておいたが、Windowsのクライアント上で、あらかじめ、


電子署名検証方法について（「特許庁公報電子署名検証プログラム」のダウンロード）


に従って、プログラム本体のダウンロードと電子署名検証を一度は試しておき、取得した以下のファイルをインターネット意匠公報（TARP7形式）と同一ディレクトリに格納する。


・電子署名検証して取得したルート証明書（例：JPT_2013006_01-01_root.der）
・p7verify.jar


TARを解凍する。



3. ImageMagickのインストール
さくらVPS CentOS6.2にImageMagick + RMagickをインストールでインストール済みの前提のため、割愛する。


4. マルチTIFFの解凍
ImageMagickのconvertコマンドを使用する。
「参考」
ImageMagickの使い方は、このサイトがわかりやすい。


「分割後の拡張子がTIFFの場合」 以下のように表示される場合は、分割後のイメージファイルはTIFF形式。




convertコマンドで分割する。


tiffsplitコマンドで分割した場合も、正常にファイル分割される。


「分割後の拡張子がJPEGの場合」 以下のように表示される場合は、分割後のイメージファイルはJPEG形式。




convertコマンドで分割する。


以下の警告が出るが、分割後のファイルをイメージビューアで見ることは出来る。


tiffsplitコマンドで分割した場合は、警告が出た上で、ファイル分割が行われない。




イメージファイルの詳細仕様については、公報仕様書を参照。2013年2月現在は、第8版が最新。
公報仕様　意匠、商標、公開・国際商標、審決 第8版について
第2編　各ファイルの詳細
5.イメージファイル


(2013/03/10修正)
これによると「tag 293」は、「T6 エンコードオプション(圧縮)」の模様。
Tagged Image File Formatに以下の記載がある。




JPEG圧縮
TIFF6.0で導入されたJPEG圧縮については、仕様上の不備が指摘されており、後に発行されたAdobe Photoshop Technical Notesによって大幅な変更が加えられた。この変更では、従来のTIFF6.0でJPEG圧縮のために定義されていたCompression=6および関連タグを廃止し、代わりに新しくCompression=7およびそれに関連するタグが導入されている。これによって様々な問題点がクリアされ実装も容易になったことから徐々にこの形式への移行が進んでいるが、互換性などの問題から従来のCompression=6も引き続き使われている。なおCompression=6ではタグの記述方法が難解なことなどから、TIFF6.0の仕様にさえも準拠せず独自の解釈でエンコード/デコードを行うアプリケーションソフトウェアも少なくない。そのため、JPEG圧縮のTIFFファイルの中には著しく互換性の低いものがある。



公報仕様書によるとCompression=6（カラー）を使っているので、JPEG圧縮の互換性関連で警告が出ているっぽい。
convertコマンドのファイル分割結果に特に問題はないようなので、当面気にしないことにする。

さくらVPS CentOS6.2にRuby 2.0.0-p0をインストール

さくらVPS CentOS6.2にRuby(1.9.3-p392)をインストールで既にruby-1.9.3-p392をインストール済みの前提。



1. ruby-1.9.3-p392のアンインストール



2. ruby-2.0.0-p0のインストール


以下のとおり表示されることを確認する。

さくらVPS CentOS6.2にImageMagick + RMagickをインストール

CentOS6 +Rails3 +ImageMagick +RMagick +file_column Install
を参考にさせていただいた。


1. ImageMagickのインストール
[y/N]を聞かれるので、「y」を入力して、「Enter」キーを押下する。



2. ImageMagick-develのインストール
[y/N]を聞かれるので、「y」を入力して、「Enter」キーを押下する。



3. Ruby(1.9.3-p392)のインストール
さくらVPS CentOS6.2にRuby(1.9.3-p392)をインストールでインストール済みの前提のため、割愛する。


（2013/2/24追記）
以下、Ruby 2.0.0-p0でも動くことを確認した。



4. rmagickのインストール

さくらVPS CentOS6.2でインターネット公報SGMLのスクレイピング

1. インターネット商標公報のダウンロード
2. 電子署名検証（TARP7→TAR形式）
インターネット利用による公報発行サイトにも書いておいたが、Windowsのクライアント上で、あらかじめ、


電子署名検証方法について（「特許庁公報電子署名検証プログラム」のダウンロード）


に従って、プログラム本体のダウンロードと電子署名検証を一度は試しておき、取得した以下のファイルをインターネット商標公報（TARP7形式）と同一ディレクトリに格納する。


・電子署名検証して取得したルート証明書（例：JPT_2013006_01-01_root.der）
・p7verify.jar


TARを解凍する。



3. ruby1.9のインストール
さくらVPS CentOS6.2にRuby(1.9.3-p392)をインストールでインストール済みの前提のため、割愛する。

（2013/2/24追記）
以下、Ruby 2.0.0-p0でも動くことを確認した。



4. hpricotのインストール
一部のHTMLパーサはSGMLの簡単なパースなら出来る模様。
不具合があるパターンがあれば、正規表現で抜くことになると思う。





5. gazette.rbの編集
サンプルとして、登録番号を取得するスクリプトを書いてみた。
公報SGMLはeuc-jpなので、エンコーディング周りには注意が必要。


各ファイルの詳細仕様については、公報仕様書を参照。2013年2月現在は、第8版が最新。
公報仕様　意匠、商標、公開・国際商標、審決 第8版について





6. gazette.rbの実行
以下のとおり表示されることを確認する。

さくらVPS CentOS6.2にRuby(1.9.3-p392)をインストール

CentOS(6.3)にRuby(1.9)、Rails、Passengerをインストール
CentOSにRails 3.2.xとruby 1.9.3-p125をインストールする方法
完全にメモ。CentOS 6.2 に ruby をインストール
を参考にさせていただいた。


1. yamlのインストール
ruby-1.9.3-p392のインストール前に、yamlをインストールしないと以下のエラーが出る。 その場合は、再度インストールのやり直しが発生するので、注意が必要。
2. ruby-1.9.3-p392のインストール
3. gemのアップデート
gemのバージョンをsudoで確認する。 sudoした際に、pathが通っていないと、以下のエラーが出る。 上記のエラーが出る場合は、/etc/sudoersを編集する。
以下のパスに、「/usr/local/bin」を追加しておけばOK。
gemのアップデートをする。

さくらVPS CentOS6.2でSolr4.0を使って「魔法少女まどか☆マギカ」の台詞を全文検索

転職した後輩に「プログラマたるもの、アニメかゲームをやるもの。」と以前怒られたので、タイトルのとおり、チャレンジしてみた。

1. Solr 4.0 のインストール
細かい設定は、さくらVPS CentOS6.2でSolr4.0のチュートリアルに従って設定済みのため、詳細は割愛する。


2. ディレクトリの用意



3. 不要ファイルの削除



4. solr.xmlの編集
以下のとおりになっていることを確認する。

defaultCoreName="madmagi"
core name="madmagi"
instanceDir="madmagi"



5. schema.xmlの編集


以下の内容をコピペする。

Ctrl+Cで終了する。





6. solrconfig.xmlの編集
今回は、特に実施しない。
(1/31追記)solrconfig.xmlを編集する。
以下をコメントアウトする。



7. solrの起動



8. beautifulsoupのインストール
別ターミナルを開いて、beautifulsoupのインストールをする。


9. インストール魔法少女まどか☆マギカの台詞のデータをダウンロード
Apache Mahout 機械学習Libraryを使って「魔法少女まどか☆マギカ」の台詞をテキストマイニングしてみたを参考に、台詞をjsonで保存する。

以下の内容をコピペする。

Ctrl+Cで終了する。



以下のスクリプトを実行する。




出力結果を確認する。









10. solrの起動



11. madmagiのデータインポート
別ターミナルを開いて、データのインポートをする。


12. 管理コンソールの起動
ブラウザから、「http://IPアドレス:8983/solr/#/madmagi/query」を起動し、管理コンソールから検索できるか確認する。

さくらVPS CentOS6.2でSolr4.0にwikipediaのデータを投入

1. Solrのインストール
SolrにWikipediaのデータを入れて遊ぶを参考にさせていただいた。以下、設定内容。



2. Solr 4.0 のインストール
細かい設定は、さくらVPS CentOS6.2でSolr4.0のチュートリアルに従って設定済みのため、詳細は割愛する。


3. Wikipedia用ディレクトリの用意



4. 不要ファイルの削除



5. solr.xmlの編集
以下のとおりになっていることを確認する。

defaultCoreName="wikipedia"
core name="wikipedia"
instanceDir="wikipedia"



6. schema.xmlの編集
(1/31追記)SyntaxHighlighter内のソース記載が壊れていたため修正。
以下の内容をコピペする。

Ctrl+Cで終了する。


削除されている項目もあったたため、サンプルのschema.xmlのコメントを参照しながら、設定する。 maxFieldLengthの代わりに設定するはずだった、solr.LimitTokenCountFilterFactoryは、JIRAに不具合が報告されているようなので、ひとまずコメントアウトする。

LimitTokenCountFilterFactory config parsing is totally broken
(1/31追記)SyntaxHighlighter内のソース記載が壊れていたため修正。
solr4.0から導入された_version_フィールドを設定しないと起動時に異常終了する。



7. solrconfig.xmlの編集
今回は、特に実施しない。
(1/31追記)solrconfig.xmlを編集する。
以下をコメントアウトする。




8. solrの起動




9. wikipediaのデータをダウンロード




10. Javaソース（PagesArticlesXmlParser.java）の設置
Ctrl+Cで終了する。

grepcodeで調べたところ、CommonsHttpSolrServerは、solr-solrj 3.6.1までのようなので、HttpSolrServerに変更した。





11. Javaソース（WikipediaModel.java）の設置
Ctrl+Cで終了する。






12. クラスファイルの生成




13. Wikipediaのデータインポート




14. 管理コンソールの起動
ブラウザから、「http://IPアドレス:8983/solr/#/wikipedia/query」を起動し、管理コンソールから検索できるか確認する。

さくらVPS CentOS6.2にdropbox

1. Dropboxのインストール
さくらVPSでDropboxを参考にさせていただいた。以下、設定内容。



2. Dropboxのアカウント作成
Dropbox公式ホームページからアカウントを作成する。


3. Python2.6のインストール



4. dropbox.pyの設置



5. dropboxの起動


上記URLをブラウザで開き、作成したDropboxのアカウントでサインインする。


6. 自動起動設定

以下、編集内容。 chkconfigによる自動起動設定をする。

さくらVPS CentOS6.2のOS設定

1. さくらVPSの申し込み
さくらのVPS 2Gを使用中。
OS設定にしくじっても、VPSコントロールパネルから手軽にOS再インストール出来るし、なかなか便利。 （OS再インストールを実行後、15分ぐらいで再度使用できる。）


2. CentOS6.2の基本設定
名古屋で働くWebプログラマの覚書を参考にさせていただいた。以下、設定内容。



3. etckeeperのインストール



4. 作業用ユーザ（例：superuser）の作成
ユーザ名、パスワードは任意の内容に変更する。


5. sudoコマンドの為の設定ファイルの編集



6. SSH鍵生成
Tera TermのSSH鍵生成を使用して、SSHの鍵ペア（秘密鍵、公開鍵）を作成した。

「設定」メニューから「SSH鍵生成」を選択する。



「生成」ボタンをクリックする。





「鍵のパスフレーズ」に任意のキーワードを入力する。





「id_rsa.pub」（公開鍵）を任意のフォルダに保存する。





「id_rsa」（秘密鍵）を任意のフォルダに保存する。








7. SSH公開鍵の設置
WinSCP等のSCPクライアントで、作業用ユーザ（superuser）のHOMEディレクトリ（/home/superuser）に、「id_rsa.pub」（公開鍵）を転送する。転送後、所定の場所（/home/superuser/.ssh/authorized_keys）に設置する。


8. SSHの設定



9. iptablesの設定
iptablesの再起動とchkconfigによる自動起動設定をする。


10. root宛のメール設定
メールアドレス（user@example.com）は、自分のメールアドレスに変更する。


11. 日本語環境を使用する
CentOS 6.2 FAQ - 1. 日本語環境を使用するを参考に日本語化する。


12. yumパッケージの最新化



13. etckeeperのcommit



14. Tera TermからSSH鍵を使用して接続する。






以下のようなTeratermマクロ（例：ssh2login_publickey.ttl）を作成してもいい。

気が向いたら、chef-soloでrecipe化したい。