葉蔭@IT

2015年4月20日月曜日

Solr4系とSolr5系の違い

2015/02/20に Apache Solr 5.0.0
2015/04/14に Apache Solr 5.1.0
2015/06/07に Apache Solr 5.2.0
2015/06/15に Apache Solr 5.2.1
がリリースされている。

個人的には、
Apache Solr 5.2.0以降で、Jetty 9が採用されている
また、
Apache Solr 5.2.0以前のBug Fixesの件数が多い
ため、
Apache Solr 5.2.1以降を採用する予定。

20 February 2015 - Apache Solr 5.0.0 and Reference Guide for 5.0 available	http://lucene.apache.org/solr/news.html#20-february-2015-apache-solr-500-and-reference-guide-for-50-available
Apache Solr Release Notes	http://lucene.apache.org/solr/5_0_0/changes/Changes.html
14 April 2015 - Apache Solr 5.1.0 Available	http://lucene.apache.org/solr/news.html#14-april-2015-apache-solr-510-available
Apache Solr Release Notes	http://lucene.apache.org/solr/5_1_0/changes/Changes.html
7 June 2015 - Apache Solr 5.2.0 and Reference Guide for 5.2 available	http://lucene.apache.org/solr/news.html#7-june-2015-apache-solr-520-and-reference-guide-for-52-available
Apache Solr Release Notes	http://lucene.apache.org/solr/5_2_0/changes/Changes.html
15 June 2015, Apache Solr 5.2.1 available	http://lucene.apache.org/solr/news.html#15-june-2015-apache-solr-521-available
Apache Solr Release Notes	http://lucene.apache.org/solr/5_2_1/changes/Changes.html

リファレンスガイドの最新版は以下で公開されている。

Apache Solr Reference Guide (pdf)	http://ftp.kddilabs.jp/infosystems/apache/lucene/solr/ref-guide/
Apache Solr Reference Guide	https://cwiki.apache.org/confluence/display/solr/Apache+Solr+Reference+Guide

メジャーバージョンアップに伴い、非推奨またはサポート対象外の項目も多いので注意が必要。

Solr is Now a Standalone Server

Beginning with Solr 5.0, Solr is no longer distributed as a "war" (Web Application Archive) suitable for deployment in any Servlet Container.
Solr 5.0からは、サーブレットコンテナに対するデプロイに適しているwar形式でのディストリビューションは実施していない。
Deployment as a "webapp" to other Servlet Containers (or other instances of Jetty) is not supported,
他のサーブレットコンテナ（または、jetty以外のインスタンス）へのwebappとしてのデプロイはサポートされない。

Index Format

Solr 5 has no support for reading Lucene/Solr 3.x and earlier indexes.
Solr 5 は Lucene/Solr 3.x 以前のインデックスの読み込みをサポートしていない。

solr.xml Format

Solr 5.0 has eliminated all support for the older solr.xml format, and moved entirely to core discovery.
Solr 5.0 は、（Solr 4.3以前の古い） solr.xml フォーマットに対する全てのサポートを排除した。

Collections API

Solr 5.0 only supports creating and removing SolrCloud collections through the Collections API, unlike previous versions.
これまでのバージョンと違い、Solr 5.0 はコレクションAPIを経由した、SolrCloud コレクションの作成または削除のみ、サポートする。

SolrJ changes

Many SolrJ methods that were marked deprecated in Solr 4.10 have been removed.
Solr 4.10で非推奨となった、多数のSolrJ メソッドが削除された。

Major Changes from Solr 4 to Solr 5	https://cwiki.apache.org/confluence/display/solr/Major+Changes+from+Solr+4+to+Solr+5
Moving to the New solr.xml Format	https://cwiki.apache.org/confluence/display/solr/Moving+to+the+New+solr.xml+Format
Upgrading a Solr 4.x Cluster to Solr 5.0	https://cwiki.apache.org/confluence/display/solr/Upgrading+a+Solr+4.x+Cluster+to+Solr+5.0

javaのバグがあるため、Apache Solr 4.8 以降は、Java 7u55以上が推奨。

The recently released Java 7u55 fixes the above bug causing index corrumption. This version is now the recommended version for running Apache Solr.

12 March 2014 - Apache Solr 4.8 will require Java 7	https://lucene.apache.org/solr/news.html#12-march-2014-apache-solr-48-will-require-java-7

2015年4月19日日曜日

Windows7 64Bit上でVagrant＋CentOS6.5＋Solr5.1.0インストール

以下の環境で、Vagrant Base Box(CentOS-6.5-x86_64)とVagrantfileを作成してみた。

NOTE:

Windows7 (SP1 64Bit)

veewee (0.3.12)

Vagrant (1.5.3)

VirtualBox (4.3.10)

作成した資材は以下で公開している。

資材	場所
Vagrantfile	GitHub
Vagrant Base Box(CentOS-6.5-x86_64)	Yahoo!ボックス

使い方はHow to use these Vagrantfilesを参照

基本的に、以下で環境構築が完了するはず。

$ git clone https://github.com/lvisdd/vagrant-boxes.git
$ cd vagrant-boxes/vagrantfile/solr/510
$ vagrant up

Vagrant、Veeweeの基本的な操作については、以下で記載済みのため、割愛する。

以下、動作確認例。

画面	URL
Solr Admin	http://localhost:8983/solr/admin
Query画面	http://localhost:8983/solr/#/sample/query
Query実行結果	http://localhost:8983/solr/sample/select?q=%3A&wt=json&indent=true

以下、script.shの中身。

ちなみにSolr5.1は bin/solr.in.sh の SOLR_JAVA_MEM が読み飛ばされるため、JVMのヒープ・メモリのサイズを変更できない。Solr5.2系以降に期待。
SOLR_JAVA_MEM setting in solr.in.sh ignored

#!/bin/bash

### OS
# iptables
# sed -i "/-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT/a-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT" /etc/sysconfig/iptables
sed -i "/-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT/a-A INPUT -m state --state NEW -m tcp -p tcp --dport 8983 -j ACCEPT" /etc/sysconfig/iptables
service iptables restart

### solr
# utility
yum -y install unzip

# java
yum -y install java-1.7.0-openjdk.x86_64

# solr
cd /var/tmp
wget http://ftp.riken.jp/net/apache/lucene/solr/5.1.0/solr-5.1.0.tgz
tar xzvf solr-5.1.0.tgz
cd solr-5.1.0
./bin/install_solr_service.sh ../solr-5.1.0.tgz -d /opt/solr

rm -fR /var/tmp/solr-5.1.0*

service solr stop
service solr status

### Core (sample)
cd /opt/solr
mkdir -p /opt/solr/data/sample
cp -rp server/solr/configsets/sample_techproducts_configs/conf/ /opt/solr/data/sample/
mkdir -p /opt/solr/data/sample/data
chmod -R a+w /opt/solr/data/sample/data

cat <<EOS > /opt/solr/data/sample/core.properties
name=sample
config=solrconfig.xml
schema=schema.xml
dataDir=data
EOS

chown -R solr:solr /opt/solr /opt/solr-5.1.0

### Service
service solr start
sleep 30
service solr status

### Browser
# http://localhost:8983/solr/admin
# http://localhost:8983/solr/#/sample/query

### Indexing Data
# For more information, See.
# http://lucene.apache.org/solr/quickstart.html

cd /opt/solr

## Indexing a directory of "rich" files
# bin/post -c sample docs/

## Indexing Solr XML
bin/post -c sample example/exampledocs/*.xml

## Indexing JSON
# bin/post -c sample example/exampledocs/*.json

## Indexing CSV (Comma/Column Separated Values)
# bin/post -c sample example/exampledocs/*.csv

## Deleting Data
# bin/post -c sample -d "<delete><query>*:*</query></delete>"

## Searching
# http://localhost:8983/solr/sample/select?q=*:*&wt=json&indent=true
curl "http://localhost:8983/solr/sample/select?q=*:*&wt=json&indent=true"

「バチカン図書館の扉」で紹介されているマニュスクリプト

テレビ東京のバチカン図書館の扉でバチカン図書館が所有する手稿（マニュスクリプト）のコレクションを紹介している。
バチカン図書館の提供するデジタルコレクションと紐付けをしてみた。

一部のコレクションは、Gigazineの「バチカン図書館が貴重な4000冊もの古代写本をデジタル化して無料公開中」の記事でも紹介されています。

バックナンバー	文献名	バチカン図書館URL	外部サイト
#1 ようこそバチカン図書館へ	ウルビーノ聖書	http://digital.vatlib.it/ja/item/MSS_Urb.lat.1-2	－
	太陽黒点の研究	－	http://crd.ndl.go.jp/reference/detail?page=ref_view&id=1000097419
	アステカ写本	http://digital.vatlib.it/ja/item/MSS_Borg.mess.1	コデックス
	ミシュネー・トーラー	http://digital.vatlib.it/ja/item/MSS_Ross.498	ミシュネー・トーラー
	コーラン（クーフィー書体）	http://digital.vatlib.it/ja/item/MSS_Vat.ar.1605	クーフィー体
	伊達政宗の書状	http://digital.vatlib.it/ja/view/MSS_Borgh.363.pt.B	伊達政宗
＃2 天才を魅了した叙事詩～ウェルギリウス	ウェルギリウスの叙事詩	http://digital.vatlib.it/ja/item/MSS_Vat.lat.3225	ウェルギリウス
#3 聖母マリアの素顔？～オメリエ・マリアネ	オメリエ・マリアネ	http://digi.vatlib.it/view/MSS_Vat.gr.1162/0001	－
#4 激動のマニュアル本～鳥類による狩猟技術	鳥類による狩猟技術	http://digi.vatlib.it/view/bav_pal_lat_1071/0001	－
#5 江戸時代の機密情報～日本のキリシタン文書	豊後切支丹史料	－	http://current.ndl.go.jp/node/27265
#6 ウルビーノ聖書①	ウルビーノ聖書	http://digital.vatlib.it/ja/item/MSS_Urb.lat.1-2	－
#7 ウルビーノ聖書②	ウルビーノ聖書	http://digital.vatlib.it/ja/item/MSS_Urb.lat.1-2	－
#8 太陽黒点の研究	－	－	http://crd.ndl.go.jp/reference/detail?page=ref_view&id=1000097419
#9 聖書に次ぐベストセラー〜ドン・キホーテ	－	－	ドン・キホーテ
#10 天正遣欧少年使節団	－	－	天正遣欧少年使節
#11 グーテンベルクの42行聖書	－	－	グーテンベルク聖書
#12 ミケランジェロの詩編	－	－	ミケランジェロ・ブオナローティ
#13 神曲～ボッティチェリの挿絵	神曲	http://digital.vatlib.it/ja/item/MSS_Reg.lat.1896.pt.A	神曲
#14 ミシュネー・トーラー	ミシュネー・トーラー	http://digital.vatlib.it/ja/item/MSS_Ross.498	ミシュネー・トーラー
#15 修復研究室	－	－	－
#16 裸の男たちの戦い	銅版画『裸の男たちの戦い』	－	アントニオ・デル・ポッライオーロ
#17 地理学	地理学	－	プトレマイオス図
#18 2カ国語イーリアス	2ヶ国語のイーリアス	http://digital.vatlib.it/ja/item/MSS_Vat.gr.1626	イーリアス
#19 キリシタン文書	口之津のキリスト教徒の連判状	http://digital.vatlib.it/ja/item/MSS_Vat.estr.or.33	南島原市
#20 アンジュー・ハンガリー伝説	アンジュー・ハンガリー伝説	http://digi.vatlib.it/view/MSS_Vat.lat.8541/0001	ハンガリー・アンジュー朝
#21 ポリフィルの夢	ヒュプネロトマキア・ポリフィリ	－	ヒュプネロトマキア・ポリフィリ
#22 ペトラルカ『カンツォニエーレ』	カンツォニエーレ	－	ペトラルカ
#23 コイン収蔵室	－	－	Vatican Library: Catalogues - Coins and Medals
#24 伊達政宗の書状	伊達政宗の書状	http://digital.vatlib.it/ja/view/MSS_Borgh.363.pt.B	伊達政宗
#25 アステカ写本	アステカ写本	http://digital.vatlib.it/ja/item/MSS_Borg.mess.1	コデックス
#26 クーフィー体コーラン	コーラン（クーフィー書体）	http://digital.vatlib.it/ja/item/MSS_Vat.ar.1605	クーフィー体

バチカン図書館については、CBN Newsの60 MINUTESでドキュメンタリー動画が公開されている。

タイトル	URL
A rare look at the Vatican Library's treasures	http://www.cbsnews.com/videos/a-rare-look-at-the-vatican-librarys-treasures/
A rare look at the Vatican Library's treasures	http://www.cbsnews.com/videos/a-rare-look-at-the-vatican-librarys-treasures-2/
The Library, Mount Athos	http://www.cbsnews.com/videos/the-library-mount-athos/
What would you save?	http://www.cbsnews.com/videos/what-would-you-save/
Why the library is closed to the public	http://www.cbsnews.com/videos/why-the-library-is-closed-to-the-public/
A tour of the Salone Sistino	http://www.cbsnews.com/videos/a-tour-of-the-salone-sistino/

NTTDATAのPR動画も公開されている。

タイトル	URL
バチカン図書館様インタビュー動画	https://www.youtube.com/watch?v=mXB6d9K_Le0
バチカン図書館様インタビュー動画（ショートバージョン）	https://www.youtube.com/watch?v=zoxSQf5nlqw

2015年4月18日土曜日

Chrome 42にアップデートするとvSphere Web Clientが動かなくなる

以下の記事によると、GoogleがChromeのNPAPI (Netscape Plugin Application Programming Interface) を利用したプラグインの機能を初期状態で無効化にしたのが原因らしい。

Chrome 42 breaks the vSphere Web Client Integration Plugin

手動で有効にすれば回避できる模様。

chrome://flags/#enable-npapi

「Unity Web Player」や「Silverlight」、「Lync Web App」、「Skype for Business」なんかも影響があるらしい。

「Google Chrome 42」でNPAPIが無効化。Unity Web Player/Silverlight/Lyncなどに影響

追記）
Chrome 43にアップデートするとvSphere Web Clientが動かなくなる

2014年12月22日月曜日

D3.jsで東京都の国土数値情報地価公示データのヒートマップを描いてみました。

[heroku]https://landprice-tokyo.herokuapp.com/

作成した資材は以下で公開しています。

[github]https://github.com/lvisdd/landprice-tokyo

2014年12月12日金曜日

東京メトロの路線図をD3.jsで描いてみました。

[heroku]https://tokyometro-linemap.herokuapp.com/

作成した資材は以下で公開しています。

[github]https://github.com/lvisdd/tokyometro-linemap

データ可視化は面白い。

2014年6月29日日曜日

Windows7 64Bit上でVagrant＋CentOS6.5＋R＋RStudioインストール

以下の環境で、Vagrant Base Box(CentOS-6.5-x86_64)とVagrantfileを作成してみた。

NOTE:

Windows7 (SP1 64Bit)

veewee (0.3.12)

Vagrant (1.5.3)

VirtualBox (4.3.10)

作成した資材は以下で公開している。

資材	場所
Vagrantfile	GitHub
Vagrant Base Box(CentOS-6.5-x86_64)	Yahoo!ボックス

使い方はHow to use these Vagrantfilesを参照

基本的に、以下で環境構築が完了するはず。

$ git clone https://github.com/lvisdd/vagrant-boxes.git
$ cd vagrant-boxes/vagrantfile/rlang
$ vagrant up

Vagrant、Veeweeの基本的な操作については、以下で記載済みのため、割愛する。

以下、動作確認例。

Browsing Test

rstudio : http://127.0.0.1:8787/

user/pass : vagrant/vagrant

デモ

【参考】

T.2.01. Demoを試してみる

サンプルデータ

【参考】

T.3.01. Rが保有する参考データ

R.4.71. 時系列データの周期表示

2014年4月29日火曜日

Windows7 64Bit上でVagrant＋CentOS6.5＋Norikra＋Fluentdインストール

以下の環境で、Vagrant Base Box(CentOS-6.5-x86_64)とVagrantfileを作成してみた。

NOTE:

Windows7 (SP1 64Bit)

veewee (0.3.12)

Vagrant (1.5.3)

VirtualBox (4.3.10)

作成した資材は以下で公開している。

資材	場所
Vagrantfile	GitHub
Vagrant Base Box(CentOS-6.5-x86_64)	Yahoo!ボックス

使い方はHow to use these Vagrantfilesを参照

基本的に、以下で環境構築が完了するはず。

$ git clone https://github.com/lvisdd/vagrant-boxes.git
$ cd vagrant-boxes/vagrantfile/norikra
$ vagrant up

Vagrant、Veeweeの基本的な操作については、以下で記載済みのため、割愛する。

以下、動作確認例。

Browsing Test

Norikra : http://localhost:26578/

Apache Bench Test

$ ab -c 5 -n 100 http://localhost/index.html;sleep 80;ab -c 5 -n 200 http://localhost/index.html
$ sleep 60
$ norikra-client event fetch access_count_per_1min

$ ab -c 5 -n 1000 http://localhost/index.html
$ sleep 60
$ norikra-client event fetch access_over_1000_per_1min

参考

Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた

Windows7 64Bit上でVagrant＋CentOS6.5＋Jenkinsインストール

以下の環境で、Vagrant Base Box(CentOS-6.5-x86_64)とVagrantfileを作成してみた。

NOTE:

Windows7 (SP1 64Bit)

veewee (0.3.12)

Vagrant (1.5.3)

VirtualBox (4.3.10)

作成した資材は以下で公開している。

資材	場所
Vagrantfile	GitHub
Vagrant Base Box(CentOS-6.5-x86_64)	Yahoo!ボックス

使い方はHow to use these Vagrantfilesを参照

基本的に、以下で環境構築が完了するはず。

$ git clone https://github.com/lvisdd/vagrant-boxes.git
$ cd vagrant-boxes/vagrantfile/jenkins
$ vagrant up

Vagrant、Veeweeの基本的な操作については、以下で記載済みのため、割愛する。

以下、動作確認例。

Jenkins : http://localhost:18080/

地獄のミサワ風のbutler jenkinsの画像は以下から。

邪道Jenkins

2014年4月23日水曜日

Windows7 64Bit上でVagrant＋CentOS6.5＋Dockerインストール

以下の環境で、Vagrant Base Box(CentOS-6.5-x86_64)とVagrantfileを作成してみた。

NOTE:

Windows7 (SP1 64Bit)

veewee (0.3.12)

Vagrant (1.5.3)

VirtualBox (4.3.10)

作成した資材は以下で公開している。

資材	場所
Vagrantfile	GitHub
Vagrant Base Box(CentOS-6.5-x86_64)	Yahoo!ボックス

使い方はHow to use these Vagrantfilesを参照

基本的に、以下で環境構築が完了するはず。

git clone https://github.com/lvisdd/vagrant-boxes.git
cd vagrant-boxes/vagrantfile/docker
vagrant up

Vagrant、Veeweeの基本的な操作については、以下で記載済みのため、割愛する。

NOTE:

今回の記事は、StackEditで書いてみました。

参考 : ブログエディタはStackEditが最強かもしれない

2014年4月22日火曜日

Windows7 64Bit上でVagrant＋CentOS6.5＋Fluentd＋Elasticsearch＋kibanaインストール

作成した資材は以下で公開している。

資材	場所
Vagrantfile	GitHub
Vagrant Base Box(CentOS-6.5-x86_64)	Yahoo!ボックス

How to use these Vagrantfiles

Windows7 64Bit上でVagrant＋CentOS6.4インストール

Windows7 64Bit上でVeewee＋Vagrant＋CentOS6.4インストール

2013年12月27日金曜日

脆弱性対策・セキュリティパッチに役立ちそうな参考資料

脆弱性対策情報データベース(JVN iPedia)

マイクロソフトセキュリティ情報

United States (English)

日本 (日本語)

VMWare Security Advisories (VMSAs)

United States (English)

日本

Security Bulletins - Citrix Knowledge Center

Red Hat Enterprise Linux Server (v. 6) General Advisories

Critical Patch Updates and Security Alerts - Oracle

Security advisories | Drupal.org

Cisco Security Advisories, Responses, and Notices

MySQL Bugs

PostgreSQL: Security Information

Issues - memcached - Memcached - Google Project Hosting

Apache HTTP Server

Security Reports

Bug Reporting

Apache Tomcat

Apache Tomcat - Reporting Security Problems

Apache Tomcat - Reporting Bugs

2013年12月19日木曜日

情報セキュリティ設計に役立ちそうなPCI DSS（Payment Card Industry Data Security Standard）の参考資料

PCI (Payment Card Industry) DSS (Data Security Standard)とは

PayPalのサイト

PCI (Payment Card Industry) DSS (Data Security Standard)とは
PCI DSSは、American Express、Discover Financial Services、JCB International、MasterCard Worldwide、およびVisa Inc. International によって規定された、支払いアカウントデータのセキュリティを強化するための一連の包括的要件です。これは、世界的規模で一貫したデータセキュリティ対策を普及するために開発されました。American Express、Discover、JCB、MasterCard、あるいはVisaの支払いカード情報を処理、保存、または送信するマーチャントはすべて、PCI DSSにしたがう必要があります。