2015年4月20日月曜日

Solr4系とSolr5系の違い

2015/02/20に Apache Solr 5.0.0
2015/04/14に Apache Solr 5.1.0
2015/06/07に Apache Solr 5.2.0
2015/06/15に Apache Solr 5.2.1
がリリースされている。

個人的には、
Apache Solr 5.2.0以降で、Jetty 9が採用されている
また、
Apache Solr 5.2.0以前のBug Fixesの件数が多い
ため、
Apache Solr 5.2.1以降を採用する予定。


20 February 2015 - Apache Solr 5.0.0 and Reference Guide for 5.0 available http://lucene.apache.org/solr/news.html#20-february-2015-apache-solr-500-and-reference-guide-for-50-available
Apache Solr Release Notes http://lucene.apache.org/solr/5_0_0/changes/Changes.html
14 April 2015 - Apache Solr 5.1.0 Available http://lucene.apache.org/solr/news.html#14-april-2015-apache-solr-510-available
Apache Solr Release Notes http://lucene.apache.org/solr/5_1_0/changes/Changes.html
7 June 2015 - Apache Solr 5.2.0 and Reference Guide for 5.2 available http://lucene.apache.org/solr/news.html#7-june-2015-apache-solr-520-and-reference-guide-for-52-available
Apache Solr Release Notes http://lucene.apache.org/solr/5_2_0/changes/Changes.html
15 June 2015, Apache Solr 5.2.1 available http://lucene.apache.org/solr/news.html#15-june-2015-apache-solr-521-available
Apache Solr Release Notes http://lucene.apache.org/solr/5_2_1/changes/Changes.html


リファレンスガイドの最新版は以下で公開されている。

Apache Solr Reference Guide (pdf) http://ftp.kddilabs.jp/infosystems/apache/lucene/solr/ref-guide/
Apache Solr Reference Guide https://cwiki.apache.org/confluence/display/solr/Apache+Solr+Reference+Guide


メジャーバージョンアップに伴い、非推奨またはサポート対象外の項目も多いので注意が必要。

Solr is Now a Standalone Server

  • Beginning with Solr 5.0, Solr is no longer distributed as a "war" (Web Application Archive) suitable for deployment in any Servlet Container.
  • Solr 5.0からは、サーブレットコンテナに対するデプロイに適しているwar形式でのディストリビューションは実施していない。
  • Deployment as a "webapp" to other Servlet Containers (or other instances of Jetty) is not supported,
  • 他のサーブレットコンテナ(または、jetty以外のインスタンス)へのwebappとしてのデプロイはサポートされない。

Index Format

  • Solr 5 has no support for reading Lucene/Solr 3.x and earlier indexes.
  • Solr 5 は Lucene/Solr 3.x 以前のインデックスの読み込みをサポートしていない。

solr.xml Format

  • Solr 5.0 has eliminated all support for the older solr.xml format, and moved entirely to core discovery.
  • Solr 5.0 は、(Solr 4.3以前の古い) solr.xml フォーマットに対する全てのサポートを排除した。

Collections API

  • Solr 5.0 only supports creating and removing SolrCloud collections through the Collections API, unlike previous versions.
  • これまでのバージョンと違い、Solr 5.0 は コレクションAPIを経由した、SolrCloud コレクションの作成または削除のみ、サポートする。

SolrJ changes

  • Many SolrJ methods that were marked deprecated in Solr 4.10 have been removed.
  • Solr 4.10で非推奨となった、多数のSolrJ メソッドが削除された。
Major Changes from Solr 4 to Solr 5 https://cwiki.apache.org/confluence/display/solr/Major+Changes+from+Solr+4+to+Solr+5
Moving to the New solr.xml Format https://cwiki.apache.org/confluence/display/solr/Moving+to+the+New+solr.xml+Format
Upgrading a Solr 4.x Cluster to Solr 5.0 https://cwiki.apache.org/confluence/display/solr/Upgrading+a+Solr+4.x+Cluster+to+Solr+5.0


javaのバグがあるため、Apache Solr 4.8 以降は、Java 7u55以上が推奨。
  • The recently released Java 7u55 fixes the above bug causing index corrumption. This version is now the recommended version for running Apache Solr.
12 March 2014 - Apache Solr 4.8 will require Java 7 https://lucene.apache.org/solr/news.html#12-march-2014-apache-solr-48-will-require-java-7

2015年4月19日日曜日

Windows7 64Bit上でVagrant+CentOS6.5+Solr5.1.0インストール

以下の環境で、Vagrant Base Box(CentOS-6.5-x86_64)とVagrantfileを作成してみた。

NOTE:

  • Windows7 (SP1 64Bit)
  • veewee (0.3.12)
  • Vagrant (1.5.3)
  • VirtualBox (4.3.10)

作成した資材は以下で公開している。

資材 場所
Vagrantfile GitHub
Vagrant Base Box(CentOS-6.5-x86_64) Yahoo!ボックス

使い方はHow to use these Vagrantfilesを参照

基本的に、以下で環境構築が完了するはず。

$ git clone https://github.com/lvisdd/vagrant-boxes.git
$ cd vagrant-boxes/vagrantfile/solr/510
$ vagrant up

Vagrant、Veeweeの基本的な操作については、以下で記載済みのため、割愛する。

以下、動作確認例。

画面 URL
Solr Admin http://localhost:8983/solr/admin
Query画面 http://localhost:8983/solr/#/sample/query
Query実行結果 http://localhost:8983/solr/sample/select?q=%3A&wt=json&indent=true


以下、script.shの中身。

ちなみにSolr5.1は bin/solr.in.sh の SOLR_JAVA_MEM が読み飛ばされるため、JVMのヒープ・メモリのサイズを変更できない。Solr5.2系以降に期待。
SOLR_JAVA_MEM setting in solr.in.sh ignored

#!/bin/bash

### OS
# iptables
# sed -i "/-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT/a-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT" /etc/sysconfig/iptables
sed -i "/-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT/a-A INPUT -m state --state NEW -m tcp -p tcp --dport 8983 -j ACCEPT" /etc/sysconfig/iptables
service iptables restart

### solr
# utility
yum -y install unzip

# java
yum -y install java-1.7.0-openjdk.x86_64

# solr
cd /var/tmp
wget http://ftp.riken.jp/net/apache/lucene/solr/5.1.0/solr-5.1.0.tgz
tar xzvf solr-5.1.0.tgz
cd solr-5.1.0
./bin/install_solr_service.sh ../solr-5.1.0.tgz -d /opt/solr

rm -fR /var/tmp/solr-5.1.0*

service solr stop
service solr status

### Core (sample)
cd /opt/solr
mkdir -p /opt/solr/data/sample
cp -rp server/solr/configsets/sample_techproducts_configs/conf/ /opt/solr/data/sample/
mkdir -p /opt/solr/data/sample/data
chmod -R a+w /opt/solr/data/sample/data

cat <<EOS > /opt/solr/data/sample/core.properties
name=sample
config=solrconfig.xml
schema=schema.xml
dataDir=data
EOS

chown -R solr:solr /opt/solr /opt/solr-5.1.0

### Service
service solr start
sleep 30
service solr status

### Browser
# http://localhost:8983/solr/admin
# http://localhost:8983/solr/#/sample/query

### Indexing Data
# For more information, See.
# http://lucene.apache.org/solr/quickstart.html

cd /opt/solr

## Indexing a directory of "rich" files
# bin/post -c sample docs/

## Indexing Solr XML
bin/post -c sample example/exampledocs/*.xml

## Indexing JSON
# bin/post -c sample example/exampledocs/*.json

## Indexing CSV (Comma/Column Separated Values)
# bin/post -c sample example/exampledocs/*.csv

## Deleting Data
# bin/post -c sample -d "<delete><query>*:*</query></delete>"

## Searching
# http://localhost:8983/solr/sample/select?q=*:*&wt=json&indent=true
curl "http://localhost:8983/solr/sample/select?q=*:*&wt=json&indent=true"

「バチカン図書館の扉」で紹介されているマニュスクリプト

テレビ東京のバチカン図書館の扉でバチカン図書館が所有する手稿(マニュスクリプト)のコレクションを紹介している。
バチカン図書館の提供するデジタルコレクションと紐付けをしてみた。

一部のコレクションは、Gigazineの「バチカン図書館が貴重な4000冊もの古代写本をデジタル化して無料公開中」の記事でも紹介されています。

バックナンバー 文献名 バチカン図書館URL 外部サイト
#1 ようこそバチカン図書館へ ウルビーノ聖書 http://digital.vatlib.it/ja/item/MSS_Urb.lat.1-2
太陽黒点の研究 http://crd.ndl.go.jp/reference/detail?page=ref_view&id=1000097419
アステカ写本 http://digital.vatlib.it/ja/item/MSS_Borg.mess.1 コデックス
ミシュネー・トーラー http://digital.vatlib.it/ja/item/MSS_Ross.498 ミシュネー・トーラー
コーラン(クーフィー書体) http://digital.vatlib.it/ja/item/MSS_Vat.ar.1605 クーフィー体
伊達政宗の書状 http://digital.vatlib.it/ja/view/MSS_Borgh.363.pt.B 伊達政宗
#2 天才を魅了した叙事詩~ウェルギリウス ウェルギリウスの叙事詩 http://digital.vatlib.it/ja/item/MSS_Vat.lat.3225 ウェルギリウス
#3 聖母マリアの素顔?~オメリエ・マリアネ オメリエ・マリアネ http://digi.vatlib.it/view/MSS_Vat.gr.1162/0001
#4 激動のマニュアル本~鳥類による狩猟技術 鳥類による狩猟技術 http://digi.vatlib.it/view/bav_pal_lat_1071/0001
#5 江戸時代の機密情報~日本のキリシタン文書 豊後切支丹史料 http://current.ndl.go.jp/node/27265
#6 ウルビーノ聖書① ウルビーノ聖書 http://digital.vatlib.it/ja/item/MSS_Urb.lat.1-2
#7 ウルビーノ聖書②
#8 太陽黒点の研究 http://crd.ndl.go.jp/reference/detail?page=ref_view&id=1000097419
#9 聖書に次ぐベストセラー〜ドン・キホーテ ドン・キホーテ
#10 天正遣欧少年使節団 天正遣欧少年使節
#11 グーテンベルクの42行聖書 グーテンベルク聖書
#12 ミケランジェロの詩編 ミケランジェロ・ブオナローティ
#13 神曲~ボッティチェリの挿絵 神曲 http://digital.vatlib.it/ja/item/MSS_Reg.lat.1896.pt.A 神曲
#14 ミシュネー・トーラー ミシュネー・トーラー http://digital.vatlib.it/ja/item/MSS_Ross.498 ミシュネー・トーラー
#15 修復研究室
#16 裸の男たちの戦い 銅版画『裸の男たちの戦い』 アントニオ・デル・ポッライオーロ
#17 地理学 地理学 プトレマイオス図
#18 2カ国語イーリアス 2ヶ国語のイーリアス http://digital.vatlib.it/ja/item/MSS_Vat.gr.1626 イーリアス
#19 キリシタン文書 口之津のキリスト教徒の連判状 http://digital.vatlib.it/ja/item/MSS_Vat.estr.or.33 南島原市
#20 アンジュー・ハンガリー伝説 アンジュー・ハンガリー伝説 http://digi.vatlib.it/view/MSS_Vat.lat.8541/0001 ハンガリー・アンジュー朝
#21 ポリフィルの夢 ヒュプネロトマキア・ポリフィリ ヒュプネロトマキア・ポリフィリ
#22 ペトラルカ『カンツォニエーレ』 カンツォニエーレ ペトラルカ
#23 コイン収蔵室 Vatican Library: Catalogues - Coins and Medals
#24 伊達政宗の書状 伊達政宗の書状 http://digital.vatlib.it/ja/view/MSS_Borgh.363.pt.B 伊達政宗
#25 アステカ写本 アステカ写本 http://digital.vatlib.it/ja/item/MSS_Borg.mess.1 コデックス
#26 クーフィー体コーラン コーラン(クーフィー書体) http://digital.vatlib.it/ja/item/MSS_Vat.ar.1605 クーフィー体

バチカン図書館については、CBN Newsの60 MINUTESでドキュメンタリー動画が公開されている。

タイトル URL
A rare look at the Vatican Library's treasures http://www.cbsnews.com/videos/a-rare-look-at-the-vatican-librarys-treasures/
A rare look at the Vatican Library's treasures http://www.cbsnews.com/videos/a-rare-look-at-the-vatican-librarys-treasures-2/
The Library, Mount Athos http://www.cbsnews.com/videos/the-library-mount-athos/
What would you save? http://www.cbsnews.com/videos/what-would-you-save/
Why the library is closed to the public http://www.cbsnews.com/videos/why-the-library-is-closed-to-the-public/
A tour of the Salone Sistino http://www.cbsnews.com/videos/a-tour-of-the-salone-sistino/

NTTDATAのPR動画も公開されている。

タイトル URL
バチカン図書館様インタビュー動画 https://www.youtube.com/watch?v=mXB6d9K_Le0
バチカン図書館様インタビュー動画(ショートバージョン) https://www.youtube.com/watch?v=zoxSQf5nlqw

2015年4月18日土曜日

Chrome 42にアップデートするとvSphere Web Clientが動かなくなる

以下の記事によると、GoogleがChromeのNPAPI (Netscape Plugin Application Programming Interface) を利用したプラグインの機能を初期状態で無効化にしたのが原因らしい。

Chrome 42 breaks the vSphere Web Client Integration Plugin

手動で有効にすれば回避できる模様。

chrome://flags/#enable-npapi

「Unity Web Player」や「Silverlight」、「Lync Web App」、「Skype for Business」なんかも影響があるらしい。

「Google Chrome 42」でNPAPIが無効化。Unity Web Player/Silverlight/Lyncなどに影響

追記)
Chrome 43にアップデートするとvSphere Web Clientが動かなくなる