How to Install Natual Language Processing Tools

自然言語処理系ツールインストール方法まとめ

セットアップ

環境 (確認した環境)

macOS 10.14.6
Python 3.7
zsh

自然言語処理関係

解析器系

MeCab のインストール (形態素解析器)
Terminal window
```
% brew install mecab
```
python-binding of mecab のインストール
Terminal window
```
% pip3 install mecab-python3
```
crf++ のインストール (mecab内で使用される学習モデル)
Terminal window
```
% brew install crf++
```
CaboCha のインストール (係り受け解析)
Terminal window
```
% brew install cabocha
```
python-binding of cabocha のインストール
Terminal window
```
% pip3 install cabocha-python
```

JUMAN のインストール (形態素解析器)

with brew
Terminal window
```
% brew install juman
```

from source files

% dir=$HOME/Works/nlp/tool
% [ -d ${dir} ]||mkdir -p ${dir}; cd ${dir}
% curl -O http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/juman/juman-7.01.tar.bz2
% tar jxvf juman-7.01.tar.bz2
% cd juman-7.01
% ./configure --prefix=$HOME/Works/nlp/tool
% make
% make install

JUMAN++ のインストール (形態素解析機)

with brew
Terminal window
```
% brew install jumanpp
```

from source files

% dir=$HOME/Works/nlp/tool
% [ -d ${dir} ]||mkdir -p ${dir}; cd ${dir}
% wget http://lotus.kuee.kyoto-u.ac.jp/nl-resource/jumanpp/jumanpp-1.02.tar.xz
% tar xJvf jumanpp-1.02.tar.xz
% cd jumanpp-1.02
% cd jumanpp-resource
% ./install.sh --prefix=${dir}
% export JPPRCDIR=${dir}/share/jumanpp-resource
% cd ../jumanpp-src
% ./configure --prefix=${dir} --enable-default-resource-path=$JPPRCDIR
% make
% make install

KNP のインストール (係り受け解析)

with brew
Terminal window
```
% brew tap uetchy/nlp
% brew install knp
```

from source files

% dir=$HOME/Works/nlp/tool
% [ -d ${dir} ]||mkdir -p ${dir}; cd ${dir}
% curl -O http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/knp/knp-4.19.tar.bz2
% tar jxvf knp-4.19.tar.bz2
% cd knp-4.19
% ./configure --prefix=$HOME/Works/nlp/tool \
--with-juman-prefix=$HOME/Works/nlp/tool
% make
% sudo make install

pyknp のインストール (JUMAN++ と KNPの Python バインダー)
Terminal window
```
% pip3 install pyknp
```

jdepp のインストール (係り受け解析器)

  % dir=$HOME/Works/nlp/tool
% [ -d ${dir} ]||mkdir -p ${dir}; cd ${dir}
% curl -O http://www.tkl.iis.u-tokyo.ac.jp/~ynaga/jdepp/jdepp-latest.tar.gz
% tar zxf jdepp-latest.tar.gz&& rm -rf jdepp-latest.tar.gz
% cd ${dir}/jdepp-2015-10-05
% ./configure
% make
% make check
% sudo make install
% make installcheck

SudachiPy のインストール (形態素解析器 Sudachi の Python バージョン)

% pip3 install SudachiPy
% pip3 install \
https://object-storage.tyo2.conoha.io/v1/nc_2520839e1f9641b08211a5c85243124a/sudachi/SudachiDict_core-20200127.tar.gz

GiNZA のインストール
Terminal window
```
% pip3 install ginza
```
GiNZAの重要なフレームワークである spaCy もインストールされる

Camphr のインストール (spaCyのプラグイン)

% pip3 install "transformers==2.4.1"
% pip3 install "camphr==0.5.23"

Stanza (Github) のインストール
(StanfordNLPから、プロジェクト名が Stanza に変更されて開発が継続されている)
bash % pip3 install stanza
UniDic2UD のインストール
Terminal window
```
% pip3 install unidic2ud
```

辞書

mecab-ipadic のインストール
Terminal window
```
% brew install mecab-ipadic
```
mecab-juman のインストール
Terminal window
```
% brew install mecab-jumandic
```
mecab-unidic のインストール
Terminal window
```
% brew install mecab-unidic
```

mecab-ipadic-neologd のインストール (俗語等を含む辞書)

% dir=$HOME/Works/nlp/tool
% [ -d ${dir} ]||mkdir -p ${dir}; cd ${dir}
% git clone --depth 1 \
git@github.com:neologd/mecab-ipadic-neologd.git
% cd ${dir}/mecab-ipadic-neologd
% ./bin/install-mecab-ipadic-neologd -n -a -y

mecab-naist-jdic のインストール (ダウンロード元はこちら)

% dir=$HOME/Works/nlp/tool
% [ -d ${dir} ]||mkdir -p ${dir}; cd ${dir}
% curl -O http://iij.dl.sourceforge.jp/naist-jdic/53500/mecab-naist-jdic-0.6.3b-20111013.tar.gz
% tar zxf mecab-naist-jdic-0.6.3b-20111013.tar.gz&& rm -rf mecab-naist-jdic-0.6.3b-20111013.tar.gz
% cd ${dir}/mecab-naist-jdic-0.6.3b-20111013/
% ./configure
% make
% make check
% sudo make install

oseti のインストール (日本語評価極性辞書)
Terminal window
```
% pip3 install oseti
```