What is Zip-Translator, -EtoJ_Proxy-?(in English)
Back to W3conf-Japan
W3conf-Japanのページに戻る
http://www.dna.affrc.go.jp/~ugawa/w3conf-japan/index.html
神戸での発表のページ

ご注意：　以下の論文は、発表時（1995年11月）の内容を保つため、できる限り内容を改変しておりません。そのため現在は使われていないDeleGateのホスト名やポート番号が書かれています。実際に使ってみる場合は、是非、以下の現在運用中のサーバに接続して見てください。
http://zip-translator.dna.affrc.go.jp/indexJ.html

題名

DeleGate Proxyを使ったWeb情報の英和逐語訳サーバ
-EtoJ_Proxy-

Title

English-to-Japanese word translation server for Web by "DeleGate" Proxy
-EtoJ_Proxy-

著者

鵜川　義弘 （ 農水省農業生物資源研究所）
秋元　学 （ 三菱スペース・ソフトウエア（株））
藤田　信之 （ 文部省国立遺伝学研究所）
佐藤　豊 （ 通産省工業技術院電子技術総合研究所）

Authors

Yoshihiro UGAWA ( National Institute of Agrobiological Resources)
Manabu AKIMOTO ( Mitsubishi Space Software Co.,Ltd.)
Nobuyuki FUJITA ( National Institute of Gentics)
Yutaka SATO ( Electrotechnical Laboratory)

代表者連絡用E-mail address

w3cjp@dna.affrc.go.jp （＝鵜川　義弘、 秋元　学）

Contact E-mail address

w3cjp@dna.affrc.go.jp (=Yoshihiro UGAWA, Manabu AKIMOTO)

概要

逐語翻訳という方式と、 "DeleGate" Proxyとを組み合わせる方法により、 だれでも簡単にインストールできるWeb情報の英和翻訳サーバを構築した。

Abstract

English-to-Japanese word translation server for World Wide Web information is developed by combining word-by-word translation and "DeleGate" Proxy server.

開発目的

インターネット内の情報は英語によるものが圧倒的に多い。 英語をある程度読める者にとっても、 専門用語が多く出てくる場合には、 辞書を引く手間が大変である。 金子を中心とする ライフサイエンス辞書プロジェクトでは、 専門用語が氾濫する ライフサイエンス分野の研究者のために、 電子メディアで使えるライフサイエンス辞書や それらを含むかな漢字変換辞書などの構築をしてきた（１、 ２、 ３）。 藤田はその応用としてEtoJ逐語訳アプリケーションを開発した（４）。
しかし、 主なターゲットであるパソコン上での逐語訳は、 実行のためにPerlを別途調達する必要があり、 バージョンアップがあれば辞書を再度ダウンロードする必要もあった。 また、 機種によっては辞書読み込み時間など、 翻訳処理時間がかかるものもある。 肝心のインターネット内の文書は、 一旦パソコンに取り込んでから翻訳しなければならなかった。
鵜川は、 藤田のUnix版逐語訳スクリプトと協調しネットワーク上で逐語訳を行う 電子メールサーバや Webサーバを開発してきたが、 翻訳時のユーザの操作（電子メールを出したり、 フォームへのCopy & Paste）は相変わらず面倒であった。
このような不便さを解消するには、 情報伝達の中継点にあるProxyサーバに 翻訳機能を付加するシステムを開発することができればよい。 そうすることでWeb空間の英語の情報をその入力として用いることができ、 キャッシング機能を含めたUnix ProxyサーバのCPUパワーをフルに利用できる。 ユーザにとっては、 翻訳操作が簡単になるだけでなく、 辞書を含め、 パソコン側で翻訳関連リソースを持つ必要がなくなると想像できた。

動作の仕組み

DeleGateは、 佐藤によって開発された汎用のプロトコル中継システムである（５）。 ファイアウォール上のProxyサーバとして、 また日本語のコード変換サーバとして、 幅広く利用されている。 DeleGateはバージョン2.7.2より、 DeleGateサーバからクライアントへ データを転送する際に、 外部のフィルタを使用できるようになった。 このフィルタを取り替えることにより、 Proxyサーバに様々なサービスを 付加することができるようになった。
この外部フィルタに、 英語から日本語への逐語訳処理を行わせることにより、 DeleGateを逐語訳サーバとして機能させることができる。

-EtoJ_Proxy-では、 DeleGate Proxy サーバが HTML 文書を中継する際に、 EtoJ逐語訳フィルタが挿入され、 翻訳機能を持つ。 翻訳サーバとして用いるには、 Webクライアントで、 Proxyの設定を通常のProxyサーバと同様に指定したり、 以下の例のように
http://etoj.dna.affrc.go.jp:10091/-_-http://www.yahoo.com/Science/Biology/index.html
URLに-EtoJ_Proxy-サーバを直接、 挿入、 書き込むことにより、 逐語訳フィルタを通すと、 受信したHTMLが翻訳される仕組みになっている。 もちろん、 逐語訳後のHTMLはタグがそのまま残してあり、 翻訳後のHTMLのアンカーをクリックすることが可能である。
以下は、 http://www.yahoo.com/Science/Biology/ のオリジナル画面と EtoJ 逐語訳機能を使い翻訳した結果の画面 (＊) である。 Science/Biology を例として選んだのは、 現在の指定できる辞書が Life Science 専用の辞書だからである。
注意：様々な理由により、 Proxyが多段になる場合は、

http://etoj.dna.affrc.go.jp:10091/-_-http://www.yahoo.com/Science/Biology/index.html


の表記方法が使用できないことがある。この場合は、 Webクライアントの Proxy の設定で


http://etoj.dna.affrc.go.jp:10091/


を設定する。

このようにして、 -EtoJ_Proxy-は、 広大な英語Web空間のすべてをクリックするだけで、 高速に逐語訳ができるシステムとなっている。

特長

特長としては、 以下のものがあげられる。

　

• 視認性のよい逐語訳
  一般の翻訳ソフトウェアのように完璧な日本語の文章を目指すのでなく、 専門用語を中心とした難解な単語・熟語を訳すことに主眼をおき、 冠詞や前置詞をはさんで主要な単語・熟語が日本語になって 原文のままの語順で表記される方式、 逐語訳を採用している。 難解な専門用語が日本語になるだけで視認性が格段によくなるため、 大量の英文から効率的に必要な情報を取り出すためのツールとして 画期的なものである。
• 複数の出力モードを持つ
  DeleGateからフィルタを起動する際のオプションの選択により、 異なるモードの逐語訳出力を行わせることが可能である。
• HTMLの利用
  本来なら、 翻訳により文字数が変化し、 フォーマットに変化が起こる 部分が、 HTML内で吸収されている。
• 高速な翻訳機能
  逐語訳、 すなわち、 英語の構文解析に時間をとられることなく、 辞書に登録されている単語もしくは熟語だけを単純に日本語に 置き換える方式なので翻訳が高速である。
• ハイパーリンクがそのまま使用できる
  Webコンテンツの変換後もタグの部分は変換されないまま残るため、 ハイパーリンクが正常に動作する。 したがって、 逐語訳を続けながらWeb内のリンクをたどって行くことが 可能である。
• Proxyサーバとして動作する
  逐語訳サーバの動作しているホストがネットワーク上に１台あれば、 そこに接続できるホストからは、 ローカルでサーバを起動する必要 なしに利用可能となる。
  クライアントの側では特にソフトウェアを必要としない。 日本語が表示でき、 Proxyに対応しているWebブラウザさえ あればよい。
  逐語訳サーバの動いているホスト以外のWebサーバから取得した コンテンツを変換することも可能である。
• 逐語訳処理は、 独立したフィルタプログラムにより行われる
  Proxyの部分と、 逐語訳フィルタの部分とは互いに独立しているので、 DeleGateのバージョンアップ時にはDeleGate部分だけを更新すれば よいし、 EtoJフィルタプログラムのバージョンアップ時にはフィルタ の部分だけを更新すればよい。
• CGIとしての利用
  フィルタプログラムは、 単体でUNIXコマンドとしても使用でき、 この場合Webサーバ上のデータだけでなく、 ユーザがローカルに持って いるテキストデータに対して逐語訳処理を行わせることもできる。 このため、DeleGateに限らず、httpサーバのCGIからも利用できる。
• フリーソフトである
  ライフサイエンス辞書を含め、 逐語訳フィルタのCの ソースコード等がAnonymous-FTP経由で無料で取得できる。
• 辞書の構造がたいへん簡単である
  辞書は簡単な構造のテキストファイルであり、 ユーザが自分の必要と する分野の辞書を容易に作成できる。 また、 その辞書を用いた逐語訳サーバを起動することも容易である。

処理能力

現在の逐語訳フィルタ単体での処理能力は以下のとおりである。
（環境：sun4-2000/sparc+Solaris 2.3）

　

• 辞書読み込み時間
  約35000語の辞書の読み込みに約3秒
• 変換処理時間
  約65000語の変換に340秒（１秒間に約190語の変換）

必要な環境

-EtoJ_Proxy-サーバを起動するために必要な環境は、 次の２点である。

　

• DeleGate
  DeleGateサーバ（ver 2.7.2以降）が動作すること。
• Cコンパイラ
  Cコンパイラが動作すること（動作確認はSolaris 2.3/sparcのみ実施）。

各種設定

具体的な設定は、 以下のように行う。

　

• 出力の日本語コードの選択
  Shift-JIS、 JIS、 EUCの３種類の中から選択する。 デフォルトの出力コードはEUCである。
• 使用する辞書のファイル名の指定
  辞書ファイルのフルパス名を指定することで、 ユーザの辞書を 使用して逐語訳を行うことができる。
• 大文字／小文字の扱い
  逐語訳の際、 デフォルトでは大文字と小文字を区別する。 この場合辞書に"Japan"が登録されていても、 "JAPAN"や"japan"と いった入力は変換されない。ただし、 単語の先頭の大文字を小文字に 読み変える処理があるため、 辞書に"japan"だけが登録されている 場合でも、 "Japan"は変換される。
  オプションの設定により大文字と小文字の区別を無視させることも 可能で、 この場合辞書に"japan"があれば、 "Japan"、 "JAPAN" いずれも変換できる。
• 逐語訳の出力形式
  デフォルトでは辞書の英単語と一致した部分は日本語で上書き されるが、 オプションの指定により、 英語 <日本語> という（コンポジット）形式で出力させることもできる。 以下に両者の例を示す。
  （日本語のみの出力）
  
  解剖学 (13)
  動物 行動 (8)
  記録s (1)
  生化学@
  Bioinformatic Servers (13)

  （英語と日本語のコンポジット出力）
  

  Anatomy <解剖学> (13)
  Animal <動物> Behavior <行動> (8)
  Archives <記録s> (1)
  Biochemistry <生化学>@
  Bioinformatic Servers (13)
  

文字コードを変更する例

[-s SJIS |-j JIS |-e EUC ]

辞書を変更する例


[-main lsjiji |-main lsmain |-main jiji ]

辞書検索時の大文字小文字を意識する例


[(指定なし) |-i ]

表示方法を変更する例


[-type j |-type c ]

上記ポートでの-EtoJ_Proxy-評価用の運転は、 W3conf-Japan開催期間中は確保するものの、 それ以降も恒常的にサービスができるとは限らない。 現在、 標準的にアナウンスされているポートの設定は、 lsjiji.dic、 case sensitive、 Japanese-onlyであり、 文字コードは以下のとおりである。

http://etoj.dna.affrc.go.jp:10090/　(SJIS)
http://etoj.dna.affrc.go.jp:10091/　(JIS)
http://etoj.dna.affrc.go.jp:10092/　(EUC)

DeleGateの外部フィルタとして使用する場合

DeleGateの外部フィルタとして使用する場合は、 以下のように設定する。

　

• フィルタの指定
  DeleGateの起動時にFTOCLオプションを追加し、 逐語訳フィルタ プログラムを指定する。
• 日本語コードの選択
  DeleGateのCHARCODEオプションを使用する場合は、 EUCコードを 選択する。

辞書の構造

辞書の構造は以下の通りである。

　

• メイン辞書と接頭語辞書
  辞書はメイン辞書と接頭語辞書の２つを必要とする。
• フォーマット
  辞書のフォーマットは両者共通で、 １行に１組の割合いで英語とそれに対応する日本語を記述する。 英語と日本語の間にはデリミタとしてタブを入れる。
• 使用する文字、文字コード
  英語部には、 英数字と"_"及び"$"が使用可能である。 日本語部は、 EUCコードを使用する。
• 熟語
  英語部には最大４単語からなる熟語を記述できる。
• 辞書の並び順
  各行の辞書内での並び順には特に制限はない。

  （辞書の例；lsmain.dicの一部）
  

  a lot of<TAB>多くの
  a series of<TAB>一連の
  a.s.<TAB>アンチセンス
  abalone<TAB>アワビ
  abate<TAB>寛解する
  abatement<TAB>寛解
  abdomen<TAB>腹部
  abdominal<TAB>腹腔
  abdominal aorta<TAB>腹大動脈
  abdominal appendage<TAB>腹肢
  abdominal bandage<TAB>腹帯
  abdominal cavity<TAB>腹腔
  abdominal circumference<TAB>腹囲
  abdominal muscular pressure<TAB>腹圧
  abdominal pain<TAB>腹痛
  

-EtoJ_Proxy- ならではの苦心したところ

開発にあたって苦心したところは以下の点である。

　

• ヘッダの処理
  ヘッダの部分には、 コンテンツの種類や、 更新された日付等の データが入っているが、 この部分を日本語に変換してしまうと、 Webブラウザで正常に表示することができなくなるので、 この部分には逐語訳処理を行わない。
• タグの処理
  ハイパーリンクを含むhtmlデータを逐語訳する場合、 他のサーバのホスト名やパス名等を変換してしまうと、 正確にリンク先へ到達することができなくなる。 そのために、 "<>"で囲まれた部分については逐語訳処理を 行わない。
• バイナリデータの扱い
  バイナリデータの中に、 英単語と同じデータ列が含まれることがある。 このようなデータを日本語に置き換えるような処理が加わった場合、 データのサイズが変わる可能性がある。 このときブラウザは、 そのデータを正常に受信できなかったと判断 してしまう。また、 途中でEOFに相当するキャラクタにぶつかった 場合も同様である。このような異常を避けるために、 逐語訳を行う 前にそのデータのタイプを識別し、 テキストデータの場合にだけ 逐語訳を行うようにしている。 バイナリのデータの場合には変換処理は何も行わず、 全データを 素通しさせている。
• 出力コード（日本語）の変換
  DeleGateサーバにも日本語コードの変換機能がある。 しかしShift-JISコードやJISコードの日本語データの中には、 まれに英単語と一致するようなデータ列が含まれる場合があり、 この部分を辞書に従って変換してしまうと、 とんでもない誤訳に なったり、 場合によってはコード体系に矛盾が生じることがある。 EUCコードの場合には、 そのデータはすべて８ビット目がオンになった バイトで構成されているので、 英単語と一致することはない。 そこで、 逐語訳フィルタへの入力はDeleGateのコード変換機能により すべてEUCコードに変換したものを与え、 必要により逐語訳フィルタの 中でShift-JISコードやJISコードへの変換を行い出力するようにした。 またこれに合わせ、 辞書ファイル中の日本語データも EUCコードとした。

問題点と将来、 BUGs

ここでは、 現状の問題点と将来の開発に関して述べる。

　

• 多段Proxy
  多段Proxyでうまく動かないことがある。 例えば以下のように、 http://etoj.dna.affrc.go.jp:10091/-_- を複数回挿入すると動作しない。

  www.yahho.com in JIS code

  http://etoj.dna.affrc.go.jp:10091/-_-http://etoj.dna.affrc.go.jp:10090/-_-http://www.yahoo.com/Science/Biology/

• 大文字／小文字の扱い
  文章の表題などで、 熟語を構成する各単語のそれぞれの１文字目が すべて大文字で表記されている場合に、 辞書とマッチングが取れない場合がある。
  文頭で単語の１文字目が大文字で書かれるようなケースについては、 単語の１文字目を小文字に変換して辞書とのマッチングを行う処理が あるため、 変換を行うことができる。
• 変換の範囲
  変換処理は行単位で行われるので、 ２行にまたがる熟語は正しく変換されないことがある。
• 他分野の逐語訳
  現在逐語訳用辞書として設定してあるものはライフサイエンス辞書であるので、 ライフサイエンス関連用語を含むページ以外は、 的確な訳ができない。 例えば、
  よい例：

  Journal of Boiological Chemistry in JIS code

  http://etoj.dna.affrc.go.jp:10091/-_-http://www-jbc.stanford.edu/jbc/

  悪い例：

  Taki Naruto's Japan Japan Related Web Links: Current Events in JIS code

  http://etoj.dna.affrc.go.jp:10091/-_-http://www.panix.com/~tn/j-now.html

• 訳語の選択
  Webページの逐語訳は、 見やすさを確保する意味でも、 逐語訳辞書の訳語は、 なるべく少なく作るのがよい。 適当な訳語を見つけるのはなかなか難しく、 ライフサイエンス辞書 プロジェクトでは、 実際のユーザである研究者が行っている。 辞書のメンテナンスは重要なので、 他の分野での辞書に 同様な体制がとれる必要性を感じる。
• AI機能
  受信したハイパーテキストの分野により、 適用すべき適当な辞書を言い当てるAI的な機能が欲しい。
• 和英サーバ
  JtoEも開発したい。

利用状況

このサーバは、 1995年6月末に infotalkメーリングリストで、 [infotalk,04517] EtoJ Life Science Proxy Serverとしてアナウンスして以来、 ４カ月間に、 約8万件のアクセスがあった。

YY_MM   Japan  Others   Unknown   Total
---------------------------------------
95-06    2737     510         0    3247
95-07   15086    1024        96   16206
95-08   10147    1255       253   11655
95-09   24879    2908      1378   29165
95-10   16349     876       767   17992
95-11    6998     779         0    7777
---------------------------------------
Total   76196    7352      2494   86042
　

さらに詳しい利用状況は、 以下のURLで参照できる。 http://www.dna.affrc.go.jp/htdocs/stats/etoj.html

謝辞

この研究に必須である辞書と、 必要な助言をいただいた、 ライフサイエンス辞書プロジェクトの以下の方々に深く感謝する（敬称略）。
金子周司、 大武　博、 河本　健、 竹内浩昭、 竹腰正隆

ソースの所在、 辞書の所在

最新版のソース等のURLは以下の通りである。

　

• -EtoJ_Proxy-ソースと-EtoJ_Proxy-版ライフサイエンス辞書、接頭語辞書
  ftp://ftp.dna.affrc.go.jp/pub/unix/etoj/etojfilter.tar.Z
  
• ライフサイエンスプロジェクト版ライフサイエンスMain辞書
  ftp://ftp.nig.ac.jp/pub/mac/dict/LifeSci_main.dic
• DeleGate最新版
  ftp://etlport.etl.go.jp/pub/DeleGate/

参考文献等

URL

　

• ライフサイエンス辞書プロジェクト
  http://www.dna.affrc.go.jp/htdocs/LSD/（１）

  文献

  　

• ライフサイエンス辞書２の制作と公開
  金子周司、 鵜川義弘、 大武　博、 河本　健、 竹内浩昭、 竹腰正隆、 藤田信之、 コンピュータサイエンス Vol.2, No.2, pp 135-142. 1995（２）
• フリーウェアのライフサイエンス学術用語辞書を作った理由
  金子周司、 大武　博、 小島清嗣、 曽良一郎、 竹内浩昭、 竹腰正隆、 丹田　滋、 浜田孝和、 法橋尚宏、 細川　啓、 横尾英明、 渡辺良成、 コンピュータサイエンス Vol.2, No.2, pp 135-142. 1995 http://www.dna.affrc.go.jp/htdocs/JACS/JJCS/Vol.1_No.1_pp25-32/（３）
• ライフサイエンスのための英和変換ツール
  藤田信之、 金子周司、 コンピュータサイエンス　Vol.2, No.1 41-45 (1995)（４）
• 多目的プロトコル中継システムDeleGate
  佐藤　豊、 電子技術総合研究所彙報,59巻,6号 (1995年6月), pp.381-397. ftp://etlport.etl.go.jp/pub/DeleGate/ETL-BULLETIN-95-06.ps.gz（５）

その他

本論文のオンライン版は、 http://www.dna.affrc.go.jp/~ugawa/w3conf-japan/index.htmlにある。