memo.xight.org

日々のメモ

カテゴリ : 検索エンジン

1ページ目 / 全1ページ

Yahoo! Slurp が robot.txt でワイルドカードをサポート

Posted on | Tagged :

Summary

Yahoo! Slurp (Yahooのクローラ) がrobot.txt 内のワイルドカードなどを解釈するようになった．

Session ID が付いている場合はクロールさせない．

User-Agent: Yahoo! Slurp
Disallow: /*?sessionid
Allow: /*?$

gif画像をクロールさせない．

User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$

Reference

Yahoo! Search blog: Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt
http://www.ysearchblog.com/archives/000372.html

SEM R - Yahoo! Search、robots.txtでワイルドカード対応
http://www.sem-r.com/15/20061104113835.html

[を] Yahoo! Slurpがワイルドカードをサポート
http://chalow.net/2006-11-13-3.html

全文検索エンジン パフォーマンス比較

Posted on | Tagged :

Summary

Sedue, Hyper Estraier, Lucene, Senna を比較．

Reference

preferred infrastructure - 全文検索エンジン性能評価
http://preferred.jp/sedue/benchmark.htm

Sedue
http://preferred.jp/sedue/

SourceForge - Hyper Estraier
http://hyperestraier.sourceforge.net/

Lucene (ルシーン)
http://lucene.apache.org/

The Ja-Jakarta Project - Lucene翻訳
http://www.jajakarta.org/lucene/

Senna (せな)
http://qwik.jp/senna/
Wikipedia - Senna

ソースコード検索エンジン

Posted on | Tagged :

Koders

http://www.koders.com/

言語の種類とライセンスから検索が可能．

Krugle

http://www.krugle.com/

言語の種類とソースコードの場所(コメント，ソースコード，関数定義，関数呼び出し，クラス定義)から検索が可能．

Codase

http://www.codase.com/

C,C++,Java の検索エンジン

CPAN code search by gonzui

http://cpansearch.bulknews.net/

CPANのソースコードからgonzuiを利用して検索．

codefetch

http://www.codefetch.com/

via

悪態のプログラマ - 2006-07-17 - ソースコードの盗み方
http://ameblo.jp/argv/entry-10014786723.html

Yahoo! Japan がディレクトリ型検索廃止?

Posted on | Tagged : ,

Reference

日経ニュース - 2005-08-25 - ヤフー日本法人、完全自動検索に移行・閲覧数伸ばすグーグル型
http://www.nikkei.co.jp/news/sangyo/20050825AT1D220CB24082005.html
IT Media - 2005-08-25 - ヤフーがロボット検索全面採用 10月から“Google型”に
http://www.itmedia.co.jp/news/articles/0508/25/news056.html