memo.xight.org

- Summary
Yahoo! Slurp (Yahooのクローラ) がrobot.txt 内のワイルドカードなどを解釈するようになった．

- Session ID が付いている場合はクロールさせない．

User-Agent: Yahoo! Slurp
Disallow: /*?sessionid
Allow: /*?$

- gif画像をクロールさせない．

User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$

- Reference
Yahoo! Search blog: Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt
http://www.ysearchblog.com/archives/000372.html

SEM R - Yahoo! Search、robots.txtでワイルドカード対応
http://www.sem-r.com/15/20061104113835.html

[を] Yahoo! Slurpがワイルドカードをサポート
http://chalow.net/2006-11-13-3.html

- Summary
Sedue, Hyper Estraier, Lucene, Senna を比較．

- Reference
preferred infrastructure - 全文検索エンジン性能評価
http://preferred.jp/sedue/benchmark.htm

Sedue
http://preferred.jp/sedue/

SourceForge - Hyper Estraier
http://hyperestraier.sourceforge.net/

Lucene (ルシーン)
http://lucene.apache.org/

The Ja-Jakarta Project - Lucene翻訳
http://www.jajakarta.org/lucene/

Senna (せな)
http://qwik.jp/senna/
Wikipedia - Senna

- Koders
http://www.koders.com/

言語の種類とライセンスから検索が可能．

- Krugle
http://www.krugle.com/

言語の種類とソースコードの場所(コメント，ソースコード，関数定義，関数呼び出し，クラス定義)から検索が可能．

- Codase
http://www.codase.com/

C,C++,Java の検索エンジン

- CPAN code search by gonzui
http://cpansearch.bulknews.net/

CPANのソースコードからgonzuiを利用して検索．

- codefetch
http://www.codefetch.com/

- via
悪態のプログラマ - 2006-07-17 - ソースコードの盗み方
http://ameblo.jp/argv/entry-10014786723.html

- Summary
2006年7月5日時点での，検索エンジン相関図

- Reference
検索エンジン相関図 2006年7月5日版 :: SEM R
http://www.sem-r.com/22/20060705104821.html

- Reference
日経ニュース - 2005-08-25 - ヤフー日本法人、完全自動検索に移行・閲覧数伸ばすグーグル型
http://www.nikkei.co.jp/news/sangyo/20050825AT1D220CB24082005.html
IT Media - 2005-08-25 - ヤフーがロボット検索全面採用 10月から“Google型”に
http://www.itmedia.co.jp/news/articles/0508/25/news056.html