Summary
Yahoo! Slurp (Yahooのクローラ) がrobot.txt 内のワイルドカードなどを解釈するようになった．Session ID が付いている場合はクロールさせない．
User-Agent: Yahoo! Slurp
Disallow: /*?sessionid
Allow: /*?$
gif画像をクロールさせない．
User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$
Reference
Yahoo! Search blog: Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txthttp://www.ysearchblog.com/archives/000372.html
SEM R - Yahoo! Search、robots.txtでワイルドカード対応
http://www.sem-r.com/15/20061104113835.html
[を] Yahoo! Slurpがワイルドカードをサポート
http://chalow.net/2006-11-13-3.html