Bot: AhrefsBot/3.0

Crawler (Bot)

このユーザーエージェントも、自分の管理するサービスでちょくちょく見かけるものです。

Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)

Ahrefs(エーエイチレフス?)は SEO のチェックツールを提供している会社という認識ですが、念のため調べてみる。

Ahrefsは2011年に発足。
シンガポールとウクライナの多国籍企業が運営するSEO分析ツールです。
世界7か国語に対応し、facebook、Twitter、Google+などのソーシャルシグナルにも対応した世界で約12万人のサイト運営管理者が様にご利用いただいています。
使い勝手・実績・性能いずれも最高峰のSEO分析ツールです。

引用:https://www.affiliate-b.com/web/ahrefs/

Ahrefs を見てみても分かる通り、有償にて SEO ツール類を提供しているサービスのようです。
(最初に知ったときは無料で使えたような気がしたけど)

次にユーザーエージェント上でも示されている URL( http://ahrefs.com/robot/ )にアクセスしてみます。
とても新設なページで、robots.txt の記述の仕方が分かりやすく載っています。

全体的に拒否したい場合、

User-agent: AhrefsBot
Disallow: /

クロール頻度を調整したい場合、

User-agent: AhrefsBot 
Crawl-Delay: 2

のように載っています。

紳士的なクローラーのように見受けられます。