Чтение логов сайта — последний урок

govnoproger.ru > интернет > Чтение логов сайта — последний урок

Дописываю старый пост.

Всё очень просто. Если вебмастер не умеет читать логи — значит это хреновый вебмастер.

Человек который имеет хотя-бы несколько сайтов должен это уметь.

Вот преимущества:
Знание кто, где, и что делал. Зачастую видны одни и те-же люди.
Кто и где гадит — и это одна из самых важных причин.

Если хотите пример использования этого навыка — то он тут, в заметке про марва трейд.

Урок первый и последний потому, что мне скорее всего лень будет писать продолжение.
И на самом деле это обсуждать можно бесконечно, но есть кое-какие общие черты.

Как работает браузер.

Логи апача сами по себе выглядят по разному, в зависимости от настройки сервера. Они могут преобразовывать ип в имя хоста. А сами по себе ответы в виде цифры например 200 — все нормально, 404 — не найдено. Если вы незнаете хттп протокола то дальше читать нет смысла.

Я не буду целиком расписывать что происходит, я напишу вкратце.

Рассмотрим на примере я обращаюсь к главной странице этого сайта:

 95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:14 +0200] "GET / HTTP/1.1" 200 10455 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:15 +0200] "GET /wp-content/themes/elegant-box/style.css HTTP/1.1" 304 165 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:15 +0200] "GET /wp-content/themes/elegant-box/styles/white/default.css HTTP/1.1" 304 165 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:15 +0200] "GET /wp-content/themes/elegant-box/styles/white/global.css HTTP/1.1" 304 163 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:15 +0200] "GET /wp-content/themes/elegant-box/js/base.js HTTP/1.1" 304 164 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:15 +0200] "GET /wp-content/themes/elegant-box/js/menu.js HTTP/1.1" 304 165 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:15 +0200] "GET /wp-includes/js/bbcode2.js HTTP/1.1" 304 164 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:16 +0200] "GET /wp-content/plugins/jj-swfobject/stylesheets/style.css?ver=3.2.1 HTTP/1.1" 304 164 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:16 +0200] "GET /wp-content/themes/elegant-box/pagenavi-css.css?ver=2.70 HTTP/1.1" 304 164 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:16 +0200] "GET /wp-includes/js/swfobject.js?ver=2.2 HTTP/1.1" 304 165 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:16 +0200] "GET /wp-content/plugins/ajaxcomment/comment.css HTTP/1.1" 304 164 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:17 +0200] "GET /wp-content/themes/elegant-box/images/govn.gif HTTP/1.1" 304 131 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:17 +0200] "GET /wp-content/plugins/highslide-4-wordpress-reloaded/highslide.min.css?ver=4112v122 HTTP/1.1" 304 165 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:17 +0200] "GET /wp-content/themes/elegant-box/styles/white/search_background.gif HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:17 +0200] "GET /wp-includes/js/niftyplayer/niftyplayer.js HTTP/1.1" 304 164 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:17 +0200] "GET /wp-content/themes/elegant-box/styles/white/background.gif HTTP/1.1" 304 129 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:17 +0200] "GET /wp-content/themes/elegant-box/styles/white/content_background.gif HTTP/1.1" 304 129 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/uploads/google-birth-150x87.jpg HTTP/1.1" 304 131 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-includes/images/smilies/icon_mrgreen.gif HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/uploads/akterskaya-igra-150x39.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/themes/elegant-box/styles/white/comment.gif HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/uploads/out_4+-150x100.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/uploads/out_5+-150x100.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/uploads/out_6+2-150x100.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/uploads/out_6+3-150x100.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/uploads/out_6+-150x100.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:18 +0200] "GET /wp-content/plugins/highslide-4-wordpress-reloaded/highslide.min.js?ver=4112v122 HTTP/1.1" 304 165 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:19 +0200] "GET /wp-content/uploads/out_8+-150x100.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:19 +0200] "GET /wp-content/uploads/minimoon-146x150.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:19 +0200] "GET /wp-content/uploads/koli4estvo.jpg HTTP/1.1" 304 132 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:19 +0200] "GET /wp-content/uploads/civilization-5-150x80.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:19 +0200] "GET /grey_light_rus.gif HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:19 +0200] "GET /wp-content/uploads/out_7+-150x100.jpg HTTP/1.1" 304 130 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:19 +0200] "GET /wp-content/plugins/syntaxhighlighter/syntaxhighlighter2/scripts/shCore.js?ver=2.1.364 HTTP/1.1" 304 165 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:22 +0200] "GET /wp-content/plugins/syntaxhighlighter/syntaxhighlighter2/scripts/shBrushPlain.js?ver=2.1.364 HTTP/1.1" 304 164 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:22 +0200] "GET /wp-content/plugins/syntaxhighlighter/syntaxhighlighter2/styles/shCore.css?ver=2.1.364 HTTP/1.1" 304 165 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
95-161-251-145.broadband.spb.tiera.org - - [01/Oct/2011:07:34:22 +0200] "GET /wp-content/plugins/syntaxhighlighter/syntaxhighlighter2/styles/shThemeDefault.css?ver=2.1.364 HTTP/1.1" 304 164 "-" "Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51"
 

Как видите один заход это несколько обращений к серверу.
Смотреть сверху в низ.
В целом лог выглядит так:
Ip адрес или хост —[дата] «метод и адрес в конце протокол», код ответа, количество байт, реферер, «юзер агент, также тут иногда видно некоторые тулбары юзера» .

Вот собственно и все. В данном примере Я запросил главную страницу, судя по логу я её получил.
Далее идут стили и картинки и js, они были кэшированы — это понятно по ответу 304 — Not modified — что переводится не изменён.

полезные юзеры, боты и бесполезные люди

Полезные юзеры
Людей, именно качественных людей увидеть в логах очень просто.
Вспомните то что прочитали выше. Вспомните себя. Юзеру не свойственно читать статьи с секундным (подозрительным) интервалом. Юзеры загружают скрипты и стили.
Больше всего юзеры любят кликать на картинки.

Пример:
Юзер пришел с гугла по запросу govnoproger.


24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:31:45 +0200] "GET / HTTP/1.1" 200 10142 "http://www.google.com.ua/search?gcx=c&sourceid=chrome&ie=UTF-8&q=govnoproger" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"

Юзер кликает по картинкам:

Наш юзер не парится, а смотрит всё.

24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:31:47 +0200] "GET /wp-content/uploads/koli4estvo.jpg HTTP/1.1" 200 133332 "//govnoproger.ru/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"
24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:31:49 +0200] "GET /wp-content/uploads/akterskaya-igra.jpg HTTP/1.1" 200 25149 "//govnoproger.ru/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"
24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:31:49 +0200] "GET /wp-content/uploads/out_4+.jpg HTTP/1.1" 200 48923 "//govnoproger.ru/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"
24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:31:51 +0200] "GET /wp-content/uploads/out_5+.jpg HTTP/1.1" 200 70118 "//govnoproger.ru/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"
24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:31:52 +0200] "GET /wp-content/uploads/out_6+2.jpg HTTP/1.1" 200 65961 "//govnoproger.ru/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"

Я не всё скопировал иначе очень длинно.

Юзер нажимает на ссылки с редиректом:

24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:33:56 +0200] "GET /afthe.php?out=http://testdom1.tk HTTP/1.1" 302 275 "//govnoproger.ru/internet/ubiraem-ogranichenie-kolichestva-sajtov-na-xostinge-multisajting.html" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"
24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:33:57 +0200] "GET /afthe.php?out=http://testdom2.tk HTTP/1.1" 302 275 "//govnoproger.ru/internet/ubiraem-ogranichenie-kolichestva-sajtov-na-xostinge-multisajting.html" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"

Юзер читает статьи. Это видно по времени. Это выглядит естественно.

24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:32:10 +0200] "GET /internet/ubiraem-ogranichenie-kolichestva-sajtov-na-xostinge-multisajting.html HTTP/1.1" 200 8298 "//govnoproger.ru/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"
24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:37:46 +0200] "GET /obo-vsyom/pro-frazu-ponravilas-igra-aktyorov-i-tp-zarubezhnyx.html HTTP/1.1" 200 7449 "//govnoproger.ru/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"
24-88-124-91.pool.ukrtel.net - - [01/Oct/2011:07:40:54 +0200] "GET /kosmos/luna-22-avgusta.html HTTP/1.1" 200 6556 "//govnoproger.ru/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1"

Боты.
Боты бывают хорошими — например гуглбот.
И плохими — спамерский бот.

Отличить первых от вторых очень просто. Достаточно преобразовать ip адрес в имя хоста.
Таким образом вы можете верефицировать поисковых ботов.

Боты не парятся — часто не грузят джаваскрипт ну и стили тоже.

Бесполезные люди
Бесполезных людей видно сразу. Причем опознать можно по многим вещам.
Например юзер зашел на эту страницу по запросу preg_match online — после чего от него не было никаких обращений.
Запрос удовлетворён? Удовлетворён полностью, лучше некуда.
Причина в том что этот мудак мониторит поисковый запрос.
Зачем ему было смотреть картинку просто так? Отвечу — типа проверяет сео статьи.

Рекомендую:

1.10.2011 | последняя редакция: 01.10.2011 |