Правленный Live HTTP headers v0.16

Итак, что же это за такая rsync? Это действительно, утилита рекурсивного копирования (копирует все файлы и поддиректории) с одного хоста на другой, или даже внутри одной машины. На этом все ее отличие от, например, утилиты cp заканчивается. И вот тут самое интересное – она при копировании каждый файл или директории, которые копируем, проходит блоками, и отслеживает только изменения блоков в сравнении с уже скопированными блоками. Грубо говоря, она копирует только «дельты» файлов и директорий! Что это значит? Это значит, что второй, третий и так далее запуски этой программы на определенную цель (куда копировать) будут занимать гораздо меньше времени, операций копирования и передачи данных по сети при повторном копировании уже изменившихся файлов. Вот несколько примеров ее использования:

1) Быстрый перенос баз данных (на примере SQL).

Имеем два сервака – один рабочий A, второй Б – куда будем резервировать свои базы данных (там где нет работающего SQL). Тогда для резервирования можно периодически запускать rsync на сервере A, не прекращая работы SQL сервера (назовем это «рабочим резервом»). Но чтобы нам иметь полностью правильные базы в резервной директории сервера Б, нам надо временами останавливать SQL на серваке А, и пока там нет работаюшего SQL, делать повторное копирование (назовем это «фиксированным резервом»). Вот тут то rsync и пригождается! Во время «рабочего резерва» многие файлы успевают устареть, ведь SQL продолжает работать. Во время «фиксированного резерва» копируются только дельты с последнего запуска «рабочего резерва». Если время между этими запусками мало, то дельты копируются очень быстро – на больших базах это может быть не более минуты, например. Для снижения времени простоя, надо просто выполнить повторный «рабочий резерв» прямо перед остановкой MySQL сервера. Плюсы такого способа – минимальный даун по времени, минимум человеческих ошибок, простота. Я не знаю другого способа на данный момент, чтобы сделать быстрый резерв больших баз данных на другую машину, и при этом свести время простоя к минимуму.

Команды (смотрите не перепутайте! Тут все как в теории относительности )
На стороне сервера Б (можно и на стороне А, но тогда надо поменять пути местами), куда копируем, запускаем команды копирования во время «рабочего резерва»

cd
nohup /bin/nice -n 20 ionice -c3 rsync --rsync-path='/bin/nice -n 20 ionice -c3 rsync' -avz --delete IP.ADDRESS.SERVER.A:'/path/to/source/folder/' /path/to/target/folder/

Краткие пояснения (ВАЖНО):
Некоторые утилиты могут отсутствовать, примеры даны для Linux! Здесь nohup – «оторвать» ввод/вывод от терминала. Это нам потребуется, когда мы захотим оставить запущенный «резерв» в фоновом режиме. Сразу мы не можем этого сделать (то есть не ставлю ‘&’ в конце), так как rsync при копировании использует ssh, и раз мы копируем на другой сервак, он запросит у нас пароль (если авторизация через openssh ключи + ssh-agent, то можно и поставить ‘&’, но об этом в другой раз, в другой статье). После ввода пароля уже можно будет нажать Ctrl+Z в shell и затем "%1 &" для запуска в фоновом режиме первой запущенной задачи (см. man bash). Команда nice – выставить приоритет для процессора, а ionice – приоритет для операций при работе с диском – все приоритеты ставяться на понижение, чтобы продолжалась нормальная работа сервера. Опция --delete для rsync – удалять все файлы в целевой директории (от слово «цель», target), которых нет в исходной (source). То есть, после копирования получим полностью равную директорию по содержанию.
Слеш в конце исходной директории (/path/to/source/folder/)  – важная штука! Если в конце слеш – директория рассматривается rsync-ом как комплект директорий и файлов в ней для копирования, а если слеша нет – как один объект, целая директория со своим именем – в обоих случаях копирование рекурсивное, но если из примера убрать слеш в конце первого пути (сделать /path/to/source/folder), то в /path/to/target/folder/ будет создана папка folder и туда скопируется ее содержимое! Почитайте man-ы, если хотите понять, как присутствие или отсутствие слешей в конце директории влияет на ход событий

2) Перенос сайтов.

Способом, описанным выше, также можно переносить и сайты вместе с их базами. Для баз мы используем способ выше, а для переноса контента делаем все то же самое, но при работающем apache. Как и в первом способе, apache мы останавливаем только на несколько минут или секунд, быстро запускаем rsync для «фиксированного резерва», а после окончания запускаем apache снова. После остается сменить только DNS на новый IP адрес и все! Для повышения скорости переноса не забудьте за неделю до переноса выставить часовой TTL в вашем DNS для SOA записи зоны и для всех ее остальных записей. Тогда при смене IP весь трафик на сайт переместится за один час! Но это, как говориться, уже другая история.

Как я посчитал эти цифры? Возьмем, к примеру логи Apache сервера. Они показывают сколько реально было загрузок какой либо страницы. Берем данные о загрузке страницы из этих логов -V1, затем смотрим, сколько нам посчитал счетчик, например Google Analytics – V2 (я обсчитывал статистику даже своими JavaScript счетчиками на основе Ajax). V1 – сколько всего смотрело людей, а V2 – у скольки включен скрипт. V2 всегда будет меньше V1, и если посчитать по формуле V2/V1*100%, то получится 70-73%. Проверьте сами!

Конечно, могут возразить – боты и все такое… Но я замерял на разных проектах – на известных и нет, и из разных источников. Цифры всегда были примерно одинаковые. Не верю, что везде процент ботов одинаковый!

Так что помните об этом, когда создаете страницу, работающую только на чистом JavaScript коде!

Вот пробный камень – Коллекция Add-on расширений для АВМов и вебмастеров. АВМ (Affiliate WebMasters, для тех, кто не в курсе ) – это вебмастера, работающие в области зарабатывания денег, которые торгуют трафиком, делают трейды с сайтами и работают с affiliate programs.

В дальнейшем я сделаю подборку под другие задачи пользователей.

Сейчас про расширения, которые отсутствуют в центральном репозитарии Mozilla, но их я также бы посоветовал поставить АВМам:

• FastererFox – ускоритель Firefox
• Redirect Remover – меняет out линки на CJ/TGP сайтах на линки галлер (убирает редирект). Удобен для проверки трейдов. Работает с Base64 линками.
• Roboform – одно из главных расширений, что должно стоять у каждого (помнит все пароли ко всем сайтам, генерит пароли и т.п..)

Совсем недавно открыл для себя этот плагин, но пожалел, что раньше про него не знал. Он очень экономит время, если вы активно занимаетесь поиском чего либо!

Поиск – как часто вы им пользуетесь?

Итак, чтобы понять его важность, вспомните, как часто вы что либо искали? Не обязательно в Google, а может быть вы часто пользуетесь поиском Google внутри какого либо сайта (site:)? Например, master-x.com или cjlog.com? Или часто заходите на сам Master-x.com и там вводите в поиске что либо? Или какой либо другой поисковый сайт?

Все поисковые машины в одном месте, одним кликом…

Вообщем, это плагин позволяет использовать ваши любимые поисковые системы из стандартного toolbar поиска, которое есть по умолчанию в Firefox, одном кликом. Более того, он также позволяет искать выделенное мышкой слово на странице с помощью перетаскивания, как это делает QuickDrag (только последний ищет только в default search engine – то есть в Google для Firefox), но этот Addon при перетаскивании показывает указанные вами поисковые системы в виде сетки на экране (DropZones) – вам надо лишь перетащить слово на нужный квадрат, чтобы сработала выбранная система. Это очень удобно! В качестве таких DropZone вы сами выбираете, в какой части экрана какие ваши любимые системы должны быть. В качестве DropZone может выступать группа поисковиков - тогда откроется необходимое количество табов с этим словом. Например, можно забить поиск по всем форумам нужной тематики поиск.

Можно добавлять свои…

Вы также можете добавить свои собственные поисковые системы, указав URL (просто к этому УРЛу при вызове он добавит поисковое слово или слова), или с помощью инструмента добавления через форму (см. ниже). Например, я сделал Google поиск по форуму Master-X.com (URL: http://www.google.ru/search?hl=en&q=site:master-x.com+). Теперь поиск делается легко – выделяем что надо найти и перетаскиваю на квадрат Master-X. И все – результаты на экране!

И еще одна приколная фишка. Вы легко можете создать поисковый профиль на основе веб-формы поиска какого либо сайта. Например, заходите на свой любимый форум или интернет-магазин, кликаете правой кнопкой мыши по полю ввода поиска, выбираете «Add as private Search Engine…», автоматически формируется УРЛ на основе самой формы. Вам только остается нажать «OK». Есть два типа поисковых профилей – private (частных) или публичных. Если вы добавляете свои, то делайте их private. Можно кликнуть вместо «Add as private Search Engine…» «Suggest for Web Search Pro…», тогда автор плагина получит эти данные как предложение добавить эту систему в свой плагин. И может быть он добавит.

И это только вершина айсберга

И в заключении. Авто плагина имеет сайт, где огромная база по поисковикам. Тут и Google, Yahoo, Amazon, Wiki и много чего, что ищет Прямо от туда одним кликом добавляются поисковые машины в ваш плагин.

P.S. Уже после использования этого плагина обнаружил, что Web Search Pro перехватывает всю обработку перетаскивания, то есть не работает «полноценно» обычное перетаскивание, что работало ранее (нельзя скопировать текст перетаскиванием в какое либо поле формы, не работает QuickDrag и т.п..). Но методом тыка нашел обход – если при перетаскивании нажать клавишу Shift, то происходит обработка default перетаскивания в обход Web Search Pro – как если бы он не был установлен. Не знаю, задумывал ли так разработчик плагина (пока не нашел нигде в документации на него), но получилось удобно!

А вот, кстати, и отрывок из FAQ разработчика. Оказывается, задумывалось. Еще, кстати, можно отменить начатое перетаскивание – нажать Esc во время процесса…

FAQ:
Q: Is there a way to disable Drag & Dropzones temporarily, e.g. when typing something, and wanting to drag a word?
A: I need some kind of huge manual for all things like this I guess, cause yes, it’s already possible. ESC cancels a drag & drop operation (Windows default), and if you hold SHIFT while dragging Drag & DropZones will not be activated.

Пригодится вебмастерам, АВМам, Сиджеводам, программистам, и вообще всем, кто работает с сайтами на уровне кода

Зайдя на страницу любого сайта, бывает часто потребность выдернуть от туда линки (топ трейдеров, например, или линки новых партнерок, если сайт посвящен им и т.п..). С этим плагином все это облегчается. Можно получить все линки на странице (меню Firefox Edit -> Copy Links -> Copy All Links, или Alt+E -> L ->A, если у вас английская версия Firefox), или только присутствующие в выделении кусков страницы (меню Firefox Edit -> Copy Links -> Copy Selected Links, или Alt+E -> L -> S, если англ. версия). И в том и в другом случае, линки копируются в Clipboard по одному линку в каждую строку. Если вы ставили при этом плагин Copy All URLs, описанный мной ранее, то вы можете сразу тут же открыть все табы с этими линками по Ctrl + Alt + V. Удобно, чтобы просмотреть всех трейдеров в топе, например. Тем самым, если видим топ, веделяем, например, первые 10 линков в топе мышкой (может помочь удержание клавиши Ctrl для выделения ячеек тага table), набираем Clt + E -> L -> S, потом делаем Ctrl + Alt + V – и все линки открываются в Табах. Можно, конечно, просто сделать 10 кликов. Или второе применение - не открывать их, а список скопировать в программу проверки трейдеров на бан (у каждого скрипта может быть своя).

В любом случае, если подумать, применение этому плагину найдет каждый

Скачать этот плагин здесь

В опциях можно настроить, как сохранять УРЛы и в каком формате: можно просто только УРЛы по одному в каждой строке, а можно в одной строке УРЛ, в другой Title. А можно и сделать так, чтобы сохраняемый формат был в виде HTML кода прямо для вставки в HTML страницы.

Лично я им часто пользуюсь. Рекомендую