Для начала работы просто залейте папку с CMS к вашему дорвею или сателлиту, перейдите на индексную страницу, введите пароль demo(по умолчанию) и вы попадёте в удобную админку, которая уже готова к работе. Всё просто и понятно, и избавляет Вас от лишних движений, а значи дарит Вам драгоценное время, которое можно потратить на что-нибудь более полезное.

go(‘url’) – команда перехода по конкретному адресу. В скобках указываем url.

show() – функция возвращает html код страницы, одновременно выводя его на экран. Например код html = show() присвоит переменной html код текущей страницы.

showforms() – выводит на экран все формы, которые есть на текущей странице. Это функция обычно используется на этапе написания программы для того, чтобы видеть, с какими формами мы будем работать. Что полезно – функция выводит и номера форм, которые вы будете в дальнейшем использовать.

formclear(’1′) – функция очищает форму под номером 1

fv(’1′, ‘name’, ‘value’) – функция заполняет поле формы каким-то значением. Первый параметр – номер формы, второй – имя поля, которое нужно заполнить, третий – значение поля.

submit() – функция сабмитит(отправляет) форму как при нажатии кнопки. В скобках можно указать, какую именно кнопку нужно нажать(цифрой).

Итак, с помощью этих основных команд мы уже можем написать программу addurl в поисковик google. Итак, смотрим код:

Вход на сайт и просмотр форм

#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
from twill.commands import *
go("http://www.google.com/intl/ru/addurl.html")
showforms()

Заполнение и сабмит формы

#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
from twill.commands import *
 
go("http://www.google.com/intl/ru/addurl.html")
fv('2','q', 'http://google.com')
fv('2','dq', 'This is google!')
submit()

Итак, что мы сделали?

1. Импортировали в программу нужную библиотеку
2. Перешли по нужному адресу
3. Заполнили поля нужной формы
4. Отправили форму

В следущей части я расскажу о том, как работать со списками ссылок для addurl, выложу свой модуль для работы с сервисом распознавания капчи и покажу как работать с формами с капчёй.

А пока я писал этот пост iron-viper обновил и дизайн своего блога о сео.

В жизни дорвейщика случается много ситуаций, когда не стоит светить своим настоящим IP. Есть много способов, как его скрыть или подменить. Самым простым является использование интернета через прокси. А самым простым способом поднять прокси является 3proxy. Софт мультиплатформенный, но так как на Windows почти нет никаких сложностей в запуске и настройке, то я расскажу подробно и настройке в Linux. Windows пользователи могут почерпнуть только информацию о конфиг файле. Установку я буду рассказывать на примере Debian OS, удалённый VDS. Заходим по ssh на свой сервер и качаем последнюю стабильную версию 3proxy
wget http://3proxy.ru/0.6.1/3proxy-0.6.1.tgz
Распаковываем её
tar -xvzf 3proxy-0.6.1.tgz
Переходим в распакованную папку
cd 3proxy-0.6.1
и компилируем саму программу
make -f Makefile.Linux
ждём несколько минут, пока система скомпилирует программу. После этого, у вас в папке src, рядом с исходникаму будут лежать готовые программы. Почему программы? Потому что 3proxy позволяет отдельно запускать соксы, смтп прокси и др. Нас интересует файл 3proxy.
Теперь создадим папки для программы, логов и статистики.
mkdir /usr/local/3proxy
mkdir /usr/local/3proxy/logs
mkdir /usr/local/3proxy/stat
Если вы зашли в папку src, то выходим из неё. После этого нужно скопировать все нужные файлы в нужные папки, и копируем исполняемый файл.
cp src/3proxy /usr/local/3proxy
Переносим файл для автозагрузки
cp ./scripts/rc.d/proxy.sh /etc/init.d/3proxy
Записываем информацию в файл автозагрузки
update-rc.d 3proxy defaults
Создаем чистый конфигурационный файл
touch /usr/local/3proxy/3proxy.cfg
Далее нужно отредактировать файл конфига. Для этого я использую редактор nano(sudo apt-get install nano)
nano /usr/local/3proxy/3proxy.cfg
Вставляем текст:
daemon
log /usr/local/3proxy/logs/3proxy.log D
rotate 30
users login:CL:pass
auth strong
proxy
socks
Сохраняем наш файл(CTRL+X, соглашаемся на сохранение) и пробуем запустить наш прокси-сервер не забыв дать права
chown -R nobody:nogroup /usr/local/3proxy
/usr/local/3proxy/3proxy /usr/local/3proxy/3proxy.cfg
Всё, можно тестировать прокси. Стандартный порт для хттп прокси – 3128, для socks – 1080.
Если всё хорошо, то нужно настроить наш прокси для автозагрузки.
cd /etc/init.d/
nano 3proxy
Редактируем файл, вписав везде путь к нашим программам. Всё, перезагружаем сервер и радуемся собственным проксям!

Первая статья будет посвящена подготовке к работе и начальной настройке необходимого софта. Для тех, кто хорошо знаком с Python эта часть не даст много информации, но я рекомендую с ней ознакомиться.

Я работаю в основном на Ubuntu 9.10, поэтому мануал буду писать, переодически стараясь уточнить различия под Windows. Для начала, нам необходимо установить Python. На Linux машинах, обычно, он уже установлен. Если нет -

Установка Python

sudo apt-get install python

После установки самого Python нужно установить модуль twill. Для этого заходим на официальный сайт и качаем twill. Теперь установка для Linux:

Распаковываем архив в любую папку, переходим в неё в консоли на набираем

Установка twill

sudo setup.py install

После установки можно проверить модуль. Даём файлу twill-sh права на выполнение (chmod +x twill-sh) и запускаем его (./twill-sh). После вывода служебной информации вам выведет:

Тестирование twill

-= Welcome to twill! =-
current page:  *empty page*

Теперь об установке модуля на Windows:

Для начала качаем установщик модулей тут. Потом сам twill. Устанавливаем установщик, распаковывем архив с модулем. Открываем командную строку, переходим в папку с распакованным модулем и пишем python setup.py install. Если всё прошло хорошо, то модуль установился удачно.

Теперь небольшой тест модуля. Создаём где-нибудь файл, например test.py, и пишем в него такой код:

test.py

from twill.commands import *
go("http://www.google.com/")
showforms()

Запускаем любым удобным для вас способом(желательно через консоль и командную строку – python test.py) и скрипт переходит на google.com и показывает все формы, которые есть на странице.

В следующей статье я расскажу как написать простой аддурл скрипт с использованием антикапчи!

Открываем manifest.json и пишем в нём следущий код:

manifest.json

{
"name": "Search Engine Updates Viewer",
"version": "0.1",
"description": "Плагин показывает состояние апдейтов поисковой выдачи на текущую дату.",
"browser_action": {
"default_icon": "icon.png",
"popup": "popup.html"
}
}

Теперь очередь второго файла:

popup.html

<img src="http://promopark.ru/analytics/informer/update.gif">
 
<div align="center"><a style="font-family: Arial; color: gray; text-decoration: none; font-size: 10pt;" target="_blank" href="http://promopark.ru/analytics/update.php">история</a></div>

Третий файл это иконка. Она может быть любой картинкой, главное не забудьте изменить её имя в файле manifest.json на своё.

А теперь…а теперь всё Можно открывать браузер, заходить по адресу chrome://extensions/ , нажимать кнопочку “Загрузить распакованное расширение…”, выбирать путь к своей папке и пользоваться!

Может кто-то уже понял, что плагин особого ничего не делает, просто показывает небольшую картинку с одного хорошего сайта, которая показывает состояние апдейтов поисковой выдаче разных поисковиков.

По той ссылке, что мы загружали плагин в браузер можно из него “собрать” установочный файл. И для примера можете установить мой плагин, который я назвал “Search Engine Updates Viewer“.

P.S. У меня в планах написать проверялку статы на популярных партнёрках, посмотрим, насколько это реально.

P.P.S. Если тема народу будет интересна, продолжу цикл статей.

Итак, решил открыть новую серию постов о программировании. Так как часто в процессе работы дорвейщики сталкиваются с совершенно нестандартными задачами, то описание их решения избавит многих от длительных часов перебирания литературы и извращениями над кодом.

Этот пост я хочу написать о самом простом варианте взаимодействия php с python. Довольно часто многие заставляют бедный php выполнять ресурсоёмкие вычисления, задачи, которые по-идее он не должен выполнять. Некоторые даже извращаются с многопоточностью на питон, со всякими мультикурлами и т.д. А можно всё сделать намного проще – отдать на обработку данные самой системе, а не апачу. У системы нет ограничений на использование ресурсов, да и апач штука сама по себе медлительная. В качестве языка работы с системой я использую python. Он мультиплатформенный, довольно быстрый, и по нему много хорошей документации + большое количество хорошо сделанных классов для облегчения работы. Итак, для того, чтобы показать как это всё работает нам понадобится два файла – test.php и test.py

test.php

<?
$output = passthru ("python test.py 'http://aboutdoorways.com' 'Link text'");
echo $output;
?>

test.py

#!/usr/bin/python
import sys
args = sys.argv
link = args[1]
linktext = args[2]
print "<a href='"+link+"'>"+linktext+"</a>"

Как видно из кода – мы просто вызываем системную команду, и передаём ей несколько параметров, а скрипт эти параметры обрабатывает и выводит ссылку(для примера). Как-нибудь позже я покажу как работать со связкой Ajax + PHP + Python, когда придумаю какой-нибудь более-менее интересный пример. PHP функция passthru выполняет системную команду и возвращает полый её вывод. Python функция sys.argv принимает все параметры, переданные скрипту в командной строке, и возвращает их в скрипте в виде массива. Нулевой элемент – имя скрипта, которому были переданы параметры, поэтому в программе мы начали работать с элемента под номером 1.

Нашёл в интернете компилятор электронных книг, нужна штука иногда!