Пример скрипта под XHE. Сбор данных с WP.

Скрипт для сбора данных с WP сайта. Написан для работы под XWeb Human Emulator.


require("../Templates/xweb_human_emulator.php");

// папка куда писать результаты
$folder ="D:\\work\\help_en\\";
// имя файла
$name = "functions";

// префиксы для получения текста
$prefix1="Edit ";
$prefix2 = "Вернуться к списку команд";
////////////////////////////////// доп функции ////////////////////////////////////////////////////////
// получить нужный текст
function parse_text($body_text,$pref1,$pref2)
{

$ind = strpos($body_text,$pref1);
$ind1 = strpos($body_text,$pref2,$ind);

$res = substr($body_text, $ind+ strlen($pref1),$ind1-$ind-strlen($pref1));

return $res;
}
// добавить в файл
function add_file($path,$page_body)
{
$file=fopen($path,"a+");
fputs($file,$page_body);

// close out file
fclose($file);
}
////////////////////////////////// выполнение скрипта ////////////////////////////////////////////////////////

for($i=11;$i<480;$i++)
{
// navigate to google
$browser->navigate("путь к wp сайту");
// wait on browser
$browser->wait(1);

// переходим на страничку описания функции
$anchor->click_by_number($i);
$browser->wait_for(30,1);

$text = $webpage->get_document_body("false");

$textfile->write_file("c://1.txt",$text,0) ;

$text=parse_text($text,$prefix1,$prefix2);

// запишем в файл
add_file($folder.$name.".txt" ,$text) ;
}

// Quit
$app->quit();?>