Парсер подсказок ключевых слов Google

Парсер подсказок ключевых слов Google

Хочу Вас сразу огорчить, чтобы Вы не радовались заголовку и не думали «Ох, ебать, я наконец-то нашел то, что искал!». Скачать парсер здесь нельзя. Да, вот так вот. Я пока что думаю, что это приват средство и может в перспективе доведу его до коммерческого вида.

В общем нарыл недавно у себя старый todo лист. Еще приблизительно год назад добавил туда запись «Написать парсер подсказок гугл» и некоторые наработки. Вот решил наконец-то написать его.

Язык был выбран конечно же PHP. В результате получился такой себе монстр в 250 строчек кода. Да-да, именно монстр. Хоть и не уверен, но всё же думаю, что у аналогов, коих не очень много, нет такого функционала и плюшек. С интерфейсом я ещё не заморачивался, сделаю его когда уже будет дописан полностью функционал.

Напоследок немного обрадую. Хоть скрипт и не выложу, но вот базами ключевых слов побалую немного. Так что в следующих постах ждите базы по некоторым конкретных запросам, в основном на «download» тематику.

17.07.2012
Метки:

Комментарии:

  1. Тоже написал скрипт парсинга подсказок гугла. Но есть одна проблема. После 2-3к спарсеных кеев гугл возвращает 403 forbidden. Ставил задержку на 5-8 сек, теперь обрывает соединение после 5-10к собраных кеев.
    Как ты обошел данную проблему?

    Ответить
  2. Scofield, прокси решает. Но я их пока не запилил. Сделал пока такую систему: есть несколько других серверов, туда залил определённый файл php, своего рода туннель, основной парсер рандомно обращается к этим скриптам, скрипты парсят из гугла и передают информацию основному парсеру.

    Ответить
  3. Логично. Спасибо.

    Ответить
  4. Бирхак, запиши меня первым покупателем на парсер – давно ищу что-то стоящее.

    Ответить
  5. Кстати, парсинг кеев у тебя заказывать можно (за деньги, разумеется)?

    Ответить
  6. e2e4, продолжаю дорабатывать и оттачивать скрипт. Пока что на заказ не делаю парсинг.

    Ответить
  7. Нужен парсер подсказок google. Готов купить. Если интересно, стучи: 628273674

    Ответить
  8. Правильно ли я понимаю, что с адалтовыми кеями этот парсер не работает, так как Гугля в инстант серче никаких адалтовых подсказок не дает?

    Ответить
  9. Дашка, да, так и есть.

    Ответить
  10. <?php
    ########################################
    ## ???????? ????????? ?????
    ##
    ## нужно создать файл keys.txt в нём каждый ключ на 1 строку
    ## на папку скрипта лучше поставить права 777
    ## для каждого ключа создаётся файл с найдеными кейами
    ## файлы сохраняются в корень папки
    ##
    ########################################
    header('Content-type: text/html; Charset=utf8');
    set_time_limit(30000); //время работы скрипта.
    $lang = 'en'; //ru

    if(!file_exists('keys.txt')){
    die('Cant find keys.txt');
    }

    $keys = file('esse.txt');

    if(empty($keys)){
    die('Crap! No keys in keys.txt');
    }
    foreach($keys as $key){
    $key = trim($key);
    $out = 'esseOUT';
    if(file_exists($key.'.txt')){
    continue;
    }
    $key = urlencode($key);
    $url2google = 'http://google.com/complete/search?output=toolbar&hl='.$lang.'&js=true&qu='.$key;
    $key_adds = array('+1','+2','+3','+4','+5','+6','+7','+8','+9','+0',
    '+a','+b','+c','+d','+e','+f','+g','+h','+i','+j','+k',
    '+l','+m','+n','+o','+p','+q','+r','+s','+t','+u','+v',
    '+w','+x','+y','+z');
    $sugg_data = file_get_contents($url2google);
    foreach ($key_adds as $value){
    $sugg_data .= file_get_contents($url2google.$value);
    }
    preg_match_all('/(?<=\)/’,$sugg_data,$sugg_tmp);
    $sugg_tmp2 = implode(«\r\n» ,$sugg_tmp[0]);
    $sugg_tmp2 = str_replace(», «‘», $sugg_tmp2);
    preg_match_all(‘/(.*)/’,$sugg_tmp2,$sugg_fin);
    //echo implode($sugg_fin[1]);
    //echo implode(»,$sugg_fin[1]);

    file_put_contents(urldecode($out).’.txt’, implode(»,$sugg_fin[1]),FILE_APPEND);
    unset($sugg_tmp2);
    unset($sugg_tmp);
    unset($sugg_fin);
    }
    echo ‘All Done!’;
    ?>

    Ответить