Node.js. Легкий стресс-тест через Phanos.

На волне набирающей популярности ноды. Решил взяться за написание маленького паучка, который бы имитировал реального пользователя. И гулял по сайту не аки бот, а как нормальный человек. Благо в инфраструктуре ноды добра для написания такого чудного существа достаточно. Основа паука стал phantom.js, это "обезгалвленный" движек Webkit, другими словами - это браузер лишенный UI.

Итак, Phanos, в первую очередь мне он был нужен для одной важной задачи, - сымитировать набег пользователей на сайт в течении 2х недель! Самое интересное что для сайт этот был single page application. Т.е. это полноценное web-приложение с кучей асинхроных запросов и всякой джэесины :). Которую как мы понимаем не в состоянии отработать jMeter ни тем более Apache Banchmark. А так как интерес к node.js у меня сейчас в обостренной форме, хотя как мы можем заметить, в рунете заметен спад заинтересованности. То собственно и был рожден сей паучек. Еще одна особенность сайта - это то что он также реализован на node.js и эта штука вся крутится на heroku, то вся статитка также отдается через аппликуху, то так же важно грузить и все остальное, т.е. картинки, стили и собственно Js.

Phanos, его особенности это:

• имитация посещения пользователями длительное время, т.е. вы можете оставить тулзу работать в течении дня, недели, месяца, да хоть года, указать количество пользователей и вперед.
• полностью отрабатывает страницы с ajax js
• легко устанавливается и работает под Linux и Windows, теоретически должен работать и на Mac.

Для начала работы с Phanos необходимо установить node.js. А затем выполнить команду, Ubuntu:

$ sudo npm install -g phanos

для Windows:

$ npm install -g phanos

В процесе установки будет загружен phantomjs под вашу платформу. Ниже приведу пару примеров как пользоваться phanos.

$ phanos -u = http://www.google.com -w 10 -t 3600

Команда выше запустить 10 волкеров (пользователей) "гулять" по гугл в течении 1 часа (3600 сек.). Как лего догадаться то -u это адрес страницы, -w это количество пользователей, -t время работы скрипта, здесь час.

$ phanos -u = http://www.google.com -w 10

Тут просто 10 волкеров в течении 30 сек. будут шнурять по сайту.

На подходе режим работы "наплыв", заключаться будет в том чтобы сэмитировать "сарафанное" радио, "хабраэффект", в общем плавное нелинейное увеличение пользователей. Так же будет возможность указать несколько адресов сразу. Небольшой отчетик о сделанных запросах и их времени. Автоматическое "гуляние" по сайту, без необходимости перечисления всех страниц, которые надо грузить.

Тулза открыта. Доп. информация по установке, параметрам и использованию на github все найденные баги/фичи если не сложно оставляем там же.


P.S.: Phanos - это симбиоз от слов Phantom и stress, а не то что могут подумать некоторые изощреные умы =)

Magento. Операторы сравнения.

Magento выделяется особой самобытностью, в этом движке любят делать все не так как все, хорошо это или плохо... не мне судить, но вот чтобы добавить какой-дибо атрибут для фильтрации колекции, необходимо знать операторы сравнения. Ниже они преведены собственной персоной.
Операторы сравнения Magento:

array("eq"=>'n2610')
WHERE (e.sku = 'n2610')

array("neq"=>'n2610')
WHERE (e.sku != 'n2610')

array("like"=>'n2610')
WHERE (e.sku like 'n2610')

array("nlike"=>'n2610')
WHERE (e.sku not like 'n2610')

array("is"=>'n2610')
WHERE (e.sku is 'n2610')

array("in"=>array('n2610'))
WHERE (e.sku in ('n2610'))

array("nin"=>array('n2610'))
WHERE (e.sku not in ('n2610'))

array("notnull"=>true)
WHERE (e.sku is NOT NULL)

array("null"=>true)
WHERE (e.sku is NULL)

array("gt"=>'n2610')
WHERE (e.sku > 'n2610')

array("lt"=>'n2610')
WHERE (e.sku < 'n2610')

array("gteq"=>'n2610')
WHERE (e.sku >= 'n2610')

array("moreq"=>'n2610') //a weird, second way to do greater than equal
WHERE (e.sku >= 'n2610')

array("lteq"=>'n2610')
WHERE (e.sku <= 'n2610')

array("finset"=>array('n2610'))
WHERE (find_in_set('n2610',e.sku))

array('from'=>'10','to'=>'20')
WHERE e.sku >= '10' and e.sku <= '20'

Git, nodejs-проект и SSH. Установка, разворачивание, запуск в фоне

Итак, поступил заказ на "допиливание" проекта, или же вы купили новый девайс, на котором планируете вести разработку любимого Web-приложения параллельно с основным или надо быстро поднять окружение для разработки на Node.js с уже имеющимся кодом или... Или 1000 и одна причина по которой может резко понадобиться разворачивание проекта на машине. Речь, как можно догадаться из заголовка, пойдет о таких вещах: Nodejs, Git, Ssh. Начнем-с.
В первую очередь оговорюсь, все проделывалось в Debian/Ubuntu системе, хотя немного изменив курс туториала, это применимо и к другим дистрибутивам и даже к Windows :)

• Ставим Git если его еще нет в системе (для Винды это  вообще очен мажно с ним в придачу можно поставить чудо-юдо MingGW)
  

  $ sudo apt-get install git
  

• На всякий случай обновляем репы
  

  $ sudo apt-get update
  

• Вот эта штука очень полезная, я про python-software-properties. Она содержит в себе утилиту add-apt-repository и что самое грустое что если у вас сервер Ubuntu то скорее всего у вас ее нет, если десктоп, то можно и не ставить.
  

  $ sudo apt-get install python-software-properties python g++ make # Ставим зависимости
  $ sudo add-apt-repository ppa:chris-lea/node.js # Добавляем репозиторий node.js
  $ sudo apt-get update # Обновляем репы
  $ sudo apt-get install nodejs # Ставим node.js последней версии
  

• Далее переходим в директорию в которой будем разворачивать проект
  

  $ cd /var/www # Эта директория указана для примера и может быть любой другой.
  

• Далее надо сгенерировать SSH ключ
  

  $ ssh-keygen -t rsa
  

  Если вы не указывали никакого другого пути для сохранения ключа то вы его можете найти в
  

  $ ~/.ssh/id_rsa.pub
  

• Копируем его содержимое и добавляем в сервис (или в ~/.ssh/authorized_key на сервере от куда мы будем тянуть код проекта) например это может быть Github, Bitbaсket, Heroku и др. У меня это Heroku
  
• Переходим в папку для проекта у меня это /var/www и клонируем проект
  

  $ cd /var/www
  $ git clone git@heroku.com:yourproject.git ./
  

• После чего не забываем установить сопутствующие модули, не думаю что у вас их не будет
  

  $ npm install
  

• И если вы хотите "повешать" процесс на "прослушку" 80-го порта, то не забудте это сделать от рута, т.к. мы же все помним что порты ниже 1024 требуют прав рута.
  

  $ sudo NODE_ENV=staging PORT=80 node app.js
  

А еще нам может понадобиться запустить ноду в фоне, аля процесс-демон. Сразу скажу тут не будет ничего про демоны, а будет про интересный модуль supervisor и "финт" ушами.

Итак для того чтобы запустить ноду в фоне надо выполнить следующую команду. Предварительно создайте директорию для логирования вывода процесса, ну, например, /home/macho/logs/ или /var/logs/yourproject

$ sudo npm install supervisor -g # Устанавливаем глобально модуль supervisor
$ sudo NODE_ENV=staging PORT=80 supervisor app.js > /var/logs/yourproject &

Собственно команда выше запустит ноду в фоне и вы можете насладится результатами работы вашего приложения на 80-м порту.
Удачи, надеюсь пост окажет непосильную помощь, в освоении node.js

Nodejs. Как же все таки работать с модулем Async

Node.js ворвалось на сервера с невероятной скоростью, ровно с такой же скоростью повергло в шок многих сервер-сайд разработчиков... Многим даже пришлось действительно изучить JavaScript и выйти за уровень jQuery подключателей :), но думаю одной из самых интересных и необычных сторон Node.js в частности и JavaScript в целом это его система колбеков, асинхронных вызовов. Потеряться во вложенности начинающему разработчику раз плюнуть.

Как полностью устроен принцип работы callback в node.js рассказывать не стану. Просто скажу, что первым параметром колбека всегда должен быть err объект или строка ошибки. Если внутри вашей пачки колбеков (в независимом скоупе есть еще череда колбеков), то у внутренних колбеков можно опустить параметр ошибки, т.к. эта пачка будет "видеть" общий для них объект ошибки, который можно смело передать в "выходной" колбек. Чего-то я какой-то замудренной фигни понаписал :), итак перейдем к инструменту который позволяет немного упростить и привести ваш код к более красивому и читаемому виду - это модуль Async, он позволяет навести порядки в ваших стеках колбэков. Итак приступаем. Первым делом добавляем в ваш package.json новую зависимость: "async": "*", после запускаем

npm install

Или же можно просто сделать так

npm install --global async

Эта команда установит Async глобально в вашу систему и будет доступен во всех проектах. Итак что нам может предложить Async для Node.js? А предложить он может многое стоит заглянуть для полного списка на его страничку github.org,я же приведу примеры для некоторых из них, и только из раздела control flow а именно:

Series — этот метод позволяет выполнять коллекцию задач по-порядку, и на выходе выполнить какой-нибудь полезный колбек. Этот метод полезен когда важен порядок выполнения, если можно так сказать то этот метод позволит вам "победить" асинхронность ноды:

var async = require('async')
  , tasksIndex = [
        function (callback) {
            // Вымышленный метод который вернет 231
            var viewsNumber = models.stat.viewsNumber();
            callback(null, viewsNumber);         
        }
      , function (callback) {
            // Вымышленный метод который вернет 24
            var growFactor = models.stat.growFactor();
            callback(null, growFactor);
        }
    ]
  , taskNamed = {
        viewsNumber: function (callback) {
            callback(null, models.stat.viewsNumber());
        }
      , growFactor: function (callback) {
            callback(null, models.stat.growFactor());
        }
    };

async.series(tasksIndex, function (err, results) {
    // Результат будет массивом
    console.log(results); // [231, 24]
});
async.series(taskNamed, function (err, results) {
    // Результат будет объектом 
    console.log(results); // {viewsNumber: 231, growFactor: 24}
});

Parallel — а этот метод работает в лучших традициях ноды, не нарушая ее асинхронности, но позволяет отследить конец работы всей пачки задач, т.е. все задачи выполняются параллельно и в конце результаты пробрасываются в финальный колбек. Листинг для этого метода практически ничем не будет отличаться от предыдущего, только надо вызвать не series а parallel

Waterfall — этот метод работает словно цепочка, результаты одной задачи передаются в колбеке следующей задачи, таким образом можно:

async.waterfall([
    function(callback){
        callback(null, 'один', 'два');
  , }
    function(arg1, arg2, callback){
        // Тут arg1 равен "один"
        // , а arg2 равен "два"
        // что соответствует второму и третьему параметру текщего колбека
        // , а первый конечно же мы не забыли - это err но в этом случае
        // ошибок нет поэтому null
        callback(null, 'три');
  , }
    function(arg1, callback){
        // Здесь же arg1 будет равен уже "три"
        callback(null, 'Готово');
    }
], function (err, result) {
   // Сейчас результат будет равен 'Готово'    
});

Собственно это основные методы по контролю за выполнением колбеков, который упростят работу с ними, для получения более подробной информации советую посетить страничку модуля на Github.

Nodejs. Тотальная установка на Windows 8 с поддержкой npm.

Итак собственно как же это дело провернуть, и вообще возможно ли такое в "недружелюбной" к ноде среде Windows? Возможно! Надо ли? А вот это уже решать Вам.

Итак что же мы будем ставить на машину под управлением операционной системы Windows 8

1. Node.js
2. Npm
3. Redis
4. MongoDB

Вот такой вполне обычный набор инструментов для NodeJS разработчика. Скажу честно это же поставить на, допустим, ту же Ubuntu вообще не составляет никакого труда. Чего увы не скажешь про Windows. Кто сталкивался с этой проблемой думаю меня поймут. Более того толкового мануальчика в рунете я не нашел, поэтому с успехом настроив себе рабочую среду для NodeJS спешу поделиться инструкциями по установке NodeJS с рабочим NPM (это даже важней чем сама нода) под Windows 8.

Итак приступим. В первую очередь качаем саму ноду устанавливаем, почему именно инсталятор, ну если просто бинарник качать то потом отдельно если я не ошибаюсь вам надо будет качать и npm и прописывать его вместе с нодой в системные пути, а так раз поставил... и все готово.
Собственно нода уже готова для работы. Но нода в "сыром" виде сейчас мало кого устроит. Многие уже сработались с определенным набором модулей. Например, для меня одни из самых основных модулей это:

1. Expressjs
2. Mongoose
3. Mongodb
4. Async
5. Request

и многие другие.

Во многих проектах они прописаны в соответствующем файле, но увы если я выполню на этом этапе команду npm install в каталоге с проектом, но с большой долей вероятности многие нативные модули (а если точнее, то модули которые используют для сборки нативный модуль node-gyp) не скомпилируются, собственно все финиш. Нода как бы есть, а по факту ноды-то и нет. Для дальнейших действий обязательно убедитесь в том, что у вас в системе не установлены Visual C++ Redistributable это может повредить дальнейшей работе. Если у вас они установлены: удалите их. Вы возможно нуждались в их установке при настройке PHP+xdebug, увы как поведет себя эта связка после настройки ноды, я не знаю, не проверял.
Теперь надо установить вот эти вещи в том порядке, в котором я их приведу ниже, и очень важно! Не пытайтесь экспериментировать с версиями если вам надо ноду настроить как можно скорее, иначе рискуете увязнуть... и увязнуть надолго.

1. Visual Studio 2010
2. Windows SDK 7.1
3. Visual Studio 2010 SP1
4. Visual C++ 2010 SP1 Compiler Update for the Windows SDK 7.1

После всего этого программного пакета стоит еще до-уставновить немаловажную штуковину и это Python 2.7 он также необходим для корректной работы node-gyp.

Все! После проделанной работы переходим в корневой каталог вашего приложения и пробуем запустить npm install, должно все пройти гладко. После чего запускаем свое любимое приложения на node.js под Windows 8 x64 (собственно я думаю и под Win 7 тоже пойдет на ура)

И в догонку совсем забыл упомянуть про MongoDB и Redis. И если с монго проблем у вас быть не должно то вот редис, не совсем прост. Качаем с Git любым вашим любимым способом Redis в желаемое месторасположение. Затем в корне ищем по пути /bin/release/ бинарники, все вы их можете запускать и работать с редис под Win 8, но я рекомендую путь к бинарникам занести в системные пути (дописать в переменную PATH)

P.S.: Честно говоря, после Ubuntu настройка node.js под Windows 8 показалась мне жутким садизмом. Но было жалко выбрасывать на свалку впервые честно приобретенную Win 8, пускай и в комплекте с ноутом... а было бы круто если я бы я мог отдать ненужную систему и получить компенсацию, но это блин утопия :)

Ubuntu. Как узнать версию системы

Однажды мне было необходимо узнать версию системы для обновления своего любимого сервачка и в этом мне помогли две программки:

lsb_release -a # Инфа об Убунте
uname -a # Все данные о системе
uname -m # Только разрядность x32 или x64

MySQL. Инкремент при UPDATE

Редко, но все же приходиться иногда проставить с помощью инкремента некое поле в таблице базы данных, например место или позиция в рейтинге чего-либо. Для этого необходимо выполнить такие команды:

-- Определяем переменную
select @i := 0;
-- Используем ее в качестве инкремента и присваиваем значение нужному нам полю.
UPDATE `site_statistic` SET `ratePosition` = (select @i := @i + 1) ORDER BY myPoint DESC;

Пожалуй, все.

Myseobot. Сервис по проверке технического состояния сайта.

Итак, если у вас есть сайт. И вы хотели бы его проверить или как то улучшить, в техническом плане. В плане того как его видят роботы, как они с ним работают. Насколько правильно составлен контент на вашем сайте. То добро пожаловать на мою собственную разработку myseobot.com это простой инструмент для проверки основных характеристик вашего сайта. Таких как Google PR, цитирование яндекса позиции занимаемые в поисковиках. Из технических проверок есть такие как проверка ссылок, проверка редиректов и точек входа на ваш сайт, корректность доменов и многое другое. Правда стоит оговориться. Сайт находиться в ранней альфе, возможны ошибки.

Главным недостатком является то что, увы, я не могу пока, проводить "глубинное" сканирование крупных сайтов. Ввиду этого проверка идет только по одной странице - по главной. Альфа будет так работать, с выходом беты этот недостаток-ограничение будет снят. И вы сможете сканировать сайт такой какой захотите. А пока на алфу запланированы следующие инструменты, это:

• Семантический анализ
• Анализ безопасности

Попутно будут исправляться ошибки и а также. Добавляться технические тесты.

Проект планирую перевести в бету с приходом весны, а конкретно в светлый женский праздник 8-го марта. В бете же проект буду держать довольно долго, вплоть до начала осени.

В общем, кому интересно, кто хочет поддержать. Добро пожаловать на myseobot.com. В скором времени появится RSS лента. А также недельные изменения будут публиковаться прямо на сайте робота, по пятницам. А еще, в скором времени на myseobot будут последние новости по поводу мировых трендов оптимизации и технического усовершенствования сайтов.

Мое мнение. Клавиатура Rapoo 9070.

Клавиатура Rapoo 9070 мне очень понравилась когда я ее увидел. Она имеет расположение кнопок характерное для большинства ноутбуков, а значит не надо будет переключаться на разные раскладки на стационарном компьютере и ноутбуке. Когда клава попала мне в руки мне польстило качество сборки "брендового китая", оно на уровне хорошее, немного "пляшут" кнопки в рядах, но этого практически не видно.

Клавиатура действительно очень компактная, но не смотря на то что она имеет небольшие размеры. Клавиши довольно таки не малые. Клавиши имеют ход небольшой, но ощутимый. При нажатии где-то по середине хода кнопка имеет наибольшее сопротивление, продавив которое, кнопка стремительно проваливается и замыкает контакт. Шума от нажатия не много, в общем охарактеризую эту клавиатуру как тихую. Расположение кнопок относительно удобное, ноутбучное если можно так сказать. Не лишний, надо заметить и цифровой блок кнопок. Клавиатура успешно протестировалась на Win 7 и на Ubuntu 12.04. Работает отлично. Драйвера или спец, софт ставить вовсе не обязательно.
Я даже удивился немного когда увидел в других обзорах упоминание о том что мало софта для этой малышки. Если кто-то может объяснить чем это плохо, прошу в комменте отписать.

В работе показала себя хорошо. В особенности стоит отметить что клавиши курсора удивительно неплохо нащупываются. А вот чудо-клавиша "слеш", рядом с левым шифтом,  меня немного удивила, и именно из-за этой клавиши у меня на новой клавиатуре возникает большее количество опечаток. Это минус, такой противный и нехороший минус в адрес rapoo. Некоторые люди (видимо про-геймеры) пишут, что играть на ней не удобно. Странно, но мне удобно. Играл в шутер и реал-тайм стратегию. Что огорчило больше всего это то, что клавиатура бывает ни с того ни с сего теряет связь. Поиск дал смутный результат. Люди говорят что всему причина Wi-Fi приемник-передатчик по близости, увы у меня это так. И пока проверять не охота как оно будет без него. Не так уж часто она и "слепнет" :). Еще один недостаток, так это то, что нет индикатора CAPS LOCK'а, его действительно очень не хватает :(.
Питается девайс от двух элементов питания формата AAA (это те которые меньше "пальчиковых" батареек, если кто до сих пор не знает), у меня сейчас обычные батарейки, в дальнейшем думаю прикупить аккумуляторы.

P.S.: Давеча залита кофе, промыта, высушена - работает! Второй раз когда пролил на нее кофе и промыл с последующей сушкой, работать перестала, ремонтопригодность очень низкая, есть большой риск что после ремонта пользоваться вы ей не станете, появятся люфты искажения и прочие артефакты.