People at Openx use “Distributed Statistics” as an option to scale the service, but in my opinion the documentation is confuse or wrong, as you can see at this message I wrote as “raistlink”.

Distributed Statistics works like this (as I configured):

• both computers serve banners
• only one of them (or another aditional computer) works also as the admin. I will call “master” to the admin computer and “slave” to the other.
• only one computer executes the maintenance process that calculates the probability of the zones
• the replication makes the slave machine revieve those probalities
• the slave machine sends it’s activity to the master executing the maintenance-distributed instead of maintenance

It’s mandatory that you configure crones in the way that when the hourly execution of the maintenance process at the master is running, the activity from the slave has been recieved, in other case this activity will be lost. That’s why, as we will see in a moment, the master executes the maintenance process at the minute 15 everu hour and the slave executes the maintenance-distributed every five minutes.

Well, I got it at the end so I’m going to explain a bit how I did it.

The start point is two computers under a balancer serving banners under the same url, lets say my.adserver.com.

Master:

• Stop apache
• be sure maintenance is not running and stop the cron
• Stop mysql
• Set this at my.conf

server-id = 1
log-bin=mysql-bin

• Start mysql
• GRANT REPLICATION SLAVE ON *.* TO ’slave_user’@'%’ IDENTIFIED BY ‘XXXX’;

where XXXX is the password used by the slave at replication for connecting to the master.

• GRANT ALL PRIVILEGES ON *.* TO ‘root’@'%’ IDENTIFIED BY ‘YYYY’;

where YYYY is the password used by the slave in order to send its stats to the master
As you can see you can use two different passwords, no problem.

• FLUSH PRIVILEGES;
• show master status. TAKE NOTE OF THESE VALUES, YOU’LL NEED THEM AFTER

mysql-bin.000001 | 417

• make a dump

mysqldump -u root -p –databases openx_2_8_10 > /tmp/openx_2_8_10-201302071719.sql

• start apache
• execute once again show master status for testing purposes

mysql-bin.000001 | 24995895
the number has changed, so the master is replicating

Slave:

• drop openx database
• load the master dump at slave

mysql -u root -pXXXX < "/tmp/openx_2_8_10-201302071719.sql"

• execute these alter commands at openx database

ALTER TABLE ox_data_raw_ad_click ENGINE=MyISAM;
ALTER TABLE ox_data_raw_ad_impression ENGINE=MyISAM;
ALTER TABLE ox_data_raw_ad_request ENGINE=MyISAM;
ALTER TABLE ox_data_raw_tracker_impression ENGINE=MyISAM;
ALTER TABLE ox_data_raw_tracker_variable_value ENGINE=MyISAM;
In fact I don’t see that the system use this tables but…

• Set these values at my.conf

server-id = 2
log-bin=mysql-bin
(is order to work as a master if needed)
replicate-wild-ignore-table=openx_2_8_10.%data_%
replicate-wild-ignore-table=openx_2_8_10.%tmp_%
replicate-wild-ignore-table=openx_2_8_10.%lb_local%
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=openx_2_8_10.%ox_log_maintenance_priority% (because of a problem a had later)
replicate-wild-ignore-table=openx_2_8_10.%ox_session% (because of a problem a had later)

• start mysql
• check if the slave can access the master whith this command for example

mysqldump –host=host_master -u root -pYYYY –databases openx_2_8_10 > /tmp/openx_2_8_10-201302080959.sql

• STOP SLAVE;
• CHANGE MASTER TO MASTER_HOST=’host_master’, MASTER_USER=’slave_user’, MASTER_PASSWORD=’XXXX’, MASTER_LOG_FILE=’mysql-bin.000001′, MASTER_LOG_POS=417;

(use the values noted before)

• START SLAVE;
• SHOW SLAVE STATUS

As you can see, each time you execute this command, you obtain different values. When this values are the same than the master you will be synchronized.

Until now I’ve configured replication. The next thing is to set the slave to work as a delivery box, that is, it doesn’t work as admin and it send its activity (stats) to the master.

Master:

• If your domain is for example my.adserver.com then you have to create a cname at you domain provider for admin.my.adserver.com pointing to the master computer. I made the master to work as admin and serving banners at the same time.
• Disable automatic maintenance at the master from the admin console.
• configuration –> global settings –> Banner Delivery Settings –> “Admin Interface URL”

change my.adserver.com for admin.my.adserver.com
the system redirects to the new url.

• change tha maintenance cron to execute every hour at minute 15

Slave:

• Make these changes at openx conf file by hand
  1. set enabled at [ui] empty
  2. set enabled at [lb] to 1
  3. at [database] section set the local database. (It already was)
  4. at [lb] section set the master database

  type=mysql
  host=host_master
  socket=
  port=3306
  username=root
  password=YYYY
  name=openx_2_8_10

  5. change operationInterval at the slave in order to the maintenance-distributed be excecuted every 5 min.
• change maintenance-distributed permissions

chmod 777 [openx_home]/scripts/maintenance/maintenance-distributed.php

• set maintenance-distributed cron every 5 min.

You can add more slaves following the same instruccions or you can generate a new dump and set the new slave “listening from this point”, that is, from a new show master status.

La gente de Openx tiene “Distributed Statistics” como opción para escalar el servicio, pero en mi opinión tienen la documentación un poco confusa, cuando no equivocada, como se puede ver en este mensaje que escribí yo mismo como “raistlink”.

El sistema de Distributed Statistics funciona así resumidamente (como yo lo he montado):

• las dos máquinas sirven banners
• sólo una de ellas (u otra adicional) además es el admin. A la que hace de admin la llamaré maestra y a la otra esclava.
• sólo la máquina maestra ejecuta el maintenance que calcula las probabilidades de las zonas
• la replicación hace que la esclava coja esas probabilidades
• la esclava vuelca su actividad en el maestro ejecutando el maintenance-distributed en lugar del maintenance

Es fundamental que se configuren los crones de manera que cuando se ejecuta el maintenance de cada hora se haya volcado toda la actividad de la esclava porque si no esa actividad se perderá, por eso como veremos luego el maintenance en la maestra se ejecuta a las y cuarto y el maintenance-distributed en la esclava cada cinco minutos.

Pues bien, al final lo conseguí así que voy a explicar un poco lo que hice.

Partimos de dos máquinas independientes que están bajo un balanceador sirviendo banners bajo la misma url, por ejemplo my.adserver.com

En el maestro:

• parar el apache
• asegurarme de que no está el maintenance corriendo y quitar el cron
• parar el mysql
• poner en el my.conf

server-id = 1
log-bin=mysql-bin

• arrancar mysql
• GRANT REPLICATION SLAVE ON *.* TO ’slave_user’@'%’ IDENTIFIED BY ‘XXXX’;

donde XXX es la contraseña con la que accederá el mysql esclavo para la replicación

• GRANT ALL PRIVILEGES ON *.* TO ‘root’@'%’ IDENTIFIED BY ‘YYYY’;

donde YYYY es la contraseña con la que accederá el mysql esclavo para volcar sus estadísticas en el maestro.
Ojo hay una contraseña para el la replicación y otra para volcar los datos desde el openx, no debería haber problema.

• FLUSH PRIVILEGES;
• hacer un show master status. ÉSTE ES EL QUE TENDRÉ QUE USAR LUEGO

mysql-bin.000001 | 417

• hacer un dump

mysqldump -u root -p –databases openx_2_8_10 > /tmp/openx_2_8_10-201302071719.sql

• arrancar apache
• volver a hacer un show master status por curiosidad

mysql-bin.000001 | 24995895
se ve que está replicando porque ha cambiado el número

En el esclavo:

• eliminar base de datos de openx
• volcar el dump del master

mysql -u root -pXXXX < "/tmp/openx_2_8_10-201302071719.sql"

• ejecutar estos alter en la bbdd de datos del openx.

ALTER TABLE ox_data_raw_ad_click ENGINE=MyISAM;
ALTER TABLE ox_data_raw_ad_impression ENGINE=MyISAM;
ALTER TABLE ox_data_raw_ad_request ENGINE=MyISAM;
ALTER TABLE ox_data_raw_tracker_impression ENGINE=MyISAM;
ALTER TABLE ox_data_raw_tracker_variable_value ENGINE=MyISAM;
Realmente yo estas tablas raw yo no he visto que se usen, pero bueno, a lo mejor sí y se purgan en seguida.

• poner en el my.conf

server-id = 2
log-bin=mysql-bin
para que pudiera funcionar como maestro.
replicate-wild-ignore-table=openx_2_8_10.%data_%
replicate-wild-ignore-table=openx_2_8_10.%tmp_%
replicate-wild-ignore-table=openx_2_8_10.%lb_local%
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=openx_2_8_10.%ox_log_maintenance_priority% (por un problema que tuve luego)
replicate-wild-ignore-table=openx_2_8_10.%ox_session% (por un problema que tuve luego)

• arrancar el mysql
• comprobar si se puede acceder al mysql del maestro con esto

mysqldump –host=host_del_master -u root -pYYYY –databases openx_2_8_10 > /tmp/openx_2_8_10-201302080959.sql

• STOP SLAVE;
• CHANGE MASTER TO MASTER_HOST=’host_del_master’, MASTER_USER=’slave_user’, MASTER_PASSWORD=’XXXX’, MASTER_LOG_FILE=’mysql-bin.000001′, MASTER_LOG_POS=417;

(con los valores que dio en los pasos anteriores, ya están puestos)

• START SLAVE;
• SHOW SLAVE STATUS

Se ve que cada vez que lo ejecuto pone que va por un archivo diferente. Cuando ponga lo mismo que el show master status del maestro es que lo ha cogido ya todo. En muy poquito tiempo lo ha hecho.

Hasta aquí he configurado la replicación. Lo siguiente va a ser poner a funcionar el openx como delivery box en la esclava, es decir, que no funcione como admin y que vuelque su actividad (estadísticas) en el maestro.

En la maestra:

• Si por ejemplo tu dominio es my.adserver.com crear un cname en el registrador de dominios para admin.my.adserver.com que apunte a la máquina maestra. Yo hice que la máquina maestra funcione como admin y sirviendo banners al mismo tiempo.
• desactivar el automatic maintenance en el maestro desde el admin
• configuration –> global settings –> Banner Delivery Settings –> “Admin Interface URL”

cambiar my.adserver.com por admin.my.adserver.com
Él solo me redirije de la vieja a la nueva

• cambiar el cron del maintenance en el maestro para que se ejecute a las y cuarto

En la esclava:

• Hacer estos cambios en el conf de openx a mano
  1. poner el enabled del [ui] vacío
  2. poner el enabled del [lb] a 1
  3. en la sección [database] poner la bbdd local. (ya estaba)
  4. en la sección [lb] poner la bbdd maestra

  type=mysql
  host=host_del_master
  socket=
  port=3306
  username=root
  password=YYYY
  name=openx_2_8_10

  5. modificar el operationInterval en el esclavo para poder ejecutar el maintenance-distributed más a menudo, cada 5 min.
• cambiar permisos al maintenance-distributed

chmod 777 [openx_home]/scripts/maintenance/maintenance-distributed.php

• poner cron del maintenance-distributed cada 5 min

Para futuros esclavos se pueden seguir estas mismas intrucciones tal cual o generar un nuevo dump y poner el nuevo esclavo a “escuchar desde otro punto”, es decir, a un nuevo show master status.