Archivo de la categoría: Web

HTTP Headers, servidores.

Como sabreis algunos, ultimamente me he interesado por las cabeceras HTTP, porque proporcionan interesante información acerca de lo servidores. Asi que he hecho un pequeño experimento. He analizado las cabeceras de las 10.000 primeras urls con top level domain “.com”, Esto es … desde http://www.a.com hasta http://www.npt.com. De esos 10.000 posibles dominios, han respondido 8900 (mas o menos). De las cabeceras, era posible extraer el servidor correspondiente, y he obtenido el listado que que encontramos al final de este post.

Análisis:

Apache es el rey de los servidores. Se puede encontrar en una amplia variedad de versiones y con distintas implementaciones, con parches, extensiones. Le sigue IIS de Microsoft. Pero lo que mas me ha sorprendido es que hay casi más IIS v6 que v7. El uso de nginx y lighthttpd, aun no son demasiado grades.

Apache 2144
Microsoft-IIS/6.0 811
Microsoft-IIS/7.5 803
Apache/2.2.3 (CentOS) 617
Apache/2.2.3 (Red Hat) 515
Apache/2.2.20 (Ubuntu) 313
nginx 262
Apache-Coyote/1.1 217
Microsoft-IIS/7.0 215
unknown 200
Apache/2.2.14 (Fedora) 121
Apache/2.2.22 (Ubuntu) 111
nginx/1.0.14 89
Apache/2.2.9 (Fedora) 88
nginx/1.0.5 87
Apache/2.2.22 (Unix) FrontPage/5.0.2.2635 84
lighttpd 67
Apache/2.2.15 (CentOS) 63
Nginx / Varnish 62
Apache/2.2.16 (Debian) 61
Microsoft-IIS/5.0 55
IBM_HTTP_Server 51
Apache/2.2 50
Apache/2.2.14 (Ubuntu) 44
Tengine/1.4.2 42
Apache/2 41
Apache/2.2.22 38
Apache/2.2.23 36
/ 31
Apache/1.3.42 (Unix) mod_auth_tkt/2.1.0 FrontPage/5.0.2.2635 mod_ssl/2.8.31 OpenSSL/0.9.8r 28
Sun-ONE-Web-Server/6.1 26
Apache/2.2.23 (Unix) mod_ssl/2.2.23 OpenSSL/0.9.8e-fips-rhel5 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635 mod_jk/1.2.35 25
Apache/2.0.52 (Red Hat) 25
cloudflare-nginx 24
nginx/1.2.1 24
Apache/1.3.28 (Unix) 24
GSE 21
Lotus-Domino 17
Apache/2.2.15 (Red Hat) 17
LiteSpeed 17
YTS/1.19.11 16
Apache/2.0.64 (Unix) 14
nginx/0.7.65 13
Microsoft-HTTPAPI/2.0 13
Rapidsite/Apa/1.3.33 (Unix) FrontPage/5.0.2.2510 mod_ssl/2.8.22 OpenSSL/0.9.8d 13
Apache/2.2.10 (Linux/SUSE) 13
Apache/2.2.23 (Amazon) 12
Apache/2.2.12 (Ubuntu) 12
AkamaiGHost 12
Apache/2.2.23 (Unix) mod_ssl/2.2.23 OpenSSL/0.9.8e-fips-rhel5 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635 11
Apache/2.2.9 (Debian) mod_python/3.3.1 Python/2.5.2 10
Apache/2.2.17 (Fedora) 10

Facebook technical Cheatsheet

Una hoja con anotaciones perfectas par acualquier desarrollador facebook:

Filosofía

Facebook permite crear aplicaciones de los siguientes tipos;

  1. Aplicaciones generales
  2. Aplicaciones en canvas (lienzo); aquellas que se muestran dentro de facebook, (aunque estan alojadas en tu servidor)
Las aplicaciones deben registrarse obligatoriamente en http://developers.facebook.com

Datos que identifican a una aplicación

  • App_Id : es la matricula que identifica tu aplicación, su identificador.
  • namespace: necesario si se quieren crear nuevas acciones u objetos dentro de tu aplicación previamente no registrados ( Custom actions / Custom objects) . Este espacio de nombres se utilizará mas tarde en el xml que enbebemos en nuestras páginas.
  • dominio: tu aplicación sólo funcionará desde un dominio determinado. No estará permitido usar la aplicacion desde otro dominio que no sea el tuyo. de este modo se garantiza que puedan usar tu aplicacion terceras personas.

Qué es un token

Es necesario el token del usuario para realizar ciertas acciones y acceder a cierta información.

Un token es una cadena con la cual facebook puede identificarte como usuario.  Esta cadena tiene una vida máxima de 60 dias. Si dispones de un token puedes realizar llamadas al API de facebook, y, con los permisos adecuados, realizar acciones en nombre del usuario, como acceder a su información o publicar en su muro.

Cómo hacer caducar un token

Un token caduca en las siguientes circunstancias:

  1. Porque expira su tiempo de vida
  2. Porque el usuario cambia su contraseña
  3. Porque el usuario desautoriza la aplicacion a la que pertenece un token
  4. Porque el usuario aceptó la aplicacion pero salió de facebook.

Entonces, lo mas sencillo para simular un token expirado es cambiar tu contraseña, y así tu token expirará.

 

La lista de las 500 web españolas de Alexa. Análisis rápido

 

 

 

¿A que demonios dedicamos el tiempo los españoles en la red? he hecho un listado con las 500 webs del ranking alexa,  que analizaré brevemente.

[Listado indice alexa]

Me he encontrado con más bancos, buscadores y foros, mucho porno, y menos redes sociales de las que imaginaba.

¿Como podriamos clasificar estos sites? 
haciendo una clasificación un poco abierta podriamos clasificarlos en;

  • ventas: todas aquellas páginas que se dedican a vender bienes  tanto digitales como físicos.
  • servicios: servicios , generalmente digitales, pero tambien fisicos
  • buscadores: grandes buscadores, como google, y otros no tan grandes, como portales de busqueda de vivienda o empleo
  • adserver: Servidores de publicidad online
  • advertisers: Empresas de publicidad
  • anuncios: anuncios clasificados
  • hosting: alojamiento web, dominios etc
  • gaming: todo lo que tiene que ver con juegos
  • inversion: websites relacionados con inversion financiera
  • redes sociales: facebook y similares.
  • social media: todo lo que tiene que ver con el medio social , sin ser las propias redes sociales.
  • viajes y reservas: portales de vuelos y reservas hoteleras. Viajes programados.
  • porno: sin comentarios.
  • sexo: busqueda de pareja, tonteo.

¿Dentro de las 500 webs de alexa, que tipo de webs abundan más?
Sin duda las webs que tienen que ver con la venta de bienes y servicios, bien sean virtuales o físicos.

Ranking Nombre URL
21 Ebay España ebay.es
40 groupon.es groupon.es
44 letsbonus.com letsbonus.com
47 Idealista idealista.com
77 El Corte Inglés elcorteingles.es
78 Fotocasa fotocasa.es
83 groupalia.com groupalia.com
103 Privalia.com privalia.com
109 IKEA ikea.com
110 eBay ebay.com
113 buyvip.com buyvip.com
114 Renfe renfe.es
116 Amazon.co.uk amazon.co.uk
149 Pixmania pixmania.com
182 Fnac España fnac.es
187 vente-privee.com vente-privee.com
190 Casa del Libro casadellibro.com
197 Pc componentes pccomponentes.com
200 DealExtreme.com dealextreme.com
205 Carrefour carrefour.es
208 Alibaba.com alibaba.com
233 eBay UK ebay.co.uk
238 amazon.es amazon.es
253 Decathlon España decathlon.es
254 Ofertix ofertix.com
279 Lidl.es lidl.es
297 themeforest.net themeforest.net
301 SoloStocks solostocks.com
309 CNET.com cnet.com
317 Zara zara.com
325 redcoon.es redcoon.es
332 offerum.com offerum.com
337 Hewlett-Packard hp.com
344 Línea Directa Aseguradora lineadirecta.com
351 Todo colección todocoleccion.net
362 Samsung Electronics samsung.com
369 Ebay ebay.de
379 olx.es olx.es
380 DreiVip dreivip.com
409 Amazon.de GmbH amazon.de
436 Salesforce.com salesforce.com
448 Shutterstock shutterstock.com
452 mequedouno.com mequedouno.com
479 Fotolia.com fotolia.com
481 iStockphoto.com istockphoto.com
485 Media Markt mediamarkt.es
492 azseguros.es azseguros.es

¿Que resulta más sorprendente?
Sin duda los foros. Parece que es una fórmula que funciona bastante bien. Tiene un punto a su favor. Resuelve una necesidad, algo que todo buen proyecto deberia intentar. tienen éxito los foros de coches y moviles, pero también los centrados en desarrollo web. Sin duda, que te saquen de un apuro es una buena forma de hacer negocio. Más aun si no tienes que pagar.

Ranking Nombre URL
45 Foro coches forocoches.com
95 Foros del Web forosdelweb.com
99 Coches coches.net
141 Foro de Bloggers forobeta.com
143 Stack Overflow stackoverflow.com
144 mforos.com mforos.com
185 Todo expertos todoexpertos.com
263 Banda Ancha bandaancha.eu
276 ADSL Zone adslzone.net
290 Yahoo! Respuestas burbuja.info
316 Genbeta genbeta.com
420 Joomla! Spanish joomlaspanish.org
467 elhacker.net elhacker.net
478 Demene – Foro de Dominios en Español demene.com
496 Foro MTB foromtb.com
169 Foroactivo foroactivo.com

El papel de los bancos y las páginas gubernamentales
Sin duda, todos tenemos un irrenunciable dia a dia. Todos tenemos que analizar el estado de nuestras cuentas, pagar nuestros impuestos, cuidar nuestra salud. Por ello , en el top 500 de alexa aparecen todas estas cosas cotidianas de nuestro dia a dia, bancos, páginas gubernamentales, sanidad, etc.

Bancos;

Ranking Nombre URL
19 La Caja de Ahorros y Pensiones de Barcelona lacaixa.es
43 PayPal paypal.com
72 ING Direct ingdirect.es
94 BSCH gruposantander.es
98 bankia.es bankia.es
129 BBVA bbva.es
174 Banc Sabadell bancsabadell.com
180 Banco Popular bancopopular.es
196 catalunyacaixa.com catalunyacaixa.com
227 SERMEPA, Servicios para Medios de Pago sermepa.es
251 Ruralví@ ruralvia.com
257 Bancaixa bancaja.es
275 Bankinter bankinter.com
307 Banco español de Crédito banesto.es
370 novacaixagalicia.es novacaixagalicia.es
407 CAM cam.es
408 Cajamar cajamar.es
414 paypal.es paypal.es
428 Unicaja unicaja.es

Gubernamentales;

Ranking Nombre URL
111 gob.es gob.es
138 Generalitat de Catalunya gencat.cat
142 Correos de España correos.es
151 Junta de Andalucía juntadeandalucia.es
176 Comunidad de Madrid madrid.org
198 Asociación de Clubs de Baloncesto – ACB acb.com
291 Generalitat Valenciana gva.es
308 World Wide Web Consortium w3.org
310 Universidad Nacional de Educación a Distancia uned.es
313 Boletín Oficial del Estado – BOE boe.es
359 Europa europa.eu
365 Xunta de Galicia xunta.es
400 National Institutes of Health (NIH) nih.gov
427 Direccion General de Tráfico dgt.es
486 Seguridad Social seg-social.es
499 Agencia Tributaria aeat.es
500 bcn.cat bcn.cat

Webs de gaming

Al españolito medio tambien le gusta jugar. Y muchas veces le surgen dudas. Por eso tambien abundan los foros que tienen que ver con el gaming . Abundan las revistas online, y aquellas que tienen que ver con juegos de éxito.

Ranking Nombre URL
125 MeriStation meristation.com
206 Vandal Online vandal.net
224 3D Juegos 3djuegos.com
231 Minijuegos minijuegos.com
345 Hattrick hattrick.org
346 www.GAME.es game.es
354 Vidaextra vidaextra.com
447 Media-Vida mediavida.com
470 Battle.net battle.net
471 Travian travian.net
487 Online Games by Bigpoint | We bigpoint.com

La locura de crear un spyder

Se me ha ocurrido la tremenda estupidez de hacer un spyder. Un buscador.
¿Para buscar que? Lo que sea, da igual.

El caso es que este ejercicio de estilo me puede abrir las puertas del web scrapping, o extracción de datos de la red.

Lo sé, no soy google, no puedo permitirme el lujo de guardar toda la información del planeta. Pero evidentemente, el gigante de la doble “O” tampoco realiza ciertas tareas que pueden resultar interesantes, por ejemplo para un diseñador, como podría ser, localizar páaginas de ejemplo que cumplan con un determinado estandar en la red, por ejemplo el moderno HTML5.

Aun asi , sólo crear una base de datos con todos los dominios del planeta que cumplan con este estandar puede ser de locos, pero yo creo que merece la pena intentar por lo menos hacer una “maqueta”.

Asi que me he remangado y me he puesto a hacer unas pruebas …

Y lo primero con lo que me he encontrado es …¿Por donde empiezo a urgar en la red?
Pensé, pues por el principio … empieza por http://www.a.com. Pero en seguida se da uno cuenta de que ese dominio no existe. Tampoco existe ningún dominio con una sola letra. Poco a poco me he ido dando cuenta de una serie de interesantes detalles que pueden ser útiles para cualquier programador que se introduzca en este area:

  1. Los dominios con una sola letra no existen.
  2. Los dominios no pueden terminar en un guión , pese a que pueden contenerlo. Así es válido “www.un-dominio.com” pero no “www.un-dominio-.com”
  3. Si existen los de dos letras o más como www.aa.com. Los simbolos permitidos dentro de una URL son los siguientes …(poner simbolos)
  4. Muchos de los primeros dominios de la posible lista de dominios del planeta están comprados por okupas que se dedican a esperar que algun tipo compre esos jugosos dominios por una buena cifra de dinero.
  5. Los dominios cortos suelen estar ocupados por grandes corporaciones (no hay que ser un genio para deducir esto)
  6. La mayor parte de los servidores de estos dominios ofrecen información valiosa para cualquier hacker que desee atacar esas máquinas, como la versión del lenguaje con que están programadas asi como el servidor.
  7. Con la información proporcionada por los servidores es posible, con una muestra adecuada, inferir estadisticamente el número de servidores de un determinado tipo (Apache, nginx, lightHTTP, etc) que se utilizan en el planeta.

Aquí tengo un ejemplo con un pequeño formulario de la información que he ido recogiendo, Sólo para un pequeño número de dominios de la cuasi infinita lista de dominios del planeta.

[Link a ejemplo prueba de buscador]

Easypanoramio, una manera distinta de hacer las cosas.

EasyPanoramio

De todos es conocido que una de las maneras de triunfar en internet es hacer lo que hacen otros, pero mejor. Que se lo digan a Yahoo, quien no imaginaba que un nuevo buscador podría acercarse si quiera a los grandes de la época, hasta que Google revolucionó los buscadores con su “pagerank”, una nueva manera de medir la relevancia de las búsquedas, y hacerlas más precisas. EasyPanoramio ha recogido esta manera de hacer las cosas y mejora de forma sustancial la experiencia de navegación del usuario de un viejo conocido en el mundo de la web 2.0, Panoramio.

Ventajas de usar EasyPanoramio;

  1. El mapa es muucho mas grande que el original de panoramio. Es un alivio.
  2. Las fotos se muestran de forma sencilla bajo las fotografias que visualizas en un tamaño más humano. Nada de thumnails enanos.
  3. Es rápido, muy rápido.

Breve tutorial de uso de EasyPanoramio:

  1. Elige el lugar del mundo del que quieres ver imagenes en el buscador (Location)
  2. Elige el nivel de precisión (Acuracy)
  3. Haz click en “Find Photos”

Ya está!! Ahora puedes navegar las fotografias de forma facil y sencilla. Para ello EasyPanoramio dispone de un Lightbox que te facilita la navegación, olvidandote de tener que mover el mapa.

Mi enorabuena a EasyPanoramio.

Enlace a EasyPanoramio