Tema de Viquiprojecte Discussió:Monuments

Entre els divendres i avui dilluns han canviat el format d'IPAC amb un nou URL. La pàgina de cerca http://invarquit.cultura.gencat.cat/Cerca/CercaBasica redirigeix a http://invarquit.cultura.gencat.cat/simple-search. Això no és problema. Els enllaços a fitxes sí que canvien:

• Fins ara: http://invarquit.cultura.gencat.cat/Cerca/Fitxa?index=0&consulta=&codi=50933. Ja no funciona, remet a la pàgina de cerca.
• Nova: http://invarquit.cultura.gencat.cat/card/50933
• En arqueològics d'IPAPC, igual: http://invarque.cultura.gencat.cat/Fitxa?index=0&consulta=&codi=14234 > http://invarque.cultura.gencat.cat/card/14234

A les llistes no és problema, via plantilla ara ho canvio. A Wikidata imagino que també serà senzill modificant Identificador Inventari del Patrimoni Arquitectònic de Catalunya (P1600) i Codi Inventari del Patrimoni Arqueològic i Paleontològic de Catalunya (P5957). En referències i altres enllaços en articles caldrà modificar-ho amb bot.

El que veig irrecuperable de moment és el bot de manteniment. S'han acabat les actualitzacions i altres comprovacions.

He canviat el pattern a P1600 i suposo que li cal refrescar l'enllaç quan mires l'item amb l'editor WD. Des de la infotaula, funciona.

Ara bé, tenim uns 10.000 amb paràmetres manuals que contenen la URL i caldria eliminar-los de la crida a la infotaula per forçar que agafin des de WD.

També he canviat la P5957 amb similar resultat.

Veig que l'arqueològic no el mostra la infotaula perquè no està dins Estatus patrimonial (P1435) que és la que fa d'índex per cercar els identificadors. Pregunta: assumint que no ha d'anar a la P1435 (que seguir que en algun moment ho hem debatut), cal que els mostri sempre ? o només en algunes circumstàncies?. Per exemple, he mirat Pedrera romana del Mèdol (Q3079849) i Jaciment del Born (Q17151024) i tenen altres proteccions. Vol dir que no cal mostrar-lo en aquests casos?. I si fos la única protecció que té ?. Salut !

Si l'URL vell està en la infotaula probablement també hi serà en les referències. La prioritat serà corregir-ho amb bot, la neteja de la infotaula serà secundari. Si vols, en un altre moment i lloc parlem de la P5957 en les infotaules. Ara per ara estic embolicat i amb poc temps lliure.

El problema del bot de manteniment és que a la fitxa les dades ja no surten com a html i per tant el bot no les pot llegir?

M'he trobat amb un problema semblant amb l'índex dels arbres d'interès local. M'imagino que si el navegador pot mostrar el text el bot l'ha de poder llegir d'alguna manera o altra, però no sé quina.

Bé, buscant una mica suposo que la cosa va per aquí: https://stackoverflow.com/questions/36225844/how-can-i-parse-a-dynamic-page-using-python

Amb aquestes explicacions m'hi perdo. El procés per comprovar si hi ha actualitzacions a fer en un municipi és:

• Extreure els codis de la llista del municipi o de la comarcal per un municipi. També la protecció, però això ho deixo de banda de moment.
• Extreure els codis d'una consulta al web per un municipi.
• Comparar altes i baixes.

Si consulto els monuments d'Abrera, d'alguna manera desa aquesta consulta, suposo que en cookies. Després d'anar a diferents monuments, encara que no siguin d'Abrera, continuo tenint l'opció "tornar al llistat". En el llistat hi ha una opció "descàrrega", però només dóna els noms, no els codis. Si anomeno i deso la pàgina, sí que tinc l'html amb els enllaços amb codi. Ara bé, només dels 20 primers. Abans tenia un paràmetre a l'url per fer un bucle saltant de pàgina, ara no. Per municipis grans seria intractable. Aquí estic en un cul-de-sac.

He intentat canviar d'estratègia oblidant-me d'obtenir la llista de codis per municipi. Una baixa hauria de ser un enllaç no existent, i una alta serà una comprovació de forats en la numeració fins al que considerem que és l'últim. Ara bé, resulta que http://invarquit.cultura.gencat.cat/card/60000 no diu que no existeixi, simplement genera la fitxa buida. Així que tornem al principi, que cal llegir una fitxa.

Sembla, Pere, que tenies raó en la teva cerca. La solució passa per selenium. Instal·lar ara una llibreria, drivers i configurar-ho tot plegat se'm fa inassumible a curt termini.

M'ho apunto també per quan pugui, que no sé quin any serà. De fet, aprendre a llegir pàgines dinàmiques em calia per algunes coses que tinc a la cua com pujar a Wikidata els arbres d'interès local o els mapes de patrimoni cultural.