废料(渗透性)

时间:2018-06-22 10:30:54

标签: web-scraping osmosis

我试图从此网站informations from basol捕获信息

但是我的目标是报废所有卡。在结果的每一页上,我们都有20张卡片。我想参加所有AF课程。但是我不知道怎么做。我尝试使用分页,但是我不明白如何单击页面的选择器,然后单击卡片的每个选择器...

这实际上是我的代码:

    var osmosis = require("osmosis");
const fs = require("fs");
var json2csv = require("json2csv").parse;

var data = [];

var fields = [
  "Name",
  "Situation technique du site",
  "Date",
  "Parcels",
  "N°",
  "Description détaillée"
];

var opts = { fields };

var csv = undefined;

console.log("Working...");

osmosis
  .get("https://basol.developpement-durable.gouv.fr/resultat.php?chaine=&dept=&region=&impact=&surveillance=&agenceau=&esr=&urbanisme=&SP1_ADEME=&As=&Ba=&Cd=&Co=&Cr=&Cu=&Hg=&Mo=&Ni=&Se=&Pb=&Substances_radioactives=&Zn=&hydrocarbures=&HAP=&cyanures=&PCB_PCT=&solvants_hal=&solvants_nonhal=&sulfates=&chlorures=&ammonium=&tce=&btex=&pesticides=&autre=&situa_tech=tout&debut=1")


  .paginate("#droite #navigation tr > td a@href ", 342)
  .paginate("#droite #boite-bleu #contenu.decale > a@href ", 20)

  .set({ "Name": "#boite-bleu > #contenu > span.marine" })
  .set({ "Situation technique du site": "#droite > span.marine[4]" })
  .set({ "Date": "#droite > span.marine[5]" })
  .set({ "Parcels": "#boite-bleu > #contenu > table.georeferencement[3] > tr[3] > td[4]" })
  .set({ "N°": "#boite-bleu > #contenu > table.georeferencement[3] > tr[3] > td[5]"})
  .set({ "N°": "#boite-bleu > #contenu > table.georeferencement[3] > tr[4] > td[5]"})
  .set({ "Description détaillée": "#boite-bleu > #boite-bleu[1]> #contenu" })

0 个答案:

没有答案