-
Notifications
You must be signed in to change notification settings - Fork 0
/
index.js
81 lines (63 loc) · 2.02 KB
/
index.js
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
const express = require('express');
const puppeteer = require('puppeteer');
const app = express();
/*
Copyright © Sampo Syrjämäki 2023
*/
/*
* TODO *
Älä turhaan sulje puppeteer - DONE
Lisää filttereitä
*/
let browser;
async function startBrowser() {
browser = await puppeteer.launch({ headless: 'new' });
}
startBrowser();
app.get('/api/v1', async (req, res) => {
try {
// Avaa uusi sivu puppeteerissä
const page = await browser.newPage();
// Mene tilannehuoneeseen
const url = 'https://www.tilannehuone.fi/halytys.php';
await page.goto(url);
// Odota elementtejä
await page.waitForSelector('tr.halytys');
// Scrapee data
const data = await page.evaluate(() => {
const rows = Array.from(document.querySelectorAll('tr.halytys'));
return rows.map((row) => {
const kuntaValue = row.querySelector('.kunta').textContent.trim();
const pvmdateElement = row.querySelector('.pvmdate');
const pvmdate = pvmdateElement.textContent.trim();
const time = pvmdateElement.nextSibling.textContent.trim();
const typeElement = row.querySelector('td:nth-child(4)');
const type = typeElement.textContent.trim();
return { kunta: kuntaValue, pvmdate, time, type };
});
});
// Päivitä sivu
await page.reload();
// Tarkitsta jos on kunta filtteri
if (req.query.kunta) {
const kuntaValues = Array.isArray(req.query.kunta)
? req.query.kunta.map((k) => k.toLowerCase())
: [req.query.kunta.toLowerCase()];
const filteredData = data.filter((item) =>
kuntaValues.includes(item.kunta.toLowerCase())
);
// Filtteröity data JSON mudossa
res.json(filteredData);
} else {
// Lähetä tiedot JSON muodossa
res.json(data);
}
} catch (error) {
console.error('Error occurred while scraping:', error);
res.status(500).send('An error occurred');
}
});
// Express
app.listen(3000, () => {
console.log('Server is running on port 3000');
});