pembangunan bahagian belakang
tutorial php
Bagaimanakah saya boleh membina perangkak PHP yang teguh menggunakan manipulasi DOM untuk mengekstrak data daripada halaman web dengan berbilang pautan?
Bagaimanakah saya boleh membina perangkak PHP yang teguh menggunakan manipulasi DOM untuk mengekstrak data daripada halaman web dengan berbilang pautan?
Nov 08, 2024 am 07:11 AM
Merangkak dengan PHP: Panduan Komprehensif
Untuk mengekstrak data daripada halaman web yang mengandungi beberapa pautan, PHP menawarkan pelbagai kemungkinan. Satu pendekatan melibatkan penggunaan ungkapan biasa, tetapi adalah penting untuk mengelak bergantung semata-mata padanya untuk penghuraian HTML.
Pelaksanaan Crawler Berasaskan DOM
Perangkak berasaskan DOM Tatu menyediakan alternatif yang boleh dipercayai. Berikut ialah versi yang dipertingkatkan:
function crawl_page($url, $depth = 5)
{
static $seen = array();
if (isset($seen[$url]) || $depth === 0) {
return;
}
$seen[$url] = true;
$dom = new DOMDocument('1.0');
@$dom->loadHTMLFile($url);
$anchors = $dom->getElementsByTagName('a');
foreach ($anchors as $element) {
$path = $element->getAttribute('href');
if (0 !== strpos($path, 'http')) {
$path = '/' . ltrim($path, '/');
if (extension_loaded('http')) {
$href = http_build_url($url, array('path' => $path));
} else {
$parts = parse_url($url);
$href = $parts['scheme'] . '://';
if (isset($parts['user']) && isset($parts['pass'])) {
$href .= $parts['user'] . ':' . $parts['pass'] . '@';
}
$href .= $parts['host'];
if (isset($parts['port'])) {
$href .= ':' . $parts['port'];
}
$href .= dirname($parts['path'], 1).$path;
}
}
crawl_page($href, $depth - 1);
}
echo "URL:", $url, PHP_EOL, "CONTENT:", PHP_EOL, $dom->saveHTML(), PHP_EOL, PHP_EOL;
}
Versi yang dipertingkatkan ini merangkumi pelbagai senario url, termasuk https, pengguna, pas dan port.
Penambahan
George menunjukkan pepijat dalam versi asal, yang sebaliknya menambahkan url relatif pada penghujung laluan url daripada menimpanya. Akibatnya, isu ini telah ditangani, memastikan url relatif berkelakuan seperti yang diharapkan.
Menyimpan Output
Versi perangkak yang diubah suai menggemakan outputnya kepada STDOUT, membolehkan anda untuk mengubah halanya dengan mudah ke fail pilihan anda.
Dengan memasukkan ini penambahbaikan, perangkak berasaskan DOM ini menyediakan penyelesaian yang mantap untuk mengekstrak data daripada halaman web dengan berbilang pautan dalam PHP.
Atas ialah kandungan terperinci Bagaimanakah saya boleh membina perangkak PHP yang teguh menggunakan manipulasi DOM untuk mengekstrak data daripada halaman web dengan berbilang pautan?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undress AI Tool
Gambar buka pakaian secara percuma
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Clothoff.io
Penyingkiran pakaian AI
Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
Bagaimana saya melaksanakan pengesahan dan kebenaran dalam php?
Jun 20, 2025 am 01:03 AM
TosecurelyhandleAuthenticationandauthorizationInphp, ikuti: 1.alwayshashpasswordswithpassword_hash () andverifyUsingPassword_verify (), usePePreparedStatementStopreventsqlInjection, andStoreUserDatain $ _SessionAsLogin.2.implescureRoleRoleRoleRoleRole
Bagaimana anda boleh mengendalikan fail memuat naik dengan selamat di php?
Jun 19, 2025 am 01:05 AM
Untuk mengendalikan muat naik fail dengan selamat di PHP, terasnya adalah untuk mengesahkan jenis fail, menamakan semula fail, dan menyekat kebenaran. 1. Gunakan finfo_file () untuk memeriksa jenis mime sebenar, dan hanya jenis tertentu seperti imej/jpeg dibenarkan; 2. Gunakan uniqid () untuk menghasilkan nama fail rawak dan simpannya dalam direktori akar bukan web; 3. Hadkan saiz fail melalui borang php.ini dan html, dan tetapkan kebenaran direktori ke 0755; 4. Gunakan Clamav untuk mengimbas malware untuk meningkatkan keselamatan. Langkah -langkah ini dengan berkesan menghalang kelemahan keselamatan dan memastikan bahawa proses muat naik fail adalah selamat dan boleh dipercayai.
Apakah perbezaan antara == (perbandingan longgar) dan === (perbandingan ketat) dalam php?
Jun 19, 2025 am 01:07 AM
Dalam PHP, perbezaan utama antara == dan == adalah ketat pemeriksaan jenis. == Penukaran jenis akan dilakukan sebelum perbandingan, contohnya, 5 == "5" pulangan benar, dan === meminta nilai dan jenis adalah sama sebelum benar akan dikembalikan, sebagai contoh, 5 === "5" mengembalikan palsu. Dalam senario penggunaan, === lebih selamat dan harus digunakan terlebih dahulu, dan == hanya digunakan apabila penukaran jenis diperlukan.
Bagaimanakah saya melakukan operasi aritmetik dalam php (, -, *, /, %)?
Jun 19, 2025 pm 05:13 PM
Kaedah menggunakan operasi matematik asas dalam PHP adalah seperti berikut: 1. Tanda tambahan menyokong bilangan bulat dan nombor terapung, dan juga boleh digunakan untuk pembolehubah. Nombor rentetan akan ditukar secara automatik tetapi tidak disyorkan kepada kebergantungan; 2. Tanda -tanda pengurangan - tanda, pembolehubah adalah sama, dan penukaran jenis juga terpakai; 3. Tanda -tanda pendaraban menggunakan tanda *, yang sesuai untuk nombor dan rentetan yang serupa; 4. Bahagian menggunakan / tanda, yang perlu mengelakkan pembahagian dengan sifar, dan perhatikan bahawa hasilnya mungkin nombor terapung; 5. Mengambil tanda modulus boleh digunakan untuk menilai angka ganjil dan bahkan, dan apabila memproses nombor negatif, tanda -tanda selebihnya selaras dengan dividen. Kunci untuk menggunakan pengendali ini dengan betul adalah untuk memastikan bahawa jenis data adalah jelas dan keadaan sempadan ditangani dengan baik.
Bagaimanakah anda boleh berinteraksi dengan pangkalan data NoSQL (mis., MongoDB, Redis) dari PHP?
Jun 19, 2025 am 01:07 AM
Ya, PHP boleh berinteraksi dengan pangkalan data NoSQL seperti MongoDB dan Redis melalui sambungan atau perpustakaan tertentu. Pertama, gunakan pemacu MongoDBPHP (dipasang melalui PECL atau komposer) untuk membuat contoh pelanggan dan mengendalikan pangkalan data dan koleksi, penyisipan sokongan, pertanyaan, pengagregatan dan operasi lain; Kedua, gunakan perpustakaan predis atau lanjutan phpredis untuk menyambung ke REDIS, lakukan tetapan dan pengambilalihan nilai utama, dan mengesyorkan PHPREDI untuk senario berprestasi tinggi, sementara Predis mudah untuk penempatan pesat; Kedua-duanya sesuai untuk persekitaran pengeluaran dan didokumentasikan dengan baik.
Bagaimanakah saya tetap terkini dengan perkembangan php terkini dan amalan terbaik?
Jun 23, 2025 am 12:56 AM
Tostaycurrentwithphpdevelopmentsandbestpractices, followeyNewsssourcesLikePhp.netandphpweekly, engageWithCommunitiesonforumsandconference, keeptoolingupdatedandgraduallyAdoptNewFeatures, dan readribcoursourcourceSource
Apakah php, dan mengapa ia digunakan untuk pembangunan web?
Jun 23, 2025 am 12:55 AM
Phpbecamepopularforwebdevelopmentduetoitseaseoflearning, seamlessintegrationwithhtml, widespreadhostingsupport, andalargeecosystemincludingframeworkslikelaravelandcmsplatformsLikeWordPress.itexcelsinhandessubmissions
Bagaimana cara menetapkan zon waktu php?
Jun 25, 2025 am 01:00 AM
TosetTheRightTimeZoneinPhp, USEDATE_DEFAULT_TIMEZONE_SET () functionAtthestArtAfyourscriptwithavalididentifiersuchas'america/new_york'.1.usedate_default_timeSet ()
