LẬP TRÌNH WEB

Bóc tách dữ liệu từ trang khác bằng PHP Simple HTML DOM Parser

Posted on by kaisan

Trong bài này chúng ta cùng tìm hiểu thêm một cách nữa để lấy dữ liệu từ trang khác thông qua việc sử dụng thư viện. Có một số thư viện hỗ trợ việc này nhưng trong bài viết này mình sẽ giới thiệu đến các bạn sử dụng thư viện PHP Simple HTML DOM Parser. Trước tiên mình xin tản mạn một chút cái duyên của mình với thư viện này đã.

Cũng tầm tháng này năm trước lúc đó mình mới ra trường và có làm một dự án liên quan đến việc bóc tách dữ liệu từ trang khác. Lúc đấy mình chưa biết CURL là gì. Mình có hỏi anh sếp mình về việc làm gì để lấy dữ liệu. Vì anh ấy cũng mới làm xong dự án lấy dữ liệu tự động từ web khác. Thế là được chỉ cho là dùng thư viện dom. Mình đã lên google tìm kiếm xem dom là gì cách dùng dom ra sao và đã biết đến thư viện này. Và đã áp dụng nó vào dự án của mình và mình cũng đã hoàn thành nó. Bản thân mình là một người CHUNG TÌNH nên những cái gi mình đã ấn tượng và sử dụng lần đầu thì mình rất ngại đổi nên giờ một dự án mà liên quan đến lấy dữ liệu mình vẫn CHUNG TÌNH với bạn dom này dù có thể có nhiều thư viện hay hơn. (Từ CHUNG TÌNH mình chỉ dùng để PR bản thân thôi bạn có thể bỏ qua nó nhé laugh)

Tản mạn vậy thôi chứ mình không khuyến khích các bạn dùng thư viện này và quên đi anh bạn CURL bạn vẫn nên tìm hiểu về CURL, còn việc dùng thư viện hay không là do bạn quyết định. Việc dùng thư viện sẽ khiến đoạn code của bạn ngắn đi nhiều nhưng có thể sẽ làm bạn mất đi cái căn bản.

OK trình bày thế đủ rồi chúng ta bắt đầu tìm hiểu thôi.

Nội dung chính

1.Giới thiệu về PHP Simple HTML DOM Parser.

Hiểu đơn giản PHP Simple HTML DOM Parser là một thư viện có chức năng chính là trích xuất nội dung HTML từ một trang nào đó hoặc một đoạn HTML do do bạn tự cung cấp, nó hỗ trợ một số tính năng như:

  • Hỗ trợ bóc tách dữ liệu theo từng id, class, hoặc thẻ img, a, table, p…
  • Code ngắn, dễ học, dễ viết, dễ nhớ.
  • Khá nhẹ nhưng cũng rất hữu dụng.

Và còn gì nữa thì có lẽ sau khi bạn sử dụng thì tự rút ra ý kiến chứ mình bị hạn hán lời nên liệt kê được thế thôi. Nói chung để mà viết pr cho mình là mình có thể viết rất tốt nhưng viết pr về vấn đề khác mình không làm được nên mình xin kết thúc phần một tại đây.

2. Hướng dẫn tải về và sử dụng PHP Simple HTML DOM Parser.

Để tải về thư viện này bạn có thể nên trang chủ của nó tại địa chỉ sau http://simplehtmldom.sourceforge.net để down về. Ở đây mình sẽ đính kèm luôn file đính kèm lên blog này. Bạn có thể tải về tại đây.

Sau khi đã có thư viện bạn copy file simple_html_dom.php vào dự án của mình và include nó vào file bạn muốn lấy dữ liệu để có thể sử dụng.

Tiếp theo chúng ta cùng điểm qua một số ví dụ về việc lấy dự liệu với thư viện này nhé.

Để đọc nội dung một file ta dùng như sau.

$html = file_get_html('link cần lấy');
echo $html;

 

Bây giờ bạn có thể chạy thử để xem kết quả. Rất đơn giản phải không nào chỉ cần một dòng code là bạn đã có thể echo ra toàn bộ nội dung HTML của một trang web rồi. Và chúng ta cùng tìm hiểu tiếp về cách bóc tách dữ liệu bằng thư viện này rồi nhé nhé.

Hiển thị tất cả các ảnh từ trang cần lấy sang web mình.

$html = file_get_html('http://www.google.com/');
foreach($html->find('img') as $element) {
       echo '<img src="'.$element->src.'" /><br>';
}

 

 

Lưu ý biến $html bạn chỉ cần khai báo một lần trong file nhé, và ở các ví dụ sau mình sẽ không gọi lại nó nữa mà mặc định là chúng ta đã khai báo nó rồi.

Hiển thị tất cả các link trong bài viết.

foreach($html->find('a') as $element) 
       echo $element->href . '<br>';

 

 

Lấy nội dung từ một id cụ thể.

$noidung = $html->find('#ten_id',0);

 

Ở đây bạn tôi có chèn số 0 vì trong html find sẽ trả về dữ liệu dạng mảng nếu bạn không truyền 0 vào thì bạn sẽ cần cho nó vào vòng lặp để hiển thị nội dung ra. Con tôi truyền số 0 vào đằng sau để chỉ lấy nội dung trong id đầu tiên.

Đối với class chúng ta cũng làm tương tự như sau, giả sử trong file cần lấy có 3 class tên là content. Và tôi muốn lấy nội dung từ class content thứ hai thị bạn làm như sau

$noidung = $html->find('.content',1);

 

 

Làm tương tự đối với các thẻ khác như table, p… Bạn lưu ý nhé nếu như không truyền số vào đằng sau kết quả trả về là mảng bạn sẽ cần foreach để show dữ liệu ra, còn nếu truyền số vào thì kết quả trả về là một chuỗi bạn echo bình thường trong quá trình sử dụng tùy từng mục đích mà bạn áp dụng cho phù hợp.

Tiếp theo chúng ta cùng tìm hiểu cách lấy phần tử trong một phần tử. Ví dụ cụ thể như sau trong nội dung file cần lần có một id tên là properties. Trong  properties có một đoạn text và một list danh sách thuộc tính nằm trong thẻ li. Bây giờ bạn cần lấy ra chuỗi li đấy để đưa vào dữ liệu hoặc xuất ra website thì làm như sau.

$thuoctinh =  $html->find('#properties',0)->find('li');
foreach ($thuoctinh as $e) {
    echo $e->plaintext
};

 

 

Mục đích của ví dụ này để bạn hiểu về cách dùng find lồng từ đó có thể áp dụng vào các ví dụ cụ thể.

Lưu ý: trong thư viện này có hỗ trợ ta ba cách đọc nội dung như sau

  • plaintext: Lấy nội dung (text) từ trang web
  • innertext: Chỉ lấy nội dung bên trong thẻ..
  • outertext: Lấy cả thẻ và nội dung bên trong.

Tiếp theo chúng ta cùng tìm hiểu về cách thay đổi nội dung của một trang trước khi xuất dữ liệu ra. Giả sử bạn có một trang trong đó có 3 table với những nội dung khác nhau, bạn muốn xóa table đầu tiên đi do có chứa thông tin không cần thiết thì làm như sau

$html->find('table',0)->outertext='';

 

Bạn nhớ nhé khi cần xóa một phần từ nào đó thi gán outertext = ''; như ở trên là đươc. Bạn làm tương tự với các class và id. Giờ trường hợp đặt ra là bạn xóa một đoạn text nằm trong một thẻ p nhưng oái oăm thay thẻ p này không có tên class hoặc id mà chỉ có style như sau <p style=”font-family:宋体;’>. Đây là mình lấy từ ví dụ thực tế của mình khi làm dự án đầu tiên của mình.Lúc này ta cần làm như sau để loại text,

foreach ($html->find('p[style="font-family:宋体;"]') as $e) {          
    $e->outertext = '';
}

 

 

Như thế nếu bạn echo $html thì nội dung bạn chưa được sửa đổi đâu bạn cần thêm một bước này nữa trước khi xuất dữ liêụ ra.

html ->load($html ->save());

 

 

Mục đích của dòng trên là để lưu lại nội dung $html đã được sửa đổi.

Trường hợp cuối cùng bạn cần lấy nội dung ở nhiều trang mình đã gặp trường hợp phải kết hợp mấy trang mới lấy hết thông tin. Một trang có nhiệm vụ show nội dung chi tiết sản phẩm, một trang show giá và một trang để lấy màu sắc của sản phẩm. Đối với trường hợp này bạn làm như sau.Sau khi bạn đã lấy được nội dung của trang thứ nhất và gán nó vào biến cụ thể rồi thì bạn hủy nội dung trong $html đi và tiếp tục get sang trang thứ hai. Phương pháp hủy như sau đây là phương pháp tôi demo và thấy nó chạy cũng không chắc là nó tối ưu nhưng mà dùng được.

$html->__destruct();
unset($html);
$html = null;

 

3. Thực hành lấy dữ liệu qua ví dụ cụ thể.

Nhìn code nhiều cùng với nối viết văn hơi loằng ngoằng của mình có lẽ sẽ khiến bạn đau đầu và không muốn theo dõi tiếp. Vậy thì để thay đổi không khí chúng ta cùng bắt tay vào lấy dữ liệu từ một trang cụ thể nhé.

Ở đây tội chọn lấy nội dung bài viết từ link sau:

ttp://thethao.vnexpress.net/photo/hau-truong/hom-nay-hoang-xuan-vinh-ve-nuoc-nguyen-tien-minh-quyet-dau-lin-dan-3452035.html

 

 

Ví dụ 1: Hiển thị toàn bộ nôi dung trang web, tôi viết code file vidu1.php như sau

 

<?php
    include('simple_html_dom.php');
    $url = 'http://thethao.vnexpress.net/photo/hau-truong/hom-nay-hoang-xuan-vinh-ve-nuoc-nguyen-tien-minh-quyet-dau-lin-dan-3452035.html';
    $html = file_get_html($url);
    echo $html;
?>

 

 

Ví dụ 2: Như bạn đã thấy ở trên khi bạn chạy nó sẽ hiển thị nội dung toàn bộ nội dung từ trang web vnexpress ra rõ ràng là trên thực tế sẽ không có trường hợp nào như thế. Bây giờ chúng ta cùng bắt tay vào ví dụ 2 lấy tiêu để đổ vào thẻ h1, và nội dung đổ vào id content và lúc này tôi code vidu2.php như sau

<?php
    include('simple_html_dom.php');
    $url = 'http://thethao.vnexpress.net/photo/hau-truong/hom-nay-hoang-xuan-vinh-ve-nuoc-nguyen-tien-minh-quyet-dau-lin-dan-3452035.html';
    $html = file_get_html($url);
    $tieude = $html->find('.title_news',0);
    $noidung = $html->find('#article_content',0);
?>
<h1><?=$tieude->plaintext?></h1>
<div id="content"><?=$noidung->innertext?></div>

 

 

Ví dụ 3: Tôi thấy bức ảnh đầu tiên anh ấy cười to quá tôi muốn xóa bỏ ảnh này, tôi kiểm tra thấy ảnh này thuôc class block_thumb_slide_show lúc này code vidu3.php của tôi như sau

<?php
    include('simple_html_dom.php');
    $url = 'http://thethao.vnexpress.net/photo/hau-truong/hom-nay-hoang-xuan-vinh-ve-nuoc-nguyen-tien-minh-quyet-dau-lin-dan-3452035.html';
    $html = file_get_html($url);
    $html->find('.block_thumb_slide_show',0)->outertext='';
    $html ->load($html ->save());
    $tieude = $html->find('.title_news',0);
    $noidung = $html->find('#article_content',0);
?>
<h1><?=$tieude->plaintext?></h1>
<div id="content"><?=$noidung->innertext?></div>

 

 

Bạn chạy lần lượt ba ví dụ để xem kết quả nhé.

4. Kết luận

Ở trên tôi vừa giới thiệu đến các bạn cách lấy dữ liệu với thư viện HTML DOM Parser hy vọng qua bài này bạn có thêm những lựa chọn cho mình khi lấy dữ liệu từ website khác. Những ví dụ tôi nêu ở trên là những ví dụ đơn giản còn trong quá trình làm dự án thực tế sẽ có những trường hợp phức tạp hơn rất nhiều nên các bạn cứ chịu khó quay tay nhiều vào thì vận may sẽ đến với các bạn.Trong bài viết có thể có nhiều chỗ chưa chính xác mang quan điểm cá nhân tác giả thì cũng mong nhận được sự góp ý từ phía các bạn.

Chúc các bạn học tốt.

Bài viết được đóng góp bởi bạn ChiPheo