• Automation

    Compare Pixels – Check difference between two layouts

    PixelGrabber là một thư viện Java cho phép lấy ra các điểm ảnh (pixels) trên hình và từ đó có thể dùng để so sánh để phát hiện ra sự thay đổi, khác biệt giữa hai bức ảnh. Có thể ứng dụng vào Automation để nhận biết những sự thay đổi layout.

    Kết quả:

    Input layout: 01.png & 02.png
    Output: Passed. They are the same!

    Input layout: 01_changed.png vs 02_changed.png
    Output: Failed. There are some difference between 2 images!

    Nếu file không tồn tại sẽ hiển thị thông báo: File(s) could not found!

    The PixelGrabber class implements an ImageConsumer which can be attached to an Image or ImageProducer object to retrieve a subset of the pixels in that image.

    Nhận diện hình ảnh là một chủ đề hay và đáng tìm hiểu để ứng dụng vào kiểm thử tự động.

  • Automation

    Optical Character Recognition (OCR) – Nhận diện ký tự từ ảnh

    Trong ví dụ này mình sẽ có input là một tấm ảnh chụp từ màn hình mobile, kết quả output mong muốn sẽ là nội dung chữ trên bức ảnh đó và kiểm tra lại để đảm bảo trên ảnh có chứa những nội dung chữ mình mong muốn.

    Optical character recognition (also optical character reader, OCR) is the mechanical or electronic conversion of images of typed, handwritten or printed text into machine-encoded text, whether from a scanned document, a photo of a document, a scene-photo (for example the text on signs and billboards in a landscape photo) or from subtitle text superimposed on an image.

    OCR Input (PNG file): Screenshot_2017-03-15-14-57-02.png
    OCR Output (text): The text “Logs saved to sdcard/SysLog/2017-03-15_14.56.59

    Các bước thực hiện:
    1. Bạn có thể tạo một project mới hoặc tải project mẫu mình đã upload tại đây.
    2. Import thư viện Tess4J và các thư viên liên quan (có thể import hết thư viện trong thư mục “tesslibs” mình để trong project).
    3. Đặt thư mục “tessdata” (data dùng để nhận diện ký tự) và hình ảnh cần test ra thư mục root, sau này bạn có thể thay đổi đường dẫn đến hình ảnh cũng được.

    Sau khi có đủ thư viện, đặt thư mục tessdata và hình ảnh input đúng vị trí, chúng ta tạo một class mới để bắt đầu. Đây là một đoạn code ngắn để thực hiện những yêu cầu ban đầu:
    1. Đọc chữ từ screenshot.
    2. In tất cả các chữ có trên ảnh ra.
    3. Kiểm tra những chữ đã xuất ra được có chứa các nội dung mình cần hay không.

    Nội dung chúng ta có được:


    Cách này khá hữu ích khi làm automation, đôi lúc có những thành phần không thể getText do không lấy được locators, dùng cách này thì chúng ta sẽ không cần locators, ngoài ra còn ứng dụng trong các trường hợp khác như đọc nội dung PDF, tài liệu scanned. Các bạn thử nhé!