submitted url blocked by robots.txt: Hướng Dẫn Khắc Phục Lỗi Chặn Index Cho Website Đăng Ký Mã Vạch Sản Phẩm
Khi bạn nhận thông báo submitted url blocked by robots.txt, điều này có nghĩa là trang web hoặc một URL cụ thể của bạn đang bị tệp robots.txt ngăn Google bot thu thập thông tin và lập chỉ mục. Thực tế, lỗi này thường gặp trong quá trình đăng ký mã vạch sản phẩm và quản lý website, đặc biệt nếu bạn đang cố gắng đưa các trang sản phẩm mới lên Google. Để khắc phục, bạn cần chỉnh sửa tệp robots.txt để cho phép Googlebot truy cập, đồng thời kiểm tra và cập nhật Google Search Console để đảm bảo thay đổi được ghi nhận.
submitted url blocked by robots.txt: Nguyên Nhân Gây Chặn Index Cho Website đăng ký mã vạch sản phẩm
Lỗi submitted url blocked by robots.txt xảy ra khi tệp robots.txt trên máy chủ của bạn chặn công cụ tìm kiếm, như Googlebot, truy cập vào một hoặc nhiều URL cụ thể. Tệp robots.txt được thiết kế để kiểm soát quyền truy cập của các bot vào các phần khác nhau của trang web, thường dùng để ngăn chặn thu thập các trang không quan trọng hoặc nhạy cảm. Tuy nhiên, việc cấu hình sai có thể dẫn đến submitted url blocked by robots.txt cho các trang quan trọng, chẳng hạn như trang sản phẩm mới sau khi đăng ký mã vạch sản phẩm. Các nguyên nhân phổ biến gây ra lỗi submitted url blocked by robots.txt bao gồm:
- Cấu hình sai tệp robots.txt: Đây là nguyên nhân hàng đầu khiến submitted url blocked by robots.txt. Một lệnh
Disallowkhông chính xác có thể chặn toàn bộ trang web hoặc các thư mục quan trọng. - Thường gặp ở website mới hoặc đang phát triển: Các nhà phát triển đôi khi thiết lập
Disallow: /trong tệp robots.txt để ngăn công cụ tìm kiếm lập chỉ mục trang web trong giai đoạn phát triển. Nếu quên gỡ bỏ hoặc chỉnh sửa sau khi website ra mắt, sẽ dẫn đến submitted url blocked by robots.txt. - Lỗi hệ thống quản lý nội dung (CMS): Một số CMS có thể tự động tạo hoặc chỉnh sửa tệp robots.txt, đôi khi gây ra các cài đặt không mong muốn dẫn đến submitted url blocked by robots.txt.
- Sai sót trong quá trình quản lý website: Việc sao chép, di chuyển trang hoặc cập nhật cấu trúc website mà không kiểm tra robots.txt có thể vô tình tạo ra các quy tắc chặn dẫn đến submitted url blocked by robots.txt.
Việc hiểu rõ nguyên nhân gây ra lỗi submitted url blocked by robots.txt là bước đầu tiên quan trọng để khắc phục và đảm bảo các trang sản phẩm, thông tin đăng ký mã vạch sản phẩm của bạn được Google lập chỉ mục đúng cách.

ký mã vạch sản phẩm
submitted url blocked by robots.txt: Làm Thế Nào Để Sửa Lỗi Chặn Lập Chỉ Mục Cho Trang đăng ký mã vạch sản phẩm?
Khắc phục lỗi submitted url blocked by robots.txt là một quá trình tương đối đơn giản nhưng đòi hỏi sự chính xác. Dưới đây là các bước chi tiết để bạn có thể khắc phục lỗi submitted url blocked by robots.txt cho trang web của mình, đặc biệt là các trang liên quan đến đăng ký mã vạch sản phẩm:
Bước 1: Xác Định Vị Trí và Nội Dung Tệp robots.txt
- Truy cập tệp robots.txt: Bạn có thể xem tệp robots.txt bằng cách gõ
yourdomain.com/robots.txtvào trình duyệt. Đây là cách dễ nhất để kiểm tra nội dung tệp. Hầu hết các website có tệp robots.txt ở thư mục gốc của domain. - Tìm kiếm các lệnh
Disallow: Khi đã truy cập được tệp, hãy tìm kiếm các dòng bắt đầu bằngDisallow:. Các lệnh này cho công cụ tìm kiếm biết những thư mục hoặc tệp nào không nên thu thập thông tin. Nếu bạn thấyDisallow: /, điều này có nghĩa là toàn bộ trang web của bạn đang bị chặn, gây ra lỗi submitted url blocked by robots.txt cho mọi URL. - Xác định các quy tắc chặn cụ thể: Nếu chỉ một số URL bạn gửi bị lỗi submitted url blocked by robots.txt, hãy tìm kiếm các lệnh
Disallowliên quan đến đường dẫn của các URL đó. Ví dụ:Disallow: /san-pham/sẽ chặn tất cả các trang trong thư mục/san-pham/, bao gồm cả các trang hiển thị chi tiết về sản phẩm sau khi đăng ký mã vạch sản phẩm.
Bước 2: Chỉnh Sửa Tệp robots.txt
Để cho phép Googlebot thu thập thông tin các URL bị lỗi submitted url blocked by robots.txt, bạn cần chỉnh sửa tệp robots.txt. Có hai cách chính:
Chỉnh sửa trực tiếp trên hosting/FTP:
- Sử dụng trình quản lý tệp của hosting (như cPanel, Plesk) hoặc phần mềm FTP (FileZilla) để truy cập thư mục gốc của website.
- Tìm tệp
robots.txt. Nếu không có, bạn có thể tạo một tệp mới. - Mở tệp và chỉnh sửa.
- Để cho phép Googlebot truy cập toàn bộ trang web (nếu bị chặn hoàn toàn):
User-agent: *
Allow: /
Đây là cấu hình phổ biến nhất, cho phép tất cả các bot thu thập thông tin toàn bộ trang web. - **Để cho phép một thư mục cụ thể (ví dụ: các trang sản phẩm sau khi **đăng ký mã vạch sản phẩm):
User-agent: *
Allow: /duong-dan-cua-thu-muc-san-pham-cua-ban/
Đồng thời, bạn cần đảm bảo không có lệnhDisallownào khác ghi đè lên lệnhAllownày. - Để loại bỏ lệnh chặn gây ra lỗi submitted url blocked by robots.txt: Đơn giản là xóa dòng
Disallow:không mong muốn hoặc thêm#vào đầu dòng để biến nó thành bình luận.
Sử dụng công cụ SEO của CMS (ví dụ: Yoast SEO, Rank Math cho WordPress):
- Nếu bạn sử dụng WordPress, các plugin SEO như Yoast SEO hoặc Rank Math thường cung cấp giao diện để chỉnh sửa tệp robots.txt trực tiếp từ bảng điều khiển admin.
- Tìm kiếm mục “Tools” hoặc “Robot.txt Editor” trong cài đặt plugin.
- Thực hiện các chỉnh sửa tương tự như hướng dẫn ở trên. Đây là cách tiện lợi và ít rủi ro hơn nếu bạn không quen với FTP.

Bước 3: Kiểm Tra Tệp robots.txt Sau Khi Chỉnh Sửa
Sau khi chỉnh sửa, việc kiểm tra lại là cực kỳ quan trọng để đảm bảo bạn đã khắc phục lỗi submitted url blocked by robots.txt và không tạo ra lỗi mới.
- Sử dụng Trình kiểm tra robots.txt của Google Search Console:
- Đăng nhập vào Google Search Console.
- Chọn thuộc tính trang web của bạn.
- Vào mục “Index” > “Robots.txt Tester”.
- Nhập các URL bị lỗi submitted url blocked by robots.txt trước đó vào công cụ và kiểm tra xem chúng còn bị chặn hay không. Công cụ này sẽ mô phỏng Googlebot và cho bạn biết tệp robots.txt hiện tại có cho phép truy cập URL đó hay không.
Bước 4: Yêu Cầu Lập Chỉ Mục Lại Trong Google Search Console
Sau khi đã chắc chắn tệp robots.txt cho phép Googlebot truy cập URL, bạn cần yêu cầu Google lập chỉ mục lại để đẩy nhanh quá trình.
- Công cụ kiểm tra URL (URL Inspection Tool):
- Trong Google Search Console, nhập URL bị lỗi submitted url blocked by robots.txt vào thanh tìm kiếm ở đầu trang.
- Google sẽ hiển thị thông tin về URL đó.
- Nếu lỗi submitted url blocked by robots.txt đã được khắc phục, bạn sẽ thấy trạng thái cho phép lập chỉ mục.
- Nhấp vào “Request Indexing” (Yêu cầu lập chỉ mục) để Googlebot thu thập thông tin lại trang này.
- Gửi lại Sơ đồ trang web (Sitemap):
- Vào mục “Sitemaps” trong Google Search Console.
- Gửi lại sơ đồ trang web của bạn. Điều này khuyến khích Google thu thập thông tin lại toàn bộ trang web hoặc các phần cập nhật, bao gồm các trang liên quan đến đăng ký mã vạch sản phẩm và các sản phẩm mới.
Việc thực hiện đầy đủ các bước này sẽ giúp bạn khắc phục hiệu quả lỗi submitted url blocked by robots.txt và đảm bảo các trang quan trọng của bạn được hiển thị trên kết quả tìm kiếm của Google, tăng khả năng tiếp cận khách hàng tiềm năng cho sản phẩm của bạn.
submitted url blocked by robots.txt: Phòng Ngừa và Các Thực Hành Tốt
Để tránh lặp lại lỗi submitted url blocked by robots.txt và đảm bảo website của bạn luôn được tối ưu cho công cụ tìm kiếm, đặc biệt là các trang về đăng ký mã vạch sản phẩm, hãy áp dụng các thực hành tốt sau:
1. Kiểm Tra Định Kỳ Tệp robots.txt
- Theo dõi sự thay đổi: Mỗi khi bạn thực hiện thay đổi lớn trên website, di chuyển thư mục, hay thêm các section mới, hãy kiểm tra lại tệp robots.txt.
- Kiểm tra hàng tháng/quý: Ngay cả khi không có thay đổi lớn, việc kiểm tra định kỳ tệp robots.txt (ví dụ: hàng tháng hoặc hàng quý) giúp bạn phát hiện sớm mọi vấn đề có thể dẫn đến submitted url blocked by robots.txt. Sử dụng Google Search Console Robots.txt Tester để đảm bảo các trang quan trọng không bị chặn.
- **Đặc biệt quan trọng với website **đăng ký mã vạch sản phẩm: Các website này thường xuyên thêm sản phẩm mới. Việc đảm bảo các trang sản phẩm này không bị submitted url blocked by robots.txt là tối quan trọng để kinh doanh online.
2. Sử Dụng Google Search Console Một Cách Hiệu Quả
- Giám sát báo cáo lập chỉ mục: Thường xuyên kiểm tra báo cáo “Chỉ mục” > “Trang” trong Google Search Console. Nếu có URL mới bị lỗi submitted url blocked by robots.txt, bạn sẽ thấy cảnh báo ở đây.
- Sử dụng công cụ kiểm tra URL: Bất cứ khi nào bạn triển khai một trang mới (ví dụ: một sản phẩm vừa đăng ký mã vạch sản phẩm), hãy sử dụng công cụ kiểm tra URL để đảm bảo trang đó có thể được lập chỉ mục và không gặp vấn đề submitted url blocked by robots.txt.
- Theo dõi hiệu suất Sitemaps: Đảm bảo sơ đồ trang web của bạn được gửi và xử lý đúng cách, không có lỗi. Sitemaps giúp Google khám phá các URL mới nhanh hơn, tránh việc một URL quan trọng bị bỏ sót và gây ra lỗi submitted url blocked by robots.txt do sự chậm trễ trong việc thu thập thông tin.
3. Hiểu Rõ Sự Khác Biệt Giữa robots.txt và Thẻ Meta Noindex
- robots.txt ngăn chặn thu thập thông tin (Crawl Blocking): Khi bạn sử dụng Robots.txt để
Disallowmột URL, Googlebot sẽ không truy cập và thu thập nội dung của URL đó. Điều này có nghĩa Googlebot không biết nội dung trang là gì và do đó, không thể lập chỉ mục (index) trang đó. Lỗi submitted url blocked by robots.txt xuất hiện khi bạn yêu cầu Google lập chỉ mục một trang mà bạn đã chặn bằng robots.txt. - Thẻ Meta Noindex ngăn chặn lập chỉ mục (Index Blocking): Thẻ
<meta name="robots" content="noindex">(hoặcX-Robots-Tagtrên HTTP header) cho phép Googlebot thu thập thông tin trang (đọc nội dung), nhưng hướng dẫn Google không hiển thị trang đó trên kết quả tìm kiếm. Trang sẽ vẫn được thu thập thông tin, nhưng không được lập chỉ mục.
Khi nào sử dụng cái nào?
- robots.txt: Sử dụng khi bạn muốn hoàn toàn ngăn Googlebot (hoặc các bot khác) truy cập vào một phần nào đó của trang web để tiết kiệm tài nguyên thu thập thông tin, hoặc để ngăn ngừa việc rò rỉ thông tin nhạy cảm. Ví dụ điển hình là thư mục
/wp-admin/trên WordPress hoặc các trang quản lý nội dung. Tuy nhiên, không nên dùng robots.txt để chặn các trang mà bạn muốn ẩn khỏi kết quả tìm kiếm nếu bạn vẫn muốn Google biết về chúng (nhưng không hiển thị). - Thẻ Meta Noindex: Sử dụng khi bạn muốn Googlebot có thể truy cập trang (để biết thông tin liên kết hoặc chất lượng), nhưng bạn không muốn trang đó hiển thị trên kết quả tìm kiếm. Điều này có thể áp dụng cho các trang “cảm ơn” sau khi hoàn tất thanh toán, các trang đăng nhập/đăng ký, hoặc các trang có nội dung trùng lặp.
Lưu ý quan trọng để tránh lỗi submitted url blocked by robots.txt: Không bao giờ sử dụng Disallow trong robots.txt cho một trang mà bạn cũng đặt thẻ noindex. Nếu bạn chặn một trang bằng robots.txt, Googlebot sẽ không bao giờ nhìn thấy thẻ noindex và do đó, có thể vô tình lập chỉ mục trang đó (nếu có các liên kết bên ngoài trỏ đến nó). Để ẩn một trang khỏi kết quả tìm kiếm một cách an toàn, bạn phải cho phép Googlebot truy cập trang đó và đặt thẻ meta noindex.
Bằng cách tuân thủ các nguyên tắc này, bạn sẽ giảm thiểu đáng kể khả năng gặp phải lỗi submitted url blocked by robots.txt và đảm bảo các trang về đăng ký mã vạch sản phẩm của bạn luôn được tối ưu hóa cho công cụ tìm kiếm.
submitted url blocked by robots.txt: Tác Động Đến SEO Của Website đăng ký mã vạch sản phẩm
Lỗi submitted url blocked by robots.txt không chỉ là một thông báo kỹ thuật đơn thuần mà còn có thể gây ra những tác động tiêu cực đáng kể đến hiệu suất SEO của website, đặc biệt là với các website chuyên về đăng ký mã vạch sản phẩm và bán hàng trực tuyến.
1. Mất Khả Năng Hiển Thị Trên Công Cụ Tìm Kiếm
- Không được lập chỉ mục: Khi một URL bị submitted url blocked by robots.txt, Googlebot sẽ không thu thập thông tin và do đó, không thể thêm trang đó vào chỉ mục tìm kiếm của Google. Điều này có nghĩa là trang web đó sẽ không bao giờ xuất hiện trên kết quả tìm kiếm cho bất kỳ từ khóa nào.
- Mất cơ hội tiếp cận khách hàng: Đối với các trang sản phẩm sau khi đăng ký mã vạch sản phẩm, việc không được lập chỉ mục đồng nghĩa với việc khách hàng tiềm năng sẽ không thể tìm thấy sản phẩm của bạn thông qua Google, ảnh hưởng trực tiếp đến doanh số.
- Khu vực website không trọng yếu bị ảnh hưởng: Nếu bạn vô tình chặn các thư mục quan trọng như
/category/,/product/, hoặc/blog/bằng submitted url blocked by robots.txt, toàn bộ các phần này của website sẽ biến mất khỏi Google.
2. Ảnh Hưởng Đến Chỉ Số Thu Thập Thông Tin (Crawl Budget)
- Lãng phí tài nguyên thu thập thông tin: Mặc dù robots.txt ngăn Googlebot thu thập thông tin, nhưng nó vẫn phải đọc tệp robots.txt để biết những gì được phép và không được phép. Nếu tệp robots.txt quá lớn hoặc có nhiều lệnh phức tạp, nó có thể tiêu tốn một phần nhỏ ngân sách thu thập thông tin của website.
- Googlebot ưu tiên các trang khác: Nếu Googlebot liên tục gặp phải các URL bị submitted url blocked by robots.txt khi cố gắng thu thập thông tin trang web của bạn, nó có thể dành ít thời gian hơn cho các trang quan trọng khác. Điều này có thể làm chậm quá trình lập chỉ mục các nội dung mới hoặc cập nhật khác trên trang web, bao gồm cả các thông tin về đăng ký mã vạch sản phẩm mới.
3. Giảm Uy Tín và Tín Nhiệm Trang Web (Trust and Authority)
- Tín hiệu tiêu cực: Mặc dù Googlebots không phạt trực tiếp một trang web vì có tệp robots.txt, nhưng việc các trang quan trọng bị submitted url blocked by robots.txt và không xuất hiện trên SERP có thể làm giảm khả năng xây dựng uy tín theo thời gian.
- Mất liên kết nội bộ và bên ngoài: Nếu các trang bị chặn có chất lượng tốt và có tiềm năng nhận được liên kết, việc chúng không được lập chỉ mục sẽ khiến bạn bỏ lỡ cơ hội tích lũy tín hiệu Authority từ các liên kết này, tác động đến tổng thể SEO của website.
4. Trễ Hẹn Với Kế Hoạch Marketing
- Chậm trễ ra mắt sản phẩm: Nếu bạn có kế hoạch ra mắt một sản phẩm mới sau khi đăng ký mã vạch sản phẩm và muốn nó hiển thị ngay trên Google, lỗi submitted url blocked by robots.txt có thể phá hỏng kế hoạch này, làm chậm trễ chiến dịch marketing.
- Sai lệch dữ liệu phân tích: Nếu các trang quan trọng bị chặn, dữ liệu phân tích về lưu lượng truy cập tìm kiếm tự nhiên của bạn sẽ không chính xác, dẫn đến việc đưa ra các quyết định marketing sai lầm.
Tóm lại, việc khắc phục lỗi submitted url blocked by robots.txt là một ưu tiên hàng đầu trong quản lý SEO kỹ thuật. Bằng cách đảm bảo Googlebot có thể truy cập và lập chỉ mục tất cả các trang web quan trọng, đặc biệt là các trang liên quan đến sản phẩm và đăng ký mã vạch sản phẩm, bạn sẽ duy trì được khả năng hiển thị, thu hút lưu lượng truy cập và đạt được mục tiêu kinh doanh trực tuyến của mình.
FAQPage: Các Câu Hỏi Thường Gặp Về Lỗi submitted url blocked by robots.txt
Dưới đây là một số câu hỏi thường gặp về lỗi submitted url blocked by robots.txt và cách giải quyết chúng, đặc biệt hữu ích cho các chủ website đang kinh doanh sản phẩm và cần đăng ký mã vạch sản phẩm.
| Câu hỏi | Trả lời |
|---|---|
| submitted url blocked by robots.txt có nghĩa là gì? | submitted url blocked by robots.txt có nghĩa là bạn đã gửi một URL cho Google để lập chỉ mục, nhưng tệp robots.txt của website đang ngăn Googlebot truy cập và thu thập thông tin trang đó. Do đó, Google không thể lập chỉ mục trang này và nó sẽ không xuất hiện trên kết quả tìm kiếm. |
| Tại sao lỗi submitted url blocked by robots.txt lại xảy ra? | Nguyên nhân phổ biến nhất gây ra lỗi submitted url blocked by robots.txt là do: |
– Cấu hình sai trong tệp robots.txt với lệnh Disallow chặn các trang quan trọng.– Website đang trong giai đoạn phát triển và bị chặn toàn bộ để tránh lập chỉ mục sớm. – Các plugin hoặc CMS tự động tạo ra quy tắc chặn không mong muốn. – Lỗi khi di chuyển hoặc cấu trúc lại website. | |
| Làm cách nào để tìm tệp robots.txt của tôi? | Bạn có thể tìm tệp robots.txt bằng cách gõ yourdomain.com/robots.txt vào trình duyệt. Ngoài ra, bạn có thể truy cập thông qua trình quản lý tệp của hosting (cPanel, Plesk) hoặc phần mềm FTP, nó thường nằm ở thư mục gốc của domain. |
| Tôi cần chỉnh sửa robots.txt như thế nào để khắc phục submitted url blocked by robots.txt? | Để khắc phục submitted url blocked by robots.txt, bạn cần chỉnh sửa tệp robots.txt để cho phép Googlebot truy cập các URL bị chặn. Ví dụ: Xóa bỏ dòng Disallow: đang chặn URL, hoặc thêm Allow: cho các thư mục cụ thể. Để cho phép toàn bộ trang web, sử dụng: User-agent: * Allow: /. |
| Google Search Console có thể giúp tôi với lỗi submitted url blocked by robots.txt không? | Có, Google Search Console là công cụ cực kỳ hữu ích. Bạn có thể sử dụng “Robots.txt Tester” để kiểm tra xem một URL có đang bị chặn bởi robots.txt hay không. Sau khi chỉnh sửa, dùng “URL Inspection Tool” để kiểm tra lại và “Request Indexing” để yêu cầu Googlebot thu thập thông tin lại trang đã được sửa lỗi submitted url blocked by robots.txt. |
| Lỗi này có ảnh hưởng đến SEO không? | Chắc chắn rồi. Lỗi submitted url blocked by robots.txt ngăn Google lập chỉ mục trang của bạn, khiến nó không thể xuất hiện trên kết quả tìm kiếm. Điều này có nghĩa là bạn sẽ mất lưu lượng truy cập tự nhiên, giảm khả năng tiếp cận khách hàng tiềm năng cho các sản phẩm đã đăng ký mã vạch sản phẩm và ảnh hưởng đến xếp hạng tổng thể của website. |
Tôi nên sử dụng thẻ noindex hay robots.txt để ẩn trang? | – Sử dụng robots.txt để ngăn Googlebot truy cập hoàn toàn vào các thư mục hoặc tệp mà bạn không muốn chúng thu thập thông tin (ví dụ: các tệp quản trị, các trang không quan trọng đối với công khai). Đây là để tiết kiệm crawl budget và ngăn truy cập. |
– Sử dụng thẻ <meta name="robots" content="noindex"> (hoặc X-Robots-Tag) khi bạn muốn Googlebot thu thập thông tin trang nhưng không lập chỉ mục nó. Điều này giúp Googlebot biết được các liên kết của trang nhưng vẫn giữ trang đó ẩn khỏi kết quả tìm kiếm. KHÔNG sử dụng Disallow trong robots.txt cho một trang có noindex, vì Googlebot sẽ không bao giờ nhìn thấy lệnh noindex nếu nó bị chặn. | |
| Bao lâu sau khi chỉnh sửa thì lỗi submitted url blocked by robots.txt được khắc phục? | Sau khi chỉnh sửa tệp robots.txt, Googlebot cần thời gian để thu thập lại tệp này. Quá trình này có thể mất từ vài giờ đến vài ngày. Để đẩy nhanh quá trình, hãy sử dụng tính năng “Request Indexing” trong Google Search Console cho các URL bị ảnh hưởng và gửi lại sơ đồ trang web của bạn. |
HowTo: Các Bước Chi Tiết Khắc Phục Lỗi submitted url blocked by robots.txt cho Website đăng ký mã vạch sản phẩm
Table of Contents:
- Kiểm Tra Tệp robots.txt Hiện Tại
- Chỉnh Sửa Tệp robots.txt Để Cho Phép Thu Thập Thông Tin
- Kiểm Tra Lại Bằng Robots.txt Tester Của Google Search Console
- Yêu Cầu Lập Chỉ Mục Lại URL Bị Ảnh Hưởng
- Theo Dõi Các Báo Cáo Trên Google Search Console
Để giải quyết triệt để vấn đề submitted url blocked by robots.txt và đảm bảo các trang sản phẩm sau khi đăng ký mã vạch sản phẩm của bạn được hiển thị rõ ràng trên Google, hãy thực hiện theo các bước chi tiết sau:
1. Kiểm Tra Tệp robots.txt Hiện Tại
Mục đích: Xác định chính xác URL hoặc thư mục nào đang bị chặn gây ra lỗi submitted url blocked by robots.txt.
- 1.1. Truy cập Tệp (File Access): Mở trình duyệt và truy cập
yourdomain.com/robots.txt. Đây là cách nhanh nhất để xem nội dung tệp. - 1.2. Phân tích Nội dung (Content Analysis): Tìm kiếm các dòng bắt đầu bằng
Disallow:.- Nếu bạn thấy
Disallow: /, điều này có nghĩa là toàn bộ trang web của bạn đang bị chặn, gây ra lỗi submitted url blocked by robots.txt cho tất cả các URL bạn gửi. - Nếu bạn thấy
Disallow: /duong-dan-dan-san-pham-cu-the/hoặcDisallow: /danh-muc-san-pham/, điều này có nghĩa các URL trong đường dẫn đó đang bị chặn, dẫn đến việc các trang về sản phẩm sau khi đăng ký mã vạch sản phẩm không được lập chỉ mục. - Chú ý đến
User-agent:nào đang được chặn.User-agent: *có nghĩa là tất cả các bot đều bị chặn.User-agent: Googlebotchỉ chặn Googlebot.
- Nếu bạn thấy
2. Chỉnh Sửa Tệp robots.txt Để Cho Phép Thu Thập Thông Tin
Mục đích: Gỡ bỏ các lệnh chặn không mong muốn để Googlebot có thể truy cập URL bị lỗi submitted url blocked by robots.txt.
- 2.1. Phương thức chỉnh sửa (Editing Method):
- Qua FTP/Hosting File Manager: Sử dụng FileZilla hoặc trình quản lý tệp của cPanel/Plesk để truy cập thư mục gốc của website. Tệp
robots.txtthường nằm ở đó. Mở tệp bằng trình soạn thảo văn bản và thực hiện chỉnh sửa. - Qua Plugin SEO (WordPress): Nếu dùng WordPress, các plugin như Yoast SEO hoặc Rank Math thường có tính năng chỉnh sửa robots.txt trong phần cài đặt của plugin. Điều này an toàn hơn nếu bạn không quen với FTP.
- Qua FTP/Hosting File Manager: Sử dụng FileZilla hoặc trình quản lý tệp của cPanel/Plesk để truy cập thư mục gốc của website. Tệp
- 2.2. Các Trường hợp chỉnh sửa phổ biến (Common Edits):
- Cho phép toàn bộ website: Xóa tất cả các dòng
Disallow: /hoặc thay thế chúng bằng:
User-agent: *
Allow: /
Điều này đảm bảo không có trang nào bị submitted url blocked by robots.txt một cách tổng thể. - Cho phép một thư mục/URL cụ thể: Nếu chỉ một thư mục (ví dụ:
/san-pham/) bị chặn do lỗi submitted url blocked by robots.txt, bạn có thể xóa dòngDisallow: /san-pham/hoặc thêm dòngAllow:cụ thể nếu có các lệnhDisallowrộng hơn:
User-agent: *
Allow: /san-pham/
# Nếu có các lệnh Disallow khác mà bạn vẫn muốn giữ, đảm bảo chúng không chồng chéo với Allow này
# Disallow: /wp-admin/
- Tạo một tệp robots.txt nếu chưa có: Nếu bạn không tìm thấy tệp robots.txt, hãy tạo một tệp mới với nội dung
User-agent: * Allows: /và tải lên thư mục gốc.
- Cho phép toàn bộ website: Xóa tất cả các dòng
3. Kiểm Tra Lại Bằng Robots.txt Tester Của Google Search Console
Mục đích: Xác nhận rằng các chỉnh sửa đã giúp khắc phục lỗi submitted url blocked by robots.txt.
- 3.1. Truy cập Tester (Access Tester): Đăng nhập vào Google Search Console, chọn thuộc tính website của bạn. Điều hướng đến Lập chỉ mục > Trình kiểm tra tệp robots.txt (Index > Robots.txt Tester).
- 3.2. Nhập và Kiểm tra URL (Enter and Test URL): Nhập URL cụ thể mà trước đây bị lỗi submitted url blocked by robots.txt vào khung kiểm tra. Công cụ sẽ hiển thị kết quả cho biết Googlebot có bị chặn hay không. Đảm bảo kết quả hiển thị “Allowed” (được phép).
- 3.3. Sử dụng phiên bản đã cập nhật: Trình kiểm tra sẽ sử dụng phiên bản robots.txt mới nhất của bạn (nó sẽ tự động tải lại sau vài phút sau khi bạn lưu trên máy chủ).
4. Yêu Cầu Lập Chỉ Mục Lại URL Bị Ảnh Hưởng
Mục đích: Thông báo cho Google thu thập thông tin và lập chỉ mục lại các URL bị ảnh hưởng bởi submitted url blocked by robots.txt để chúng nhanh chóng xuất hiện trên kết quả tìm kiếm.
- 4.1. Sử dụng Công cụ kiểm tra URL (URL Inspection Tool): Sao chép URL bị lỗi submitted url blocked by robots.txt (ví dụ: trang sản phẩm sau khi đăng ký mã vạch sản phẩm). Dán vào thanh tìm kiếm ở đầu Google Search Console.
- 4.2. Yêu cầu lập chỉ mục (Request Indexing): Xem kết quả kiểm tra. Nếu trạng thái là “URL is on Google” hoặc “URL can be indexed now” và không còn lỗi submitted url blocked by robots.txt, hãy nhấp vào “Request Indexing” để yêu cầu Googlebot thu thập thông tin trang này ngay lập tức.
- 4.3. Gửi lại Sitemap (Resubmit Sitemap): Vào mục Sơ đồ trang web (Sitemaps) trong Google Search Console. Gửi lại sơ đồ trang web của bạn. Điều này khuyến khích Google thu thập thông tin lại toàn bộ website hoặc các phần cập nhật, bao gồm các trang về đăng ký mã vạch sản phẩm đã được sửa lỗi submitted url blocked by robots.txt.
5. Theo Dõi Các Báo Cáo Trên Google Search Console
Mục đích: Đảm bảo rằng sự cố submitted url blocked by robots.txt không tái diễn và theo dõi hiệu suất lập chỉ mục tổng thể.
- 5.1. Kiểm tra báo cáo Pages (Pages Report): Thường xuyên kiểm tra báo cáo Lập chỉ mục > Trang (Index > Pages) để xem có sự gia tăng số lượng trang được lập chỉ mục hay không, và đảm bảo không có lỗi
Blocked by robots.txtmới nào xuất hiện. - 5.2. Giám sát các cảnh báo (Monitor Warnings): Google Search Console sẽ gửi cảnh báo nếu phát hiện các vấn đề nghiêm trọng với website của bạn, bao gồm cả các lỗi liên quan đến submitted url blocked by robots.txt.
Bằng cách tuân thủ nghiêm ngặt các bước này, bạn sẽ khắc phục hiệu quả lỗi submitted url blocked by robots.txt và đảm bảo website đăng ký mã vạch sản phẩm của bạn được tối ưu hóa tốt nhất cho công cụ tìm kiếm. Nếu bạn cần hỗ trợ thêm về submitted url blocked by robots.txt, tối ưu SEO kỹ thuật hoặc thiết kế website sản phẩm, đừng ngần ngại liên hệ ThietKeWebWio.com qua Zalo 0934 023 850 để được tư vấn chuyên nghiệp.
submitted url blocked by robots.txt
submitted url blocked by robots.txt
Bạn có thể tham khảo thêm các bài viết về cách đưa website lên Google tại đây:

