---
sidebar_position: 2
---
На дипломную работу бакалавра я решил написать web-crawler с технологиями, которые в тот момент знал. Google был очень популярен, и мне было интересно понять нюансы сетевого обхода определённой области интернета.

Смотря назад спустя почти 20 лет, конечно, выбор PHP был не лучшим с точки зрения эффективности. Но работа называлась agile, потому что проект был относительно прост и легко менялся благодаря простой связке между кодом и БД. Я пытался переизобрести ORM и быстро делать простые CRUD-операции.

[**Agile web-crawler: design and implementation**](ru/about/Университет/pdfs/bsc-work.pdf) (PDF)

![](ru/about/Университет/img/ttu-07.jpg)

Близкие работы, которые могут быть полезны:
- [The Anatomy of a Large-Scale Hypertextual Web Search Engine](ru/about/Университет/pdfs/The%20Anatomy%20of%20a%20Large-Scale%20Hypertextual%20Web%20Search%20Engine.pdf)
- [Crawling the Web](ru/about/Университет/pdfs/Crawling%20the%20Web.pdf)
- [Focused crawling: a new approach to topic-specific Web resource discovery](ru/about/Университет/pdfs/Focused%20crawling.pdf)