pom.xml

@@ -50,11 +50,6 @@
             <artifactId>spring-dotenv</artifactId>
             <version>4.0.0</version>
         </dependency>
-        <dependency>
-            <groupId>org.jsoup</groupId>
-            <artifactId>jsoup</artifactId>
-            <version>1.18.3</version>
-        </dependency>
     </dependencies>
 
     <build>

src/main/java/searchengine/controllers/ApiController.java

@@ -4,8 +4,8 @@ import org.springframework.http.ResponseEntity;
 import org.springframework.web.bind.annotation.GetMapping;
 import org.springframework.web.bind.annotation.RequestMapping;
 import org.springframework.web.bind.annotation.RestController;
+import searchengine.config.SitesList;
 import searchengine.dto.statistics.StatisticsResponse;
-import searchengine.services.IndexingService;
 import searchengine.services.StatisticsService;
 
 @RestController
@@ -13,11 +13,9 @@ import searchengine.services.StatisticsService;
 public class ApiController {
 
     private final StatisticsService statisticsService;
-    private final IndexingService indexingService;
 
-    public ApiController(StatisticsService statisticsService, IndexingService indexingService) {
+    public ApiController(StatisticsService statisticsService) {
         this.statisticsService = statisticsService;
-        this.indexingService = indexingService;
     }
 
     @GetMapping("/statistics")
@@ -27,7 +25,7 @@ public class ApiController {
 
     @GetMapping("/startIndexing")
     public ResponseEntity<StatisticsResponse> startIndexing() {
-        indexingService.startIndexing();
+        System.out.println(new SitesList().getSites());
         return ResponseEntity.ok(statisticsService.getStatistics());
     }
 }

src/main/java/searchengine/model/Link.java

@@ -1,42 +0,0 @@
-package searchengine.model;
-
-import java.net.URI;
-import java.util.HashSet;
-import java.util.Objects;
-import java.util.Set;
-
-public record Link(URI uri, int depth, Set<Link> children, Link parent) {
-    public Link {
-        children = new HashSet<>();
-    }
-
-    public Link(URI uri, Link parent) {
-        this(uri, (parent == null) ? 0 : parent.depth() + 1, new HashSet<>(), parent);
-    }
-
-    public void addChild(URI childUri) {
-        children.add(new Link(childUri, this));
-    }
-
-    // Переопределяем equals и hashCode, исключая поля children и parent
-    @Override
-    public boolean equals(Object o) {
-        if (this == o) return true;
-        if (o == null || getClass() != o.getClass()) return false;
-        Link link = (Link) o;
-        return depth == link.depth && Objects.equals(uri, link.uri);
-    }
-
-    @Override
-    public int hashCode() {
-        return Objects.hash(uri, depth); // Исключаем children и parent
-    }
-
-    @Override
-    public String toString() { // А он нужен?
-        return "Link{" +
-                "uri=" + uri +
-                ", depth=" + depth +
-                '}'; // Исключаем children и parent
-    }
-}

src/main/java/searchengine/model/PageEntity.java

@@ -7,20 +7,19 @@ import lombok.Setter;
 @Getter
 @Setter
 @Entity
-//@Table(name = "page", indexes = @Index(columnList = "site_id, path", unique = true)) // Или используем составной индекс, если нужно сохранить уникальность
+@Table(name = "page", indexes = @Index(columnList = "path"))
-@Table(name = "page", indexes = @Index(columnList = "path"), uniqueConstraints = @UniqueConstraint(columnNames = {"site_id", "path"}))
 public class PageEntity {
     @Id
     @GeneratedValue(strategy = GenerationType.IDENTITY)
     @Column(nullable = false)
     private int id;
 
-    @ManyToOne(fetch = FetchType.LAZY)
+    @ManyToOne(cascade = CascadeType.ALL)
     @JoinColumn(name = "site_id", nullable = false)
     private SiteEntity site;
 
-    @Column(columnDefinition = "VARCHAR(255) NOT NULL")
+    @Column(columnDefinition = "TEXT NOT NULL, UNIQUE KEY INDEX_PATH (path(255))") // Unique index version
-//    @Column(columnDefinition = "VARCHAR(255) NOT NULL", unique = true) // Или убираем unique = true
+//    @Column(columnDefinition = "TEXT NOT NULL, INDEX PATH_INDEX USING BTREE(path(255))") // Non-unique index version
     private String path;
 
     @Column(nullable = false)

src/main/java/searchengine/repository/PageRepository.java

@@ -3,11 +3,7 @@ package searchengine.repository;
 import org.springframework.data.repository.CrudRepository;
 import org.springframework.stereotype.Repository;
 import searchengine.model.PageEntity;
-import searchengine.model.SiteEntity;
 
 @Repository
 public interface PageRepository extends CrudRepository<PageEntity, Integer> {
-    void deleteBySite(SiteEntity site);
-
-    PageEntity findBySiteAndPath(SiteEntity site, String path);
 }

src/main/java/searchengine/repository/SiteRepository.java

@@ -6,5 +6,4 @@ import searchengine.model.SiteEntity;
 
 @Repository
 public interface SiteRepository extends CrudRepository<SiteEntity, Integer> {
-    SiteEntity findByUrl(String url);
 }

src/main/java/searchengine/services/IndexingService.java

@@ -1,5 +1,4 @@
 package searchengine.services;
 
 public interface IndexingService {
-    void startIndexing();
 }

src/main/java/searchengine/services/IndexingServiceImpl.java

@@ -1,292 +1,16 @@
 package searchengine.services;
 
-import lombok.RequiredArgsConstructor;
-import org.jsoup.HttpStatusException;
-import org.jsoup.Jsoup;
-import org.jsoup.nodes.Document;
-import org.slf4j.Logger;
-import org.slf4j.LoggerFactory;
-import org.springframework.dao.DataIntegrityViolationException;
-import org.springframework.stereotype.Service;
-import org.springframework.transaction.annotation.Isolation;
-import org.springframework.transaction.annotation.Propagation;
-import org.springframework.transaction.annotation.Transactional;
-import searchengine.config.SitesList;
-import searchengine.model.Link;
-import searchengine.model.SiteEntity;
-import searchengine.model.PageEntity;
-import searchengine.model.StatusType;
-import searchengine.repository.PageRepository;
-import searchengine.repository.SiteRepository;
-
-import java.net.URI;
-import java.net.URISyntaxException;
-import java.net.URLEncoder;
-import java.nio.charset.StandardCharsets;
-import java.time.LocalDateTime;
-import java.util.HashSet;
-import java.util.Set;
-import java.util.concurrent.ConcurrentHashMap;
-import java.util.regex.Pattern;
-
-@Service
-@RequiredArgsConstructor
 public class IndexingServiceImpl implements IndexingService {
-    private static final Logger logger = LoggerFactory.getLogger(IndexingServiceImpl.class);
+    boolean indexingIsRunning = false;
-    private boolean indexingIsRunning = false;
-    private final SitesList sitesList;
-    private final SiteRepository siteRepository;
-    private final PageRepository pageRepository;
 
-    @Override
-    @Transactional(propagation = Propagation.REQUIRED, isolation = Isolation.READ_COMMITTED, noRollbackFor = Exception.class)
     public void startIndexing() {
         if (indexingIsRunning) {
-            logger.info("Индексация уже запущена");
+            System.out.println("Индексация уже запущена");
             return;
         }
+        // Логика для запуска индексации или перенидексации сайтов
+        System.out.println("Запуск индексации");
         indexingIsRunning = true;
-
+        System.out.println("Индексация запущена");
-        // Выводим список сайтов для индексации
-        logger.info("Список сайтов для индексации:");
-        sitesList.getSites().forEach(site ->
-                logger.info("URL: {}, Название: {}", site.getUrl(), site.getName())
-        );
-
-        // Начинаем парсинг первого сайта
-        String startUrl = sitesList.getSites().get(0).getUrl();
-        String siteName = sitesList.getSites().get(0).getName();
-
-        logger.info("Начинаем парсинг сайта {} ({})", siteName, startUrl);
-
-        Set<URI> visitedLinks = ConcurrentHashMap.newKeySet(); // Набор для отслеживания посещенных URL
-        Set<Link> allLinks = ConcurrentHashMap.newKeySet(); // Набор для хранения всех ссылок
-
-        try {
-            URI startUri = new URI(startUrl);
-            logger.info("=== Начало индексации {} ({}) ===", siteName, startUri);
-
-            // Удаляем существующие данные по этому сайту
-            SiteEntity site = siteRepository.findByUrl(startUrl);
-            if (site != null) {
-                logger.info("Найден существующий SiteEntity с ID: {}", site.getId());
-                pageRepository.deleteBySite(site);
-                logger.info("Удалены все PsgeEntity для SiteEntity с ID: {}", site.getId());
-                siteRepository.delete(site);
-                logger.info("Удален SiteEntity с ID: {}", site.getId());
-            }
-
-            // Создаем новую запись в таблице site со статусом INDEXING
-            site = new SiteEntity();
-            site.setName(siteName);
-            site.setUrl(startUrl);
-            site.setStatus(StatusType.INDEXING);
-            site.setStatus_time(LocalDateTime.now());
-            site = siteRepository.save(site); // Сохраняем и обновляем объект
-
-            logger.info("Создана новая запись в таблице site с ID: {}", site.getId());
-
-            Link rootLink = new Link(startUri, null); // Создаем корневой Link
-            allLinks.add(rootLink); // Добавляем корневую ссылку во множество всех ссылок
-            parse(rootLink, site, visitedLinks, allLinks); // Запуск парсинга
-
-            // Обновляем статус сайта на INDEXED
-            site.setStatus(StatusType.INDEXED);
-            site.setStatus_time(LocalDateTime.now());
-            siteRepository.save(site);
-
-            logger.info("Статус сайта обновлен на INDEXED с ID: {}", site.getId());
-        } catch (URISyntaxException e) {
-            logger.error("Некорректный URL: {}", startUrl, e);
-            handleIndexingError(startUrl, "Некорректный URL: " + startUrl);
-        } catch (InterruptedException e) {
-            logger.error("Индексация была прервана: {}", e.getMessage(), e);
-            handleIndexingError(startUrl, "Индексация была прервана: " + e.getMessage());
-        } catch (Exception e) {
-            logger.error("Произошла ошибка при индексации: {}", e.getMessage(), e);
-            handleIndexingError(startUrl, "Произошла ошибка при индексации: " + e.getMessage());
-        } finally {
-            indexingIsRunning = false;
-            logger.info("=== Индексация завершена ===");
-            logger.info("Всего страниц проиндексировано: {}", visitedLinks.size());
-        }
-    }
-
-    private void parse(Link link, SiteEntity site, Set<URI> visitedLinks, Set<Link> allLinks) throws InterruptedException {
-        // Добавляем текущий URL в visitedLinks до начала обработки
-        if (!visitedLinks.add(link.uri())) {
-            logger.debug("URL уже был обработан: {}", link.uri());
-            return; // Если URL уже был обработан, выходим
-        }
-
-        // Обновляем время статуса
-        site.setStatus_time(LocalDateTime.now());
-        siteRepository.save(site);
-
-        // Задержка для соблюдения правил robots.txt
-        try {
-            Thread.sleep((long) (50 + (Math.random() * 150)));
-        } catch (InterruptedException e) {
-            logger.error("Парсинг был прерван: {}", e.getMessage(), e);
-            Thread.currentThread().interrupt();
-            throw new RuntimeException("Парсинг был прерван: " + e.getMessage(), e);
-        }
-
-        logger.info("Парсим страницу: {}", link.uri());
-
-        // Добавляем дочерние ссылки
-        try {
-            addChildLinks(link, site, visitedLinks, allLinks);
-        } catch (Exception e) {
-            logger.error("Ошибка при добавлении дочерних ссылок для {}: {}", link.uri(), e.getMessage(), e);
-            throw e; // Пробрасываем исключение дальше
-        }
-
-        // Рекурсивно обрабатываем дочерние ссылки
-        for (Link child : new HashSet<>(allLinks)) { // Создаем копию множества для итерации
-            if (!visitedLinks.contains(child.uri())) {
-                try {
-                    parse(child, site, visitedLinks, allLinks);
-                } catch (InterruptedException e) {
-                    logger.error("Парсинг был прерван: {}", e.getMessage(), e);
-                    Thread.currentThread().interrupt();
-                    throw new RuntimeException("Парсинг был прерван: " + e.getMessage(), e);
-                } catch (Exception e) {
-                    logger.error("Произошла ошибка при парсинге {}: {}", child.uri(), e.getMessage(), e);
-                }
-            }
-        }
-    }
-
-    private void addChildLinks(Link link, SiteEntity site, Set<URI> visitedLinks, Set<Link> allLinks) {
-        try {
-            logger.debug("Пытаемся получить страницу: {}", link.uri());
-            Document document = Jsoup.connect(link.uri().toString())
-                    .userAgent("Mozilla/5.0")
-                    .referrer("https://www.google.com")
-                    .get();
-            logger.debug("Страница успешно получена: {}", link.uri());
-
-            // Проверяем, что site не равен null
-            if (site == null) {
-                throw new IllegalStateException("SiteEntity не может быть null");
-            }
-
-            // Получаем путь
-            String path = link.uri().getPath();
-            if (path == null || path.isEmpty()) {
-                path = "/"; // Устанавливаем корневой путь, если он пустой
-            }
-            PageEntity existingPage = pageRepository.findBySiteAndPath(site, path);
-            if (existingPage == null) {
-                // Сохраняем страницу в базу данных
-                PageEntity page = new PageEntity();
-                page.setSite(site); // Устанавливаем связь с SiteEntity
-                page.setPath(path);
-                page.setCode(document.connection().response().statusCode());
-                page.setContent(document.outerHtml());
-                pageRepository.save(page);
-                logger.info("Сохранена страница: {}", link.uri());
-            } else {
-                logger.warn("Страница уже существует: {}", link.uri());
-            }
-
-            document.select("a[href]").forEach(element -> {
-                String hrefStr = element.attr("href").strip();
-                try {
-                    // Кодируем URL перед созданием объекта URI
-                    String encodedHrefStr = URLEncoder.encode(hrefStr, StandardCharsets.UTF_8)
-                            .replaceAll("%3A", ":")
-                            .replaceAll("%2F", "/");
-                    URI href = URI.create(encodedHrefStr);
-
-                    if (!href.isAbsolute()) {
-                        href = link.uri().resolve(href);
-                    }
-                    href = normalizeUri(href);
-
-                    // Проверяем, что ссылка корректна
-                    if (isCorrectUrl(link.uri(), href, visitedLinks)) {
-                        Link childLink = new Link(href, link);
-                        allLinks.add(childLink); // Добавляем дочернюю ссылку в список всех ссылок
-                        logger.debug("Добавлена дочерняя ссылка: {}", childLink.uri());
-                    }
-                } catch (Exception e) {
-                    logger.warn("Некорректная ссылка: {}", hrefStr, e);
-                }
-            });
-        } catch (HttpStatusException e) {
-            logger.warn("HTTP ошибка при добавлении дочерних ссылок: Status={}, URL={}", e.getStatusCode(), e.getUrl());
-        } catch (DataIntegrityViolationException e) {
-            logger.error("Ошибка целостности данных при сохранении страницы: {}", e.getMessage());
-            throw e; // Пробрасываем исключение дальше
-        } catch (Exception e) {
-            logger.error("Ошибка при добавлении дочерних ссылок: {}", e.getMessage(), e);
-            throw new RuntimeException("Ошибка при добавлении дочерних ссылок", e);
-        }
-    }
-
-    private URI normalizeUri(URI href) {
-        try {
-            String path = href.getPath();
-            if (path == null || path.isEmpty()) {
-                path = "/"; // Устанавливаем корневой путь, если он пустой
-            } else {
-                path = path.replaceAll("/+$", "");
-                if (path.isEmpty()) {
-                    path = "/";
-                }
-            }
-            return new URI(
-                    href.getScheme(),
-                    href.getAuthority(),
-                    path,
-                    null,
-                    href.getFragment()
-            );
-        } catch (URISyntaxException e) {
-            logger.warn("Некорректный URL: {}", href, e);
-            return href;
-        }
-    }
-
-    private boolean isCorrectUrl(URI baseUri, URI href, Set<URI> visitedLinks) {
-        // Проверка на некорректные протоколы
-        String hrefStr = href.toString();
-        if (hrefStr.startsWith("javascript:") || hrefStr.startsWith("mailto:") || hrefStr.startsWith("tel:")) {
-            logger.debug("Некорректный протокол: {}", hrefStr);
-            return false;
-        }
-
-        // Проверка на принадлежность тому же домену
-        if (href.getHost() == null || !href.getHost().equals(baseUri.getHost())) {
-            logger.debug("Ссылка не принадлежит тому же домену: {}", hrefStr);
-            return false;
-        }
-
-        // Проверка на файлы и якоря
-        Pattern patternNotFile = Pattern.compile("(\\S+(\\.(?i)(jpg|png|gif|bmp|pdf|php|doc|docx|rar))$)");
-        Pattern patternNotAnchor = Pattern.compile("#([\\w\\-]+)?$");
-        if (href.isOpaque() || patternNotFile.matcher(hrefStr).find() || patternNotAnchor.matcher(hrefStr).find()) {
-            logger.debug("Ссылка на файл или якорь: {}", hrefStr);
-            return false;
-        }
-
-        // Проверка на уже посещенные ссылки
-        return !visitedLinks.contains(href);
-    }
-
-    private void handleIndexingError(String startUrl, String errorMessage) {
-        SiteEntity site = siteRepository.findByUrl(startUrl);
-        if (site != null) {
-            site.setStatus(StatusType.FAILED);
-            site.setLast_error(errorMessage);
-            site.setStatus_time(LocalDateTime.now());
-            siteRepository.save(site);
-            logger.error("Ошибка индексации для сайта {}: {}", startUrl, errorMessage);
-        } else {
-            logger.error("Не удалось найти SiteEntity для URL: {}", startUrl);
-        }
-        logger.error(errorMessage);
     }
 }

src/main/resources/application.yaml

@@ -16,11 +16,9 @@ spring:
 
 indexing-settings:
   sites:
-    - url: https://wiki.kuksa.dev
+    - url: https://www.lenta.ru
-      name: Wiki Kuksa.Dev
+      name: Лента.ру
-    - url: https://www.autelrobotics.com
-      name: Autel Robotics
     - url: https://www.skillbox.ru
       name: Skillbox
-#    - url: https://www.playback.ru
+    - url: https://www.playback.ru
-#      name: PlayBack.Ru
+      name: PlayBack.Ru