С каждым годом ИИ всё активнее внедряется в разработку программного обеспечения. Он помогает генерировать код, автодополнять функции, даже выступать в роли агентных IDE. Но возникает важный вопрос: можно ли доверить LLM полноценный code review, способный выявлять ошибки, стилистические и архитектурные недочёты в реальных проектах?

Цель эксперимента

Я решил протестировать несколько моделей, доступных через облачную платформу Ollama Cloud, на задачах анализа Pull Request (PR) в легаси-проекте на Python. Для эксперимента были выбраны три модели:

• Qwen 3.5 — современная крупная модель с улучшенной генерацией кода.
• GPT-OSS — открытая LLM с расширенными возможностями автодополнения и объяснения кода.
• DeepSeek v3.1 — специализированная модель, ориентированная на поиск ошибок и улучшение стиля кода.

Методика проверки

Для тестирования я выбрал реальные PR, содержащие:

• Логические ошибки и баги;
• Нарушение PEP8 и внутренних стайлгайдов проекта;
• Устаревшие конструкции и потенциально опасные паттерны;
• Неоптимальные алгоритмы и дублирование кода.

Каждую модель я подключал через Ollama Cloud и давал одинаковый запрос: проанализировать PR, выявить проблемы и предложить улучшения. Результаты фиксировались для сравнительного анализа.

Результаты по моделям

Qwen 3.5

Эта модель показала высокую точность в выявлении синтаксических и логических ошибок. Она корректно отметила дублирование функций и предложила оптимизацию циклов, что позволило сократить время выполнения на 15–20% в тестовом модуле. Недостаток: иногда рекомендовала слишком радикальные изменения архитектуры, что может быть рискованно для стабильного легаси.

GPT-OSS

Модель оказалась сильна в выявлении стилевых нарушений и несоответствий PEP8. Она могла объединять комментарии кода, правильно распознавая docstrings, и предлагать исправления для повышения читаемости. В логических ошибках уступала Qwen 3.5, но давала полезные советы по рефакторингу и документации.

DeepSeek v3.1

Специализация модели на поиске ошибок дала лучший результат в анализе сложной бизнес-логики. Она успешно выявляла скрытые баги и потенциальные проблемы безопасности, но была медленнее в обработке больших PR и иногда рекомендовала избыточные исправления для простого кода.

Общие выводы

• ИИ-модели могут эффективно выступать в роли ассистента code review, ускоряя проверку кода и снижая вероятность упущения ошибок.
• Оптимальная стратегия — комбинированное использование моделей: одна фокусируется на логике и багфиксах, другая — на стиле и документации.
• Модели лучше работают на ограниченном контексте PR, большие изменения требуют разбивки на части.
• Полностью доверять ИИ без проверки человеком пока нельзя — возможны неверные рекомендации, особенно касающиеся архитектуры и оптимизации критических модулей.

Практические рекомендации

1. Настройте workflow, где ИИ генерирует первые комментарии по PR.

2. Используйте результаты как черновик для human review, особенно для критичных участков.

3. Интегрируйте модели в CI/CD для автоматической проверки синтаксиса, стиля и потенциальных багов.

4. Периодически обновляйте модели и данные обучения, чтобы учитывать новые паттерны и стандарты вашего проекта.

Заключение

Тест показал, что облачные модели Ollama имеют реальный потенциал для автоматизации code review. Они ускоряют анализ кода, уменьшают человеческий фактор и помогают поддерживать качество легаси-проектов. Однако полностью заменять разработчиков на данном этапе не стоит — ИИ лучше работает как ассистент, дающий рекомендации, которые проверяет человек.