init, .gitignore
This commit is contained in:
@@ -0,0 +1,16 @@
|
||||
FROM python:3.11-slim
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
# Установка зависимостей
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt
|
||||
|
||||
# Копирование кода
|
||||
COPY config.py .
|
||||
COPY utils.py .
|
||||
COPY handlers.py .
|
||||
COPY main.py .
|
||||
|
||||
# Запуск бота
|
||||
CMD ["python", "-u", "main.py"]
|
||||
@@ -0,0 +1,26 @@
|
||||
import os
|
||||
from dotenv import load_dotenv
|
||||
|
||||
load_dotenv()
|
||||
|
||||
# Telegram
|
||||
BOT_TOKEN = os.getenv('LESSONS_BOT_TOKEN')
|
||||
|
||||
# n8n
|
||||
N8N_WEBHOOK_URL = os.getenv('N8N_WEBHOOK_URL', 'http://n8n:5678/webhook/homework-check')
|
||||
N8N_SECRET = os.getenv('N8N_SECRET', 'your-secret-token-here')
|
||||
|
||||
# WaterCrawl API
|
||||
WATERCRAWL_API_URL = os.getenv('WATERCRAWL_API_URL', 'http://app:9000/api')
|
||||
|
||||
# PHPSESSID Bot
|
||||
PHPSESSID_BOT_URL = os.getenv('PHPSESSID_BOT_URL', 'http://phpsessid-bot:5000')
|
||||
|
||||
# EDU site
|
||||
EDU_HOST = os.getenv('EDU_HOST', 'edu.edu.vn.ua')
|
||||
EDU_WEBINAR_URL = f'https://{EDU_HOST}/webinar/useractive'
|
||||
|
||||
# Playwright
|
||||
PLAYWRIGHT_SERVER = os.getenv('PLAYWRIGHT_SERVER', 'http://playwright:8000')
|
||||
PLAYWRIGHT_API_KEY = os.getenv('PLAYWRIGHT_API_KEY', 'your-secret-api-key')
|
||||
WEBINAR_WAIT_TIME = int(os.getenv('WEBINAR_WAIT_TIME', '3')) # Секунды ожидания загрузки
|
||||
@@ -0,0 +1,131 @@
|
||||
import logging
|
||||
import requests
|
||||
from telegram import Update
|
||||
from telegram.ext import ContextTypes
|
||||
import config
|
||||
from utils import fetch_webinars, format_webinar_message
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
async def start(update: Update, context: ContextTypes.DEFAULT_TYPE):
|
||||
"""Команда /start"""
|
||||
welcome_message = """
|
||||
Привет! Я бот для проверки домашних заданий и вебинаров.
|
||||
|
||||
<b>Команды:</b>
|
||||
/check - Проверить несделанные уроки
|
||||
/webinar - Проверить активные онлайн уроки
|
||||
/help - Помощь
|
||||
"""
|
||||
await update.message.reply_text(welcome_message, parse_mode='HTML')
|
||||
|
||||
|
||||
async def help_command(update: Update, context: ContextTypes.DEFAULT_TYPE):
|
||||
"""Команда /help"""
|
||||
help_text = """
|
||||
<b>Как пользоваться ботом:</b>
|
||||
|
||||
<b>/check</b> - Проверка домашних заданий
|
||||
- Поиск несделанных уроков
|
||||
|
||||
⏱ Проверка занимает 10-30 секунд
|
||||
|
||||
<b>/webinar</b> - Активные онлайн уроки
|
||||
- Проверка активных вебинаровв
|
||||
⏱ Проверка занимает 3-5 секунд
|
||||
"""
|
||||
await update.message.reply_text(help_text, parse_mode='HTML')
|
||||
|
||||
|
||||
async def check_homework(update: Update, context: ContextTypes.DEFAULT_TYPE):
|
||||
"""Команда /check - запускает проверку уроков"""
|
||||
chat_id = update.effective_chat.id
|
||||
user_id = update.effective_user.id
|
||||
username = update.effective_user.username or "unknown"
|
||||
|
||||
# Отправляем уведомление что начали работу
|
||||
status_message = await update.message.reply_text("Запускаю проверку уроков...")
|
||||
|
||||
# Формируем данные для n8n
|
||||
payload = {
|
||||
"chat_id": chat_id,
|
||||
"user_id": user_id,
|
||||
"username": username,
|
||||
"timestamp": update.message.date.isoformat()
|
||||
}
|
||||
|
||||
headers = {
|
||||
"Authorization": f"Bearer {config.N8N_SECRET}",
|
||||
"Content-Type": "application/json"
|
||||
}
|
||||
|
||||
try:
|
||||
logger.info(f"Sending request to n8n for user {user_id}")
|
||||
|
||||
# Отправляем запрос в n8n
|
||||
response = requests.post(
|
||||
config.N8N_WEBHOOK_URL,
|
||||
json=payload,
|
||||
headers=headers,
|
||||
timeout=5 # Короткий таймаут т.к. это асинхронный запрос
|
||||
)
|
||||
|
||||
if response.status_code == 200:
|
||||
await status_message.edit_text(
|
||||
"✅ Запрос принят!\n"
|
||||
"🔄 Парсинг сайта и анализ данных...\n"
|
||||
"⏱ Это займет 10-30 секунд"
|
||||
)
|
||||
logger.info(f"Request accepted for user {user_id}")
|
||||
else:
|
||||
await status_message.edit_text(
|
||||
f"Ошибка при отправке запроса. Функция в разработке\n"
|
||||
f"Код: {response.status_code}"
|
||||
)
|
||||
logger.error(f"n8n returned status {response.status_code}")
|
||||
|
||||
except requests.Timeout:
|
||||
await status_message.edit_text("⏱ Запрос обрабатывается (таймаут соединения)")
|
||||
logger.warning(f"Timeout for user {user_id}")
|
||||
except Exception as e:
|
||||
await status_message.edit_text(f"❌ Ошибка: {str(e)}")
|
||||
logger.error(f"Error for user {user_id}: {e}", exc_info=True)
|
||||
|
||||
|
||||
async def check_webinar(update: Update, context: ContextTypes.DEFAULT_TYPE):
|
||||
"""Команда /webinar - проверяет активные онлайн уроки"""
|
||||
user_id = update.effective_user.id
|
||||
|
||||
# Отправляем уведомление что начали работу
|
||||
status_message = await update.message.reply_text("Проверяю активные вебинары...")
|
||||
|
||||
try:
|
||||
logger.info(f"Checking webinars for user {user_id}")
|
||||
|
||||
# Получаем список вебинаров
|
||||
webinars = fetch_webinars()
|
||||
|
||||
if webinars is None:
|
||||
await status_message.edit_text(
|
||||
"❌ Не удалось получить информацию о вебинарах\n"
|
||||
"Попробуйте позже или обратитесь к администратору\n"
|
||||
"|@MrForust|mr.forust| Либо же прямо сюда."
|
||||
)
|
||||
logger.error(f"Failed to fetch webinars for user {user_id}")
|
||||
return
|
||||
|
||||
# Форматируем и отправляем результат
|
||||
message = format_webinar_message(webinars)
|
||||
await status_message.edit_text(message, parse_mode='HTML', disable_web_page_preview=True)
|
||||
|
||||
logger.info(f"Webinar check completed for user {user_id}: found {len(webinars)} webinars")
|
||||
|
||||
except Exception as e:
|
||||
await status_message.edit_text(f"❌ Ошибка: {str(e)}")
|
||||
logger.error(f"Error checking webinars for user {user_id}: {e}", exc_info=True)
|
||||
|
||||
|
||||
async def error_handler(update: Update, context: ContextTypes.DEFAULT_TYPE):
|
||||
"""Обработчик ошибок"""
|
||||
logger.error(f"Update {update} caused error {context.error}", exc_info=context.error)
|
||||
@@ -0,0 +1,42 @@
|
||||
import logging
|
||||
from telegram import Update
|
||||
from telegram.ext import Application, CommandHandler
|
||||
import config
|
||||
from handlers import start, help_command, check_homework, check_webinar, error_handler
|
||||
|
||||
# Настройка логирования
|
||||
logging.basicConfig(
|
||||
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
|
||||
level=logging.INFO
|
||||
)
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
def main():
|
||||
"""Запуск бота"""
|
||||
if not config.BOT_TOKEN:
|
||||
logger.error("LESSONS_BOT_TOKEN not set!")
|
||||
return
|
||||
|
||||
# Создаем приложение
|
||||
application = Application.builder().token(config.BOT_TOKEN).build()
|
||||
|
||||
# Регистрируем обработчики команд
|
||||
application.add_handler(CommandHandler("start", start))
|
||||
application.add_handler(CommandHandler("help", help_command))
|
||||
application.add_handler(CommandHandler("check", check_homework))
|
||||
application.add_handler(CommandHandler("webinar", check_webinar))
|
||||
|
||||
# Регистрируем обработчик ошибок
|
||||
application.add_error_handler(error_handler)
|
||||
|
||||
# Запускаем бота
|
||||
logger.info("Lessons Bot started!")
|
||||
logger.info(f"PHPSESSID Bot URL: {config.PHPSESSID_BOT_URL}")
|
||||
logger.info(f"n8n Webhook URL: {config.N8N_WEBHOOK_URL}")
|
||||
|
||||
application.run_polling(allowed_updates=Update.ALL_TYPES)
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,5 @@
|
||||
python-telegram-bot==20.7
|
||||
requests==2.31.0
|
||||
beautifulsoup4==4.12.2
|
||||
python-dotenv==1.0.0
|
||||
lxml==4.9.3
|
||||
@@ -0,0 +1,258 @@
|
||||
import logging
|
||||
import requests
|
||||
from bs4 import BeautifulSoup
|
||||
from typing import Optional, Dict, List
|
||||
import config
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
def get_phpsessid() -> Optional[str]:
|
||||
"""
|
||||
Получает валидный PHPSESSID через phpsessid-bot
|
||||
|
||||
Returns:
|
||||
str: PHPSESSID или None в случае ошибки
|
||||
"""
|
||||
try:
|
||||
url = f"{config.PHPSESSID_BOT_URL}/get-session"
|
||||
logger.info(f"Requesting PHPSESSID from {url}")
|
||||
|
||||
response = requests.post(url, timeout=10)
|
||||
|
||||
if response.status_code == 200:
|
||||
data = response.json()
|
||||
if data.get('success'):
|
||||
phpsessid = data.get('phpsessid')
|
||||
logger.info(f"Got PHPSESSID: {phpsessid[:10]}...")
|
||||
return phpsessid
|
||||
else:
|
||||
logger.error(f"Failed to get PHPSESSID: {data.get('error')}")
|
||||
return None
|
||||
else:
|
||||
logger.error(f"PHPSESSID bot returned status {response.status_code}")
|
||||
return None
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Error getting PHPSESSID: {e}", exc_info=True)
|
||||
return None
|
||||
|
||||
|
||||
def parse_webinar_table(html_content: str) -> List[Dict[str, str]]:
|
||||
"""
|
||||
Парсит таблицу с вебинарами
|
||||
|
||||
Args:
|
||||
html_content: HTML контент страницы
|
||||
|
||||
Returns:
|
||||
List[Dict]: Список вебинаров или пустой список
|
||||
"""
|
||||
try:
|
||||
soup = BeautifulSoup(html_content, 'html.parser')
|
||||
|
||||
# Находим таблицу с вебинарами
|
||||
meetings_div = soup.find('div', {'id': 'meetings'})
|
||||
if not meetings_div:
|
||||
logger.warning("meetings div not found")
|
||||
return []
|
||||
|
||||
table = meetings_div.find('table', {'class': 'table table-zebra'})
|
||||
if not table:
|
||||
logger.warning("table not found")
|
||||
return []
|
||||
|
||||
tbody = table.find('tbody')
|
||||
if not tbody:
|
||||
logger.warning("tbody not found")
|
||||
return []
|
||||
|
||||
rows = tbody.find_all('tr')
|
||||
if not rows:
|
||||
return []
|
||||
|
||||
# Проверяем на сообщение "Жодного онлайн уроку зараз"
|
||||
first_row = rows[0]
|
||||
td = first_row.find('td')
|
||||
if td and 'Жодного онлайн уроку зараз' in td.get_text(strip=True):
|
||||
logger.info("No webinars available")
|
||||
return []
|
||||
|
||||
# Парсим активные вебинары
|
||||
webinars = []
|
||||
for row in rows:
|
||||
tds = row.find_all('td')
|
||||
if len(tds) >= 4:
|
||||
webinar = {
|
||||
'topic': tds[0].get_text(strip=True),
|
||||
'course': tds[1].get_text(strip=True),
|
||||
'teacher': tds[2].get_text(strip=True),
|
||||
'join_link': tds[3].find('a')['href'] if tds[3].find('a') else ''
|
||||
}
|
||||
webinars.append(webinar)
|
||||
|
||||
logger.info(f"Parsed {len(webinars)} webinars")
|
||||
return webinars
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Error parsing webinar table: {e}", exc_info=True)
|
||||
return []
|
||||
|
||||
|
||||
def fetch_webinars_with_playwright() -> Optional[List[Dict[str, str]]]:
|
||||
"""
|
||||
Получает список активных вебинаров используя Playwright для динамического контента
|
||||
|
||||
Returns:
|
||||
List[Dict]: Список вебинаров или None в случае ошибки
|
||||
"""
|
||||
# Получаем PHPSESSID
|
||||
phpsessid = get_phpsessid()
|
||||
if not phpsessid:
|
||||
logger.error("Failed to get PHPSESSID")
|
||||
return None
|
||||
|
||||
try:
|
||||
# Подготавливаем cookies для Playwright
|
||||
cookies = [
|
||||
{
|
||||
'name': 'PHPSESSID',
|
||||
'value': phpsessid,
|
||||
'domain': config.EDU_HOST,
|
||||
'path': '/'
|
||||
}
|
||||
]
|
||||
|
||||
# Запрос к Playwright серверу
|
||||
playwright_request = {
|
||||
'url': config.EDU_WEBINAR_URL,
|
||||
'cookies': cookies,
|
||||
'wait_until': 'networkidle', # Ждем пока сеть успокоится
|
||||
'wait_time': config.WEBINAR_WAIT_TIME * 1000, # Дополнительное ожидание в миллисекундах
|
||||
'user_agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36'
|
||||
}
|
||||
|
||||
headers = {
|
||||
'Authorization': f'Bearer {config.PLAYWRIGHT_API_KEY}',
|
||||
'Content-Type': 'application/json'
|
||||
}
|
||||
|
||||
logger.info(f"Fetching webinars via Playwright from {config.EDU_WEBINAR_URL}")
|
||||
logger.info(f"Will wait {config.WEBINAR_WAIT_TIME} seconds for dynamic content")
|
||||
|
||||
response = requests.post(
|
||||
f"{config.PLAYWRIGHT_SERVER}/render",
|
||||
json=playwright_request,
|
||||
headers=headers,
|
||||
timeout=30
|
||||
)
|
||||
|
||||
if response.status_code != 200:
|
||||
logger.error(f"Playwright server returned status {response.status_code}")
|
||||
logger.error(f"Response: {response.text}")
|
||||
return None
|
||||
|
||||
result = response.json()
|
||||
html_content = result.get('html', '')
|
||||
|
||||
if not html_content:
|
||||
logger.error("No HTML content in Playwright response")
|
||||
return None
|
||||
|
||||
# Парсим таблицу
|
||||
webinars = parse_webinar_table(html_content)
|
||||
return webinars
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Error fetching webinars via Playwright: {e}", exc_info=True)
|
||||
return None
|
||||
|
||||
|
||||
def fetch_webinars() -> Optional[List[Dict[str, str]]]:
|
||||
"""
|
||||
Получает список активных вебинаров
|
||||
Сначала пробует через Playwright (для динамического контента),
|
||||
при неудаче - через обычный requests
|
||||
|
||||
Returns:
|
||||
List[Dict]: Список вебинаров или None в случае ошибки
|
||||
"""
|
||||
# Пробуем через Playwright
|
||||
logger.info("Attempting to fetch via Playwright for dynamic content")
|
||||
webinars = fetch_webinars_with_playwright()
|
||||
|
||||
if webinars is not None:
|
||||
return webinars
|
||||
|
||||
# Fallback на обычный requests
|
||||
logger.warning("Playwright fetch failed, falling back to simple requests")
|
||||
|
||||
# Получаем PHPSESSID
|
||||
phpsessid = get_phpsessid()
|
||||
if not phpsessid:
|
||||
logger.error("Failed to get PHPSESSID")
|
||||
return None
|
||||
|
||||
# Запрашиваем страницу с вебинарами
|
||||
try:
|
||||
headers = {
|
||||
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36',
|
||||
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
|
||||
'Accept-Language': 'ru-RU,ru;q=0.9,uk;q=0.8',
|
||||
'Referer': f'https://{config.EDU_HOST}/'
|
||||
}
|
||||
|
||||
cookies = {
|
||||
'PHPSESSID': phpsessid
|
||||
}
|
||||
|
||||
logger.info(f"Fetching webinars from {config.EDU_WEBINAR_URL}")
|
||||
response = requests.get(
|
||||
config.EDU_WEBINAR_URL,
|
||||
headers=headers,
|
||||
cookies=cookies,
|
||||
timeout=15
|
||||
)
|
||||
|
||||
if response.status_code != 200:
|
||||
logger.error(f"Failed to fetch webinars page: {response.status_code}")
|
||||
return None
|
||||
|
||||
# Парсим таблицу
|
||||
webinars = parse_webinar_table(response.text)
|
||||
return webinars
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Error fetching webinars: {e}", exc_info=True)
|
||||
return None
|
||||
|
||||
|
||||
def format_webinar_message(webinars: List[Dict[str, str]]) -> str:
|
||||
"""
|
||||
Форматирует список вебинаров для отправки в Telegram
|
||||
|
||||
Args:
|
||||
webinars: Список вебинаров
|
||||
|
||||
Returns:
|
||||
str: Отформатированное сообщение
|
||||
"""
|
||||
if not webinars:
|
||||
return "📭 Жодного онлайн уроку зараз"
|
||||
|
||||
message = "🎓 <b>Активні онлайн уроки:</b>\n\n"
|
||||
|
||||
for i, webinar in enumerate(webinars, 1):
|
||||
message += f"<b>{i}. {webinar['topic']}</b>\n"
|
||||
message += f"📚 Курс: {webinar['course']}\n"
|
||||
message += f"👨🏫 Вчитель: {webinar['teacher']}\n"
|
||||
|
||||
if webinar['join_link']:
|
||||
full_link = webinar['join_link']
|
||||
if not full_link.startswith('http'):
|
||||
full_link = f"https://{config.EDU_HOST}{webinar['join_link']}"
|
||||
message += f"🔗 <a href='{full_link}'>Увійти до уроку</a>\n"
|
||||
|
||||
message += "\n"
|
||||
|
||||
return message
|
||||
Reference in New Issue
Block a user