Голышев Георгий : другие произведения.

Комментарии: "Эвристическая машина" и авторство "Тихого Дона"
 (Оценка:8.50*4,)

Самиздат: [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Обзоры] [Помощь|Техвопросы]
  • © Copyright Голышев Георгий
  • Размещен: 21/05/2019, изменен: 21/05/2019. 15k. Статистика.
  • Статья: Литобзор
  • Аннотация:
    Продолжение http://samlib.ru/editors/g/golyshew_g/kru_sho.shtml Я старался описать модельку максимально просто и доходчиво, без математики, без ссылок на коды и без цифровых результатов. Если кому интересно - пишите, все это есть, все в доступе, все открыто
    		• ОБСУЖДЕНИЯ: Литобзор (последние)
    00:48 B "Бесплатная рецензия на платное " (1)
    23:13 Давыдов С.А. "То, что я читаю и смотрю" (926/2)
    20:15 Калинин А.А. "Алые Паруса Поэтики" (17/12)
    17:53 Путеводитель "Помогите найти!" (251/1)
    Добавить комментарий Отсортировано по:[убыванию][возрастанию]
    ОБЩИЕ ГОСТЕВЫЕ:
    08:28 "Диалоги о Творчестве" (248/7)
    08:27 "Форум: все за 12 часов" (289/101)
    23:48 "Форум: Трибуна люду" (968/20)
    23:18 "Технические вопросы "Самиздата"" (227/4)
    25/11 "Форум: Литературные объявления" (666)
    25/11 "О блокировании "Самиздата"" (294)
    ОБСУЖДЕНИЯ: (все обсуждения) (последние)
    10:47 Кротов С.В. "Чаганов: Война. Часть 4" (273/41)
    10:46 Nazgul "Магам земли не нужны" (876/18)
    10:43 Детектив-Клуб "Арена детективов-8: Результаты " (14/5)
    10:42 Гончарова Г.Д. "Твое... величество!" (357/13)
    10:41 Карелин Р.Ф. "Законы истории не ведут к " (4/3)
    10:40 Бравый ч. "Не те пути мы выбираем..." (2/1)
    10:36 Уралов А. "Мясо "из пробирки"" (651/14)
    10:33 Ив. Н. "29 ноября" (1)
    10:28 Чернов К.Н. "Записки Империалиста Книга " (686/17)
    10:21 Николаев М.П. "Телохранители" (95/8)
    10:21 Велигжанин А.В. "Гомер. Одиссея. Песня одиннадцатая" (36/8)
    10:19 Максимова Н.С. "Как я выжил будем знать только " (1)
    10:13 Стоптанные К. "Форум журнала "Горизонт"" (37/7)
    10:09 Князев Ю. "Сонет реке Оттер" (6/1)
    10:02 Масленникова Е.С "Зачем нужен психолог?" (1)
    09:53 Фирсанова Ю.А. "Кира и К: радуга на запястье" (330/6)
    09:51 Карман В.Г. "Разделённые временем" (42/1)
    09:43 Коркханн "Угроза эволюции" (866/41)
    09:41 Никитин В. "Чего хочет Бог?" (3/1)
    09:32 Винников В.Н. "Стихи писать я не умею по " (1)

    РУЛЕТКА:
    Дикий
    Я пришла на тихий
    Книга о вкусных
    Рекомендует Ковальчук А.Ю.

    ВСЕГО В ЖУРНАЛЕ:
     Авторов: 108572
     Произведений: 1671061

    Список известности России

    СМ. ТАКЖЕ:
    Заграница.lib.ru     | Интервью СИ
    Музыка.lib.ru | Туризм.lib.ru
    Художники | Звезды Самиздата
    ArtOfWar | Okopka.ru
    Фильм про "Самиздат"
    Уровень Шума:
    Интервью про "Самиздат"

    НАШИ КОНКУРСЫ:
    Рождественский детектив-24


    28/11 ПОЗДРАВЛЯЕМ:
     Абакумова Е.Б.
     Абрашова Е.А.
     Айа Э.А.
     Афанасьев И.С.
     Бархол Е.
     Баянова Н.А.
     Белолипецкий А.В.
     Биньковская А.А.
     Богатырёв Р.
     Булгакова И.В.
     Вильгельми А.В.
     Винокур И.
     Волк А.
     Галевская Г.
     Гаркавый В.А.
     Глушин А.В.
     Глыбина В.А.
     Гришко В.Р.
     Деева А.Н.
     Дженкинс К.
     Дорошенко И.Э.
     Дэльз С.В.
     Жгутова-Полищук В.
     Жук Т.А.
     Измайлов К.И.
     Казарян К.С.
     Климарев И.В.
     Климова Л.В.
     Кобзева Е.А.
     Коломиец Е.А.
     Коскина Т.
     Ксандер В.
     Луканина Е.В.
     Макарова А.А.
     Мамедова Л.Р.
     Морозов С.В.
     Мосиенко Ю.В.
     Нино
     Орлова Я.С.
     Павлов О.А.
     Первушина Т.В.
     Першина Л.П.
     Печенкина Л.В.
     Писакова С.Э.
     Пугнин Ю.В.
     Пугнин Ю.В.
     Риш К.
     Родионов М.В.
     Ройтберг В.И.
     Романенко Г.В.
     Роуг Л.
     Свидерский С.В.
     Сереброва Э.
     Симдянкин Е.Ю.
     Сиюткина Е.В.
     Собенков Р.И.
     Сокова Н.В.
     Суворов А.М.
     Сэй А.
     Сэр С.С.
     Толстокулакова И.Г.
     Федишин В.Е.
     Храмцова А.
     Чарторыжская А.
     Черевков А.С.
     Чмелёва Л.А.
     Шах Ю.
     Ярмолинская А.Л.
     Ariashari
     Eeshka
     Nutik
     Rabbit L.
     Richmund T.
    ПОСЛЕДНИЕ ПОСТУПЛЕНИЯ: (7day) (30day) (Рассылка)
    10:30 Низовцев Ю.М. "On the necessity of a person "
    26/11 Джонстон П. "Список смерти"
    26/11 Ледовский В.А. "Силы разные..."
    26/11 Кротков А.П. "Маски-шоу Павла Воткова"
    25/11 Небов К. "Потерянный ключ от забытой "
    25/11 Пен-Пен "Я - Секретный Босс среди мобов!"
    24/11 Jackallionravenv "Омен Iv: Возбуждение"
    24/11 Бородин С.А. "Родославия"
    9. Michael 2024/10/31 18:00 [ответить]
      > 6. Голышев Георгий
      > маловато 80 на обучающей, имхо.
      
      Я забыл пояснить. 80% - это результат тренировки по отдельным предложениям (хотя скорее параграфам) из текстов. А не целиком произведений. Вероятность принадлежности целиком произведений у меня вычисляется как среднее арифметическое предсказаний по отдельным предложениям. Если проверять по произведениям, то пока что я ошибок не встретил.
      
      > Я тоже начинал с Шолохов-не Шолохов. Но так плохо работает.
      > Дело в том, что практически все писатели того времени учились и подражали Толстому, который Лев. Кто-то - тот же Крюков - это делал открыто, называя себя его учеником.
      
      Первоначально, я кстати, проверял на Толстов (Лев) не Толстой.
      
      > "Тихий Дон" это же "Анна Коренина" исходно.
      > Понятно что много общего будет по стилю, если многие пытались подражать-учиться у одного человека. Но свои особенности обязательно будут - поэтому у меня классификатор множественный, и с нечеткими классами
      > Потому что они еще и друг другу подражали. Вольно или не вольно.
      > По моей модельке, да и так, если подумать, только Платонов полностью уникален. Ну и "казацкий стиль" Крюкова, разве что только у Шолохова встречается.
      
      Может не настолько концентировано, но если поискать, казацкий стиль можно найти и у других писателях. Например, у белого генерала Петра Краснова.
      
      > Для того, чтобы вычислить "негров" во всех текстах, надо собрать как можно больше текстов. С гарантированным авторством. А это не просто.
      
      Вот эта работа уже действительно на диссертацию может потянуть
      
      > Хотя с другой стороны - а стОит ли ворошить прошлое? Тот же Фадеев, при всей его неоднозначности, и помогал, и спасал...
      
      Сложно сказать что тут этично, что нет. С одной стороны так, с другой - это тоже восстановление истории получается. У Фадеева тоже вот трагичная судьба оказалась раз он решил самоубийством покончить.
      
      
      
      > Надо чистить, иначе весь этот "мусор" войдет в обучалку. И, возможно, даст совпадения с другими текстами, где тоже есть комментарии.
      
      Комментарии и тп. разумеется надо чистить и чистил. Другое дело, что я не стал чисто технические моменты чистить, например, символы квадратных скобок в тексте и тп.
      
      > Поэтому я просто попытался тщательно очистить от всего не-авторского - и дальше все это зарядил в нейросеть. Прям как есть.
      > Вообще тут как раз творческая работа, и можно много способов придумать, как это сделать лучше и точнее.
      > Тут бы в команде с лингвистом поработать.
      
      Это да. Но даже в имеющемся виде у вас интересные находки, получается, что можно находить следы влияния каких-то других авторов. Может быть даже просто кого кто читал.
      
      > У Чернова, имхо, есть один минус: он ВЕРИТ в то, что это написал не Шолохов. И, понятное дело, находит доказательства. И объяснения - когда доказательства не работают, или работают слабо.
      
      То есть он ВЕРИТ, что вообще весь ТД - не Шолохов написал? Это довольно очевидно, что вряд ли так даже для 1-го тома. Вот что могли быть позаимствованные важные куски и подражание тому же Крюкову - на это более похоже.
      
      
      > "Тихий Дон" - 4 тома. Очень разные 4 тома. И Крюков ну никак не мог написать последние 2. И даже наверное второй - не мог. Отсюда можно говорить о плагиате первого тома - и то вряд ли. Скорее об использовании материала Крюкова при написании первого тома.
      
      Тоже так думаю.
      
      > Там даже по стилю в самой книге видно. То казацкие словечки - то строгое описание исторических событий. Глава художественная - глава документальная. В моей модели вылезло авторство Толстого, который Алексей - в это я готов поверить. Особенно в последних томах. Талантливый человек, но коньюнктурщик... Вполне возможно.
      
      Интереснейший вывод, в принципе пересекаться они могли.
      
      > Да и как к этому отностися: как к плагиату или как к авторству?
      
      Так или иначе, но ТД получился мировым шедевром. А кто там и в какой мере принял участие вряд ли мы уже когда-нибудь достоверно узнаем. Хотя может в каких-то архивах сохранилось что-нибудь.
    8. *Сокольников Лев Валентинович 2024/10/30 14:25 [ответить]
      В "хвильме" "Судьба человека" водитель полуторки сбивает корову... сбить корову полуторкой с судебным наказанием "хвантазия,
      угощение вражеским офицером пленного солдата стаканом водки (двести граммов) - вторая ложь, двести граммов на пустой желудок - и пой отходную. (четыреста граммов сорока процентного этанола), после двухсот может и оклематься,
       как враги доверили пленному возить начальника? Не было своих водителей? "Хороша брехенька да коротенька"
    7. *Сокольников Лев Валентинович 2024/10/30 14:10 [ответить]
      Уважаемые Следователи (не иначе!) низкий поклон за озарение: садишься писать своё - забудь чужие литературы, а наилучший вариант не знать, что писали шолоховы и иже с ним.
       Мнение личное, возможно, и неверное.
    6. *Голышев Георгий 2024/10/30 13:27 [ответить]
      > 5. Michael
      
      > Мне просто нейросети интересны и потихоньку их изучаю, вот сейчас дошел до текстовых моделей, учебный пример про классификацию газетного датасета (английского) по темам (Наука, публицистика и др.), получился неплохо и вспомнил про Шолохова, решил поупражняться.
      >
      > Сейчас немного улучшил сетку и добавил для проверки Крюкова "Шульгинская расправа". Сетка на входе два рекуррентных слоя LTSM, размерность скрытого слоя 256, затем 1 линейный слой для классификации. Accuracy (точность) тренированной сетки (15 эпох) составила 80.6% на тестовой части тренировочного датасета (датасет из Шолохова Поднятая целина + Судьба Человека + рассказа "Обида" + некоторые нешолоховские книги от Льва Толстого Анна Каренина до Горького). Классифицировал по принципу Шолохов/Не Шолохов.
      
      маловато 80 на обучающей, имхо.
      Я тоже начинал с Шолохов-не Шолохов. Но так плохо работает.
      Дело в том, что практически все писатели того времени учились и подражали Толстому, который Лев. Кто-то - тот же Крюков - это делал открыто, называя себя его учеником.
      "Тихий Дон" это же "Анна Коренина" исходно.
      Понятно что много общего будет по стилю, если многие пытались подражать-учиться у одного человека. Но свои особенности обязательно будут - поэтому у меня классификатор множественный, и с нечеткими классами
      Потому что они еще и друг другу подражали. Вольно или не вольно.
      По моей модельке, да и так, если подумать, только Платонов полностью уникален. Ну и "казацкий стиль" Крюкова, разве что только у Шолохова встречается.
      Но 80 на обучалке маловато, надо вытягивать.
      
      Насчет "негров": они были, и есть воспоминания, что они были.
      Но есть нюанс: были случаи, когда один писатель давал возможность заработать другому писателю, попавшему в опалу. Просто спасал его от голодной смерти. Были случаи когда таким образом продвигали молодых. Много чего было - времена были тяжелые.
      Для того, чтобы вычислить "негров" во всех текстах, надо собрать как можно больше текстов. С гарантированным авторством. А это не просто.
      Но это можно сделать, имхо, и это может быть интересно.
      И дело тут не только в Шолохове.
      Хотя с другой стороны - а стОит ли ворошить прошлое? Тот же Фадеев, при всей его неоднозначности, и помогал, и спасал...
      
      > Я, можно сказать, схалявил. Особо тексты не чистил. Убирал только издательские предисловия и послесловия, а также комментарии. Даже квадратные скобки со сносками не убрал :) Цель с самого начала была поучиться нейросеткам, это уже по ходу дела сильнее заинтересовала литературная история (хотя и про Шолохова давно помнил), стал копать, что вообще в сети есть на эту тему, нашел вот ваше исследование.
      
      Надо чистить, иначе весь этот "мусор" войдет в обучалку. И, возможно, даст совпадения с другими текстами, где тоже есть комментарии.
      Вообще, когда я это делал, а это уже давно было, у меня была идея по каждому тексту сделать лингво-анализ, ну так, вчерне. Просто тогда внятной библиотеки по русскому не было.
      Потом я подумал: но ведь писатели отличаются именно использованием слов и выражений, эмоциональными окрасками своих текстов. А это как раз то, что текстовой анализ срежет. Даже если стоп-слова убрать - пропадет эмоциональная окраска.
      Поэтому я просто попытался тщательно очистить от всего не-авторского - и дальше все это зарядил в нейросеть. Прям как есть.
      Вообще тут как раз творческая работа, и можно много способов придумать, как это сделать лучше и точнее.
      Тут бы в команде с лингвистом поработать.
      
      
      
      > Возвращаясь к Шолохову, на мой взглял, и учитывая ваше исследование и собственные результаты, нельзя сказать, что Тихий Дон он целиком сплагиатил. Но очень похоже, что таки использовал при этом какие-то материалы из Федора Крюкова. Буквально сегодня прочитал исследование А.Ю.Чернова "Запрещенный классик" про Крюкова и заимствования Шолохова из него. https://fedor-krjukov.narod.ru/o_KRJUKOVE/Chernov_o_KRJUKOVE.htm - там у Шолохова нашли местами очень большие совпадения, можно сказать почти цитирования.
      
      Я как раз с подачи Чернова это все делал. Разговорились с ним через Сеть, ну и...
      У Чернова, имхо, есть один минус: он ВЕРИТ в то, что это написал не Шолохов. И, понятное дело, находит доказательства. И объяснения - когда доказательства не работают, или работают слабо.
      Он не беспристрастен - это минус.
      Подогнать модель под его мнение не сложно. Как впрочем и под любое другое.
      
      "Тихий Дон" - 4 тома. Очень разные 4 тома. И Крюков ну никак не мог написать последние 2. И даже наверное второй - не мог. Отсюда можно говорить о плагиате первого тома - и то вряд ли. Скорее об использовании материала Крюкова при написании первого тома.
      О "краже" идеи - тоже наверное можно говорить.
      "Тихий Дон" в то время было политическим произведением. Много чего от него ожидали власти - и требовали продолжения. Это тоже задокументировано. И "помощь" Шолохову при написании продолжения от других, самых разных писателей - тоже задокументирована. Ну не тянул человек на уровне первого тома! Но Крюков там уже сильно вряд ли был. Другие - да, практически точно были.
      Там даже по стилю в самой книге видно. То казацкие словечки - то строгое описание исторических событий. Глава художественная - глава документальная. В моей модели вылезло авторство Толстого, который Алексей - в это я готов поверить. Особенно в последних томах. Талантливый человек, но коньюнктурщик... Вполне возможно.
      Куча народу это редактировало, критиковало, обсуждало - делали литературную сталинскую витрину. По указанию властей. Как же там не быть авторства не-Шолохова?
      Сдругой стороны сторонник авторства Шолохова может сказать: "да, ему помогали, потому что очень много материала и очень большой труд. Но окончательная редактура и сводка была сделана Шолоховым".
      И вот это ни доказать ни опровергнуть.
      Да и как к этому отностися: как к плагиату или как к авторству?
    5. Michael 2024/10/29 00:42 [ответить]
      > 4. Голышев Георгий
      > Я собственно еще туда полез и потому, что мне вообщем все равно: Шолохов автор или нет. То есть у меня ни предубеждений нет, ни мотивации играть за ту или иную сторону.
      > Я просто написал модельку.
      > Ну и она таки раотала, ни шатко ни валко. Конечно, это не идеал, и диссер я бы по ней защищать не стал. Но на тестах - она сработала неплохо.
      
      Мне просто нейросети интересны и потихоньку их изучаю, вот сейчас дошел до текстовых моделей, учебный пример про классификацию газетного датасета (английского) по темам (Наука, публицистика и др.), получился неплохо и вспомнил про Шолохова, решил поупражняться.
      
      Сейчас немного улучшил сетку и добавил для проверки Крюкова "Шульгинская расправа". Сетка на входе два рекуррентных слоя LTSM, размерность скрытого слоя 256, затем 1 линейный слой для классификации. Accuracy (точность) тренированной сетки (15 эпох) составила 80.6% на тестовой части тренировочного датасета (датасет из Шолохова Поднятая целина + Судьба Человека + рассказа "Обида" + некоторые нешолоховские книги от Льва Толстого Анна Каренина до Горького). Классифицировал по принципу Шолохов/Не Шолохов.
      
      Результат:
      
      ТД 1-я книга - 67.3% за Шолохова
      ТД 2-я книга - 68.3%
      ТД 3-я книга - 72.5%
      ТД 4-я книга - 70.3%
      
      Шолохов "Наука ненависти" - 53.8%
      Ф.Крюков "Шульгинская расправа" - 49.8%
      
      Для сравнения чего-то явно нешолоховского взял Сергея Аксакова "Оружейная охота" - 18.2%
      
      >
      > Были там некоторые передергивания, кое-что можно объяснить, а кое-что нет.
      > Например Бабеля пришлось выкинуть вообще, он там все ломал напрочь. Но у него постоянные самоцитирования - модель переобучалась.
      > С Фадеевым: у него для обучения два крупных произведения, и одно - для теста. Так вот если тестировать на любой из обучающих (а в обучение добавить тестовое - поменять) то тоже все разваливается. И вот тут я так и не смог понять - почему. Получается, что что-то Фадеев писал не сам, и видимо "Молодую гвардию" - но это невозможно, потому что по воспоминаниям современников писал он как раз сам и очень увлеченно.
      
      Любопытно. Вообще воспоминаний про "литнегров" для известных писателей советского времени я не слышал, про "помощь" в написании мемуаров различных деятелей - да.
      
      >
      > Все остальное по-честному.
      > И выборки максимальные - по тем писателям. Писателей маловато, это да. Но уж больно тяжко тексты готовить. Тексты - из сети, а там опечатки, артефакты форматирования, сноски, примечания... И все это перелопачивать на чистом энтузиазме...
      
      Я, можно сказать, схалявил. Особо тексты не чистил. Убирал только издательские предисловия и послесловия, а также комментарии. Даже квадратные скобки со сносками не убрал :) Цель с самого начала была поучиться нейросеткам, это уже по ходу дела сильнее заинтересовала литературная история (хотя и про Шолохова давно помнил), стал копать, что вообще в сети есть на эту тему, нашел вот ваше исследование.
      
      >
      > Да, можно было сделать проще, можно было сделать точнее. Даже на тех библиотеках. Намного проще и точнее. Я был готов продолжать, но... интереса это все не вызвало ни у кого из окружающих. И дело не в деньгах, дело в том, что одному такие штуки делать не здорово: нужна критика и контроль, и советы спецов-лингвистов. С лингвистами я говорил - у них от слов "нейросеть" случался ступор.
      
      Тут еще важно, что объяснить результат работы нейросети может быть непросто. Там чем дальше, тем больше просто эмпирика.
      
      Возвращаясь к Шолохову, на мой взглял, и учитывая ваше исследование и собственные результаты, нельзя сказать, что Тихий Дон он целиком сплагиатил. Но очень похоже, что таки использовал при этом какие-то материалы из Федора Крюкова. Буквально сегодня прочитал исследование А.Ю.Чернова "Запрещенный классик" про Крюкова и заимствования Шолохова из него. https://fedor-krjukov.narod.ru/o_KRJUKOVE/Chernov_o_KRJUKOVE.htm - там у Шолохова нашли местами очень большие совпадения, можно сказать почти цитирования.
    4. *Голышев Георгий 2024/10/28 20:17 [ответить]
      > 2. Румяный Критик
      > Делалось такое, и неоднократно. На тему определения авторства Шолохова с использованием ИИ и кандидатские сочинялись, и докторские. И не по одной штуке, и даже не по две, и даже не по три. Использовались и Байес, и метод главных компонент, и различные нейронки, - результаты каждый раз были неоднозначными.
      > Здесь, на Самиздате, лет 10-12 подряд висела кнопка "лингвоанализатор" со скриптом, который позволял определять авторство текстов. К сожалению, "хозяин" кнопки давно ушел от нас, так что кнопку некто не обслуживал, так и сгинула.
      > Даже... гм-гм... я лет 10 назад игрался с определением авторов текста. Простейший метод "ТОП 100", простейшая программа, для получения профильного вектора достаточна обучающая выборка объемом в 150000-200000 знаков. Запросто получалось отличить тексты http://samlib.ru/w/wolchenko_p_n/ от всех остальных. Зато с трудом http://samlib.ru/e/elena_zwezdnaja/ , похоже, она тырит у других авторов не фразы, и не абзацы, а целые главы. :))) Много игрался с авторами Детектив-Клуба, они практикуют анонимность на своих конкурсах, а я сразу видел, кто что наваял, с достоверностью 75-80%.
      > Так что, тема интересная.
      > Только выборки у вас крохотные и совсем-совсем нерепрезентативные. Возьмите другие произведения тех же авторов, и результаты слегка (или не слегка) другие будут.
      
      
      Делалось, делалось. Про нейронки я не слышал, а про остальное - да. И критику этого остального читал.
      Я собственно еще туда полез и потому, что мне вообщем все равно: Шолохов автор или нет. То есть у меня ни предубеждений нет, ни мотивации играть за ту или иную сторону.
      Я просто написал модельку.
      Ну и она таки раотала, ни шатко ни валко. Конечно, это не идеал, и диссер я бы по ней защищать не стал. Но на тестах - она сработала неплохо.
      
      Были там некоторые передергивания, кое-что можно объяснить, а кое-что нет.
      Например Бабеля пришлось выкинуть вообще, он там все ломал напрочь. Но у него постоянные самоцитирования - модель переобучалась.
      С Фадеевым: у него для обучения два крупных произведения, и одно - для теста. Так вот если тестировать на любой из обучающих (а в обучение добавить тестовое - поменять) то тоже все разваливается. И вот тут я так и не смог понять - почему. Получается, что что-то Фадеев писал не сам, и видимо "Молодую гвардию" - но это невозможно, потому что по воспоминаниям современников писал он как раз сам и очень увлеченно.
      
      Все остальное по-честному.
      И выборки максимальные - по тем писателям. Писателей маловато, это да. Но уж больно тяжко тексты готовить. Тексты - из сети, а там опечатки, артефакты форматирования, сноски, примечания... И все это перелопачивать на чистом энтузиазме...
      
      Да, можно было сделать проще, можно было сделать точнее. Даже на тех библиотеках. Намного проще и точнее. Я был готов продолжать, но... интереса это все не вызвало ни у кого из окружающих. И дело не в деньгах, дело в том, что одному такие штуки делать не здорово: нужна критика и контроль, и советы спецов-лингвистов. С лингвистами я говорил - у них от слов "нейросеть" случался ступор.
      
      Вообщем, это уже история. По-моему забавная.
    3. *Голышев Георгий 2024/10/28 20:03 [ответить]
      > 1. Michael
      > Любопытный результат. Не пробовали повторить работу с более современными сетками? Рекуррентными, например, GRU или LSTM? Или вообще с BERT и тд, вплоть до Llama?
      >
      
      Возни много. И, честно говоря, у народа интереса к этому очень мало. По Шолохову это делалось вообщем-то по разговорам с людьми, оспаривающими авторство Шолохова с исторической и литературной точки зрения - я предложил математику. Мне сказали: а сделай! Ну и вот.
      И даже описание такое, "на коленке" потому, что там - гуманитарии, когда я им стал говорить про оценки модели там было... Непонимание, а зачем и что вот это все. Ну и результат их не устроил, потому и интерес пропал.
      Ну и у меня пропал. Подготовка текстов очень много времени занимает. Очень.
      
      > Я попробовал свое небольшое исследование сделать, потом прочитал вашу работу. Я более грубо действовал, без такой методики как у вас. Крюкова не сравнивал, по главам не разбивал, просто загонял корпус текстов от интересующего автора и других в GRU с 2-ми слоями, с разбиением по предложениям, и смотрел результат в целом по книге.
      >
      > У меня получилось и тоже по Поднятой целине и Судьбе человека, что ТД с вероятностью 63-67% принадлежит Шолохову, 18%, что Сергею Аксакову (для сравнения), при этом рассказик Шолохова "Наука ненависти", написанный в 1942-м с вероятностью только 51.9%.
      >
      > Правда и точность модели не очень высокая вообще вышла. Надо сказать, что текстов Шолохова маловато для обучения, это вообще отдельная странность, но для маститого писателя Шолохов не очень много вообще написал произведений.
      
      Как говорят те люди, с которыми я ну как бы работал: "Шолохов вообще ничего не написал, поэтому оценивать то, что написано на принадлежность его авторства бессмысленно". То, что Шолохов ТОЧНО написал, на 100% - это его письма.
      
      Но материала мало, да
    2. Румяный Критик (iam-lamer@ya.ru) 2024/10/25 09:09 [ответить]
      Делалось такое, и неоднократно. На тему определения авторства Шолохова с использованием ИИ и кандидатские сочинялись, и докторские. И не по одной штуке, и даже не по две, и даже не по три. Использовались и Байес, и метод главных компонент, и различные нейронки, - результаты каждый раз были неоднозначными.
      Здесь, на Самиздате, лет 10-12 подряд висела кнопка "лингвоанализатор" со скриптом, который позволял определять авторство текстов. К сожалению, "хозяин" кнопки давно ушел от нас, так что кнопку некто не обслуживал, так и сгинула.
      Даже... гм-гм... я лет 10 назад игрался с определением авторов текста. Простейший метод "ТОП 100", простейшая программа, для получения профильного вектора достаточна обучающая выборка объемом в 150000-200000 знаков. Запросто получалось отличить тексты http://samlib.ru/w/wolchenko_p_n/ от всех остальных. Зато с трудом http://samlib.ru/e/elena_zwezdnaja/ , похоже, она тырит у других авторов не фразы, и не абзацы, а целые главы. :))) Много игрался с авторами Детектив-Клуба, они практикуют анонимность на своих конкурсах, а я сразу видел, кто что наваял, с достоверностью 75-80%.
      Так что, тема интересная.
      Только выборки у вас крохотные и совсем-совсем нерепрезентативные. Возьмите другие произведения тех же авторов, и результаты слегка (или не слегка) другие будут.
    1. Michael 2024/10/25 16:04 [ответить]
      Любопытный результат. Не пробовали повторить работу с более современными сетками? Рекуррентными, например, GRU или LSTM? Или вообще с BERT и тд, вплоть до Llama?
      
      Я попробовал свое небольшое исследование сделать, потом прочитал вашу работу. Я более грубо действовал, без такой методики как у вас. Крюкова не сравнивал, по главам не разбивал, просто загонял корпус текстов от интересующего автора и других в GRU с 2-ми слоями, с разбиением по предложениям, и смотрел результат в целом по книге.
      
      У меня получилось и тоже по Поднятой целине и Судьбе человека, что ТД с вероятностью 63-67% принадлежит Шолохову, 18%, что Сергею Аксакову (для сравнения), при этом рассказик Шолохова "Наука ненависти", написанный в 1942-м с вероятностью только 51.9%.
      
      Правда и точность модели не очень высокая вообще вышла. Надо сказать, что текстов Шолохова маловато для обучения, это вообще отдельная странность, но для маститого писателя Шолохов не очень много вообще написал произведений.

    Связаться с программистом сайта.

    Новые книги авторов СИ, вышедшие из печати:
    О.Болдырева "Крадуш. Чужие души" М.Николаев "Вторжение на Землю"

    Как попасть в этoт список

    Кожевенное мастерство | Сайт "Художники" | Доска об'явлений "Книги"