1С: Самвестимо. Открытые данные.
В одной из тем про открытые данные опубликованные ФНС как-то так получилось, что мой аккаунт налаял на своих собеседников. Краснею до сих пор.
Все последующие дни вожусь с этими данными.
Оказалось, что просто так, вручную, их не возьмешь.
Стало понятно и то, почему данные выложены в таком виде - их очень большой объем.
Поэтому они выложены кусочками в среднем по 160 фирм в файле.
Например, архив сведений об уплаченных налогах содержит 11358 файлов, т.е. сведения о примерно 11358*160=1 817 280 юрлицах.
Ясно, что даже "слить" эти файлы в одну таблицу Эксель, например, не получится - у листа есть ограничение на количество строк и колонок. Типа 32000 или 64000, не помню, но это все равно в сотни раз меньше, чем нужно.
Еще 3 файла данных имеют примерно такое же (+- 100 000 - 150 000) количество записей в сумме.
Несколько дней прошли в бесплодных попытках написать обработку для 1С для работы с этими данными.
Сама обработка данных проблем не вызывает поиски по ИНН, части наименований и т.п., проблема в том, что у обработки 1С нет подходящего инструмента для оперирования таким количеством записей. Например т.н. Таблица значений валится на примерно 1 200 000 записях. Т.е. в нее не получается загрузить даже один файл из 4-х (5-й - маленький).
Все последующие дни вожусь с этими данными.
Оказалось, что просто так, вручную, их не возьмешь.
Стало понятно и то, почему данные выложены в таком виде - их очень большой объем.
Поэтому они выложены кусочками в среднем по 160 фирм в файле.
Например, архив сведений об уплаченных налогах содержит 11358 файлов, т.е. сведения о примерно 11358*160=1 817 280 юрлицах.
Ясно, что даже "слить" эти файлы в одну таблицу Эксель, например, не получится - у листа есть ограничение на количество строк и колонок. Типа 32000 или 64000, не помню, но это все равно в сотни раз меньше, чем нужно.
Еще 3 файла данных имеют примерно такое же (+- 100 000 - 150 000) количество записей в сумме.
Несколько дней прошли в бесплодных попытках написать обработку для 1С для работы с этими данными.
Сама обработка данных проблем не вызывает поиски по ИНН, части наименований и т.п., проблема в том, что у обработки 1С нет подходящего инструмента для оперирования таким количеством записей. Например т.н. Таблица значений валится на примерно 1 200 000 записях. Т.е. в нее не получается загрузить даже один файл из 4-х (5-й - маленький).
Это понравилось
2515
|
Выглядит это у меня вот так:
 Это общий список организаций по которым есть сведения. Иерархию - см. описание выше. Список можно просматривать в виде иерархического списка, как на принтскрине или без иерархии (кто работает в 1С, думаю, поймут). Можно отсортировать по ИНН или по краткому наименованию. Поиск в списке тоже традиционный - встаешь на нужную колонку и набираешь первые буквы/цифры ... |
|
|
И еще есть поиск:
Если знаете ИНН, ставите переключатель, вводите с клавиатуры ИНН, жмете кнопку "Поиск" и через мгновенье - готово ...  Результат виден прямо в этом же окне в виде отчета. |
|
|
Прикольно искать по названию.
Вводить достаточно только часть названия. Будут найдены все похожие и двойники. Под списком найденных видно сколько их всего.  |
|
|
Вот пример такого дубля:
Одна запись находится в файле VO_OTKRDAN1_9965_9965_20180930_0b300231-2157-4283-aa75-a9c98a9a06f1.xml другая в VO_OTKRDAN1_9965_9965_20180930_cf2ff4c1-fd39-4245-b3a7-7774f39b5761.xml из архива отсюда https://www.nalog.ru/opendata/7707329152-snr/   У записей разный айдидок и различное написание названия. Айдидок ладно - это походу случайный ГУИД, совершенно бессмысленный в этом наборе данных, который, вероятно, просто выполняет роль мусора в этих данных. Но вот наименование!!! Получается, что данные (в данном случае о применении спецрежимов) выгружаются из разных баз?!!! Как может существовать такое рукожопие на свете? И это ведь существует за бюджетные деньги, за налоги. |
И загрузить в нее эти данные.
Тогда и отчеты будут получаться сами собой и намного проще.