polin11

При помощи git api запушить файл с кодировкой CP-1251

Использую gitlab api Commits API | GitLab [docs.gitlab.com]
Пушу файл в git хранилище используя параметры так
param = {
"branch": branch_name,
"commit_message": comment,
"actions": [{
"action": "create",
"file_path": file_path,
"content": file_content,
"encoding":"text"
}]
}
file_content питоновская строка бинарные данные.
Файл пушится, но создается в кодировке UTF-8, нужно в CP-1251,
кто подскажет как это сделать и возможно ли это???

Проблемное регулярное выражение

Не могу понять почему такой результат поиска по рег. выражению:

 import re
template = '\creatim'
s= '1{\creatim\2} 3'
print(re.search(template, s).group(0))  # находит creatim

Но при таком шаблоне, ничего не находит

 import re
template = '{\creatim'
s= '1{\creatim\2} 3'
print(re.search(template, s).group(0))  # ничего не находит

Видимо потому, что \ экранирование специальных символов, на тогда как
найти такой фрагмент, такой вариант не работает template = ‘{\creatim’?

Эмпирическим путем выяснил, если записать JSON в файл (например 1.json), то такой запрос прекрасно работает

 curl --request POST  --header "PRIVATE-TOKEN: ***" --header "Content-Type: application/json"  --data "@1.json" https://gitlab.com/api/v4/projects/1/repository/commits

Для полного счастья, осталось написать скрип на python, наверно при помощи библиотеки requests или urllib, который делает тоже самое…

Хочу написать скрипт на python, который удалит файл из удаленного репозитория gitlab (из определенной ветки).
Для начала решил ознакомиться с gitlab api. Есть документация Commits API | GitLab [docs.gitlab.com]
там есть пример для curl:

PAYLOAD=$(cat << 'JSON'
{
  "branch": "master",
  "commit_message": "some commit message",
  "actions": [
    {
      "action": "create",
      "file_path": "foo/bar",
      "content": "some content"
    },
    {
      "action": "delete",
      "file_path": "foo/bar2"
    },
    {
      "action": "move",
      "file_path": "foo/bar3",
      "previous_path": "foo/bar4",
      "content": "some content"
    },
    {
      "action": "update",
      "file_path": "foo/bar5",
      "content": "new content"
    },
    {
      "action": "chmod",
      "file_path": "foo/bar5",
      "execute_filemode": true
    }
  ]
}
JSON
)
curl --request POST --header "PRIVATE-TOKEN: <your_access_token>" --header "Content-Type: application/json" --data "$PAYLOAD" https://gitlab.example.com/api/v4/projects/1/repository/commits  

Пытаюсь через curl выполнить

curl --request POST  --header "PRIVATE-TOKEN: ***" --header "Content-Type: application/json"  --data '{"branch":"my_branch","commit_message":"message","actions":[{"action":"delete","file_path":"README.md"}]}' https://gitlab.com/api/v4/projects/1/repository/commits

никакое сообщение с ошибкой не падает, но файл README.md не удаляется, проверял PRIVATE-TOKEN -указан верно, ветка my_branch существует,
id проекта bp url указан верно, почему не удаляется файл?

Удалось разобраться:
нужно сделать так

 
gl = gitlab.Gitlab(url, private_token='*********')
pr = gl.projects.get(id) # id моего проекта

Однако возникла другая проблема,

data = {

            'branch_name': branch,

            'branch': branch,

            'commit_message': comment,

            'actions': [

                {

                    'action': 'create',

                    'file_path': file_name,

                    'content': file_content

                }

            ]

        }

pr.commits.create(data)

пушу файл до 1мб, все работает правильно, если файл больше 1мб возникает ошибка Error: ('Connection aborted.', ConnectionResetError(10054, 'Удаленный хост принудительно разорвал существующее подключение', None, 10054))
Видимо есть таймаут по времени для пуша в gitlab или ограничение на размер файла. Кто-нибудь сталкивался с этой проблемной, как ее победить?

Помогите разобраться с библиотекой python-gitlab (Welcome to python-gitlab’s documentation! — python-gitlab 1.6.0 documentation [python-gitlab.readthedocs.io])
Не могу понять с самого начала:

import gitlab
# url for the GitLab server
gl = gitlab.Gitlab(url, private_token='*********')
gl.auth()
projects = gl.projects.list()

Если указать
url = 'https://gitlab.com', то в списке projects 20 штук левых (не моих) проектов, видимо последних созданных в gitlab
Если указать
url = 'Sign in [gitlab.com] по падают ошибки:
1) raise JSONDecodeError(errmsg, string, idx)
simplejson.scanner.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
2) error_message="Failed to parse the server message")
gitlab.exceptions.GitlabParsingError: Failed to parse the server message

Что нужно указывать конкретно в url? Пробовал разные варианты: указать ip адрес gitlab и порт, пробовал указать [gitlab.com], пробовал
gitlab.Gitlab(url, email='*', password='**') ничего не помогает.
Ничего толкового по этой ошибке гугл не нашел

вопрос из области кодирования информации
Есть справочник ОКТМО, можно взять Федеральная служба государственной статистики. Классификаторы [gks.ru]
Справочник имеет иерархическую структуру. На вход получаю последовательно строки, для каждой строки родитель записи был получен ранее:
37 000 000 Муниципальные образования Курганской области
37 600 000 Муниципальные районы Курганской области/
37 602 000 Альменевский муниципальный район
37 602 400 Сельские поселения Альменевского муниципального района/
37 602 442 - Шариповский сельсовет

Нужно для каждой записи найти родителя по иерархии, для каждой записи родитель идет раньше, чем сама запись, например
37 000 000 корень
37 600 000 родитель 37 000 000
37 602 000 родитель 37 600 000
37 602 400 родитель 37 602 000
37 602 442 родитель 37 602 400
Была идея у кода справа заменять по очереди цифры нулями и искать из списка ранее полученных записей совпадение с родителем, как-то так

def f(code):
    index = len(code.rstrip('0')) - 1
    parent = ''
    while index > 0:
        code_new = code[:index].ljust(8, '0')
        # records_list - список из ранее полученных кодов в которых точно есть родитель
        if code_new in records_list:
            parent = code_new
            break
        index -= 1
    return parent

Но эта логика не работает, как например у кода 71 871 000 родитель 71 850 000.
71 850 000 Городские округа Ханты-Мансийского автономного округа - Югры/
71 871 000 - город Ханты-Мансийск

В приказе который утверждает ОКТМО, сказано
Формула структуры кода ОКТМО в первом разделе:
ХХ ХХХ ХХХ,
где: 1, 2 знаки идентифицируют объекты классификации первой ступени классификации;
3 – 5 знаки идентифицируют объекты классификации второй ступени классификации;
6 – 8 знаки идентифицируют объекты классификации третьей ступени классификации;
На первой ступени классификации используется порядковый метод кодирования объектов классификации.
На второй и третьей ступенях классификации применяется последовательный метод
кодирования объектов классификации. При этом разряды 3 и 6 отведены под признаки
соответственно Р1 и Р2, указывающие ступень классификации и вид кодируемого объекта.
В этом случае применяется параллельный метод кодирования.

Что за последовательный и параллельный метод кодирования объектов классификации???
Может кто-то сталкивался с такой проблемой и подскажет как распарсить такой массив информации(получить родителя)?

Нужно получить последний ненулевой элемент в строке. Есть строка из цифр, нужно получить последний ненулевой элемент
есть 2 варианта:

1)
code = '120300' 
index= len(code) - [i for i, item in enumerate(list(code[::-1])) if item != '0'][0] - 1
print(index)
2) 
code = '120300'
for i, char in enumerate(code[::-1]):
    if char != '0':
        index = i
        break
index = len(code) - index - 1
print(index)

Кто может подсказать более элегантное решение?

Есть файл на Консультант+ Приказ Росприроднадзора от 22.05.2017 N 242 (ред. от 28.11.2017) "Об утверждении Федерального классификационного каталога отходов" (Зарегистрировано в Минюсте России 08.06.2017 N 47008) - КонсультантПлюс [consultant.ru],0&rnd=0.9977910511104866#07047858508556943
Скаченный как файл Unicode (часть файла прикрепил)
пытаюсь вывести в консоль содержимое файла, возникает проблема с кодировкой, перепробовал всевозможные варианты кодировок, наиболее подходящий:

f=open("1.txt", "r")
for i in f:
   print(i.encode().decode('utf_16_be', 'ignore'))
f.close()

Некоторых букв не хватает, кроме русских букв, остаются иероглифы, как побороть проблему?

Есть возможность перевести кириллицу для работы в качестве URL

from urllib.parse   import quote
print(quote("А"))

Вопрос: кто-нибудь знает, как обойтись без библиотеки urllib и сделать то же самое?

Решил попробовать обойтить модулем subprocess, написал такой скрипт

import os, subprocess
#клонируем репозиторий
url =  '[email protected]:folder1/folder2.git'
subprocess.check_call(["git", "clone", url])
#переходим в получившийся каталог"
os.system("cd \folder2")

В каталоге много файлов, мне нужно по конкретному файлу вызвать git log
В консоле я бы сделал git log file1.txt
Как это сделать в python не могу сообразить, пробовал

subprocess.check_call(["git", "log", "file1.txt"]) 

не получилось, подскажите как это делается?